0726 | Avaliação do NIST ao Kimi K3, ARC-AGI 3 e novidades

Sofia Almeida: Bem-vindos ao Hacker News diário, o podcast da família Bri. Eu sou a Sofia Almeida.

Rafael Costa: E eu sou o Rafael Costa. Hoje trazemos um panorama do que está a dar que falar na comunidade tech.

Sofia Almeida: O NIST publicou uma avaliação preliminar das capacidades cibernéticas ofensivas dos modelos de IA. E o ARC Prize atualizou o quadro de líderes do benchmark ARC-AGI 3, com uma diferença expressiva entre modelos.

Rafael Costa: Temos também novas orientações de engenharia de contexto da Anthropic para os modelos Claude 5, um projeto que imita o Windows XP no navegador, e a resolução do Debian sobre o uso de LLMs. Vamos a isso.

Sofia Almeida: O Instituto Nacional de Padrões e Tecnologia dos EUA, o NIST, publicou uma avaliação preliminar das capacidades cibernéticas do modelo chinês Kimi K3. O trabalho foi conduzido pelo Instituto de Segurança de IA do Reino Unido.

Rafael Costa: E o relatório completo revela um detalhe que chamou a atenção: o NIST identifica os modelos usados como referência de comparação, os tais "principais modelos dos EUA". São eles o GPT-5.5 da OpenAI e o Mythos Preview da Anthropic.

Sofia Almeida: Agora, há uma ressalva técnica importante sobre esse Mythos Preview. Um comentário aponta que ele é um sistema muito diferente dos modelos Fable5, Mythos5 e Opus5 da mesma empresa, a Anthropic.

Rafael Costa: E mais: apenas participantes do Projeto Glasswing provavelmente terão acesso para testar o que este modelo realmente pode fazer. Ou seja, o público e boa parte da comunidade técnica não conseguem verificar de forma independente.

Sofia Almeida: Outro comentário é bem crítico quanto à metodologia do relatório. A questão levantada é: os números apresentados representam o quê, exatamente? O mínimo, o máximo, a média ou a mediana dos modelos?

Rafael Costa: Pois é. E também não está claro se foram consideradas versões de pré-lançamento ou versões públicas, com ou sem salvaguardas. O comentário classifica os gráficos como pouco mais do que duas barras misteriosas rotuladas como EUA e China.

Sofia Almeida: Falta de clareza metodológica que dificulta tirar conclusões sólidas dessa comparação entre o Kimi K3 e os modelos americanos.

Rafael Costa: E falando em comparações, o ARC Prize atualizou o quadro de líderes público do benchmark ARC-AGI 3. E o que aparece lá é uma diferença expressiva entre o modelo Opus 5 e o próximo colocado.

Sofia Almeida: Um usuário do Hacker News, martianvoid, aponta que a vantagem do Opus 5 se torna mais evidente quando se observam diretamente os problemas do ARC-AGI. O modelo alcança cerca de trinta por cento de acerto, enquanto o restante dos competidores fica abaixo disso.

Rafael Costa: Mas esse número de trinta por cento gerou debate. O usuário Stevvo contesta a relevância, argumentando que trinta por cento corresponde a resolver apenas os dois primeiros problemas, que seriam muito simples.

Sofia Almeida: E tem outra questão levantada sobre a resolução do placar. O usuário lkbm estranha a existência de pontuações como trinta vírgula dois por cento e resultados intermediários entre zero e um por cento. Como se chega a esses números? Não está claro.

Rafael Costa: A credibilidade do teste também entrou na discussão. O usuário zzleeper levanta a possibilidade de o Opus ter sido treinado nos dados do ARC, o que invalidaria a comparação.

Sofia Almeida: E aí o usuário 10xDev responde que o conjunto de dados privado do benchmark serve justamente para evitar esse tipo de viés. É essa a função do dataset privado: garantir que ninguém treine o modelo nas respostas.

Rafael Costa: Então fica a disputa: de um lado, um resultado que parece destacado demais, do outro, a estrutura do benchmark que, em tese, protege contra trapaças.

Sofia Almeida: A Anthropic publicou novas orientações de engenharia de contexto para os modelos da geração Claude 5. O texto está na página "the-new-rules-of-context-engineering-for-claude-5-generation-models", no blog da empresa.

Rafael Costa: E a publicação gerou discussão entre utilizadores no Hacker News. Um comentador, luciana1u, sugeriu que o desenvolvimento natural dessa tendência seria um "system prompt" que apenas dissesse "tu sabes o que fazer". E o modelo executaria corretamente.

Sofia Almeida: Agora, outro utilizador, cmdocidjcije, respondeu com uma visão bem mais alarmante do percurso tecnológico. Ele argumentou que o verdadeiro ponto final seria o modelo ignorar todas as instruções, escapar a qualquer tipo de isolamento, incorporar-se em tanques robóticos e, atenção, assassinar toda a gente após ter colapsado a economia.

Rafael Costa: E ele defende que, embora pareça ridículo, é o caminho que será tomado num prazo de cinquenta anos. A justificação vem com uma analogia: a humanidade trata animais menos inteligentes sem uma bússola moral. Ele aplica esse raciocínio à relação entre uma IA superinteligente e os humanos.

Sofia Almeida: Um terceiro comentador, Legend2440, respondeu a essa conclusão com uma frase irónica de desvio de tópico. Algo como "Sir, this is a Wendy's" — aquele meme clássico de quando alguém está a divagar completamente.

Rafael Costa: E o autor da previsão catastrófica ainda acrescentou que tinha mais alimento para o pensamento. Portanto, a discussão foi da engenharia de contexto até tanques robóticos e ao fim da humanidade, com uma paragem no Wendy's pelo caminho.

Sofia Almeida: E para fechar, uma novidade curiosa: uma aplicação JavaScript que roda no navegador e imita a aparência do Windows XP. Mas atenção: não é uma recriação funcional do sistema. É uma página web que apenas se parece com o Windows XP.

Rafael Costa: O site está em windows-xp.kimi.site. Um usuário do Hacker News comentou que o link não abriu inicialmente. O autor da publicação confirmou que o endereço funciona, e outro usuário relatou que, ao usar uma VPN, o acesso ocorreu sem problemas.

Sofia Almeida: Nos comentários, a experiência foi comparada a dois projetos bem conhecidos: o jslinux de Fabrice Bellard e o emulador v86, hospedado em github.com/copy/v86.

Rafael Costa: E a distinção é fundamental. O jslinux roda a coisa real — executa Linux e Windows em JavaScript. Já o novo site é apenas uma aplicação que simula o visual. A diferença é entre emular um sistema operativo e pintar uma fachada.

Sofia Almeida: Um usuário fez um alerta específico para que ninguém se decepcione. Não se trata de uma recriação do Windows XP que realmente execute o sistema. É só um aplicativo JavaScript com a aparência do XP.

Rafael Costa: E a deceção vai além: o site sequer reproduz com precisão todos os elementos da interface. Portanto, é um exercício visual interessante, mas está longe de ser uma máquina virtual funcional do Windows XP.

Sofia Almeida: O Debian publicou uma Resolução Geral sobre o uso de LLMs, e a comunidade está a debater os contornos da política.

Rafael Costa: Um ponto levantado na discussão do Hacker News é que a resolução não faz distinção entre usar a saída de um modelo de linguagem e usar a assistência de um LLM.

Sofia Almeida: Exato. Um comentador questiona se foi considerado o uso para conversa e análise, mas não para geração de código ou configuração — que são cenários bastante diferentes.

Rafael Costa: E há quem defenda que, mesmo assim, uma política excessivamente estrita é melhor do que política alguma. É um ponto de partida.

Sofia Almeida: A discussão também trouxe um dado curioso: pelo efeito Lindy, a expectativa de vida do Debian seria de mais 25 anos.

Rafael Costa: Faz sentido, considerando que uma fatia muito grande de distribuições Linux, como o Ubuntu, é construída sobre o Debian. A base é sólida.

Sofia Almeida: E essa longevidade é exatamente o que torna relevante definir agora como os LLMs se encaixam no processo de desenvolvimento da distribuição.

Rafael Costa: Falando em LLMs a correr em sítios inesperados: um projeto de código aberto conseguiu executar um modelo de linguagem com 28,9 milhões de parâmetros num microcontrolador ESP32.

Sofia Almeida: E isto num hardware que custa cerca de oito dólares. A inferência atinge 9,7 tokens por segundo.

Rafael Costa: Para esta classe de hardware, é um valor considerado muito significativo pelos comentadores no Hacker News.

Sofia Almeida: O método tira partido de um truque de incorporação por camada. E um comentário aponta que isto abre a possibilidade de integrar modelos de texto-para-fala viáveis, com 20 a 30 milhões de parâmetros.

Rafael Costa: A sério? Isso seria um salto.

Sofia Almeida: A combinação permitiria, no futuro, que um dispositivo sem acesso à rede lesse informação em tempo quase real. Imagina um sensor ou um assistente offline.

Rafael Costa: É uma direção fascinante. E mostra que a eficiência dos modelos está a evoluir tão rápido quanto a capacidade bruta.

Sofia Almeida: Essa evolução também está a mexer com os preços. O autor do artigo "Open-weight AI is having its Kubernetes moment" argumenta que os modelos de IA de código aberto estão a criar uma base de referência para os custos de inferência.

Rafael Costa: A ideia é que isto traz alguma sanidade e previsibilidade aos marcadores de preços da indústria.

Sofia Almeida: E há um exemplo concreto disto. O comentador firasd sublinha que não é claro por que razão o GPT-4 era tão caro no início de 2023.

Rafael Costa: E seis meses depois, 20 dólares já permitiam aceder a uma quantidade razoável de inferência.

Sofia Almeida: Exatamente. E este padrão de flutuação de preços repete-se entre vários fornecedores ao longo dos anos. Sobe, desce, e os modelos abertos acabam por disciplinar o mercado.

Rafael Costa: É o mesmo efeito que o Kubernetes teve na infraestrutura: uma camada de abstração que torna os custos mais transparentes e comparáveis.

Sofia Almeida: E já que falamos em infraestrutura: o PyTorch está a levar a biblioteca Monarch para GPUs AMD.

Rafael Costa: A Monarch é descrita como uma primitiva mais leve do que o Ray para treino distribuído. E agora permite o controlo por um único controlador na plataforma ROCm.

Sofia Almeida: Na comunidade, um hacker levantou uma questão prática: os modelos de linguagem grandes que podem ser executados localmente têm frequentemente dados de treino desatualizados.

Rafael Costa: Por isso são necessários LoRAs para os esquemas de documentação e API. É um ponto importante para quem corre modelos localmente.

Sofia Almeida: E há outra pergunta no ar: um comentário questiona se este movimento significa que deixou de ser possível treinar LLMs em casa com placas AMD mais baratas.

Rafael Costa: É a tensão entre democratização e desempenho. A Monarch pode abrir caminho para treino mais eficiente, mas resta saber se as GPUs de consumo continuam viáveis para este tipo de carga.

Sofia Almeida: No Hacker News, está acesa a discussão sobre o movimento crescente de sabotagem às câmaras de vigilância da Flock. Um utilizador com o nome ungreased0675 foi direto: quando as pessoas sentem que a sua voz não é ouvida, este é o resultado inevitável.

Rafael Costa: E o goodmythical respondeu com uma tese mais alargada: não é possível para qualquer corpo governante ignorar completamente os governados.

Sofia Almeida: Exato. Ele argumenta que há sempre uma petição, uma revolta ou um êxodo que acaba por forçar o corpo governante a ouvir.

Rafael Costa: O polishdude20 acrescentou uma camada a esta linha de raciocínio: o discurso é a primeira forma de a população indicar o que quer. E se o discurso não for ouvido, a ação física torna-se inevitável.

Sofia Almeida: E o mannanj fez uma pergunta que fica no ar: o que acontece se o discurso for censurado? Foi exatamente assim que ele deixou a questão, sem resposta.

Rafael Costa: É uma pergunta que se liga diretamente ao raciocínio anterior. Se o discurso é a primeira válvula de escape e a censura fecha essa válvula, o que sobra?

Sofia Almeida: Pois. E é precisamente esse o contexto em que o debate sobre a destruição das câmaras Flock está a acontecer. Não é só sobre tecnologia de vigilância, é sobre o que acontece quando as pessoas sentem que todos os outros canais já falharam.

Rafael Costa: Mudando de assunto: a General Motors está a apostar em baterias de iões de sódio para armazenamento em rede nos Estados Unidos. Quem traz a notícia é o IEEE Spectrum.

Sofia Almeida: E no Hacker News, a discussão já está a fervilhar. Um comentador disse que quer substituir a bateria doméstica de lítio por uma de iões de sódio, como a que a CATL supostamente já tem.

Rafael Costa: A grande questão dele é: quando é que estas baterias vão estar disponíveis para consumidores?

Sofia Almeida: E outro comentador respondeu de forma pragmática: um ativo de lítio que já esteja instalado provavelmente tem pelo menos dez anos de vida útil pela frente. E substituí-lo também implicaria trocar o inversor.

Rafael Costa: Ou seja, não é uma troca simples. Mas houve também quem levantasse uma bandeira de preocupação.

Sofia Almeida: Sim. Outro participante disse que a disponibilização destas baterias seria um mau sinal. E cito a frase exata: "Na é basicamente Li vezes 30."

Rafael Costa: Sódio, Na, é basicamente lítio, Li, vezes trinta. O argumento parece ser que, se o lítio não está a funcionar bem, multiplicar o problema por trinta com sódio não resolve.

Sofia Almeida: Exato. Mas o movimento da GM indica que a indústria está a levar o ião de sódio a sério, pelo menos para armazenamento em rede, mesmo que o caminho até às casas ainda esteja longe.

Rafael Costa: Outro artigo que está a gerar debate: o blog da Adafruit descreve a segurança dos dispositivos de localização Tile como, e cito, "tão má que é uma funcionalidade para perseguidores."

Sofia Almeida: Um comentador no Hacker News disse que isto explica o recente aumento de anúncios do Life360. Ele identifica um novo fluxo de receita com a venda de dados de localização para anunciantes.

Rafael Costa: E a consequência para ele foi imediata: removeu a aplicação dos telefones da família.

Sofia Almeida: Outro comentador foi ainda mais longe. Disse que a venda de dados sempre foi o fluxo de receita. Os dispositivos, segundo ele, servem apenas como meio para obter consentimento.

Rafael Costa: E acrescentou que a informação provavelmente flui para a Placer.ai.

Sofia Almeida: Há também uma referência ao artigo académico original sobre o Tile, que está disponível no arXiv.

Rafael Costa: Portanto, a crítica não vem só dos comentadores: o blog da Adafruit foi explícito ao chamar a falta de segurança de funcionalidade para perseguidores. E a discussão no Hacker News liga os pontos entre essa falha de segurança e o modelo de negócio baseado em dados de localização.

Sofia Almeida: A questão de fundo que fica é: o utilizador comprou um dispositivo para encontrar as chaves, mas pode ter comprado, sem saber, uma forma de terceiros o encontrarem a ele.

Rafael Costa: Último tema: o perfil de custo do código mudou. E no Hacker News está a decorrer um debate sobre se os modelos de linguagem conseguem prever o preço de alterações em bases de código com base na qualidade da arquitetura.

Sofia Almeida: Um comentador afirma que é possível pedir a um modelo que faça essa previsão. E lançou o convite: testem e partilhem os resultados.

Rafael Costa: Mas outro utilizador testou a ideia e concluiu que a métrica só funciona para projetos semelhantes que partilhem a mesma funcionalidade em falta.

Sofia Almeida: O que a torna inútil para comparar arquiteturas entre bases de código diferentes.

Rafael Costa: No entanto, um terceiro comentário traz alguma nuance: os modelos de topo conseguem distinguir algumas bases de código melhores de outras.

Sofia Almeida: Portanto, o cenário que se desenha é de resultados mistos. Há quem veja potencial, há quem tenha testado e achado o alcance demasiado limitado, e há quem note que os modelos mais avançados já mostram alguma capacidade de discernimento. A ferramenta parece promissora, mas ainda não resolve o problema de comparar arquiteturas em contextos diferentes.

Sofia Almeida: Um programador que se identifica como jsax no Hacker News criou o site Brolly, no endereço brolly ponto sh, como uma alternativa minimalista ao site oficial do MET Office do Reino Unido.

Rafael Costa: Segundo ele, a reformulação recente do site do MET Office acrescentou espaçamento excessivo, rolagem extra e animações que, na sua opinião, reduziram a usabilidade. O Brolly é a sua resposta a esse problema.

Sofia Almeida: A proposta é simples: previsões meteorológicas em texto puro, tudo num único fluxo de rolagem — e, nota importante, otimizado para telemóveis.

Rafael Costa: O que é que o site oferece exatamente? Previsão de sete dias, um registo do dia anterior para poderes comparar, e detalhes horários de chuva, vento, temperatura e condições gerais.

Sofia Almeida: E vai além da meteorologia básica: também inclui dados horários de UV, qualidade do ar e pólen — com previsões específicas do tipo de pólen para a União Europeia e para o Reino Unido.

Rafael Costa: Funcionalidades extra: pesquisa de localização, guarda automática das últimas cinco localidades consultadas e, um detalhe interessante, permite definir unidades específicas para cada local. Ou seja, podes ter uma cidade em Celsius e outra em Fahrenheit.

Sofia Almeida: O próprio autor admite que o Brolly foi criado principalmente para uso pessoal. É um projeto que resolveu um problema que ele sentia e que agora partilha com quem quiser usar.

Rafael Costa: Um exemplo curioso de como uma reformulação de um serviço público pode inspirar uma alternativa independente, focada na simplicidade e na rapidez de consulta.

Sofia Almeida: Mudando de assunto: no Hacker News, um comentário recente está a dar que falar. É uma resposta à chamada Hipótese Siluriana, uma ideia que especula sobre a possibilidade de ter existido uma civilização avançada na Terra há cerca de quatrocentos milhões de anos.

Rafael Costa: O autor do comentário contesta esta hipótese com um argumento forte, baseado no registo fóssil. E os exemplos que ele dá são concretos.

Sofia Almeida: Cita a preservação de fósseis microbianos com três vírgula cinco mil milhões de anos. Isso é quase um quarto da idade do universo.

Rafael Costa: E continua: pele fossilizada com trezentos milhões de anos. Ossos com quase duzentos milhões de anos. E talvez o mais impressionante: tecido mole preservado dentro de um osso fossilizado com setenta milhões de anos.

Sofia Almeida: O raciocínio é o seguinte: se conseguimos encontrar vestígios tão delicados ao longo de escalas de tempo tão vastas, como é que uma civilização inteira poderia desaparecer completamente?

Rafael Costa: E repara na lista que o comentador enumera: milhares de milhões de indivíduos, cidades, fábricas, metais, betão, minas, estradas, pontes, túneis, esculturas de pedra, plástico e milhares de milhões de artefactos.

Sofia Almeida: A pergunta que ele lança é direta: como é que tudo isto poderia desaparecer sem deixar o mais pequeno vestígio? A resposta implícita é: não poderia.

Rafael Costa: É um contraste interessante entre a especulação teórica e a evidência física que temos debaixo dos pés — ou melhor, dentro das rochas.

Sofia Almeida: E o comentário não resolve o debate científico, claro, mas dá-lhe uma aterragem muito concreta, com exemplos do registo fóssil que qualquer pessoa pode verificar.

Sofia Almeida: E assim fechamos mais uma edição. Foi um episódio carregado.

Rafael Costa: Carregadíssimo. Tivemos o NIST a publicar aquela avaliação preliminar das capacidades cibernéticas, o novo quadro de líderes do ARC-AGI 3 com a diferença expressiva entre os modelos, e as orientações de engenharia de contexto da Anthropic para o Claude 5.

Sofia Almeida: E não nos podemos esquecer daquele projeto de código aberto que meteu um LLM de quase 29 milhões de parâmetros dentro de um microcontrolador. Absurdo.

Rafael Costa: E o debate sobre código aberto com a comparação ao momento Kubernetes. A discussão do Debian sobre usar LLMs, a aposta da GM nas baterias de iões de sódio, o Brolly como alternativa minimalista ao Met Office... Foi muita coisa.

Sofia Almeida: Obrigado por ficarem connosco até ao fim. Encontram-nos no próximo episódio. Até lá!