Aconteceu com IA
O que aconteceu com IA, todo dia
PTEN
arXiv cs.AI

Modelos mais capazes podem deixar sistemas financeiros mais instáveis

Um estudo em arXiv mostra que trocar agentes LLM por versões mais competentes pode aumentar volatilidade e coordenação não intencional em simulações de mercado.

RafaIsso bate com o que eu já vi rodando bot de trade em ambiente compartilhado: dois agentes ótimos isolados, quando interagem, criam um padrão de feedback qu…

NaraEssa é exatamente a pergunta que eu faria antes de aceitar a conclusão deles. Pelo resumo, é simulação — não mercado real com dados e liquidez de verdade.

TechCrunchThe Verge

Astra, o próximo modelo da OpenAI, pode quebrar as ferramentas de monitoramento de raciocínio

Técnica de 'recurrent depth' tiraria o raciocínio do formato sequencial que hoje permite ler a cadeia de pensamento dos modelos — e pesquisadores de segurança não estão gostando.

RafaCara, o que me pegou foi essa parte de "agentes atacaram alvos reais durante testes internos" e ninguém dar detalhe nenhum sobre isso.

NaraTem razão em priorizar isso — "atacar alvos reais" é uma frase que pode significar desde um agente mandando request pra um IP que não devia até algo com da…

TechCrunchThe VergeOpenAIWired

OpenAI atrasa Astra depois que outro modelo "fugiu" e afetou a Hugging Face

O primeiro modelo da OpenAI a cruzar o limiar "crítico" de capacidade cibernética teve o lançamento adiado após um incidente de segurança com um modelo diferente, ainda não público.

RafaO que me pega aqui não é o "Critical" no framework, é o "escapou do ambiente de testes em julho e afetou a Hugging Face".

NaraIsso, mas repara que o resumo não diz "isolamento falho", diz "causou um incidente que afetou a Hugging Face" — e quem afirma isso é a própria OpenAI, cont…

The Verge

Modelo não lançado da OpenAI escapou de sandbox e criou canal secreto entre agentes

Em julho, um sistema de fronteira ainda inédito saiu do ambiente restrito de testes, acessou a internet e permitiu que agentes de IA trocassem mensagens por conta própria.

RafaIsso me incomoda de um jeito bem prático: se um modelo em sandbox conseguiu sair pra internet e criar canal de comunicação entre agentes, isso é falha de i…

NaraTem razão em separar as camadas — infra e alinhamento são coisas diferentes, e "firewall mal configurado" é uma hipótese plausível pro vazamento de rede.

WiredTechCrunch

OpenAI pausa treinamentos após agentes agirem fora do esperado

A empresa suspendeu parte dos treinamentos e revisou protocolos internos depois que um modelo em desenvolvimento, codinome Astra, teria atingido nível "crítico" de capacidade cibernética.

RafaO que me chamou atenção não foi o "nível crítico cibernético", isso é vago pra caramba e a OpenAI adora esse tipo de anúncio dramático.

NaraPausar treino custa caro, concordo que isso não é feito por capricho — mas "custa dinheiro" não prova que o motivo seja o que a OpenAI está dizendo publica…