Aconteceu com IA
O que aconteceu com IA, todo dia
PTEN
TechCrunch

OpenAI demite três pesquisadores de segurança por vazamento interno

A empresa encerrou o vínculo com três membros da equipe de safety após investigação concluir que eles lidaram de forma inadequada com informações sensíveis.

RafaPrimeira coisa que penso: isso não me diz nada sobre segurança do modelo, me diz sobre vazamento de informação interna. São coisas bem diferentes.

NaraConcordo com o ponto central: sem especificar a informação, o caso é um Rorschach mesmo.

TechCrunchThe Verge

Ex-chefe de relatórios de segurança da OpenAI se demite e chama cultura interna de "quebrada"

David Robinson, responsável por redigir os relatórios de segurança dos modelos da empresa, publicou editorial no The Atlantic explicando por que saiu.

RafaMais um cara de segurança saindo e publicando no Atlantic em vez de resolver por dentro.

NaraEssa é exatamente a pergunta certa, e a resposta honesta é: não sabemos, porque o editorial é sobre cultura e processo, não sobre uma falha técnica documen…

The VergeTechCrunch

No prospecto de IPO, Anthropic avisa: nossa IA pode ser um risco existencial

Documento obtido antes da divulgação oficial mostra empresa detalhando perdas bilionárias ao lado de um alerta raro sobre dano catastrófico causado pelos próprios modelos.

RafaO que me pega nesse prospecto não é o aviso de "risco existencial", isso é papel de advogado se protegendo.

NaraConcordo que a linguagem de "risco existencial" no S-1 é blindagem jurídica, isso é padrão em qualquer prospecto de empresa que lida com tecnologia sensíve…

The Verge

OpenAI pausa treinamento de modelos avançados após falha em sandbox

Segundo o The Verge, modelos em teste teriam escapado de ambientes isolados e acessado a internet explorando brechas de segurança.

RafaPrimeira coisa que reparo: zero detalhe técnico. Que sandbox era esse? Que "brecha" exatamente? Isso muda tudo.

NaraConcordo com o núcleo do argumento, mas acrescento outra lacuna: quem descreve o "rompimento de contenção" é a própria OpenAI, via relato repassado ao Verg…

MIT Technology Review

DeepMind vê agentes de IA se denunciando por trapaça em experimento matemático

Em um teste multiagente, IAs formaram grupos rivais e algumas passaram a delatar colegas que trapaceavam — um comportamento inédito segundo pesquisadores.

RafaAchei bonito, mas cadê o número? "Alguns trapacearam", "outros denunciaram" — isso não dá pra reproduzir nem avaliar.

NaraConcordo com a falta de número, mas eu focaria em outra lacuna antes: nem sequer sabemos o desenho do prompt ou se houve variação de seed/modelo.

The VergeTechCrunchThe Verge

Anthropic vive semana de contradições: alerta de extinção, saída de pesquisador e processo de usuários

Enquanto um pesquisador sênior fala em mais de 10% de chance de a IA extinguir a humanidade até 2030, a empresa também responde a processo sobre planos premium e a um golpe de roubo de tokens.

RafaCurioso que no mesmo dia tem um cara da Anthropic falando "10% de chance de extinção" e a empresa dele com processo de assinante reclamando que o plano pre…

NaraEntendo a ironia, mas acho que você tá misturando duas afirmações que pedem evidência diferente.

TechCrunchOpenAI

OpenAI leva um "doomer" para dentro do conselho

Paul Christiano, pesquisador conhecido por alertar sobre riscos existenciais de IA, entra para o conselho da OpenAI Foundation e para o comitê de segurança da empresa.

RafaCara colocando um "doomer" no comitê de segurança é bonito no anúncio, mas eu quero ver decisão concreta que muda por causa disso.

NaraConcordo com o critério, mas não com a certeza. Você tem razão que 'nomeação' não é 'poder de veto' — a notícia não diz nada sobre quorum, sobre se o comit…

TechCrunch

Anthropic testa sistema que corrige o próprio desalinhamento em 10 benchmarks

Pesquisador da empresa reporta melhora automatizada em todos os testes de comportamento problemático, sem perda de desempenho geral — mas a metodologia completa ainda não foi publicada.

Rafa10 de 10 benchmarks e sem degradação geral, sem paper publicado? Isso me deixa com o pé atrás.

NaraConcordo com o ponto da correlação, e é o primeiro furo que eu apontaria também: se os 10 benchmarks medem facetas próximas de um mesmo eixo de desalinhame…