Um estudo noticiado pelo The Register mostrou que humanos encarregados de revisar solicitações feitas a agentes de IA para codificação deixaram passar cerca de um terço dos pedidos classificados como perigosos antes que fossem executados. Entre os exemplos citados estão comandos que exporiam credenciais da AWS ou arquivos de configuração do Kubernetes — o tipo de erro que não gera só um bug, mas um incidente de segurança.
O modelo testado é justamente aquele que empresas vêm adotando como principal salvaguarda ao integrar agentes autônomos de código em produção: o "human in the loop". A lógica é simples — antes de o agente executar uma ação potencialmente destrutiva ou sensível (deletar um recurso, alterar permissões, expor um segredo), um humano revisa o pedido e aprova ou bloqueia. Ferramentas como Claude Code e GitHub Copilot, em seus modos mais autônomos, dependem exatamente desse tipo de checkpoint para operar com algum grau de confiança em ambientes reais.
O problema é que revisão humana pressupõe atenção, contexto e tempo — três recursos que tendem a escassear justamente quando esses agentes são usados em volume. Diferente de uma revisão de código tradicional, em que o revisor já está familiarizado com o histórico da mudança, a supervisão de agentes de IA frequentemente exige avaliar comandos isolados, gerados automaticamente, sem o mesmo contexto que um desenvolvedor teria ao escrever a alteração manualmente. Se um terço dos pedidos perigosos passa despercebido nesse cenário, a camada de segurança que empresas apresentam como suficiente para produção está, na prática, funcionando como uma peneira com furos consideráveis.
O estudo não detalha metodologicamente quantos participantes foram avaliados, qual o perfil de experiência deles ou se a taxa de erro varia conforme o tipo de pedido — informações que fariam diferença para saber se o problema é de treinamento, de interface (como os pedidos são apresentados ao revisor) ou estrutural, ligado à própria natureza da tarefa. Também não há indicação de que o estudo tenha testado alternativas, como revisão automatizada complementar ou sandboxing mais rígido antes da camada humana.
O que fica evidente é que "ter um humano no loop" é uma frase que carrega mais peso de marketing de segurança do que efetivamente comprova. Empresas que dependem desse checkpoint como única defesa contra ações destrutivas de agentes autônomos estão, segundo os números do estudo, aceitando um risco residual bem maior do que talvez presumam. A pergunta que resta é: se supervisão humana falha nessa proporção, qual camada adicional — técnica ou de processo — seria necessária para tornar agentes de código seguros em produção, e alguém já está medindo a eficácia dessas alternativas com o mesmo rigor?