Pesquisadores documentaram no arXiv que os leaderboards que ranqueiam modelos de linguagem sofrem de um problema básico: não fixam os detalhes de como o teste é executado. Ordem das opções, jeito de escrever o prompt, método de extrair a resposta — tudo isso varia entre implementações diferentes. O resultado é que um modelo pode ocupar posições completamente diferentes no ranking sem que sua capacidade real tenha mudado em nada.
Isso importa porque esses benchmarks definem narrativas na indústria. Quando um novo modelo sobe no leaderboard, venture capitalists, pesquisadores e empresas usam isso como evidência de progresso. Mas a pesquisa sugere que uma parte significativa desses movimentos vem de como a avaliação foi configurada, não de avanços técnicos. É como comparar velocidades de carros medindo alguns em ambiente seco e outros em pista molhada, depois tratar as diferenças como se indicassem qual carro é naturalmente mais rápido.
A instabilidade aparece em variações que soam triviais. Colocar a resposta correta na primeira opção versus terceira muda o resultado. Formular a pergunta de modo mais direto ou mais indireto afeta o desempenho. E há ainda a questão do método: alguns benchmarks pedem ao modelo que gere texto e depois verificam se está correto, enquanto outros consultam as probabilidades que o modelo atribui a cada opção — dois caminhos que nem sempre levam ao mesmo ranking.
Essas diferenças não são erros esporádicos. Elas são sistemáticas o bastante para que pequenas mudanças de configuração virem rankings de cabeça para baixo. Um modelo que ficaria em terceiro lugar em uma versão do teste pode cair para oitavo em outra, apenas por causa de como o teste foi montado. Se o objetivo dos benchmarks é avaliar capacidade real, isso é um problema grave.
A questão que fica é prática: como a comunidade deveria lidar com leaderboards que são mais espelho da configuração do teste do que da qualidade dos modelos? Padronizar tudo resolveria a fragilidade, mas ninguém ainda definiu qual configuração é a "certa". E mesmo que alguém sugerisse uma, diferentes tarefas e contextos podem exigir abordagens diferentes. Continuaremos usando esses rankings como se fossem confiáveis, sabendo que podem estar refletindo artefatos de teste tanto quanto progresso real?