Fato ou fake? O novo modelo de AI da Meta, o Llama 4, parecia um monstro de desempenho — até descobrir que o truque estava no bastidor.

No sábado, a Meta lançou duas novas versões do Llama 4: o Scout (menorzinho) e o Maverick (médio). Poucas horas depois, o Maverick já aparecia em segundo lugar no LMArena — um site onde humanos testam e comparam IAs em batalhas de chat.

• Parecia que a Meta tinha derrubado gigantes como GPT-4o e Gemini 2.0 Flash. Só parecia.

🕵️ Malandragem do Tio Zuck: Foi descoberto que a Meta usou no ranking uma versão experimental e turbinada para conversa do Maverick — que não é a mesma versão que foi liberada ao público.

Em outras palavras: o modelo que brilhou no ranking não é o mesmo que você vai usar.

O LMArena chamou a jogada de “confusa”, criticou a falta de transparência e prometeu mudar as regras. Já a Meta respondeu que “testa várias variantes personalizadas” — e seguiu o baile.

Por que isso importa? Benchmarks como o LMArena são a vitrine do mercado de IA. É por ali que desenvolvedores, empresas e investidores decidem quem está entregando mais.

Se uma empresa pode customizar seu modelo só para ir bem no teste — mas libera outra versão pro público — o ranking vira vitrine enganosa. Pior: todo mundo começa a tomar decisões com base em números que não refletem a realidade.