Um desafio rápido de raciocínio montado em cima dos pontos cegos clássicos da IA: contar letras, premissas escondidas, armadilhas de matemática e um padrão visual.
Modelos de linguagem como o ChatGPT (GPT-4o) são treinados para prever o próximo token de uma sequência, e não para raciocinar a partir do zero. Isso os deixa surpreendentemente ruins em tarefas que parecem simples para gente:
O ARC-AGI (Abstraction and Reasoning Corpus for Artificial General Intelligence) foi criado por François Chollet, pioneiro do aprendizado profundo, como um benchmark de inteligência geral, e não de conhecimento decorado. Cada quebra-cabeça mostra alguns exemplos de grade, entrada → saída, e você precisa deduzir a regra para completar um caso novo.
Quando o ARC-AGI-2 foi lançado, em março de 2025, todos os modelos de ponta (GPT-4o, Claude 3.7, Gemini 2.0 Flash) ficaram entre 0% e 1,3%. A média humana é de 60%. Só com estruturas caríssimas de múltiplas tentativas, a um custo de US$ 30 a US$ 77 por questão, os sistemas de IA chegaram perto do desempenho humano. O conjunto de dados do ARC-AGI é publicado sob licença Apache 2.0 pela ARC Prize Foundation.
O GPT-4o, sem raciocínio estendido, acerta cerca de 1 em 10 das perguntas deste desafio, segundo pesquisas publicadas e casos de falha amplamente relatados entre 2024 e 2025. A única que ele resolve de forma confiável, a charada dos 28 dias, já ficou tão famosa que aparece nos dados de treino. Em variantes novas de todas as outras, a taxa de erro vai de 40% a 100%.
A maioria das pessoas que lê com calma faz de 6 a 8 acertos em 10. O quebra-cabeça ARC e a charada do retrato são os mais difíceis: derrubam gente e IA, por motivos diferentes.
5 quebra-cabeças originais no estilo ARC-AGI, o benchmark que trava a IA de ponta. A média humana é 60%. A IA sem apoio fica em ~0%. Grátis.