Olhe grades coloridas minúsculas, descubra a regra de transformação escondida e complete a saída que falta. Sem trivia, sem fórmulas, só raciocínio visual.
10 perguntas em que a IA tropela: pegadinhas de lógica, contagem e 1 desafio ARC. O GPT-4o acerta 1/10.
O ARC-AGI (Abstraction and Reasoning Corpus for Artificial General Intelligence) foi criado por François Chollet, autor do Keras e pesquisador de IA no Google, como um teste rigoroso de inteligência geral. Enquanto outros benchmarks premiam quem decorou os dados de treino, o ARC-AGI cobra uma habilidade que qualquer pessoa usa sem esforço: aprender uma regra nova com poucos exemplos e aplicá-la a um caso inédito.
Cada quebra-cabeça é uma transformação de grades coloridas. Você vê de 2 a 3 pares de entrada e saída, deduz a regra e completa um caso novo. As grades são pequenas, as cores são simples e nenhum conhecimento específico é exigido. Mesmo assim, essas tarefas continuam extraordinariamente difíceis para a IA.
Quando o ARC-AGI-2 saiu, em março de 2025, o resultado foi duro: GPT-4o marcou 0%, Claude 3.7 Sonnet marcou 0% e Gemini 2.0 Flash marcou 1,3%, contra uma média humana de 60%. Cada tarefa já tinha sido resolvida por pelo menos duas pessoas em menos de duas tentativas. Essa distância revela uma diferença de fundo entre o reconhecimento de padrões da IA e o raciocínio humano:
A ARC Prize Foundation organiza uma competição anual que oferece milhões de dólares para sistemas de IA capazes de igualar o desempenho humano nas tarefas do ARC-AGI sem custos astronômicos de processamento. A disputa empurrou muita pesquisa séria sobre raciocínio de máquina, e os resultados melhoram a cada ano. O benchmark ARC-AGI-1 já é considerado praticamente resolvido pelos melhores sistemas; o ARC-AGI-2 é a fronteira atual.
Todos os dados do benchmark ARC-AGI são abertos, sob a Licença Apache 2.0, e ficam livres para pesquisa, educação e ferramentas como esta.