Test de razonamiento abstracto

¿Qué es ARC-AGI?

ARC-AGI (Abstraction and Reasoning Corpus for Artificial General Intelligence) lo diseñó François Chollet, creador de Keras e investigador de IA en Google, como una prueba exigente de inteligencia general. A diferencia de los benchmarks que premian memorizar datos de entrenamiento, ARC-AGI mide una habilidad que los humanos usamos sin esfuerzo: aprender una regla nueva con dos o tres ejemplos y aplicarla a un caso que nunca vimos.

Cada acertijo son transformaciones de cuadrículas de colores. Ves 2 o 3 pares de entrada y salida, descubres la regla y completas un caso de prueba nuevo. Las cuadrículas son pequeñas, los colores simples y no hace falta ningún conocimiento previo. Aun así, estas tareas siguen siendo extraordinariamente difíciles para la IA.

¿Por qué la IA falla en ARC-AGI?

Cuando se publicó ARC-AGI-2 en marzo de 2025, los resultados fueron contundentes: GPT-4o sacó 0 %, Claude 3.7 Sonnet sacó 0 % y Gemini 2.0 Flash sacó 1,3 %, frente a un promedio humano del 60 %. Cada tarea había sido resuelta por al menos dos personas en menos de dos intentos. La brecha revela una diferencia de fondo entre el emparejamiento de patrones de la IA y el razonamiento humano:

• La IA depende de lo memorizado. Los modelos de lenguaje predicen tokens a partir de patrones vistos en el entrenamiento. ARC-AGI usa a propósito reglas nuevas, fuera de distribución, que no se pueden memorizar.
• Los humanos aprendemos conceptos sobre la marcha. Con solo 2 ejemplos, una persona extrae una regla abstracta y la aplica. Esa generalización con pocos ejemplos es el corazón de la inteligencia general.
• Ganar le cuesta carísimo a la IA. Los sistemas con mejor puntaje en ARC-AGI-2 gastaron entre 30 y 77 dólares por acertijo, con miles de intentos. Un humano no necesita nada de eso.

¿Qué es el ARC Prize?

La ARC Prize Foundation organiza cada año una competencia con millones de dólares en premios para sistemas de IA capaces de igualar el nivel humano en ARC-AGI sin costos de cómputo astronómicos. La competencia ha impulsado investigación seria sobre razonamiento automático y los resultados mejoran año tras año. El benchmark ARC-AGI-1 se considera hoy prácticamente resuelto por los mejores sistemas; ARC-AGI-2 es la frontera actual.

Todos los datos del benchmark ARC-AGI son de código abierto bajo la Apache License 2.0, así que cualquiera puede usarlos para investigar, enseñar o construir herramientas como esta.

¿Quieres seguir midiendo tu cabeza? Mira el resto de herramientas gratis de NerdSip o vuelve a la página principal en español.