Betrachte kleine farbige Raster, erkenne die versteckte Transformationsregel und vervollständige die fehlende Ausgabe. Keine Trivia, keine Formeln - nur visuelles Denken.
10 Fragen, an denen KI berühmt scheitert — Logikfallen, Zähltricks + 1 ARC-Puzzle. GPT-4o schafft 1/10.
ARC-AGI (Abstraction and Reasoning Corpus for Artificial General Intelligence) wurde von François Chollet entwickelt — Erfinder von Keras und führender KI-Forscher bei Google — als rigoroser Test allgemeiner Intelligenz. Anders als Benchmarks, die das Auswendiglernen von Trainingsdaten belohnen, testet ARC-AGI eine Fähigkeit, die Menschen mühelos beherrschen: aus wenigen Beispielen eine neue Regel zu lernen und sie auf einen neuen Fall anzuwenden.
Jedes Puzzle besteht aus farbigen Rastertransformationen. Du siehst 2–3 Eingabe-/Ausgabepaare, erkennst die Regel und vervollständigst einen neuen Testfall. Die Raster sind klein, die Farben einfach und es ist kein Fachwissen erforderlich. Trotzdem bleiben diese Aufgaben für KI außerordentlich schwierig.
Als ARC-AGI-2 im März 2025 veröffentlicht wurde, waren die Ergebnisse eindeutig: GPT-4o erzielte 0 %, Claude 3.7 Sonnet erzielte 0 %, Gemini 2.0 Flash erzielte 1,3 % — verglichen mit einem menschlichen Durchschnitt von 60 %. Jede Aufgabe war von mindestens zwei Menschen in unter zwei Versuchen gelöst worden. Die Kluft offenbart einen grundlegenden Unterschied zwischen KI-Mustererkennung und menschlichem Denken:
Die ARC Prize Foundation veranstaltet jährlich einen Wettbewerb mit Millionenpreisen für KI-Systeme, die menschliches Niveau bei ARC-AGI-Aufgaben ohne astronomische Rechenkosten erreichen. Der Wettbewerb hat bedeutende Forschung zu echtem maschinellem Denken vorangetrieben, wobei die Ergebnisse jedes Jahr besser werden. Der ARC-AGI-1-Benchmark gilt inzwischen als weitgehend gelöst von Top-Systemen; ARC-AGI-2 ist die aktuelle Grenze.
Alle ARC-AGI-Benchmark-Daten sind Open Source unter der Apache License 2.0 und damit frei verfügbar für Forschung, Bildung und Tools wie dieses.