Warum scheitert ChatGPT an diesen Fragen?

KI-Sprachmodelle wie ChatGPT (GPT-4o) sind darauf trainiert, das nächste Token in einer Sequenz vorherzusagen — nicht, von Grundprinzipien aus zu denken. Das macht sie überraschend schlecht bei Aufgaben, die für Menschen einfach erscheinen:

• Buchstaben zählen — KI verarbeitet Text als „Tokens" (Zeichengruppen), nicht als einzelne Buchstaben. „Strawberry" wird zu „straw" + „berry", wodurch die R's verborgen bleiben.
• CRT-Mathefallen — Der Cognitive Reflection Test ist so konzipiert, dass er eine intuitive falsche Antwort auslöst. KI-Modelle, die auf Text trainiert sind, übernehmen dieselben Intuitionen aus von Menschen geschriebenen Daten.
• Logikrätsel mit versteckten Annahmen — Wenn die Aufgabenstellung eine subtile Implikation enthält (z. B. „er ist tot"), übersieht KI diese oft und beantwortet die oberflächliche Frage.
• ARC-AGI-Muster — ARC-AGI testet die Fähigkeit, aus wenigen Beispielen neue Regeln zu lernen. Basis-Frontier-Modelle erreichen fast 0 %, weil sie nicht wie Menschen verallgemeinern können.

Was ist ARC-AGI?

ARC-AGI (Abstraction and Reasoning Corpus for Artificial General Intelligence) wurde von Deep-Learning-Pionier François Chollet als Benchmark für allgemeine Intelligenz entwickelt — nicht nur für auswendig gelerntes Wissen. Jedes Puzzle zeigt einige Eingabe→Ausgabe-Rasterbeispiele, und man muss die Regel ableiten, um einen neuen Testfall zu vervollständigen.

Als ARC-AGI-2 im März 2025 gestartet wurde, erzielten alle Frontier-KI-Modelle — GPT-4o, Claude 3.7, Gemini 2.0 Flash — zwischen 0 % und 1,3 %. Der menschliche Durchschnitt liegt bei 60 %. Nur mit extrem teurem Multi-Versuch-Scaffolding (30–77 $ pro Frage) näherten sich KI-Systeme der menschlichen Leistung. Der ARC-AGI-Datensatz steht unter der Apache 2.0-Lizenz der ARC Prize Foundation.

Wie schneidest du gegenüber ChatGPT ab?

GPT-4o (ohne erweitertes Nachdenken) erreicht bei den Fragen in dieser Challenge etwa 1/10, basierend auf dokumentierter Forschung und weit verbreiteten Fehlerberichten aus den Jahren 2024–2025. Die einzige Frage, die es zuverlässig richtig beantwortet (das 28-Tage-Rätsel), ist inzwischen bekannt genug, um in den Trainingsdaten von GPT zu erscheinen. Bei neuartigen Varianten aller anderen Fragen liegt die Fehlerquote zwischen 40–100 %.

Die meisten Menschen, die diese Fragen sorgfältig angehen, erreichen 6–8/10. Das ARC-Puzzle und das „Porträt"-Logikrätsel sind am schwierigsten — sie bringen sowohl Menschen als auch KI zum Stolpern, wenn auch aus unterschiedlichen Gründen.