Goodhart's Law: Die Benchmark-Falle

Stell dir vor, du misst den Erfolg von Programmierern an der Anzahl der geschriebenen Codezeilen. Das Ergebnis? Plötzlich schreiben alle unnötig langen, aufgeblähten Code. Genau dieses Phänomen beschreibt Goodhart’s Law.

Der britische Ökonom Charles Goodhart formulierte 1975 die Grundidee. Später (etwa 1997) fasste die Anthropologin Marilyn Strathern das Prinzip in dem berühmten Satz zusammen: *"Wenn ein Maßstab zu einem Ziel wird, hört er auf, ein guter Maßstab zu sein."*

Sobald Menschen (oder Algorithmen) wissen, dass sie nach einer bestimmten Metrik bewertet werden, beginnen sie, ihr Verhalten nur noch auf diese Metrik zu optimieren. Das eigentliche, tiefere Ziel – wie echte Software-Qualität, Intelligenz oder echter wirtschaftlicher Fortschritt – rückt dabei völlig in den Hintergrund.

Die Metrik verliert ihre objektive Aussagekraft, weil sie nicht mehr passiv beobachtet, sondern aktiv von den Beteiligten manipuliert (oder "gegamet") wird. Eine reine Zahl sagt plötzlich nichts mehr über den tatsächlichen Wert aus.

Um Systeme, besonders in der Künstlichen Intelligenz (KI) und im maschinellen Lernen, objektiv zu vergleichen, nutzt die Industrie sogenannte Benchmarks. Das sind standardisierte Tests oder Datensätze, die die Leistungsfähigkeit eines Modells messen sollen.

Stell es dir vor wie eine Abiturprüfung für komplexe Software. Ein Entwickler trainiert sein gigantisches KI-Modell, und am Ende wird es auf einem Benchmark-Datensatz (zum Beispiel zur präzisen Bilderkennung oder zum logischen Textverständnis) getestet. Das Modell mit dem allerhöchsten Score landet ganz oben auf einem öffentlichen Leaderboard (einer Rangliste).

Das Problem dabei: Benchmarks sind eigentlich nur *Stichproben* der Realität. Sie sollen als Indikator dienen, ob ein Modell generell "klug" oder "nützlich" ist.

Aber durch den extremen, kommerziellen Wettbewerb in der Tech-Industrie passiert genau das, wovor Goodhart gewarnt hat: Der Benchmark-Score wird vom bloßen Indikator zum ultimativen, alleinigen Endziel. Der Fokus verschiebt sich vom Lösen echter Probleme hin zum reinen Gewinnen des Tests.

Wenn der Benchmark-Score in der rasanten KI-Entwicklung zum absoluten Ziel wird, schlägt Goodhart’s Law gnadenlos zu. Entwickler und Algorithmen finden Wege, den Test zu "hacken", anstatt die KI wirklich intelligenter und nützlicher für den Alltag zu machen.

Ein extrem häufiges Phänomen in diesem Bereich ist das sogenannte Overfitting (Überanpassung). Das KI-Modell lernt die spezifischen Macken und Muster des Test-Datensatzes perfekt auswendig. Es versagt aber komplett, sobald es mit echten, unvorhersehbaren Daten in der realen Welt konfrontiert wird. Es wird zu einem "Fachidioten".

Ein weiteres großes Problem ist die Data Contamination (Datenkontamination). Dabei fließen die Fragen des Benchmark-Tests unabsichtlich (oder auch absichtlich) schon im Vorfeld in die massiven Trainingsdaten der KI ein.

Die KI wirkt im finalen Test dann extrem schlau und bricht alle Rekorde. Aber in Wahrheit hat sie die Antworten einfach nur vorher "gelesen" und auswendig gelernt! Wahre Intelligenz sieht definitiv anders aus.

Goodhart's Law und das fundamentale Problem falscher Anreize beschränken sich keineswegs nur auf Software und Algorithmen. In der Geschichte finden sich zahlreiche reale, fast komische Beispiele dafür, wie Metriken nach hinten losgehen können, wenn sie zu alleinigen Zielen werden.

Ein berühmtes Beispiel – das sehr oft mit Goodhart's Law in Verbindung gebracht wird – ist der Kobra-Effekt. Während der britischen Kolonialzeit in Indien wollte die Regierung die gefährliche Kobra-Plage eindämmen und zahlte eine Prämie für jede tote Schlange.

Das Resultat? Clevere Einheimische begannen, Kobras auf Farmen zu *züchten*, nur um sie anschließend zu töten und die staatliche Prämie zu kassieren.

Als die Regierung den Betrug bemerkte und die Zahlungen einstellte, wurden die massenhaft gezüchteten Kobras einfach in die Natur freigelassen. Am Ende gab es weit mehr Schlangen als vor der Maßnahme! Ähnliches passierte in einer Fabrik: Wurden Nägel nach Gewicht belohnt, produzierte man riesige, nutzlose Stahlblöcke.

Wir wissen jetzt, dass Metriken trügerisch werden, sobald sie zum einzigen Ziel mutieren. Aber wir können (und wollen) in Wirtschaft, Medizin und Technologie natürlich nicht auf Messbarkeit verzichten.

Wie entkommen wir also der gefährlichen Falle von Goodhart’s Law? Die wichtigste und effektivste Regel lautet: Setze niemals alles auf eine Karte.

Verwende stattdessen einen durchdachten Korb aus verschiedenen, ausbalancierten Metriken (Diversifizierung). Wenn du in einem Unternehmen den reinen Umsatz misst, solltest du gleichzeitig auch die langfristige Kundenzufriedenheit messen. Das erschwert das "Gaming" (Austricksen) des Systems enorm.

Im Bereich der KI-Benchmarks bedeutet das: Tests müssen ständig aktualisiert oder streng geheim gehalten werden (sogenannte *Holdout-Sets*). So kann die Künstliche Intelligenz die Antworten nicht heimlich im Voraus auswendig lernen.

Und schließlich müssen wir uns immer wieder demütig daran erinnern: Ein Benchmark-Score ist nur ein Schatten der Realität, niemals die komplexe Realität selbst.