AI-Architektur: Blick in die Maschine

Du weißt bereits, dass neuronale Netze Daten verarbeiten. Aber wie schaffen es moderne Sprachmodelle, riesige Texte zu verstehen, ohne den Kontext zu verlieren? Die Antwort liegt in der Transformer-Architektur und ihrem Herzstück: dem Self-Attention-Mechanismus.

Früher verarbeiteten Modelle Text sequenziell – Wort für Wort. Bei langen Sätzen „vergaß“ das System den Anfang, bevor es am Ende ankam. Self-Attention löst dies, indem es die gesamte Sequenz gleichzeitig analysiert. Es weist jedem Wort mathematisch ein „Gewicht“ zu, basierend auf seiner Relevanz für alle anderen Wörter im Text.

In der Phrase „Die Bank am Fluss“ erkennt der Mechanismus die starke Verbindung zwischen „Bank“ und „Fluss“. So wird der semantische Kontext korrekt bestimmt und eine Verwechslung mit einem Geldinstitut vermieden. Diese parallele Verarbeitung ermöglicht erst die enorme Skalierbarkeit moderner KIs.

Es gibt jedoch eine Hürde: die quadratische Komplexität. Der Rechenaufwand steigt quadratisch mit der Textlänge. Dies ist der Hauptgrund für strikte Kontext-Limits und treibt die Forschung an „Sparse Attention“ voran, um diesen technischen Engpass zu umgehen.

Generative KI versteht keine Sprache, sie versteht Geometrie. Um Konzepte zu verarbeiten, übersetzt die KI Wörter, Bilder oder Töne in dichte Zahlenlisten, sogenannte Embeddings. Diese leben in einem hochdimensionalen mathematischen Reich: dem Latent Space.

Stell dir einen 3D-Graphen vor, in dem „Hund“ und „Welpe“ nah beieinander liegen, während „Auto“ weit entfernt ist. Moderne Modelle nutzen Tausende von Dimensionen, um nuancierte semantische Beziehungen abzubilden. Diese räumliche Kartierung erlaubt konzeptionelle Algebra, wie: `Vektor('König') - Vektor('Mann') + Vektor('Frau') ≈ Vektor('Königin')`.

Um verwandte Konzepte zu finden, berechnet das System den Winkel zwischen diesen Vektoren mittels Kosinus-Ähnlichkeit. Je kleiner der Winkel, desto näher liegt die Bedeutung. Das ist die Basis für das tiefe Verständnis von Zusammenhängen in großen Sprachmodellen.

Doch hier lauert der „Fluch der Dimensionalität“. In ultra-hohen Dimensionen verhält sich Geometrie oft kontraintuitiv. Dies kann dazu führen, dass das Modell eigentlich unterschiedliche Konzepte vermischt, wenn sie im Latent Space überlappende Merkmale aufweisen.

Ein rohes KI-Basismodell ist im Grunde nur ein extrem schlaues „Autofill“. Fragst du es etwas, könnte es antworten – oder einfach eine Liste ähnlicher Fragen erstellen oder toxischen Text ausgeben. Damit es zum hilfreichen Assistenten wird, nutzen Ingenieure RLHF (Reinforcement Learning from Human Feedback).

RLHF führt eine zweite KI ein, das Reward-Modell. Menschliche Tester bewerten die Ausgaben des Basismodells nach Hilfreichkeit, Genauigkeit und Sicherheit. Das Reward-Modell lernt diese menschlichen Präferenzen und wird so zum digitalen Lehrer für das Hauptmodell.

Anschließend verfeinert ein Algorithmus – meist PPO – das Basismodell. Die KI generiert Antworten, das Reward-Modell vergibt Punkte, und das Basismodell passt seine internen Gewichte an, um die Belohnung zu maximieren. So lernt die KI, was wir von ihr erwarten.

Dabei gibt es jedoch die sogenannte Alignment Tax. Wenn Modelle zu stark auf Sicherheit und spezifische Formate getrimmt werden, verlieren sie manchmal einen Teil ihrer ursprünglichen Kreativität oder ihrer rohen Problemlösungskompetenz.

Selbst die besten Modelle leiden unter zwei Schwächen: Ihr Wissen hat ein Ablaufdatum und sie neigen zu Halluzinationen. Der moderne Industriestandard dagegen ist RAG oder Retrieval-Augmented Generation.

RAG ändert den Workflow von „Auswendiglernen“ zu einer „Open-Book-Prüfung“. Stellt man einem RAG-System eine Frage, verlässt es sich nicht sofort auf sein internes Wissen. Stattdessen durchsucht es zuerst eine externe Vektordatenbank nach verifizierten Dokumenten.

Die relevantesten Abschnitte werden extrahiert und nahtlos in den Hintergrund-Prompt deiner Anfrage injiziert. Die KI erhält dann die Anweisung: „Beantworte die Frage nur auf Basis der bereitgestellten Dokumente“. So wird das Modell an die Realität gekettet.

Trotz des Erfolgs gibt es neue Fehlerquellen. Wenn die Suche irrelevante oder widersprüchliche Dokumente liefert, wird auch die Antwort schlecht. Debugging bei RAG bedeutet daher immer zu klären: War die Suche fehlerhaft (Retrieval) oder die Logik der KI (Generation)?

Wir kennen die mathematischen Gleichungen der KI und sehen die Milliarden von Zahlen (Gewichte) in ihrem Inneren. Dennoch bleibt KI eine Black Box. Wir können kaum erklären, *warum* ein Modell genau dieses Wort wählte. Das Feld der Mechanistischen Interpretierbarkeit will das ändern.

Man kann es sich wie Neurowissenschaft für künstliche Gehirne vorstellen. Forscher versuchen, neuronale Netze zu entschlüsseln, indem sie spezifische „Schaltkreise“ in den Gewichten identifizieren. Manchmal finden sie isolierte „Konzept-Neuronen“, die nur bei Ideen wie „Eiffelturm“ oder „Täuschung“ feuern.

Die größte Hürde ist die Superposition. Modelle sind extrem effizient und widmen nicht jedem Konzept ein eigenes Neuron. Stattdessen komprimieren sie Tausende Konzepte in weniger Dimensionen, indem sie diese mathematisch überlagern. Das macht das Auslesen der Gedanken extrem komplex.

Diese Überlagerung zu entwirren, ist entscheidend für die Sicherheit. Wenn wir den internen Zustand einer KI wirklich lesen können, lässt sich beweisen, ob sie sicher handelt oder heimlich ein gefährliches, verborgenes Ziel verfolgt.