Inside the Machine: LLM-Mechanik entschlüsselt

LLMs verarbeiten Text nicht Wort für Wort. Stattdessen zerlegen sie ihn in kleine Einheiten, sogenannte Tokens. Ein Token kann ein ganzes Wort, eine Silbe oder nur ein einzelner Buchstabe sein.

Stell dir Tokens als die Bausteine des KI-Vokabulars vor. Im Englischen ist ein Token oft etwa vier Zeichen lang. Das Wort „Apfel“ wäre ein Token, aber ein komplexes Wort wie „unverhältnismäßig“ wird mathematisch in mehrere Teile zerlegt.

Das erklärt, warum eine KI brillante Essays schreibt, aber manchmal scheitert, wenn sie die Buchstaben im Wort „Erdbeere“ zählen soll. Der Tokenisierungsprozess verschleiert die einzelnen Buchstaben. Für die KI ist das Token ein unteilbares Konzept, keine Kette von Einzelbuchstaben.

Dieses Wissen ist auch praktisch: Kommerzielle KI-Tools rechnen oft nach Tokens ab. Zudem hat jedes Modell ein striktes, fest codiertes Limit, wie viele Tokens es in einem Durchgang verarbeiten kann.

Bevor ein neuronales Netz Tokens verarbeiten kann, muss es diese in seine eigene Sprache übersetzen: Mathematik. Das geschieht durch Embeddings, die Text in Zahlenlisten umwandeln.

Stell dir eine Landkarte vor, auf der Wörter mit ähnlicher Bedeutung nah beieinander liegen. „Hund“ und „Welpe“ wären direkte Nachbarn, während „Hund“ und „Toaster“ weit voneinander entfernt liegen. Durch diese Koordinaten (Vektoren) kann die KI den mathematischen Abstand zwischen Konzepten berechnen.

Dieser hochdimensionale Raum erlaubt es dem Modell, tiefe semantische Beziehungen zu erfassen. Dank Embeddings lernt die KI, dass der Abstand zwischen „König“ und „Mann“ derselbe ist wie zwischen „Königin“ und „Frau“.

Embeddings sind die Geheimzutat für das nuancierte Kontextverständnis. Das Modell weiß nicht nur, wie ein Wort aussieht; es bildet mathematisch ab, wo dieses Konzept im Verhältnis zum gesamten menschlichen Wissen existiert.

Der wahre Durchbruch moderner LLMs war nicht nur „mehr Daten“. Es war eine spezielle Software-Architektur namens Transformer, die Forscher im Jahr 2017 vorstellten.

Vorher lasen KIs Texte sequenziell – Wort für Wort von links nach rechts. In alten Modellen wirkte ein langer Absatz wie das Spiel „Stille Post“: Der Kontext verschlechterte sich mit jedem Wort. Die KI vergaß den Anfang eines Satzes oft, bis sie am Ende ankam.

Transformer änderten alles, indem sie gesamte Textsequenzen gleichzeitig verarbeiteten. Da Daten plötzlich parallel verarbeitet werden konnten, ließen sich Modelle auf riesigen Datensätzen mit beispielloser Geschwindigkeit trainieren.

Diese Architektur hat die KI-Welt revolutioniert. Jedes große Sprachmodell, das heute den Markt dominiert – einschließlich GPT, Claude und Llama – basiert fundamental auf diesem Transformer-Design.

Die Kerninnovation im Transformer ist der Self-Attention-Mechanismus. Damit findet die KI heraus, welche Wörter in einem Satz füreinander wichtig sind, um den Kontext zu entschlüsseln.

Nimm den Satz: „Die Bank am Fluss war schlammig.“ Vergleiche ihn mit: „Die Bank hat meinen Kredit bewilligt.“ Das Wort „Bank“ hat völlig unterschiedliche Bedeutungen. Self-Attention erlaubt der KI, alle umgebenden Wörter gleichzeitig zu prüfen.

Während das Modell Text verarbeitet, weist es Wörtern mathematische „Gewichte“ zu. Sieht es das Wort „Fluss“, richtet es seine Aufmerksamkeit stark auf „Bank“ und erkennt sofort die geografische Bedeutung.

Dieser Mechanismus ermöglicht es dem Modell, Verbindungen zwischen Pronomen und Substantiven über weite Distanzen zu ziehen. Das verleiht der KI die fast menschliche Fähigkeit, komplexen Erzählungen und Gesprächsverläufen präzise zu folgen.

Jedes LLM hat ein striktes Kurzzeitgedächtnis, das als Kontextfenster bezeichnet wird. Das ist die maximale Anzahl an Tokens, die das Modell in einer Interaktion verarbeiten und behalten kann.

Hat ein Modell ein Fenster von 8.000 Tokens, kann es etwa 6.000 Wörter im Arbeitsspeicher halten. Wenn du der KI einen 500-seitigen Vertrag gibst, „vergisst“ sie den Anfang, sobald sie das Ende erreicht, falls das Fenster zu klein ist.

In letzter Zeit wurden Kontextfenster auf massive Größen erweitert – teils über eine Million Tokens. Das entspricht mehreren dicken Büchern. Doch diese riesigen Fenster haben einen Haken.

Forscher nennen es das „Nadel im Heuhaufen“-Problem: Selbst wenn eine KI ein riesiges Dokument akzeptiert, fällt es ihr manchmal schwer, ein winziges Detail in der Mitte des Textes präzise abzurufen.

Wusstest du, dass man die Kreativität eines LLMs direkt steuern kann? Entwickler nutzen dafür mathematische Regler, wobei der bekannteste die Temperature ist.

Da LLMs Wahrscheinlichkeitsmaschinen sind, berechnen sie für das nächste Wort verschiedene Optionen. Eine niedrige Temperature (z. B. 0.1) zwingt die KI, fast immer das wahrscheinlichste Wort zu wählen. Das Ergebnis ist sachlich und vorhersehbar.

Eine hohe Temperature (z. B. 0.9) erlaubt es der KI, auch weniger wahrscheinliche Wörter zu wählen. Das bringt Zufall in den Text und macht die Ausgabe kreativer, poetischer oder überraschender – ideal für Brainstorming.

Ein weiterer Parameter, Top-P, schränkt die Auswahl auf einen bestimmten Prozentsatz der wahrscheinlichsten Wörter ein. Durch das Tuning dieser Werte finden Entwickler die perfekte Balance zwischen Logik und Kreativität.

Wenn ein LLM auf dem offenen Internet trainiert wird, entsteht ein „Basismodell“. Es weiß von allem ein bisschen, ist aber kein Experte. Um es für einen Job zu spezialisieren, nutzen Entwickler Fine-Tuning.

Beim Fine-Tuning wird das vortrainierte Basismodell einer zweiten Trainingsrunde unterzogen. Dabei wird ein viel kleinerer, kuratierter und hochwertiger Datensatz für ein spezifisches Fachgebiet verwendet.

Ein Krankenhaus könnte ein Modell zum Beispiel mit tausenden medizinischen Fachzeitschriften trainieren. Die KI behält ihr allgemeines Sprachverständnis, passt aber ihre internen Verbindungen an, um klinische Präzision zu priorisieren.

Dieser Prozess ist extrem effizient. Statt Millionen für das Training einer komplett neuen KI auszugeben, können Entwickler ein bestehendes Modell für einen Bruchteil der Kosten zu einem erstklassigen Spezialisten machen.

Ein rohes LLM will nur Textmuster vervollständigen. Fragt man es: „Wie knacke ich ein Schloss?“, könnte es eine Anleitung liefern, einfach weil solche Texte in seinen Trainingsdaten existieren.

Um aus diesem Textvervollständiger einen sicheren Assistenten zu machen, nutzen Entwickler RLHF (Reinforcement Learning from Human Feedback). Es ist die Erziehungsmethode für Sprachmodelle.

Menschliche Tester bewerten dabei die Antworten der KI. Ist die KI höflich und lehnt gefährliche Anfragen ab, erhält sie eine mathematische Belohnung. Verhält sie sich toxisch oder voreingenommen, wird sie bestraft.

Die KI lernt schnell, ihr Verhalten anzupassen, um Belohnungen zu maximieren. Dieser Prozess ist die Brücke zwischen einer chaotischen Autovervollständigung und einem hilfreichen, sicheren Chatbot.

LLMs halluzinieren manchmal, weil sie sich nur auf ihr statisches, internes Gedächtnis verlassen. Was aber, wenn wir der KI ein Buch zum Nachschlagen geben? Das ist die Magie von RAG (Retrieval-Augmented Generation).

Anstatt nur aus dem Kopf zu antworten, sucht ein RAG-System zuerst in einer vertrauenswürdigen Datenbank – wie einem Firmen-Wiki oder Wikipedia – nach Fakten zu deiner Anfrage.

Es findet die verifizierten Daten und fügt sie unsichtbar in das Kontextfenster ein. Der KI wird befohlen: „Beantworte die Frage nur auf Basis dieses Dokuments.“

So muss die KI nicht raten oder auf veraltete Daten vertrauen. RAG ist aktuell der effektivste Weg, Halluzinationen zu eliminieren, da die KI in Echtzeit auf echtes, aktuelles Wissen zugreifen kann.

Die nächste Grenze für LLMs ist der Wandel von passiven Textgeneratoren zu aktiven KI-Agenten. Ein Agent antwortet nicht nur; er nutzt Werkzeuge, um komplexe Pläne auszuführen.

Entwickler geben LLMs Zugriff auf Software-Funktionen. Ein Agent kann Code nicht nur schreiben, sondern ihn auch testen, Fehlermeldungen lesen und den Code selbstständig korrigieren.

Fragst du einen Agenten: „Plane meinen Urlaub“, schreibt er nicht nur eine Liste. Er kann das Web nach Flugpreisen durchsuchen, dein Budget prüfen und über Schnittstellen (APIs) das Hotel direkt buchen.

Agenten markieren den Sprung von der KI als Denk-Werkzeug zur KI als Handlungs-Werkzeug. Das wird die Art und Weise, wie wir Software bedienen, grundlegend verändern.