Wer KI nutzt, muss nicht im Detail verstehen, wie sie funktioniert. Manchmal siegt aber die Neugier. Und oft hilft ein tieferes Verständnis ganz praktisch weiter.
Zum Beispiel bei der Frage, ob personenbezogener Text nach der Tokenisierung und Vektorisierung noch personenbeziehbar ist. Die Antwort lautet: grundsätzlich ja. Tokens sind nur Nummern in einem festen Vokabular. Aus den Nummern lässt sich der ursprüngliche Text eins zu eins zurückgewinnen. Auch die Vektoren sind keine Einbahnstraße: Jedes Token hat in der Embedding-Tabelle des Modells einen festen Vektor, der sich ihm wieder zuordnen lässt.
Ein tieferes Verständnis hilft auch bei der Einordnung, was ein Sprachmodell eigentlich tut, und ist damit ein Baustein guter KI-Kompetenz. Denn ein Sprachmodell „denkt“ nicht im menschlichen Sinn. Es berechnet Schritt für Schritt, welches Wort am wahrscheinlichsten als nächstes folgt.
Einer unserer Juristen hat dafür (mithilfe von KI) eine interaktive Visualisierung gebaut, angelehnt an das offene Modell Llama 3.1 8B. Sie zeigt, was zwischen Eingabe und Ausgabe passiert: vom Satz über Tokens und Vektoren durch 32 Schichten bis zum nächsten Wort. Die Darstellung ist (relativ) einfach gehalten, für Interessierte gibt es technische Details und Formeln.
Begeben Sie sich auf die Reise durch das KI-Modell. Klicken Sie hier.
Keine Kommentare