Du nutzt ChatGPT, Claude oder ein anderes Sprachmodell täglich und fragst dich manchmal, warum du bei der gleichen Frage nie exakt die gleiche Antwort bekommst, oder warum das Tool bei manchen Themen ins Leere läuft? Zum Auftakt der neuen Reihe „So tickt KI“ öffnet Sunitha die Motorhaube und erklärt dir in wenigen Minuten die vier Grundprinzipien, nach denen ein Sprachmodell arbeitet. Kein technischer Vortrag, sondern einfache Prinzipien mit anschaulichen Beispielen, damit du typische Phänomene besser einordnen und mehr aus deinem KI-Tool herausholen kannst.
Ergebnis: Nach diesem Snip verstehst du die vier Grundprinzipien hinter jedem Sprachmodell und kannst dir erklären, warum Antworten variieren, woher das Modell sein Wissen hat und wie du deine Prompts gezielter formulierst.
- Prinzip 1, Vorhersage: Ein Sprachmodell sagt vorher, welcher Wortbaustein als Nächstes am wahrscheinlichsten kommt, wählt dabei aber nicht immer die wahrscheinlichste Option, sondern wechselt bewusst ab. Deshalb bekommst du auch bei identischem Prompt nie exakt die gleiche Antwort.
- Prinzip 2, Training: Das Modell lernt in zwei Phasen. Zuerst liest es riesige Mengen an Texten, Code und anderem Material, danach werden seine Antworten bewertet und darüber weiter verfeinert. Beides hat einen Stichtag, den Trainings-Cutoff, weshalb aktuelle Tools zusätzlich eine Websuche starten, wenn deine Frage neuere Ereignisse betrifft.
- Prinzip 3, Token: Das Modell denkt nicht in ganzen Wörtern, sondern in kleineren Bausteinen, sogenannten Token. Als Faustregel gilt, dass rund 1.000 deutsche Wörter etwa 1.250 Token ergeben. Das erklärt, warum Nutzung bei intensiven Plänen pro Token abgerechnet wird und warum jedes Modell ein begrenztes Kontextfenster hat.
- Prinzip 4, Attention: Das Modell liest deinen Prompt nicht einfach von links nach rechts, sondern gewichtet den gesamten Input gegeneinander nach dem Prinzip der Attention. So erkennt es zum Beispiel, ob mit „Bank“ ein Sitzmöbel oder ein Geldinstitut gemeint ist. Je klarer du in deinem Prompt benennst, worauf es ankommt, desto zuverlässiger kann das Modell gewichten.
- Verstehen, dass ein Sprachmodell immer nur den wahrscheinlich nächsten Wortbaustein vorhersagt und dabei bewusst variiert.
- Nachvollziehen, woher das Modell sein Wissen hat und was ein Trainings-Cutoff bedeutet.
- Das Konzept der Token kennen, um Kosten und Kontextfenster besser einzuschätzen.
- Verstehen, wie Attention hilft, mehrdeutige Begriffe im Kontext richtig zuzuordnen, und was das für gute Prompts bedeutet.
- Erklären, warum die gleiche Frage im Team zu unterschiedlichen Antworten führt.
- Einschätzen, wann eine Websuche im Tool sinnvoll ist, weil die Frage aktuelle Ereignisse betrifft.
- Token-Kosten und Kontextfenster-Grenzen realistisch einordnen, bevor man in einen intensiveren Plan wechselt.
- Prompts klarer formulieren, indem man den wichtigen Kontext eindeutig benennt statt ihn implizit mitschwingen zu lassen.
Als nächstes
There are no reviews yet.