Zum Inhalt springen
PeakPrivacyDocs
AnwendenVerwaltenEinführenSicherheit & DatenschutzEntwickler

Token und Kontextfenster

Was Token sind, was ein Kontextfenster ist und warum lange Chats mit der Zeit ungenauer werden.

Als Markdown anzeigen

Sprachmodelle lesen und schreiben nicht in Wörtern, sondern in Token. Wie viele Token ein Modell gleichzeitig berücksichtigen kann, ist begrenzt. Deshalb wird ein langer Chat irgendwann ungenau. Mit einem neuen Chat pro Aufgabe vermeiden Sie das meist.

Was ein Token ist

Ein Token ist ein Textbaustein: ein kurzes Wort, ein Wortteil, ein Satzzeichen oder eine Ziffernfolge. Bevor ein Modell einen Text verarbeitet, zerlegt es ihn in solche Bausteine.

Token sind für ein Modell, was Silben beim Vorlesen sind. Kurze Wörter sind ein Baustein, lange Wörter mehrere.

Jedes Modell zerlegt etwas anders. Das folgende Beispiel ist deshalb nur eine Illustration:

Die Spesen werden monatlich abgerechnet.
Die | Sp | esen | werden | monat | lich | ab | gerechnet | .

Als grobe Faustregel gilt:

  • Ein deutsches Wort entspricht im Schnitt ein bis zwei Token. Lange Zusammensetzungen wie «Mehrwertsteuerabrechnung» brauchen mehr.
  • Eine A4-Seite Fliesstext liegt grob zwischen 500 und 1'000 Token.
  • Für denselben Inhalt braucht Deutsch meist mehr Token als Englisch.

Das Spesenreglement der Alpenblick Treuhand AG umfasst vier A4-Seiten. Nach dieser Faustregel sind das grob 2'000 bis 4'000 Token.

Eingabe und Ausgabe

Jede Antwort hat zwei Seiten:

  • Eingabe: alles, was das Modell für diese eine Antwort liest. Dazu gehören Ihre Nachricht, der bisherige Chatverlauf, die Anweisungen eines Assistenten oder Ihrer Organisation, angehängter Text und die Passagen, die PeakPrivacy in Ihrem Wissen gefunden hat.
  • Ausgabe: die Antwort, die das Modell schreibt.

Im Alltag ist meist die Eingabe grösser. Der bisherige Verlauf geht nämlich mit jeder neuen Nachricht wieder mit.

SituationWas überwiegt
Langer Chat mit vielen RückfragenEingabe
Dokument anhängen und zusammenfassen lassenEingabe
Kurze Frage, langer Text als AntwortAusgabe
Tabelle oder Code erzeugen lassenAusgabe

Token müssen Sie im Alltag nicht zählen. Fragen zur Abrechnung beantwortet Ihre Administration. Modelle der Stufe Extern (Frontier-Modelle) werden separat über das Frontier-Wallet abgerechnet und müssen von Ihrer Organisation freigegeben sein.

Das Kontextfenster

Das Kontextfenster ist die Menge an Token, die ein Modell für eine Antwort höchstens berücksichtigen kann, Eingabe und Ausgabe zusammen. Alles muss hineinpassen: Anweisungen, Verlauf, Anhänge, gefundene Passagen und der Platz für die Antwort selbst. Wie gross das Fenster ist, hängt vom Modell ab.

Das Kontextfenster ist wie ein Schreibtisch. Was nicht darauf liegt, sieht das Modell nicht, auch wenn es irgendwo im Chat steht.

Wird ein Chat lang, zeigt das Eingabefeld in Prozent an, wie viel des Kontextfensters belegt ist. Die Anzeige erscheint erst, wenn die Hälfte belegt ist. Fahren Sie mit der Maus darüber, sehen Sie die Zahl der Token.

Warum lange Chats schlechter werden

  • Passt der Verlauf nicht mehr ins Fenster, müssen ältere Teile weichen. Peaki lässt zum Beispiel zuerst die ältesten Runden weg. Eine Anweisung vom Anfang kann so unbemerkt verloren gehen.
  • Auch innerhalb des Fensters gewichten Modelle Anfang und Ende stärker als die Mitte eines langen Textes.
  • Zahlen und Anhänge aus einer früheren Aufgabe beeinflussen die neue Antwort.

Luca bearbeitet einen Vormittag lang im selben Chat die Abschlüsse von drei Mandanten der Alpenblick Treuhand AG. Am Mittag tauchen im Kommentar für den dritten Mandanten Zahlen des ersten auf. Mit einem neuen Chat pro Mandant wäre das nicht passiert.

Ist das Verdichten langer Chats für Ihren Arbeitsbereich eingeschaltet, fasst PeakPrivacy ältere Nachrichten automatisch zusammen. Mit dem Befehl /compact lösen Sie das auch selbst aus. Nach /compact bestätigt PeakPrivacy das mit Unterhaltung komprimiert. Ist der Chat dafür noch zu kurz, erscheint Es gibt noch nichts zu verdichten. Wird der Chat danach wieder lang und erscheint die Anzeige im Eingabefeld, steht beim Darüberfahren zusätzlich: Frühere Nachrichten wurden zusammengefasst, um Kontext freizugeben.

Wird ein Auftrag an Peaki grösser als das Kontextfenster, bricht er ab. Ein unveränderter neuer Versuch scheitert ebenso. Verkleinern Sie die Aufgabe oder hängen Sie weniger Dateien an.

Praktische Tipps

  1. Ein Chat pro Aufgabe. Starten Sie mit Neuer Chat neu, sobald sich das Ergebnis ändert, etwa bei einem anderen Mandanten oder einem anderen Bericht.
  2. Wichtiges an den Anfang oder ans Ende. Hält sich das Modell nach vielen Runden nicht mehr an eine Regel, wiederholen Sie sie.
  3. Gezielt anhängen. Drei passende Quellen sind besser als zwölf «für alle Fälle».
  4. Grosse Sammlungen ins Wissen. Handbücher und Reglemente gehören in eine Wissensdatenbank. Dann gehen nur die passenden Stellen ans Modell (RAG).
  5. Korrekturen sammeln. Lesen Sie den Entwurf ganz und schicken Sie alle Änderungen in einer Nachricht.
  6. Dauerhafte Regeln einmal festlegen. Tonalität und Formate gehören in einen Assistenten oder eine Prompt-Vorlage, nicht in jede Nachricht (System-Prompt).

Siehe auch

Auf dieser Seite