Tokens und Kontext

Wenn Sie mit einem KI-Assistenten interagieren, durchläuft Ihr Text einen Prozess namens Tokenisierung, bevor das Modell ihn verstehen kann. Das Verständnis von Tokens und Kontextfenstern hilft Ihnen, effektivere Prompts zu schreiben und längere Gespräche zu verwalten.

Was sind Tokens?

Tokens sind die grundlegenden Einheiten, die Sprachmodelle zur Textverarbeitung verwenden. Anstatt Zeichen für Zeichen oder Wort für Wort zu lesen, zerlegen LLMs Text in Tokens, die typischerweise sind:

• Häufige Wörter (wie “der”, “und”, “ist”)
• Wortteile (wie “un-”, “-ung”, “-tion”)
• Einzelne Zeichen für ungewöhnlichen Text
• Satzzeichen und Sonderzeichen

flowchart LR
    A["Der Antrag wurde genehmigt"] --> B[Tokenizer]
    B --> C["Der"]
    B --> D["Ant"]
    B --> E["rag"]
    B --> F["wurde"]
    B --> G["genehm"]
    B --> H["igt"]

    style C fill:#8178C3,color:#fff
    style D fill:#A49FCE,color:#fff
    style E fill:#A49FCE,color:#fff
    style F fill:#7E9871,color:#fff
    style G fill:#D56B3E,color:#fff
    style H fill:#D56B3E,color:#fff

6 Tokens für 4 Wörter

Wie Tokenisierung funktioniert

Verschiedene Sprachen und Texttypen werden unterschiedlich tokenisiert:

Deutsch

"Der Antrag wurde genehmigt"

Tokens: ["Der", " Ant", "rag", " wurde", " genehm", "igt"]
Token-Anzahl: 6

Englisch

"The application was approved"

Tokens: ["The", " application", " was", " approved"]
Token-Anzahl: 4

Technisch

"§123 DSGVO-konform"

Tokens: ["§", "123", " D", "SG", "VO", "-", "kon", "form"]
Token-Anzahl: 8

Hinweis

Deutscher Text erfordert oft mehr Tokens als Englisch für die gleiche Bedeutung, da Deutsch zusammengesetzte Wörter und andere Wortstrukturen verwendet. Dies ist wichtig zu beachten, wenn Sie innerhalb von Token-Limits arbeiten.

Warum Tokens wichtig sind

Tokens sind aus mehreren praktischen Gründen wichtig:

1. Kontextfenster-Limits

Jedes KI-Modell hat eine maximale Anzahl von Tokens, die es auf einmal verarbeiten kann, genannt Kontextfenster. Dies umfasst:

• Ihren Prompt (Eingabe-Tokens)
• Die Antwort des Modells (Ausgabe-Tokens)
• Jeglichen vorherigen Gesprächsverlauf

Modelltyp	Typisches Kontextfenster
Standard-Modelle	4.000 - 8.000 Tokens
Erweiterter Kontext	32.000 - 128.000 Tokens
Langer Kontext	200.000+ Tokens

2. Antwortqualität

Wenn Gespräche zu lang werden, können ältere Teile “vergessen” werden, da sie außerhalb des Kontextfensters fallen. Dies kann beeinflussen:

• Bezüge zu früheren Teilen des Gesprächs
• Konsistenz in längeren Dokumenten
• Komplexe mehrstufige Aufgaben

flowchart TB
    subgraph OUT[" "]
        direction TB
        A1[🗑️ Nachricht 1]
        A2[🗑️ Nachricht 2]
    end

    subgraph CW[Kontextfenster]
        direction TB
        B1[Nachricht 3]
        B2[Nachricht 4]
        B3[Nachricht 5]
        B4[Aktuelle Nachricht]
    end

    A2 -.->|"fällt heraus"| B1

    style OUT fill:#F5DDD2,stroke:#D56B3E
    style CW fill:#D4E5CF,stroke:#7E9871
    style A1 fill:#E69B7A,color:#5F7356
    style A2 fill:#E69B7A,color:#5F7356

Ältere Nachrichten werden vergessen, wenn neue hinzukommen

Das Kontextfenster

Das Kontextfenster ist der “Speicher”, der der KI während eines einzelnen Gesprächs zur Verfügung steht. Alles innerhalb dieses Fensters beeinflusst die Antwort.

Was das Kontextfenster füllt

┌─────────────────────────────────────────┐
│           KONTEXTFENSTER                │
├─────────────────────────────────────────┤
│ System-Prompt (Agenten-Anweisungen)     │
│ ----------------------------------------│
│ Vorherige Nachrichten im Gespräch       │
│ ----------------------------------------│
│ Abgerufene Dokumente (RAG-Inhalte)      │
│ ----------------------------------------│
│ Aktuelle Benutzernachricht              │
│ ----------------------------------------│
│ [Platz für KI-Antwort]                  │
└─────────────────────────────────────────┘

pie title Kontextfenster-Aufteilung
    "System-Prompt" : 20
    "Gesprächsverlauf" : 40
    "Abgerufene Dokumente (RAG)" : 25
    "Aktuelle Anfrage" : 10
    "Reserviert für Antwort" : 5

Kontext effektiv verwalten

Beim Arbeiten mit begrenzten Kontextfenstern:

Für lange Dokumente:

• Teilen Sie Dokumente in Abschnitte und verarbeiten Sie sie separat
• Fassen Sie Abschnitte zusammen, bevor Sie sie kombinieren
• Konzentrieren Sie sich auf die relevantesten Teile

Für ausgedehnte Gespräche:

• Starten Sie neue Gespräche für unzusammenhängende Themen
• Fassen Sie vorherige Schlussfolgerungen zusammen, wenn Sie komplexe Themen fortsetzen
• Seien Sie sich bewusst, dass sehr alte Nachrichten die Antworten möglicherweise nicht beeinflussen

Für komplexe Aufgaben:

• Stellen Sie alle relevanten Informationen von Anfang an bereit
• Gehen Sie nicht davon aus, dass die KI sich an viele Nachrichten zuvor “erinnert”
• Wiederholen Sie wichtigen Kontext bei Bedarf

Token-effiziente Kommunikation

Das Schreiben token-effizienter Prompts hilft Ihnen, innerhalb der Limits zu arbeiten und Kosten zu reduzieren:

So machen Sie es richtig

Fassen Sie diesen Bauantrag zusammen,
mit Fokus auf: Antragstellerdaten, Grundstücks-
standort, Bauart und Zeitplan.

Vermeiden Sie dies

Hallo! Ich hoffe, es geht Ihnen gut heute. Ich habe
eine Aufgabe für Sie. Könnten Sie bitte, wenn es
nicht zu viel Mühe macht, einen Blick auf diesen
Bauantrag werfen, den ich Ihnen schicke? Ich würde
mich sehr freuen, wenn Sie ihn für mich zusammenfassen
könnten. Die Dinge, die mich am meisten interessieren,
sind, wer den Antrag stellt, wo das Grundstück liegt,
welche Art von Bau sie machen wollen und wann sie es
machen wollen. Vielen Dank im Voraus!

Tipp

Prägnant zu sein geht nicht nur darum, Tokens zu sparen. Klare, direkte Prompts produzieren typischerweise bessere Antworten, weil sie der KI klarere Anweisungen geben.

Wichtige Erkenntnisse

• Tokens sind die Einheiten, die KI zur Textverarbeitung verwendet, typischerweise Wortteile
• Deutscher Text erfordert im Allgemeinen mehr Tokens als Englisch
• Kontextfenster begrenzen, wie viel Text die KI auf einmal berücksichtigen kann
• Effektives Kontextmanagement verbessert die Antwortqualität
• Token-effiziente Prompts sparen Kosten und produzieren oft bessere Ergebnisse