Large Language Models

Large Language Models (LLMs) sind die Technologie im Herzen moderner KI-Assistenten wie denen, die Ayunis Core antreiben. Zu verstehen, wie sie funktionieren, hilft Ihnen, sie effektiver zu nutzen und angemessene Erwartungen an ihre Fähigkeiten zu setzen.

Was ist ein Large Language Model?

Ein Large Language Model ist eine Art künstlicher Intelligenz, die mit riesigen Textmengen trainiert wurde, um menschliche Sprache zu verstehen und zu erzeugen. Stellen Sie es sich als ein sehr ausgefeiltes Mustererkennungssystem vor, das die Muster, Strukturen und Beziehungen innerhalb von Sprache durch die Analyse von Milliarden von Dokumenten gelernt hat.

flowchart LR
    A[📝 Texteingabe] --> B[🧠 Large Language Model]
    B --> C[📄 Textausgabe]

    subgraph B[🧠 Large Language Model]
        D[Milliarden von Parametern]
        E[Trainiert mit Büchern, Websites, Artikeln]
    end

Der Begriff “Large” (groß) bezieht sich auf zwei Aspekte:

Trainingsdaten: LLMs werden mit enormen Textsammlungen trainiert, einschließlich Büchern, Websites, Artikeln und anderen schriftlichen Materialien
Modellgröße: Die Modelle enthalten Milliarden von Parametern (numerische Werte, die das Modell während des Trainings gelernt hat)

Wie funktionieren LLMs?

Im Kern sagen LLMs das wahrscheinlichste nächste Wort (oder Token) in einer Sequenz voraus. Obwohl dies einfach klingt, ermöglicht diese Vorhersagefähigkeit in Kombination mit dem während des Trainings kodierten umfangreichen Wissen ein bemerkenswert ausgereiftes Verhalten.

Der Vorhersageprozess

Eingabeverarbeitung: Ihr Text wird in Tokens (kleinere Textstücke) umgewandelt
Mustererkennung: Das Modell identifiziert Muster und Kontext aus Ihrer Eingabe
Wahrscheinlichkeitsberechnung: Für jedes mögliche nächste Token berechnet das Modell eine Wahrscheinlichkeit
Token-Auswahl: Ein Token wird basierend auf diesen Wahrscheinlichkeiten ausgewählt
Iteration: Schritte 2-4 wiederholen sich, bis die Antwort vollständig ist

flowchart TD
    A["Der Bürger beantragte eine ..."] --> B{Wahrscheinlichkeits-<br/>berechnung}
    B --> C["Genehmigung (45%)"]
    B --> D["Bescheinigung (30%)"]
    B --> E["Auskunft (15%)"]
    B --> F["Erstattung (10%)"]

    C --> G["✓ Ausgewählt"]

    style C fill:#7E9871,color:#fff
    style G fill:#7E9871,color:#fff

Training: Wie LLMs lernen

LLMs lernen durch einen Prozess namens “Pre-Training”, gefolgt von “Fine-Tuning”:

Pre-Training

Während des Pre-Trainings verarbeitet das Modell massive Textmengen und lernt, fehlende oder nächste Wörter vorherzusagen. Durch Milliarden dieser Vorhersagen entwickelt das Modell:

Verständnis von Grammatik und Syntax
Wissen über Fakten und Konzepte
Erkennung von Schreibstilen und Formaten
Fähigkeit, logischen Argumentationsmustern zu folgen

Fine-Tuning

Nach dem Pre-Training werden Modelle für spezifische Zwecke verfeinert:

Instruktions-Tuning: Das Modell lernen, Benutzeranweisungen zu befolgen
Sicherheitstraining: Dem Modell helfen, schädliche Ausgaben zu vermeiden
Domänenanpassung: Das Modell für spezifische Fachbereiche spezialisieren

flowchart LR
    subgraph PT[Phase 1: Pre-Training]
        A[📚 Bücher] --> D[Basis-Modell]
        B[🌐 Websites] --> D
        C[📰 Artikel] --> D
    end

    subgraph FT[Phase 2: Fine-Tuning]
        D --> E[Verfeinertes Modell]
        F[👥 Menschliches Feedback] --> E
        G[📋 Anweisungen] --> E
        H[🛡️ Sicherheitstraining] --> E
    end

    E --> I[🚀 Produktionsreifes LLM]

Fähigkeiten und Grenzen

Zu verstehen, was LLMs können und was nicht, hilft Ihnen, sie effektiv zu nutzen.

Worin LLMs herausragend sind

Fähigkeit	Beispiel in der öffentlichen Verwaltung
Textgenerierung	Entwerfen von Antwortschreiben an Bürger
Zusammenfassung	Verdichten umfangreicher Richtliniendokumente
Übersetzung	Konvertieren von Dokumenten zwischen Sprachen
Analyse	Extrahieren von Kernpunkten aus Berichten
Formatierung	Umwandeln unstrukturierter Notizen in Tabellen
Erklärung	Vereinfachen komplexer Vorschriften für Bürger

Wichtige Einschränkungen

Wissensstichtag: LLMs kennen nur Informationen aus ihren Trainingsdaten. Sie können nicht auf aktuelle Ereignisse oder kürzliche Änderungen zugreifen, es sei denn, sie sind mit externen Quellen verbunden.

Halluzinationen: LLMs können plausibel klingende, aber falsche Informationen generieren. Überprüfen Sie immer faktische Behauptungen, besonders bei offiziellen Dokumenten.

Kein echtes Schlussfolgern: Obwohl LLMs logischen Mustern folgen können, denken sie nicht wie Menschen. Komplexe mehrstufige Probleme können Fehler produzieren.

Konsistenz: Derselbe Prompt kann aufgrund der probabilistischen Natur des Modells unterschiedliche Antworten produzieren.

Kontextbeschränkungen: LLMs können nur eine begrenzte Textmenge auf einmal berücksichtigen (das “Kontextfenster”).

LLMs in der öffentlichen Verwaltung

Für Fachleute in der öffentlichen Verwaltung bieten LLMs erhebliche Möglichkeiten zur Effizienzsteigerung:

Geeignete Anwendungsfälle

Erste Entwürfe: Erstellen von Erstversionen von Standarddokumenten
Übersetzungshilfe: Schnelles Übersetzen von Kommunikation für mehrsprachige Bürger
Informationsextraktion: Extrahieren spezifischer Datenpunkte aus umfangreichen Dokumenten
Erklärung: Erstellen bürgerfreundlicher Versionen komplexer Vorschriften

Fälle, die Vorsicht erfordern

Rechtliche Dokumente: Lassen Sie bindende Dokumente immer von Menschen prüfen
Sensible Entscheidungen: KI sollte menschliches Urteilsvermögen unterstützen, nicht ersetzen
Aktuelle Informationen: Überprüfen Sie alle Behauptungen über aktuelle Ereignisse oder Daten
Personenbezogene Daten: Stellen Sie die Einhaltung der Datenschutzvorschriften sicher

Wichtige Erkenntnisse

LLMs sind Mustererkennungssysteme, die mit riesigen Textsammlungen trainiert wurden
Sie generieren Antworten, indem sie die wahrscheinlichsten nächsten Tokens vorhersagen
Sie sind hervorragend bei Textgenerierung, Zusammenfassung und Sprachaufgaben
Sie haben Einschränkungen, einschließlich Wissensstichtagen und potenziellen Halluzinationen
Für den professionellen Einsatz überprüfen Sie immer wichtige Informationen und behalten Sie die menschliche Aufsicht bei