Large Language Models (LLM)
Large Language Models (LLM) sind grosse Sprachmodelle, die aus umfangreichen Textdaten sprachliche Muster lernen und daraus neue Texte erzeugen können. Sie verarbeiten Eingaben in Form sogenannter Tokens und berechnen auf dieser Grundlage wahrscheinliche Fortsetzungen. LLMs sind eine wichtige Technologie der generativen KI und werden unter anderem für Textanalyse, Wissensarbeit, Dokumentation und Assistenzsysteme eingesetzt. Im Engineering können sie beispielsweise technische Informationen aufbereiten, Dokumente durchsuchen oder Mitarbeitende bei sprachbasierten Aufgaben unterstützen. (Quelle: NIST)
Auf einen Blick
| Merkmal | Einordnung |
|---|---|
| Kategorie | Künstliche Intelligenz, maschinelles Lernen, generative KI |
| Funktion | Verarbeitung und Generierung von Sprache |
| Grundlage | Neuronale Netze, insbesondere Transformer-Architekturen |
| Eingaben | Text beziehungsweise Tokens |
| Typische Aufgaben | Generieren, Zusammenfassen, Klassifizieren und Analysieren von Text |
| Zielgruppen | Unter anderem IT, Engineering-Leitung, Konstruktion und Produktmanagement |
| Verwandte Begriffe | Sprachmodell, Token, Transformer, Kontextfenster, Prompt |
Inhaltsverzeichnis
- Was sind Large Language Models?
- Wie funktionieren Large Language Models?
- Wofür werden LLMs eingesetzt?
- Large Language Models im Engineering
- Vorteile und Herausforderungen
- Verwandte Begriffe
- Fazit
Was sind Large Language Models?
Ein Large Language Model ist ein Sprachmodell, das mit grossen Mengen an Textdaten trainiert wurde und sprachliche Zusammenhänge modelliert. Das Modell erzeugt auf Basis einer Eingabe eine statistisch bestimmte Folge von Tokens. Dadurch kann es beispielsweise Fragen beantworten, Texte zusammenfassen, Inhalte formulieren oder Informationen aus Dokumenten strukturieren.
Die Bezeichnung „Large“ bezieht sich auf den Umfang und die Komplexität solcher Modelle. Dazu zählen insbesondere die grosse Anzahl trainierbarer Parameter und die umfangreichen Datenmengen, die beim Training verwendet werden. Eine feste Parameterzahl definiert den Begriff jedoch nicht.
LLMs sind keine Wissensdatenbanken im klassischen Sinn. Das Modell speichert Informationen nicht einfach als einzelne Datensätze, die bei einer Anfrage gezielt abgerufen werden. Es lernt Muster aus Trainingsdaten und erzeugt daraus eine Antwort. Deshalb kann eine Antwort sprachlich plausibel sein, obwohl einzelne Aussagen falsch oder nicht ausreichend belegt sind. NIST bezeichnet dieses Phänomen bei generativen KI-Systemen unter anderem als „Confabulation“, häufig auch als „Halluzination“. (Quelle: NIST)
Wie funktionieren Large Language Models?
LLMs zerlegen Eingaben zunächst in kleinere Einheiten, sogenannte Tokens. Ein Token kann je nach Sprache und Tokenizer einem Wort, einem Wortbestandteil oder mehreren Zeichen entsprechen.
Anschliessend verarbeitet das Modell die Tokenfolge mit einem neuronalen Netzwerk. Viele moderne LLMs basieren auf der Transformer-Architektur. Transformer verwenden insbesondere Self-Attention, um Beziehungen zwischen verschiedenen Positionen innerhalb einer Eingabe zu berücksichtigen. Die Architektur wurde 2017 in der Publikation „Attention Is All You Need“ vorgestellt. (Quelle: Vaswani et al.)
Bei einer Anfrage berechnet ein LLM, welche Token als nächste Ausgabe wahrscheinlich sind. Durch die Verarbeitung der vorhergehenden Eingabe kann das Modell Zusammenhänge innerhalb des verfügbaren Kontextes berücksichtigen.
Das Kontextfenster bezeichnet dabei den Textbereich, den ein Modell bei einer Verarbeitungssitzung berücksichtigen kann. Die konkrete Grösse des Kontextfensters hängt vom jeweiligen Modell und dessen technischer Auslegung ab.
Ein Prompt steuert, welche Aufgabe das Modell ausführen soll und welche Informationen dafür bereitgestellt werden. Die Qualität der Ausgabe hängt deshalb unter anderem von der Aufgabenstellung, dem bereitgestellten Kontext und den Eigenschaften des verwendeten Modells ab.
Wofür werden Large Language Models eingesetzt?
LLMs können unterschiedliche sprachbezogene Aufgaben übernehmen. Typische Anwendungen sind:
- Zusammenfassen umfangreicher Texte und Dokumente
- Beantworten von Fragen zu bereitgestellten Informationen
- Erstellen und Überarbeiten von Texten
- Klassifizieren und Strukturieren von Inhalten
- Extrahieren bestimmter Informationen aus Dokumenten
- Unterstützung bei Recherche- und Wissensaufgaben
- Erzeugen oder Erläutern von Programmcode
Der konkrete Nutzen hängt stark vom Anwendungsfall ab. Ein LLM kann beispielsweise Informationen aus technischen Dokumenten sprachlich aufbereiten. Es ersetzt jedoch nicht automatisch die fachliche Prüfung dieser Informationen.
Large Language Models im Engineering
Für industrielle Unternehmen sind LLMs insbesondere dort relevant, wo grosse Mengen sprachlicher oder dokumentenbasierter Informationen verarbeitet werden.
Wissensmanagement
Technisches Wissen liegt häufig verteilt in Handbüchern, Spezifikationen, Arbeitsanweisungen, Serviceunterlagen oder Projektdokumentationen vor. Ein LLM kann solche Inhalte beispielsweise zusammenfassen oder Fragen zu bereitgestellten Dokumenten beantworten.
Für verlässliche Ergebnisse ist dabei relevant, welche Daten dem Modell tatsächlich zur Verfügung stehen. Ein LLM kennt unternehmensinterne Dokumente nicht automatisch. Sie müssen über geeignete Datenquellen oder Anwendungen bereitgestellt werden.
Technische Dokumentation
LLMs können bei der Erstellung, Strukturierung und Überarbeitung technischer Texte unterstützen. Mögliche Aufgaben sind beispielsweise das Zusammenfassen von Änderungsinformationen, die Aufbereitung von Dokumenteninhalten oder die Erstellung erster Textentwürfe.
Gerade bei technischen Dokumenten bleibt die fachliche Prüfung wichtig. Falsche oder unvollständige Angaben können sich unmittelbar auf die Nutzung eines Produkts oder Prozesses auswirken.
Service
Im technischen Service können LLMs sprachbasierte Unterstützung bieten. Beispielsweise können sie Informationen aus Serviceunterlagen aufbereiten oder bei der Suche nach relevanten Dokumentationsinhalten unterstützen.
Eine solche Anwendung muss klar unterscheiden können, auf welche Informationsquellen sich eine Antwort stützt. Bei sicherheitsrelevanten oder technisch kritischen Informationen ist eine zusätzliche Prüfung erforderlich.
Produktentwicklung und Produktmanagement
In der Produktentwicklung können LLMs bei dokumentenbezogenen und kommunikativen Aufgaben eingesetzt werden. Dazu gehören beispielsweise die Zusammenfassung von Anforderungen, die Strukturierung von Feedback oder die Aufbereitung von Projektdokumentation.
Für Konstruktion und Produktentwicklung ist dabei eine klare Abgrenzung wichtig: Ein LLM ist ein Sprachmodell. Es ersetzt nicht automatisch CAD-Systeme, Simulationssoftware oder andere spezialisierte Engineering-Systeme.
Engineering-Bezug auf einen Blick
| Einsatzbereich | Typische Aufgabe | Möglicher Mehrwert |
|---|---|---|
| Wissensmanagement | Technische Dokumente durchsuchen und zusammenfassen | Informationen schneller auffindbar und verständlich machen |
| Service | Serviceinformationen aufbereiten | Relevante Inhalte aus Dokumentationen schneller erfassen |
| Technische Dokumentation | Textentwürfe erstellen und Inhalte strukturieren | Redaktionsaufwand bei sprachlichen Aufgaben reduzieren |
| Produktentwicklung | Anforderungen und Projektdokumente zusammenfassen | Grosse Mengen an Textinformationen strukturiert aufbereiten |
| Produktmanagement | Feedback und Dokumente analysieren | Wiederkehrende Informationen aus Textquellen strukturieren |
Large Language Models verarbeiten sprachliche und technische Informationen und unterstützen verschiedene Aufgaben im Engineering, etwa Produktentwicklung, technische Dokumentation, Service und Wissensmanagement.
Vorteile und Herausforderungen
Ein wesentlicher Vorteil von LLMs liegt in ihrer Fähigkeit, grosse Mengen sprachlicher Informationen zu verarbeiten und daraus verständliche Ausgaben zu erzeugen. Dadurch können sie bei wiederkehrenden Aufgaben in Wissensarbeit und Dokumentation unterstützen.
Gleichzeitig besitzen LLMs technische Grenzen. Eine sprachlich überzeugende Antwort ist nicht automatisch fachlich korrekt. Modelle können falsche oder erfundene Informationen erzeugen. (Quelle: NIST)
Für industrielle Anwendungen sind deshalb insbesondere folgende Punkte relevant:
- Datenqualität: Die Qualität bereitgestellter Informationen beeinflusst die Qualität der Ergebnisse.
- Fachliche Prüfung: Technisch relevante Ergebnisse sollten durch geeignete Fachpersonen geprüft werden.
- Datenschutz und Vertraulichkeit: Unternehmens- und Produktdaten müssen entsprechend ihrer Schutzanforderungen verarbeitet werden.
- Kontext: Das Modell kann nur Informationen berücksichtigen, die ihm im jeweiligen Anwendungskontext zur Verfügung stehen.
- Nachvollziehbarkeit: Bei wichtigen Entscheidungen sollte nachvollziehbar sein, auf welchen Informationen eine Antwort basiert.
Die konkrete Risikobewertung hängt vom jeweiligen Einsatzszenario ab. Ein LLM für die Formulierung eines internen Textentwurfs stellt andere Anforderungen als ein System, dessen Ausgabe direkt in einen sicherheitskritischen Prozess einfliesst.
Verwandte Begriffe
- Sprachmodell: Oberbegriff für Modelle, die sprachliche Strukturen beziehungsweise Wahrscheinlichkeiten von Sprache modellieren. Large Language Models sind eine besonders umfangreiche Form solcher Modelle.
- Token: Verarbeitungseinheit, in die Text für die Verarbeitung durch ein Sprachmodell zerlegt wird.
- Transformer: Neuronale Netzwerkarchitektur, auf der viele moderne Large Language Models basieren. (Quelle: Vaswani et al.)
- Kontextfenster: Bereich der Eingabe und des Gesprächskontexts, den ein Modell bei einer Verarbeitung berücksichtigen kann.
- Prompt: Eingabe beziehungsweise Aufgabenstellung, mit der eine Anfrage an ein LLM formuliert wird.
- Generative KI: Übergeordneter Begriff für KI-Systeme, die neue Inhalte erzeugen können. LLMs können als Technologie für generative KI eingesetzt werden.
- KI-Agenten: Systeme, die LLMs mit weiteren Werkzeugen oder Funktionen kombinieren können, um mehrstufige Aufgaben auszuführen.
Fazit
Large Language Models sind leistungsfähige Sprachmodelle zur Verarbeitung und Generierung natürlicher Sprache. Ihre Bedeutung für industrielle Unternehmen liegt insbesondere in der Verarbeitung umfangreicher sprachlicher und dokumentenbasierter Informationen. Im Engineering können LLMs beispielsweise Wissensmanagement, Service und technische Dokumentation unterstützen. Für fachlich relevante Anwendungen bleiben Datenqualität, geeigneter Kontext und menschliche Prüfung wichtige Voraussetzungen.
Quellen
- National Institute of Standards and Technology (NIST), Computer Security Resource Center: NIST AI Glossary: Large Language Model
- Vaswani et al., Google Research und University of Toronto: Attention Is All You Need – Google Research