Große Sprachmodelle
ChatGPT hat große Sprachmodelle und auch künstliche Intelligenz im Allgemeinen in den Vordergrund der Medien und der täglichen Unterhaltung gerückt. Viele von uns nutzen ChatGPT bereits von Zeit zu Zeit in ihrem täglichen Leben, wann immer es passt. Die Einführung der systematischen und kontrollierten Nutzung von LLMs in Unternehmen ist ein anderes Unterfangen. Diese Seite bietet eine Einführung in das beeindruckende Potenzial von LLM und in die Art und Weise, wie man sie so einrichtet, dass sie Ihren Wünschen entsprechen.
LLMs verstehen:
Wie funktionieren große Sprachmodelle?
Heutzutage müssen wir ChatGPT nicht mehr vorstellen. Große Sprachmodelle (Large Language Models, LLMs) - die Kraft hinter Tools wie ChatGPT - verändern die Art und Weise, wie Unternehmen arbeiten, indem sie KI nutzen, um sowohl Bilder als auch natürliche Sprache zu verstehen und geeignete Ausgaben zu erzeugen. Diese Modelle wurden anhand umfangreicher und vielfältiger Datensätze trainiert, so dass sie über ein breit gefächertes inhaltliches Wissen verfügen. Darüber hinaus wurden sie für eine einfache Aufgabe entwickelt - die Vorhersage des wahrscheinlichsten nächsten Wortes. Durch die Kombination dieser beiden Eigenschaften sind sie in der Lage, eine breite Palette von Aufgaben zu bewältigen, was sie zu einem erfolgreichen Beispiel für generative Foundation-Modelle macht .
.jpg)
Was sind große Sprachmodelle?
Große Sprachmodelle sind fortschrittliche Systeme der künstlichen Intelligenz (KI), die die Verarbeitung natürlicher Sprache revolutioniert haben. Diese Modelle, wie z. B. GPT-4 (Generative Pre-trained Transformer 3) von OpenAI und seine Vorgänger, wurden entwickelt, um menschenähnlichen Text zu verstehen und zu generieren, was sie zu leistungsstarken Werkzeugen für eine breite Palette von Anwendungen macht.
Meistgenutzten LLMs
Trotz der jüngsten Aufmerksamkeit und Aufregung um Large Language Models ist ihre Entwicklung im Bereich der KI nicht neu. OpenAI stellte 2018 das erste GPT-Modell vor, gefolgt von GPT-2 im Jahr 2019. Bereits 2019 arbeitete ML6 an der Nutzung von LLMs für geschäftliche Zwecke. Zum Beispiel haben wir das vortrainierte englische GPT-2-Modell auf Niederländisch feinabgestimmt. Dank des exponentiellen Wachstums der LLM-Fähigkeiten haben LLMs in letzter Zeit erheblich an Dynamik gewonnen, was zur Entstehung zahlreicher neuer Modelle geführt hat, die manchmal wöchentlich veröffentlicht werden.
Zu den am weitesten verbreiteten LLMs, die derzeit im Bereich der KI Wellen schlagen, gehören:
GPT-Modelle
Eine Familie von LLMs, die von OpenAI eingeführt wurde. Mit den jüngsten Veröffentlichungen von ChatGPT und GPT-4 haben die GPT-Modelle großes Interesse in der KI-Gemeinschaft geweckt. Diese Modelle haben eine proprietäre Lizenz, d. h. eine nicht quelloffene Lizenz, die von den Nutzern eine Gebühr verlangt und einige Nutzungsbeschränkungen auferlegt.
LLaMA
Eine Open-Source-Sammlung von LLMs, entwickelt von Meta. LLaMA soll Forschern dabei helfen, ihre Arbeit auf dem Teilgebiet der LLMs voranzutreiben. Sie ist in verschiedenen Größen verfügbar, von 7 bis 65 Milliarden Parametern, und zielt darauf ab, den Zugang zu LLMs zu demokratisieren, indem sie weniger Rechenleistung und Ressourcen benötigt. LLaMA kann nur für Forschungszwecke genutzt werden.
PaLM-2
Das von Google entwickelte Large Language Model der nächsten Generation. PaLM-2 baut auf Googles früherer KI-Forschung auf und wurde auf der jährlichen I/O-Keynote im Mai 2023 angekündigt. Google hat auch ein Papier veröffentlicht, in dem Med-PaLM-2 vorgestellt wird, eine fein abgestimmte Version für medizinische Daten.
Es ist wichtig, darauf hinzuweisen, dass sich der Bereich der LLMs schnell weiterentwickelt und dass es zum Zeitpunkt der Lektüre dieses Artikels möglicherweise schon neuere und noch fortschrittlichere Modelle gibt.
Richten Sie LLMs und ihre Architektur auf Ihr gewünschtes Ergebnis aus
LLM sind zwar in der Lage, ein breites Spektrum an Aufgaben auszuführen, doch muss sichergestellt werden, dass ihre Ergebnisse mit der gewünschten Leistung übereinstimmt.
Es gibt drei Hauptansätze, um den Output des Modells abzustimmen:
1. Prompting,
2. Retrieval-Augmented Generation (RAG)
3. und das fortgeschrittene Finetuning.
Wenn Sie Ihre LLMs mit dem richtigen Wissen (z. B. geschäftsspezifische Dokumente) und Vorlagen kombinieren, die festlegen, wie in bestimmten Fällen zu verfahren ist (z. B. mit einem Prompt-Management-System), kann Ihre Lösung ihr volles Potenzial entfalten.
Prompting
Ein Prompt ist der Text, den Sie einem LLM als Eingabe zur Verfügung stellen. Prompts können kurz und prägnant oder umfangreich sein und zusätzlichen Kontext und Anforderungen an die Ausgabe enthalten.
Wir beschreiben zwei Prompting-Techniken:
- Zero-shot Prompting: gleichbedeutend mit "Beschreibung einer Aufgabe für einen Studenten"
- Few-shot Prompting: gleichbedeutend mit "Beschreibung einer Aufgabe für einen Studenten und Angabe einiger Beispiele ähnlicher Aufgaben und wie sie ausgeführt wurden
Retrieval-Augmented Generation
Eine fortgeschrittenere Variante der Eingabeaufforderung wird RAG genannt. Kurz gesagt, eine RAG-Architektur führt eine Komponente ein, die Dokumente (die für die gestellte Frage relevant sind) aus Ihrer Wissensbasis abruft. Indem Sie diese "Smart Retriever"-Komponente vor Ihrem konversationellen LLM platzieren, erzwingen Sie, dass dieses LLM seine Antwort auf die in Ihrer Dokumentation vorhandenen Informationen stützt.
Oben sehen Sie eine schematische Darstellung einer RAG-Architektur (Retrieval-Augmented Generation).
Die Vorteile einer solchen Architektur sind, dass (1) Ihr LLM explizit auf die Quellen verweisen kann, auf die er seine Antwort stützt, (2) es unwahrscheinlich ist, dass Ihr LLM halluziniert, weil er den Kontext erhält, in dem er sich bewegen soll und (3) Ihre vollständige Lösung wartbar bleibt, weil die "Smart Retriever"-Komponente aktualisiert werden kann, wenn Ihre Wissensbasis wächst.
Beachten Sie, dass die RAG-Architektur ein Beispiel für "few-shot prompting" ist: dem LLM wird ein beispielhaftes Verhalten präsentiert, wie er auf Fragen antworten sollte, und zusätzlich wird der Prompt mit Informationen angereichert, auf die er seine Antwort stützen sollte. Weitere Informationen finden Sie in unserem Blogpost über die Nutzung von LLMs auf Ihrer domänenspezifischen Wissensbasis.
Weitere Informationen zu dieser RAG-Architektur finden Sie in unserem ML6-Blogpost über die Nutzung von LLMs in Ihrer domänenspezifischen Wissensbasis.
Wie große Sprachmodelle für Ihren Fall trainiert werden
Große Sprachmodelle sind von Haus aus für eine breite Palette von Aufgaben geeignet. Um sie dazu zu bringen, sich genau so zu verhalten, wie Sie es sich wünschen, sollten Sie jedoch die oben beschriebenen Techniken in Betracht ziehen. Wenn jedoch Prompting oder ein RAG-Ansatz nicht ausreichen, können (zusätzliche) Feinabstimmungstechniken in Betracht gezogen werden. Bei der Feinabstimmung wird das LLM selbst verändert, indem die Gewichte, aus denen sein neuronales Netz besteht, beeinflusst werden.)
Um die Dinge auf einer verständlichen Ebene zu erklären, stellen wir den LLM als einen Schüler/Gymnasiast dar.
Ohne hier auf technische Details einzugehen, möchten wir betonen, dass Sie im Fall des Finetunings die tatsächlichen Fähigkeiten des LLM/Studenten verändern. Sie gehen weiter, als ihm nur "Beispiele ad-hoc" zu geben, wie Sie es im Fall des "few-shot prompting" tun. Stattdessen stellen Sie dem Studenten Eingabeaufgaben und korrigieren seine Ausgabe auf der Grundlage der "richtigen" Ausgaben, die Ihr Feinabstimmungsdatensatz beschreibt. Man könnte dies als "den Schüler auf die nächste Stufe bringen" sehen: Sie erlauben dem Schüler, sich in dem Bereich zu spezialisieren, den Ihr Datensatz implizit beschreibt. Die Analogie zwischen einem Schulabgänger und einem Hochschulabsolventen ist dann eindeutig.
Abschließend möchten wir anmerken, dass in vielen Fällen der Ansatz des "few-shot prompting" ausreicht, um ein angemessenes Verhalten Ihres Modells zu erreichen (z. B. wenn Sie ein konversationelles LLM suchen, das auf der Grundlage von Informationen aus Ihrer Wissensbasis antwortet). In anderen Fällen kann es jedoch sein, dass ein bestimmtes Verhalten Ihres Modells eine Feinabstimmung erfordert, damit es besser funktioniert.
Wenn Sie ein praktisches Beispiel dafür suchen, wie eine RAG-Struktur aufgebaut und in Anwendungsfälle integriert wird, können Sie sich unser Webinar auf Abruf über Generative KI für den Unternehmenseinsatz ansehen: Wie man mit LLM anfängt.
Große Sprachmodellanwendungen
Chatbots und virtuelle Assistenten
Chatbots und virtuelle Assistenten, die von LLMs angetrieben werden, sind in der Lage, eine breite Palette von Kunden- oder Mitarbeiterfragen zu verstehen und auf eine zugängliche, konversationelle, mehrsprachige und effiziente Weise zu beantworten, was die Zufriedenheit Ihrer Kunden oder die Produktivität Ihrer Mitarbeiter erhöht. Wichtig ist, dass diese virtuellen Assistenten verbessert werden können, indem man ihnen eine bestimmte Datenquelle (z. B. die Wissensdatenbank Ihres Unternehmens) zur Verfügung stellt, um die Genauigkeit der gegebenen Antworten weiter zu erhöhen. Weitere Informationen finden Sie in unserem Blogpost.
Maschinen zur Erstellung von Inhalten
Content-Creation-Engines können qualitativ hochwertige, menschenähnliche schriftliche Inhalte für eine Vielzahl von Anwendungsfällen generieren, z. B. Marketing-Inhalte, Verkaufsunterlagen, Vertragserstellung, Medieninhalte oder Übersetzungen, was den Prozess der Inhaltserstellung beschleunigen kann und auch die Erstellung von Inhaltsvarianten in verschiedenen Sprachen und Schreibstilen ermöglicht, die auf Kundensegmente oder Mitarbeitergruppen mit unterschiedlichen Präferenzen und Kulturen abgestimmt sind.
Zu den verschiedenen Ansätzen der Inhaltserstellung gehören: geführte Generierung, Zusammenfassung, Verlängerung, Umgestaltung, Übersetzung usw.
Natürlichsprachliche Schnittstelle zu komplexen Werkzeugen
LLMs kann beigebracht werden, mit bestehenden Werkzeugen zu interagieren und Aufgaben auf der Grundlage rein natürlichsprachlicher Eingaben auszuführen. Durch die Nutzung der enormen semantischen Kapazität von LLMs kann man ihnen beibringen, wie man mit einem bestimmten Werkzeug (z. B. der API eines mechanischen Roboters) kommuniziert, und die LLM nutzen, um das Werkzeug so zu steuern, wie sie es in natürlicher Sprache beschreiben.
Abfrage von Datensätzen in natürlicher Sprache
Nutzen Sie die Leistungsfähigkeit des LLM, um umfangreiche Datensätze zu analysieren und zu verstehen und Ihnen die wichtigsten Erkenntnisse durch natürlichsprachliche Mitteilungen mitzuteilen. Lenken Sie das LLM durch gezielte Fragen, um nach spezifischen Erkenntnissen zu suchen, oder bitten Sie das LLM, die wichtigsten Beobachtungen, die es im Datensatz liest, zu nennen. LLMs sind überraschend stark in dieser Art von analytischen KI-Aufgaben und nutzen ihre generativen Fähigkeiten, um den Dialog mit dem Benutzer zu erleichtern.
Und viele mehr!
Der Bereich der Large Language Models (LLM) entwickelt sich rasant, und alle zwei Tage tauchen neue Lösungen und Anwendungsfälle auf. Als führender Anbieter von ML-Dienstleistungen ist ML6 bestrebt, an der Spitze dieser Entwicklungen zu bleiben und ständig neue Wege zur Anwendung von LLMs zu erforschen, um reale Geschäftsprobleme zu lösen.
Typische Herausforderungen LLM: Funktional und technisch
Beim Aufbau einer LLM-Lösung müssen die folgenden typischen Herausforderungen berücksichtigt werden:
Geschwindigkeit der Forschung
Die Forschung und Entwicklung im Bereich der LLM erfolgt in rasantem Tempo, und es werden ständig neue Modelle und Funktionalitäten veröffentlicht. Mit den neuesten Entwicklungen Schritt zu halten und das am besten geeignete Modell für einen bestimmten Anwendungsfall auszuwählen, kann überwältigend sein und erfordert daher das nötige Fachwissen, um die richtige Wahl zu treffen.
Vertrauenswürdige KI
LLM sind mit ethischen Herausforderungen konfrontiert, darunter das Potenzial für Voreingenommenheit und die Aufrechterhaltung schädlicher Stereotypen aufgrund von voreingenommenen Trainingsdaten, das Risiko, dass KI-Halluzinationen falsche oder unsinnige Inhalte erzeugen, die böswillig zur Verbreitung von Fehlinformationen ausgenutzt werden könnten, und die mangelnde Kenntnis aktueller Ereignisse oder Fakten. Aus diesem Grund werden sie auch im Entwurf des europäischen KI-Gesetzes besonders unter die Lupe genommen
Interpretierbarkeit und Erklärbarkeit
LLM werden oft als "Black Boxes" betrachtet, weil es schwierig sein kann, zu verstehen und zu interpretieren, wie sie ihre Inhalte generieren. Dies kann ihre Vertrauenswürdigkeit und Verantwortlichkeit einschränken, insbesondere in sensiblen Bereichen wie dem Gesundheitswesen, dem Personalwesen oder den Finanzen. Aus dieser Einschränkung ergibt sich die Notwendigkeit, eine Person in den Kreislauf Ihrer Lösung einzubeziehen. Eine ideale Lösung hält sich an die Gesetze der robusten KI und verhält sich daher auch in unerwarteten oder sich verändernden Umgebungen angemessen.
Übersicht über die Lösungen mit LLMs
Large Language Model-Lösungen sind in verschiedenen Formen erhältlich:
Für einige Anwendungsfälle reicht es aus, ein bestehendes LLM einzubinden.
Für andere Anwendungsfälle ist eine Feinabstimmung eines bestehenden LLM erforderlich.
In anderen Szenarien kann jedoch ein von Grund auf neu trainiertes Sprachmodell der richtige Weg sein.
Zu den entscheidenden Schritten beim Aufbau einer LLM-Lösung gehören:
Wahl des großen Sprachmodells
Bei der Wahl des richtigen LLM für Ihren Anwendungsfall müssen Sie die folgenden Kompromisse berücksichtigen: Open-Source-Modelle (z. B. LLaMA) gegenüber kommerziellen Modellen (z. B. GPT), Selbst-Hosting gegenüber API-Zugang, erlaubte kommerzielle Nutzung gegenüber ausschließlicher Nutzung für Forschungszwecke, sowie Modellleistung und Latenz, Preisgestaltung und Dateneigentum und -schutz.
Analyse von Kosten und TCO
Um unangenehme Überraschungen zu vermeiden, sollten Sie bei der Konzeption Ihrer Lösung unbedingt die anfänglichen Investitions- und Betriebskosten berücksichtigen. Je nachdem, wie Sie Ihre Lösung nutzen wollen, sind einige Optionen (z. B. die Verwendung einer Token-basierten API) möglicherweise nicht praktikabel.
Prompt Engineering
Prompt Engineering umfasst die Definition, Verfeinerung und Optimierung einer Prompt-Vorlage, um die genauesten und relevantesten Ergebnisse aus dem Sprachmodell zu erhalten. Durch die Bereitstellung zusätzlicher Informationen können Sie die Modellantworten in Bezug auf Inhalt, Unternehmensstil/-ton und Struktur in die gewünschte Richtung lenken.
MLOps/LLMOps/FMOps
Ein entscheidender Teil der Arbeit mit LLM-Lösungen in der Produktion bezieht sich auf Versionskontrolle, Feinabstimmung von Pipelines, Modellaustauschbarkeit, Leistungsüberwachung, ... Um Ihr Modell in die Produktion zu bringen (und zu behalten!), müssen Sie die Feinheiten von MLOps für LLMs berücksichtigen.
Die Implementierung einer Benutzer-Feedback-Schleife ist hier von unschätzbarem Wert. Stellen Sie sich eine generative Lösung vor, die Inhalte vorschlägt, die die Nutzer nach eigenem Ermessen korrigieren können. Wir möchten genau wissen, was geändert wurde, und dies in die Schleife einspeisen, um sie zum richtigen Zeitpunkt neu zu trainieren.
Lesen Sie unseren ausführlichen Experten-Blogpost über Foundation Model Operations ( FMOps), um ein besseres Verständnis von FMOps, Foundation Models und dem Modell zu erhalten.
- Entwicklung von KI-Systemen im Zeitalter der Stiftungsmodelle: Von MLOps zu FMOps [Pt.1]
- Entwicklung von KI-Systemen im Zeitalter der Stiftungsmodelle: Von MLOps zu FMOps [Pt.2]
Datenverarbeitung
Während einige glauben, dass KI ein modellzentrierter Bereich ist, sind wir der Meinung, dass dieser Bereich, insbesondere mit dem Aufkommen von Foundation Models, zunehmend datenzentriert ist. Die Einrichtung der richtigen Prozesse zur Verarbeitung und Speicherung der für Ihren Anwendungsfall relevanten Daten, z. B. Daten von Dritten oder interne Daten, spielt nach wie vor eine entscheidende Rolle.
Prompt-Analysen
Bei der Arbeit mit nicht-deterministischen Systemen ist es entscheidend, genau zu erfassen, wie Ihre LLM-Lösung genutzt wird (sowohl Input als auch Output). Sie können zum Beispiel die Nutzung Ihrer LLM-Lösung überwachen oder sogar den Inhalt untersuchen, der der Lösung zur Verfügung gestellt wird, wie z. B. die 10 am häufigsten gestellten Fragen im Kontext eines Chatbots.
Nehmen Sie Kontakt mit unseren Experten auf
ML6 verfügt über umfangreiche Erfahrung in der Bereitstellung von kundenspezifischen Lösungen, die LLMs zur Lösung komplexer Geschäftsprobleme nutzen. Unser Expertenteam kann mit Ihnen zusammenarbeiten, um eine LLM-Lösung zu entwickeln, die auf Ihre Geschäftsanforderungen zugeschnitten ist, sei es zur Automatisierung des Kundendienstes oder zur Verbesserung der Inhaltserstellung. LLMs sind ein entscheidender Faktor für Unternehmen, die innovativ sein und ihre Wettbewerbsposition innerhalb ihrer Branche aufrechterhalten wollen.
