Ein datenzentrierter Rahmen für die Feinabstimmung von Gründungsmodellen
Foundation-Modelle bieten nie dagewesene Möglichkeiten zur Steigerung der Produktivität und zur Förderung des Wachstums. Standardmäßig sind sie in der Lage, allgemeine Aufgaben wie die Generierung von Text, Bildern und Videos auszuführen. Um jedoch komplexe und domänenspezifische Aufgaben wie die Erstellung von Bildern in einem bestimmten visuellen Stil oder die Arbeit mit juristischem oder medizinischem Fachjargon zu bewältigen, müssen sie spezialisiert werden.
Fondant wurde entwickelt, um diesen Prozess, die sogenannte Feinabstimmung der Fundamentmodelle, so einfach und leistungsfähig wie möglich zu gestalten.
Basismodelle sind Modelle, die auf großen und vielfältigen Datenquellen trainiert werden und für eine breite Palette nachgelagerter Aufgaben verwendet werden können. Als solche bilden sie die "Grundlage" für andere Modelle.
So wird beispielsweise GPT3 als Grundlage für ChatGPT verwendet, ein Modell, das für die Beantwortung von Fragen angepasst wurde. Weitere Beispiele für Basismodelle sind Stable Diffusion, CLIP, SegmentAnything (SAM) und viele andere.
Fondant ist ein Open-Source-Framework für die Datenaufbereitung und Feinabstimmung von Fundamentmodellen, das von ML6 zusammen mit der Open-Source-Community entwickelt wurde. Unser Ziel ist es, die Feinabstimmung großer Fundamentmodelle auf der Grundlage spezifischer Wissensdomänendaten einfach und effizient zu gestalten.
Datenqualität und -quantität sind die Hauptfaktoren, die die Leistungsfähigkeit von fein abgestimmten KI-Modellen bestimmen. Die Aufbereitung der Daten verschlingt jedoch in realen Szenarien oft 80 bis 90 % des Budgets. Mit Fondant wollen wir diesen Prozess so schmerzlos wie möglich machen, indem wir eine einfach zu bedienende Programmierschnittstelle, zusammensetzbare Pipelines und wiederverwendbare Komponenten bereitstellen, die Datenmengen im Terabyte-Bereich in wenigen Stunden verarbeiten können.
Besuchen Sie unsere Github-Seite und beginnen Sie zu testen und zu Fondant beizutragen! Auf Github finden Sie alle Informationen darüber, wie Sie Ihre eigenen Pipelines und Komponenten installieren, testen und erstellen können. Teilen Sie uns Ihr Feedback mit - wir fügen ständig neue Funktionen und Komponenten hinzu, die auf den Bedürfnissen unserer Nutzer basieren.
Die Leistung eines Modells hängt direkt von der Menge und der Qualität der Daten ab, auf denen es feinabgestimmt wurde. Fondant macht es einfach, umfangreiche Daten für die Feinabstimmung zu sammeln, anzureichern und zu kuratieren.
Fondant ist mit Daten- und Modell-Hubs kompatibel, zum Beispiel mit Modell-Hubs wie Huggingface. Es unterstützt alle wichtigen Clouds, was Ihnen Freiheit und Kontrolle gibt und die Bindung an einen bestimmten Anbieter vermeidet. Unser Ziel ist es auch, alle Datenmodalitäten (Bilder, Text, Video, ...) zu unterstützen, um eine Feinabstimmung jedes Fundamentmodells zu ermöglichen.
Fondant ermöglicht die Erstellung hochskalierbarer Pipelines aus wiederverwendbaren Komponenten zur Anreicherung und Feinabstimmung großer Fundamentmodelle. Es erleichtert die intelligente Sammlung, Filterung und Transformation von Daten und optimiert die Feinabstimmung. Fondant ist einfach wiederzuverwenden und zu erweitern.
Für eine optimale Leistung benötigen Fundamentmodelle große Datenmengen zur Feinabstimmung. Daher ist Fondant skalierbar aufgebaut. In zukünftigen Versionen wollen wir die Feinabstimmung oder sogar das Training großer Modelle durch verteilte Berechnungen und hoch skalierbare Pipelines ermöglichen.
Fondant ist mit Datensätzen als Schnittstelle konzipiert und um ein zentrales Manifest herum aufgebaut. Dies ermöglicht einmaliges Schreiben und Lesen und minimale Datenbewegungen, was die Kosten reduziert.
Wir haben derzeit vier Standorte in ganz Europa und wir können es kaum erwarten, Sie zu beeindrucken. Lassen Sie uns wissen, wie wir Ihnen helfen können.