LLAMA 2: So gut, dass sie es zweimal benannt haben

Ein kurzer Überblick über LLAMA 2 und eine kurze Zusammenfassung der Ereignisse, die dazu geführt haben

Meta hat also eine Sache. LLAMA 2 ist jetzt draußen!

Aber was zum Teufel ist ein LLAMA, wie sind wir hierher gekommen und was müssen Sie(ja, Sie) wissen, wenn Sie es benutzen wollen.

Was zum Teufel ist ein LLAMA?

Das LLAMA ist ein domestiziertes südamerikanisches Kamel, das von den Kulturen der Anden seit der präkolumbianischen Ära als Fleisch- und Lasttier genutzt wird.

LLAMA ist auch das Large Language Model von Meta, das vor kurzem aktualisiert wurde - und um das es hier geht.

(Lama ist anscheinend auch ein Bowling-Begriff für vier Strikes hintereinander - womit Sie vielleicht eines Tages ein Quiz gewinnen)

Wie sind wir hierher gekommen?

Wie LLAMA 2 zustande kam, ist eine ganz schöne Geschichte. Also schnallt euch an, denn es wird spannend.
Werfen wir einen Blick ein paar Monate zurück.

- Google hat die Demogötter verspottet und machte einen Tesla während der Veröffentlichung von Bard(Link).
- Elon Musk zog die alte Kehrtwendung - er drängte auf einen Stopp der KI, bevor er sein eigenes KI-Unternehmen gründete. Typisch Elon. Der älteste Trick im Buch.
- Und Samsung hat beschlossen, seine internen Dokumente zu veröffentlichen(Link).

Gute Zeiten.

ABER ALSO: Meta hat den Chat betreten.

Mark Zuckerberg legte seine sorgfältig konstruierte Vision dar, dass Open-Source-LLMs die Zukunft sind, und gab LLAMA als völlig offenes Modell frei - ohne Bedingungen!

Das wäre ein kühner (oder sollte ich sagen: re-markenfähiger) Schachzug gewesen, wenn es nicht einen großen Fehler gegeben hätte: Das ist überhaupt nicht passiert.

Rekapitulieren wir also, was geschehen ist:

Februar: Meta veröffentlicht LLAMA

Mark und seine schräge Truppe verkünden, dass der LLM-Hype-Zug nicht ohne sie abfahren wird und bringen ihr eigenes Modell heraus: LLAMA.
Oder sollte ich sagen LLAMA-RK. Entschuldigung.

Im Gegensatz zu den üblichen Verdächtigen (aka Google, AWS, Microsoft und OpenAI) haben sie beschlossen, das Modell nicht unter Verschluss zu halten 🔐.
Stattdessen entscheiden sie sich dafür, das Modell mit einer begrenzten Gruppe von Forschern unter einer nicht-kommerziellen Lizenz zu teilen.
Auf diese Weise wollen sie "die Integrität wahren und Missbrauch verhindern". Was sie auch tun werden - es sei denn, jemand lässt LLAMA durchsickern, aber das würde nie passieren.

März: Meta macht ein Oopsie

So ziemlich sofort lässt jemand LLAMA durchsickern. Genauer gesagt: das ganze Ding. Jetzt kann also jeder das Modell in die Hände bekommen und damit machen, was er will - unter völliger Umgehung der Einschränkungen.

Meta unterstreicht, dass - trotz des Lecks - die LLAMA-Lizenz immer noch gilt.
Sie können es immer noch nicht kommerziell nutzen und nicht autorisierte Personen können es überhaupt nicht nutzen .

März: Unbefugte benutzen LLAMA trotzdem

Die KI-Gemeinschaft reagierte auf Metas Warnung mit einem kollektiven "verdammt, das ist verrückt" und ignorierte sie anschließend vollständig.

An diesem Punkt ist das Modell in den Händen der Massen. Und diese Hände sind bekanntermaßen klebrig.
Meta erkennt, dass sie nicht jeden verklagen können, akzeptiert im Grunde das L und lässt es fallen.

Nebenbei bemerkt: Das Verbot der kommerziellen Nutzung wird viel weniger streng gehandhabt, und es ist durchaus möglich, dass sie Unternehmen verklagen, also kommen Sie nicht auf dumme Gedanken.

März - Juli: Die Menschen sind verrückt nach LLAMA

Es dauerte nicht lange, bis die KI-Gemeinschaft das tat, was sie am besten kann: etwas verdammt noch mal optimieren.
Und Junge, sie haben LLAMA optimiert.

Innerhalb weniger Wochen gelang es den Leuten, LLAMA auf einem Telefon zum Laufen zu bringen. Es wurden LLAMA-Varianten wie Vicuna trainiert , die mit Googles Bard konkurrieren und nur ein paar hundert Dollar kosten.

Juli: Der Kreislauf hat sich geschlossen

Die undichte Stelle, die Meta ursprünglich fest in den Hintern gebissen hatte (entschuldigen Sie meine Ausdrucksweise), schloss den Kreis und wurde ironischerweise zu ihrem größten Vorteil.

Ursprünglich war geplant, LLAMA einer ausgewählten Gruppe von Forschern zur Verfügung zu stellen, die es verbessern und optimieren sollten.
Stattdessen wurde das Modell der Öffentlichkeit zugänglich gemacht. Das ist natürlich ein schlechtes Zeichen für ein milliardenschweres Unternehmen, aber es führte auch dazu, dass jeder LLAMA optimierte (nicht nur ein paar Forscher).
Dies beschleunigte den Fortschritt über die optimistischsten Schätzungen hinaus.

War das von Anfang an Metas Masterplan?
Diesen Gedanken überlassen wir unseren Kollegen aus dem Bereich der Verschwörungstheorien.

Juli: Meta verdoppelt und veröffentlicht LLAMA 2

Das bringt uns zu heute. Meta hat gerade eine große Aktualisierung ihres LLAMA-Modells veröffentlicht. Und es ist Open-Source. Diesmal mit Absicht!
Es gibt allerdings ein paar Bedingungen, auf die wir zurückkommen werden(*Kliffhanger*).

Dies bestätigt mehr oder weniger, dass sie den Open-Source-Trend, den sie versehentlich in Gang gesetzt haben, weiter vorantreiben.
Man muss es einfach lieben, wie sich die Dinge manchmal entwickeln.

Schauen wir uns genauer an, was genau sie veröffentlicht haben, was die berüchtigten paar Fäden sind und was das alles für Sie bedeutet.

Was Sie über LLAMA 2 wissen müssen

Kleiner Disclaimer: Alle technischen Details sind in Metas Ankündigung schön und prägnant formuliert, so dass es nicht viel bringt, dieselben Informationen wiederzukäuen.

Stattdessen überspringen wir das Kleingedruckte und konzentrieren uns nur auf die wichtigsten Punkte, die Sie wissen sollten.

Es ist gut, aber wir stehen erst am Anfang

LLAMA 2 gibt es in vier Größen (7B, 13B, 65B und 70B).
- Die kleineren Varianten erreichen in etwa die gleiche Leistung wie der aktuelle Open-Source-Standard (wenn auch mit einem viel kleineren Modell).
- Die größeren Varianten sind deutlich besser als der aktuelle Open-Source-Standard.

Obligatorische Randbemerkung: Die Bewertung von LLMs ist notorisch schwierig. Derzeit werden die Bewertungen auf der Grundlage der GPT-4-Bewertung, der (subjektiven) menschlichen Bewertung und der Ergebnisse standardisierter Tests (z. B. SATs und dergleichen) vorgenommen.
Daher sind alle Aussagen über die Genauigkeit, die wir hier machen, keineswegs sehr genau (ironischerweise), aber ausreichend, um einen allgemeinen Eindruck zu erhalten.

Das ist alles sehr schön, aber das ist noch nicht das Ende der Fahnenstange. Nicht einmal annähernd.

So wie LLAMA durchgesickert ist, ist auch LLAMA 2 jetzt in den Händen vieler. Vor allem, weil es jetzt nicht einmal mehr eine rechtliche Grauzone ist, werden diese Hände fest an ihren kollektiven Tastaturen kleben - und ihre Magie ausüben und die Hölle aus ihr heraus optimieren.

In der Tat sehen wir bereits die ersten Anzeichen der Open-Source-Magie, z.B.:
- Baby Llama: LLAMA 2-Implementierung vollständig in C
- Stable Beluga 2: Feinabgestimmte LLAMA 2-Anweisungen von stability.ai
- ...

Erwarten Sie viele weitere Open-Source-Fortschritte auf der Grundlage von LLAMA 2.

Es ist Open-Source, aber auch nicht wirklich?

Hier kommen die berüchtigten Bedingungen ins Spiel.

So sieht es aus:
Ist es Open-Source? Ja.
Können Sie es kommerziell nutzen? Ja.

ABER es gibt einige Vorbehalte, die Sie beachten sollten:
- Wenn Sie mehr als 700 Mio. monatlich aktive Nutzer haben, benötigen Sie eine Lizenz von Meta. Das ist wahrscheinlich kein Problem für Sie, aber für die Cloud-Anbieter schon.
- Sie können LLAMA 2 (oder seine Ausgabe) nicht verwenden, um andere LLMs zu verbessern. Auch dies sollte für Sie kein großes Problem darstellen, aber für Metas Konkurrenten schon.
- Sie dürfen LLAMA 2 nicht auf illegale, unethische oder unverantwortliche Weise verwenden. Metas Definition der akzeptablen Nutzung von unethisch/unverantwortlich ist das. Dies erinnert sehr an die OpenRAIL-Initiative, die z.B. StableDiffusion in seine Lizenz aufgenommen hat.

Wir empfehlen dringend, einen Blick auf die Nutzungsbedingungen von Meta zu werfen. Im Großen und Ganzen ist es das, was Sie erwarten würden.

Wenn Sie die vollständige LLAMA 2-Lizenz lesen möchten, können Sie das gerne tun.

Nebenbei bemerkt: Die Lizenz verweist über eine URL auf die Nutzungsbedingungen.
Wenn also wieder einmal ein Versehen passiert und etwas Wichtiges vergessen wurde, kann man immer noch zurückgehen und es hinzufügen, ohne die eigentliche Lizenz anfassen zu müssen.
Wenn Sie das Modell verwenden und auf Nummer sicher gehen wollen, empfehlen wir Ihnen, eine datierte PDF-Kopie der Nutzungsbedingungen zu erstellen.

Solides Geschäft von Meta

Alles in allem ist es ein ziemlich cleveres Geschäft von Meta.
Mit ihrer LLAMA 2-Lizenz kombinieren sie im Grunde die Vorteile von Open-Source mit den Vorteilen von Closed-Source:

• Auf der einen Seite kann die Allgemeinheit LLAMA 2 auf ethische Weise nutzen, wie sie will. Meta wird also von allen Open-Source-Fortschritten profitieren, die gemacht werden.
• Auf der anderen Seite können andere Modellanbieter LLAMA 2 im Grunde überhaupt nicht nutzen, was Metas Wettbewerbsvorteil schützt.
  Und die großen Cloud-Anbieter können LLAMA 2 nicht ohne eine kommerzielle Vereinbarung mit Meta weiterverkaufen, was genau die Art und Weise ist, wie sie es monetarisieren wollen.
  Sie glauben mir nicht? Mark Zuckerberg sagte dies während der vierteljährlichen Gewinnmitteilung von Meta:

"Wenn Sie jemand wie Microsoft, Amazon oder Google sind und die Dienste im Grunde weiterverkaufen, sollten wir einen Teil der Einnahmen dafür bekommen."
~ Mark Zuckerberg, 27. Juli 2023

Im Grunde kann es also jeder ethisch vertretbar nutzen, mit Ausnahme der Konkurrenten und der Parteien, mit denen sie das große Geld machen können 💸. Ziemlich clever.

Und zwar so clever, dass diese halboffenen/pseudo-offenen Lizenzen zu einem breiteren Industriestandard werden könnten (*Vorahnung*).
Wenn sich dies als richtig herausstellt, haben Sie es hier zuerst gehört.

Wenn es mit seiner MMA-Karriere nicht klappt, sollte dieser Mark Zuckerberg ein Unternehmen gründen.

Meta-Microsoft

Microsoft ist offiziell Metas bevorzugter Partner für LLAMA 2.
Allerdings ist der genaue Umfang des Status als bevorzugter LLAMA 2-Partner nicht ganz klar. Da das Modell zum Beispiel auch auf AWS und Google Cloud verfügbar ist, wissen wir, dass es sich nicht um eine Exklusivitätsvereinbarung handelt.

So oder so ist es interessant zu sehen, dass Microsoft nach der Partnerschaft mit OpenAI seine Partnerschaft mit Meta weiter ausbaut.

- Sieht Microsoft die Open-Source-LLM-Strategie von Meta als langfristige Strategie und die Closed-Source-GPTs von OpenAI eher als kurzfristige Wette, um einen First-Mover-Vorteil im LLM-Bereich zu erlangen?

- Oder setzen sie einfach opportunistisch auf die vielversprechendsten Pferde im Rennen um die generative KI-Führung? Und eines dieser Pferde ist zufällig ein Lama.

- Vielleicht wollen sie die Angebote von OpenAI und Meta anders positionieren und glauben, dass es Synergien gibt, wenn man auf beide setzt.

Abgesehen von der schamlosen Spekulation ist die einzige wirkliche Antwort, dass wir es nicht wissen und Sie auch nicht. Aber die Zeit wird es zeigen.

Fazit

Meta stolperte auf das Podium der Open-Source-LLM und beschloss, dort zu bleiben.

Sie haben LLAMA 2 herausgebracht, das sehr anständig aussieht, aber der wirkliche Wert wird von der allgemeinen Öffentlichkeit kommen, die damit herumspielt.

Es ist so gut wie quelloffen. Das heißt: Sie können damit machen, was Sie wollen (sowohl kommerziell als auch nicht-kommerziell) - außer:
- wenn Ihr Name Google, Amazon oder Microsoft ist
- wenn Sie etwas Illegales, Unethisches oder Unverantwortliches vorhaben. Metas Definition von unethisch und unverantwortlich ist das.

‍

‍