Was ist LLaMA 2? Wir zeigen was der Chatbot von Meta kann

Lama was? Nein wir begeben uns nicht in den Zoo, obwohl es aktuell so scheint wenn man sich den Wildwuchs an KI-Chatbots anschaut, die von den großen und kleinen Tech-Playern aus den Boden katapultiert werden. ChatGPT (Bing AI) von OpenAi unterstützt von Microsoft, Bard von Google, Aleph Alpha, Neuroflash und auch LLaMA von Meta dem Konzern hinter Facebook. Aber was ist Llama und was kann die neueste Version? Wir zeigen es.

Was ist Llama, welche Vorteile gegenüber ChatGPT und Bard, wie installiert man es?

Was ist LLaMA, Llama 2?
Mit welchen Daten wurde LLaMA trainiert?
Unterschied zwischen Llama 2 und ChatGPT und Google Bard
Wie man Llama 2 installiert und benutzt

Was ist LLaMA, Llama 2?

LLaMA ist eine Abkürzung und steht für „Large Language Model Meta AI“, ein Plattform für eine Reihe von großen Sprachmodellen (Large Language Models LLM), die im Februar 2023 von Meta vorgestellt wurden. In der ersten Version wurde Llama mit bis zu 65 Millionen Parametern trainiert. Llama 2 übertrifft diese aber um Längen: Im Juli 2023 veröffentlicht stehen Modelle in verschiedenen Abstufungen mit 7, 13 und 70 Milliarden Parameter zur Verfügung. Dazu: Während auf viele andere LLM meist eingeschränkt über API zugegriffen werden kann, macht Meta (Stand Mitte 2023) die LLaMA-Architektur Forschern unter einer nicht-kommerziellen Lizenz zugänglich.

Interessant: LLaMA-2 ist eine Zusammenarbeit zwischen Microsoft und Meta. Microsoft, das ein hohes Invest in OpenAI den Entwicklern hinter ChatGPT hat.

Mit welchen Daten wurde LLaMA trainiert?

Die Grundmodelle der ersten Version von LLaMA wurden laut übereinstimmenden Medienberichten mit teils öffentlich zugänglichen Datenquellen (1,4 Billionen Token) trainiert, darunter Webseiten, Open-Source-Repositories mit Quellcode von GitHub, Wikipedia in verschiedenen Sprachen, Gemeinfreie Bücher vom Project Gutenberg, LaTeX-Quellcode für wissenschaftliche Arbeiten, die auf ArXiv hochgeladen wurden, aber auch Inhalte aus einem Netzwerk von Frage-und-Antwort-Webseiten (Stack Exchange).

Ähnlich trainiert wurden die Basismodelle von Llama 2. Der Datensatz mit 2 Billionen Token wurde aber kuratiert, so dass der Fokus vor allem auf vertrauenswürdigen Quellen lag und vor allem Webseiten mit persönlichen Daten entfernt wurden. Optimiert wurde das Ganze mit RLFH (Reinforcement Learning with Human Feedback), so dass Inhalte von einem „echten“ Menschen auf ihre Richtigkeit geprüft wurden. Während also Llama 1 ohne Feintuning verfügbar ist, steht das Modell Llama 2 mit einer „menschlichen“ Feinabstimmung zur Verfügung und das bei gleicher abrufbarer Tokenzahl. Für die Optimierung schrieben „echte“ Personen Prompts und verglichen dann zwei Modellausgaben und bewerteten die Ergebnisse.

Unterschied zwischen Llama 2 und ChatGPT und Google Bard

Llama 2 konkurriert mit anderen KI-Modellen wie chatGPT und Bard. Es übertrifft zwar einige Leistungskennzahlen, ist aber nicht unbedingt besser als ChatGPT-4 (wenn Plugins genutzt werden) oder PaLM 2. Der aktuelle Open-Source Status und seine kostenlose Nutzung (für Unternehmen unter 700 Millionen Nutzern) verschaffen dem Modell aber einen deutlichen Vorteil.

Was es von anderen unterscheidet, ist seine Flexibilität. Man kann damit flexibler agieren, so dass es Content genau in dem Stil wiedergibt wie man möchte. Auch wenn ChatGPT ähnlich agieren kann, hat Metas Llama 2 hier die Nase vorn.

Vorteil der anderen ChatBot Modelle: Wer Llama 2 ausprobieren möchte kann dies nicht einfach über den Browser tun, er muss es sich selber installieren:

Wie man Llama 2 installiert und benutzt:

Für den Betrieb von Llama 2 für das kleinste 7B-Modell braucht man mindestens 10 GB VRAM. Python 3.8 oder höher und Git. Man kann das Modell auf den eigenen PC (Windows oder Mac) verwenden oder halt in der Cloud:

1. Das Modell über die offizielle Llama 2-Webseite von Meta AI herunterladen. Hier muss man einige Informationen zur Verwendung und zu seiner Person hinterlegen. Innerhalb kürzester Zeit erhält man dann eine Installations-E-Mail an die angegebene Adresse.
2. Man führt die in der Mail angegebenen Schritte aus: Llama-Repository auf GitHub aufrufen über den in der Mail hinterlegten Link. Code herunterladen und die ZIP-Datei auf dem Desktop entpacken und mit den entsprechenden Bibliotheken zum Laufen bringen.
3. Nun kann man das entsprechende Modell auf seinen Computer ausprobieren.

In einem weiteren Beitrag zeigen wir wie man genau Llama 2 lokal zum Laufen bekommt.