Neue Version des Sprachmodells allenaiLlama-3.1-Tulu-3-8B veröffentlicht

Neues Sprachmodell allenai/Llama-3.1-Tulu-3-8B veröffentlicht

Das Allen Institute for AI (AI2) hat eine neue Version seines großen Sprachmodells (LLM) veröffentlicht: allenai/Llama-3.1-Tulu-3-8B. Dieses Modell ist Teil der Tülu3-Familie und zeichnet sich durch Open-Source-Daten, -Code und -Rezepte für moderne Post-Training-Techniken aus. Es wurde für optimale Leistung in verschiedenen Aufgaben entwickelt, darunter Chat, Mathematik, GSM8K und IFEval.

Tülu3 basiert auf Metas Llama 3.1 und wurde mit einer Mischung aus öffentlich verfügbaren, synthetischen und von Menschen erstellten Datensätzen trainiert. Das Modell ist primär auf Englisch ausgerichtet und wurde durch Feinabstimmung des Modells allenai/Llama-3.1-Tulu-3-8B-DPO entwickelt. Die Entwickler legen Wert darauf, dass Daten, Code und Trainingsrezepte öffentlich zugänglich sind, um die Transparenz und Reproduzierbarkeit zu fördern und der Community als umfassender Leitfaden für Post-Training-Techniken zu dienen.

Modellarchitektur und Training

Das Modell folgt der Architektur eines Standard-Decoder-only-Transformators mit geringfügigen Anpassungen. Es wurde ein iterativer Post-Training-Prozess verwendet, der überwachtes Feinabstimmung und direkte Präferenzoptimierung kombiniert. Dies ermöglichte die Erstellung hochwertiger synthetischer Daten für jede Runde und verbesserte die Leistung in den verschiedenen Aufgabenbereichen. Im Vergleich zu früheren Versionen von Llama wurde sowohl die Quantität als auch die Qualität der für das Pre- und Post-Training verwendeten Daten verbessert. Dazu gehören sorgfältigere Vorverarbeitungs- und Kuratierungspipelines für Pre-Training-Daten sowie strengere Qualitätssicherung und Filteransätze für Post-Training-Daten.

Nutzung des Modells

Das Modell kann über die Hugging Face Transformers Bibliothek geladen werden. Es ist auch kompatibel mit VLLM für effizientes Serving. Die Entwickler stellen ein Chat-Template zur Verfügung und empfehlen die Verwendung eines Systemprompts, der das Modell als "Tulu 3, ein hilfreicher und harmloser KI-Assistent des Allen Institute for AI" identifiziert.

Leistung und Einschränkungen

Tülu3 8B zeigt in Benchmarks wettbewerbsfähige Leistungen im Vergleich zu anderen Modellen ähnlicher Größe. Es erzielt gute Ergebnisse in Bereichen wie MMLU, GSM8K und IFEval. Die Entwickler weisen jedoch darauf hin, dass das Modell nur begrenzt auf Sicherheit trainiert wurde und problematische Ausgaben erzeugen kann, insbesondere wenn es dazu aufgefordert wird. Es gibt keine automatische Filterung von Antworten wie bei ChatGPT. Außerdem ist die genaue Zusammensetzung des Korpus, der zum Trainieren der Basismodelle von Llama 3.1 verwendet wurde, unbekannt, obwohl es wahrscheinlich eine Mischung aus Webdaten und technischen Quellen wie Büchern und Code enthält.

Lizenzierung und zukünftige Entwicklungen

Alle Llama 3.1 Tülu3-Modelle werden unter der Llama 3.1 Community License Agreement von Meta veröffentlicht. Tülu3 ist für Forschungs- und Bildungszwecke gedacht. Die Entwickler planen, das Tülu3-Rezept in Kürze auf weitere Modelle anzuwenden, insbesondere auf OLMo, um vollständig offene, hochmoderne Instruktionsmodelle zu ermöglichen.

Bibliographie:

1. https://huggingface.co/allenai/Llama-3.1-Tulu-3-8B
2. https://huggingface.co/allenai/Llama-3.1-Tulu-3-8B-SFT/blame/a1f77fbb665703d916144c32ad8a4137f04b7087/README.md
3. https://www.threads.net/@natolambert/post/DCpByhZoAhL/first-try-our-models-via-our-free-demo-or-grab-them-on-hugging-facemy-story-behi
4. https://github.com/allenai/open-instruct/blob/main/docs/tulu3.md
5. https://www.llama.com/
6. https://ai.meta.com/blog/meta-llama-3-1/
7. https://www.aibase.com/tool/34632