Featherless AI stellt Reflection-70B für Serverless Inference bereit

In einer spannenden Ankündigung hat Featherless AI kürzlich bekannt gegeben, dass das neueste Modell Reflection-70B jetzt für alle Benutzer auf ihrer Plattform verfügbar ist. Nicht-Abonnenten haben die Möglichkeit, das Modell über einen speziellen Testbereich auf Hugging Face auszuprobieren. Diese Entwicklung markiert einen bedeutenden Schritt in der Verfügbarkeit und Zugänglichkeit von hochmodernen KI-Modellen für die breite Öffentlichkeit.

Serverless Inference für Open-Weight-Modelle

Featherless AI arbeitet daran, serverlose Inferenz für alle Open-Weight-Modelle anzubieten. Dies bedeutet, dass Benutzer keine eigenen Server bereitstellen oder verwalten müssen, um diese Modelle zu nutzen. Stattdessen können sie direkt auf der Plattform von Featherless AI auf die Modelle zugreifen und sie verwenden. Diese Innovation zielt darauf ab, die Nutzung von KI-Modellen zu vereinfachen und deren Verfügbarkeit zu erhöhen.

Einführung von Reflection-70B

Reflection-70B ist das neueste Modell, das von Matt Shumer und seinem Team entwickelt wurde. Es basiert auf der Llama-3.1-Architektur und wurde mit einer neuen Technik namens "Reflection-Tuning" trainiert. Diese Technik ermöglicht es dem Modell, eigene Fehler zu erkennen und zu korrigieren. Das Modell wurde auf synthetischen Daten trainiert, die von Glaive generiert wurden, einem führenden Anbieter von Trainingsdaten für maschinelles Lernen.

Technische Spezifikationen und Training

Das Modell Reflection-70B hat eine Größe von 70,6 Milliarden Parametern und wurde in verschiedenen Formaten wie F32 und BF16 veröffentlicht. Es nutzt spezielle Token, um seine internen Überlegungen und endgültigen Antworten zu trennen, was die Benutzererfahrung verbessert. Während des Samplings gibt das Modell seine Überlegungen in -Tags aus und liefert die endgültige Antwort in

-Tags. Wenn das Modell einen Fehler in seinen Überlegungen erkennt, verwendet es -Tags, um den Fehler zu korrigieren.

System-Prompt und Chat-Format

Das System-Prompt, das für das Training dieses Modells verwendet wurde, lautet: "Du bist ein erstklassiges KI-System, das in der Lage ist, komplexe Überlegungen und Reflexionen durchzuführen. Denke über die Anfrage innerhalb der -Tags nach und gib dann deine endgültige Antwort innerhalb der

-Tags. Wenn du einen Fehler in deinen Überlegungen erkennst, korrigiere dich innerhalb der -Tags." Es wird empfohlen, dieses System-Prompt zu verwenden, um die besten Ergebnisse mit Reflection-70B zu erzielen.

Verfügbarkeit und Nutzung

Das Modell ist über die Plattform von Featherless AI zugänglich und kann von Benutzern getestet werden. Featherless AI plant, alle neuen Modelle zuerst auf ihrer Plattform verfügbar zu machen, bevor sie auf anderen Anbietern erscheinen. Dies gibt den Benutzern von Featherless AI einen frühen Zugang zu den neuesten Entwicklungen im Bereich der KI.

Zukünftige Entwicklungen

Neben Reflection-70B hat das Team um Matt Shumer angekündigt, dass nächste Woche ein weiteres Modell, Reflection 405B, veröffentlicht wird. Dieses Modell wird voraussichtlich das leistungsstärkste Modell der Welt sein, einschließlich geschlossener Modelle. Featherless AI und Matt Shumer setzen hohe Erwartungen an dieses kommende Modell, das ebenfalls serverlose Inferenz unterstützen wird.

Fazit

Die Einführung von Reflection-70B und die Bemühungen von Featherless AI, serverlose Inferenz für Open-Weight-Modelle anzubieten, markieren bedeutende Fortschritte in der Zugänglichkeit und Nutzung von KI-Modellen. Diese Entwicklungen könnten die Art und Weise, wie KI-Modelle verwendet und implementiert werden, revolutionieren und eine breitere Akzeptanz und Nutzung von KI-Technologien fördern.

Quellen

Featherless AI: https://huggingface.co/featherless-ai
Matt Shumer: https://huggingface.co/mattshumer/Reflection-70B
Diskussionen: https://huggingface.co/mattshumer/Reflection-70B/discussions/6
Meta-Llama: https://huggingface.co/meta-llama/Meta-Llama-3-8B/discussions/31
Try This Model: https://huggingface.co/spaces/featherless-ai/try-this-model
Unsloth: https://huggingface.co/unsloth/Reflection-70B-f16
Leafspark: https://huggingface.co/leafspark/Reflection-Llama-3.1-70B-GGUF