Integration von Baseten als Inference Provider im Hugging Face Hub

Als spezialisierter Analyst für Mindverse ist es unsere Aufgabe, Sie über relevante Entwicklungen im Bereich der künstlichen Intelligenz zu informieren. Die kontinuierliche Weiterentwicklung und Integration von KI-Infrastrukturen ist für Unternehmen, die auf fortschrittliche KI-Lösungen setzen, von entscheidender Bedeutung. In diesem Kontext beleuchten wir die jüngste Integration von Baseten als Inference Provider auf dem Hugging Face Hub.

Integration von Baseten in den Hugging Face Hub

Der Hugging Face Hub hat kürzlich Baseten als unterstützten Inference Provider in sein Ökosystem aufgenommen. Diese Entwicklung ist relevant für Unternehmen, die Modelle für Inferenzzwecke in Produktionsumgebungen einsetzen möchten. Baseten ist eine Plattform, die sich auf KI-Infrastruktur, serverlose KI und das Training von Modellen spezialisiert hat. Die Integration zielt darauf ab, die Breite und Leistungsfähigkeit der serverlosen Inferenz direkt auf den Modellseiten des Hubs zu erweitern.

Die Verfügbarkeit von Baseten als Inference Provider ermöglicht es Entwicklern, eine Vielzahl von KI-Modellen mit minimalem Einrichtungsaufwand in ihre Anwendungen zu integrieren. Baseten bietet einen Katalog von Modellen, darunter Large Language Models (LLMs), sowie Funktionen für Text-to-Speech und weitere Anwendungen.

Umfang der initialen Integration

Im Rahmen der initialen Integration unterstützt Baseten auf Hugging Face primär Konversations- und Textgenerierungsaufgaben. Dies umfasst den Zugang zu verschiedenen Open-Weight LLMs. Zu den unterstützten Modellen gehören beispielsweise Kimi K3, DeepSeek V4 Flash und GLM-5.2. Es wurde angekündigt, dass die Unterstützung für zusätzliche Aufgaben in Zukunft erweitert werden soll.

Eine vollständige Liste der von Baseten unterstützten Modelle ist auf dem Hugging Face Hub verfügbar und kann nach Relevanz oder anderen Kriterien sortiert werden.

Funktionsweise der Integration

Die Nutzung der Baseten-Inferenz über den Hugging Face Hub ist auf verschiedene Weisen möglich, um den Anforderungen unterschiedlicher Anwendungsfälle gerecht zu werden.

Nutzung über die Website-Benutzeroberfläche

Benutzer können in ihren Kontoeinstellungen auf der Hugging Face Website eigene API-Keys für die von ihnen genutzten Provider hinterlegen. Dies ermöglicht eine direkte Ansteuerung des jeweiligen Providers. Sollte kein spezifischer Key hinterlegt sein, werden Anfragen über Hugging Face geroutet. Darüber hinaus besteht die Möglichkeit, die bevorzugte Reihenfolge der Provider festzulegen, was sich auf die Anzeige in Widgets und Code-Snippets auf den Modellseiten auswirkt.

Es existieren zwei primäre Modi für den Aufruf von Inference Providern:

• Benutzerdefinierter Key: Anfragen werden direkt an den Inference Provider gesendet, wobei der eigene API-Key des Providers verwendet wird.
• Geroutet über Hugging Face: In diesem Modus ist kein Provider-spezifischer Token erforderlich. Die Abrechnung erfolgt direkt über das Hugging Face-Konto, nicht über das Konto des Providers.

Die Modellseiten auf dem Hugging Face Hub zeigen kompatible Drittanbieter-Inferenzprovider an, deren Reihenfolge durch die Benutzerpräferenzen bestimmt wird.

Nutzung über Client-SDKs

Baseten ist ebenfalls über die Hugging Face Client-SDKs zugänglich. Dies beinhaltet die Bibliothek huggingface_hub für Python (ab Version 1.26.1) und @huggingface/inference für JavaScript. Diese SDKs ermöglichen eine programmgesteuerte Interaktion mit den Modellen, die über Baseten gehostet werden.

Für die Authentifizierung wird ein Hugging Face Token verwendet. Anfragen, die über diese SDKs gestellt werden, können automatisch an Baseten weitergeleitet werden, wenn dies entsprechend konfiguriert ist.

Integration in Agent Harnesses

Die Hugging Face Inference Providers sind in die meisten sogenannten Agent Harnesses integriert, wie beispielsweise Pi, OpenCode, Hermes Agents und OpenClaw. Dies bedeutet, dass Modelle, die über Baseten gehostet werden, direkt in diese Tools eingebunden werden können, ohne zusätzlichen Code für die Integration schreiben zu müssen.

Abrechnungsmodelle

Die Kostenstruktur für die Nutzung von Baseten über den Hugging Face Hub variiert je nach dem gewählten Anfragemodus:

• Direkte Anfragen: Wenn ein API-Key des Inference Providers (z.B. Baseten) verwendet wird, erfolgt die Abrechnung direkt über das Konto des jeweiligen Providers.
• Geroutete Anfragen: Bei Authentifizierung über den Hugging Face Hub werden die Standard-API-Tarife des Providers angewendet. Hugging Face erhebt hierbei keinen zusätzlichen Aufschlag, sondern gibt die Providerkosten direkt weiter. Es ist denkbar, dass zukünftig Umsatzbeteiligungsvereinbarungen mit Partnern etabliert werden.

Für PRO-Nutzer des Hugging Face Hubs sind monatliche Inferenz-Guthaben verfügbar, die anbieterübergreifend genutzt werden können. Darüber hinaus werden kostenlose Inferenzkontingente für angemeldete Nutzer angeboten, wobei ein Upgrade auf den PRO-Plan für erweiterte Funktionen empfohlen wird.

Ausblick und Feedback

Die Integration von Baseten in das Hugging Face Ökosystem stellt eine Erweiterung der verfügbaren Optionen für Unternehmen dar, die KI-Modelle in ihren Anwendungen nutzen. Die Möglichkeit, Feedback zu dieser Integration zu geben, ist über die Diskussionsforen von Hugging Face gegeben.

Hintergrundinformationen zu Baseten

Baseten versteht sich als eine Plattform für die Bereitstellung von KI-Modellen in Produktionsumgebungen. Sie bietet eine Infrastruktur, die für hohe Performance und Skalierbarkeit konzipiert ist. Die Plattform unterstützt das Deployment von Open-Source-, benutzerdefinierten und feinabgestimmten KI-Modellen. Zudem werden voroptimierte Modell-APIs angeboten, die das Testen neuer Workloads und das Prototyping erleichtern sollen.

Hintergrundinformationen zu Hugging Face Inference Providers

Das Konzept der Inference Providers auf dem Hugging Face Hub wurde eingeführt, um einen vereinheitlichten Zugang zu einer Vielzahl von Machine-Learning-Modellen zu ermöglichen. Dies baut auf der früheren serverlosen Inference API auf und zielt darauf ab, eine größere Modellauswahl, verbesserte Leistung und höhere Zuverlässigkeit durch die Zusammenarbeit mit spezialisierten Anbietern zu bieten. Baseten reiht sich in eine Liste weiterer Provider ein, die bereits in den Hub integriert wurden.

Diese Entwicklung unterstreicht den Trend zur Modularisierung und Spezialisierung in der KI-Infrastruktur, wodurch Unternehmen flexiblere und leistungsfähigere Lösungen für den Einsatz von KI-Modellen erhalten.

Bibliographie:

- Hugging Face Blog: Baseten on Hugging Face Inference Providers - Hugging Face Inference Providers: Supported Models - GitHub: feat/add baseten provider (python) · Pull Request #3414 · huggingface/huggingface_hub - Hugging Face Docs: Interface: BaseArgs - GitHub: packages/inference/README.md - Hugging Face Blog: Welcome to Inference Providers on the Hub - AI SDK Providers: Baseten - Baseten Website: Inference Platform: Deploy AI models in production - Hugging Face Blog: Featherless AI on Hugging Face Inference Providers