Scaleway wird offizieller Inference Provider auf Hugging Face Hub

Scaleway erweitert die Möglichkeiten des Hugging Face Inference Providers

Der Bereich der KI-Inferenz erlebt einen rasanten Aufschwung. Die Verfügbarkeit von leistungsfähigen Modellen und die einfache Integration in bestehende Workflows sind entscheidende Faktoren für die erfolgreiche Implementierung von KI-Lösungen. In diesem Kontext stellt die Partnerschaft zwischen Hugging Face und Scaleway einen wichtigen Meilenstein dar. Scaleway, ein Anbieter von Cloud-Infrastruktur, ist nun als offizieller Inference Provider in das Hugging Face Ökosystem integriert. Diese Entwicklung bietet Entwicklern und Unternehmen neue Möglichkeiten, KI-Modelle effizient und kostengünstig einzusetzen.

Einfacher Zugriff auf Open-Source Modelle

Die Integration von Scaleway als Inference Provider vereinfacht den Zugriff auf eine breite Palette von Open-Source Modellen, die auf dem Hugging Face Hub verfügbar sind. Beliebte Modelle wie gpt-oss, Qwen3, DeepSeek R1 und Gemma 3 können nun direkt über die Scaleway Infrastruktur genutzt werden. Dies eliminiert die Notwendigkeit, eigene Infrastruktur für das Hosting und die Bereitstellung der Modelle aufzubauen und zu verwalten. Die Nutzer profitieren von einer vereinfachten Integration und können sich auf die Entwicklung ihrer Anwendungen konzentrieren, anstatt sich mit infrastrukturellen Herausforderungen auseinanderzusetzen.

Scaleway Generative APIs: Ein vollständig verwalteter Service

Scaleway bietet mit seinen Generative APIs einen vollständig verwalteten, serverlosen Service für die KI-Inferenz. Dieser Service zeichnet sich durch eine einfache API-Schnittstelle aus, die den Zugriff auf hochmoderne KI-Modelle führender Forschungslabore ermöglicht. Die Abrechnung erfolgt auf Basis eines wettbewerbsfähigen Pay-per-Token Modells, beginnend bei €0,20 pro Million Tokens. Die Infrastruktur von Scaleway ist in europäischen Rechenzentren (Paris, Frankreich) angesiedelt, was die Einhaltung von Datenschutzbestimmungen und eine geringe Latenz für europäische Nutzer gewährleistet. Zu den unterstützten Funktionen gehören strukturierte Ausgaben, Function Calling und Multimodalität für die Verarbeitung von Text und Bildern.

Performance und Skalierbarkeit

Die von Scaleway bereitgestellte Inferenz-Infrastruktur ist für den produktiven Einsatz konzipiert und bietet Reaktionszeiten von unter 200ms für die ersten Tokens. Dies macht den Service ideal für interaktive Anwendungen und agentenbasierte Workflows. Die Plattform unterstützt sowohl Textgenerierungs- als auch Embedding-Modelle, was eine hohe Flexibilität bei der Auswahl und Implementierung von KI-Lösungen ermöglicht. Die Skalierbarkeit der Infrastruktur stellt sicher, dass auch bei steigender Nachfrage eine zuverlässige und performante Ausführung der KI-Modelle gewährleistet ist.

Integration in Hugging Face SDKs

Die Integration von Scaleway ist nahtlos in die Hugging Face Client SDKs für Python und JavaScript integriert. Dies ermöglicht Entwicklern die einfache Verwendung der Scaleway Infrastruktur in ihren bestehenden Anwendungen. Die Benutzer können entweder ihre eigenen Scaleway API Keys verwenden oder die automatische Weiterleitung über Hugging Face nutzen. Im letzteren Fall werden die Kosten direkt über das Hugging Face Konto abgerechnet.

Abrechnung und Preismodell

Die Abrechnung erfolgt je nach gewählter Methode entweder direkt über Scaleway (bei Verwendung eines Scaleway API Keys) oder über das Hugging Face Konto (bei Verwendung der automatischen Weiterleitung). Hugging Face gibt die Kosten der Provider direkt weiter, ohne zusätzliche Aufschläge. Hugging Face PRO-Nutzer erhalten monatliche Inference Credits, die über verschiedene Provider hinweg genutzt werden können. Für Free-User steht ein begrenztes Kontingent an kostenlosen Inference-Credits zur Verfügung.

Fazit

Die Partnerschaft zwischen Hugging Face und Scaleway bietet Entwicklern und Unternehmen einen wertvollen Mehrwert. Der einfache Zugriff auf eine große Auswahl an Open-Source Modellen, kombiniert mit der leistungsfähigen und kostengünstigen Infrastruktur von Scaleway, senkt die Einstiegshürden für die Nutzung von KI-Lösungen erheblich. Die Integration in die Hugging Face SDKs und die flexible Abrechnung ermöglichen eine nahtlose Integration in bestehende Workflows. Diese Entwicklung dürfte die Verbreitung und den Einsatz von KI-Technologien in verschiedenen Branchen weiter beschleunigen.

Bibliography - https://huggingface.co/blog/inference-providers-scaleway - https://huggingface.co/docs/inference-providers/providers/scaleway - https://www.scaleway.com/en/docs/managed-inference/how-to/import-custom-model/ - https://huggingface.co/blog - https://www.scaleway.com/en/news/scaleway-expands-managed-inference-with-bring-your-own-model/ - https://www.scaleway.com/en/model-as-a-service/ - https://huggingface.co/models?inference_provider=scaleway - https://huggingface.co/docs/inference-providers/index - https://www.scaleway.com/en/docs/managed-inference/faq/ - https://www.scaleway.com/en/docs/managed-inference/