Training Cluster als Dienstleistung: Zugang zu KI-Trainingsressourcen für alle

Training Cluster as a Service: Demokratisierung von KI-Training durch die Zusammenarbeit von Hugging Face und NVIDIA

Die Entwicklung und das Training fortschrittlicher KI-Modelle erfordern immense Rechenleistung, die oft nur großen Unternehmen und Forschungsinstitutionen zugänglich ist. Um diese Hürde zu überwinden und die Demokratisierung der KI-Forschung voranzutreiben, haben Hugging Face und NVIDIA "Training Cluster as a Service" ins Leben gerufen. Dieser Service ermöglicht es Forschungseinrichtungen weltweit, auf leistungsstarke GPU-Cluster zuzugreifen und so die Grundlage für zukünftige KI-Modelle in verschiedensten Bereichen zu legen.

GPU-Cluster für alle

Der Bau von Gigawatt-großen GPU-Superclustern für das Training der nächsten Generation von KI-Modellen suggeriert eine wachsende Kluft zwischen denjenigen mit und ohne Zugang zu solchen Ressourcen. Tatsächlich existiert jedoch eine große Menge an ungenutzter GPU-Kapazität bei Hyperscalern, regionalen und KI-nativen Cloud-Anbietern. Die Herausforderung besteht darin, diese Rechenleistung den Forschern zugänglich zu machen, die sie benötigen. "Training Cluster as a Service" adressiert genau dieses Problem, indem es flexiblen Zugriff auf GPU-Cluster bietet, bei dem Nutzer nur für die tatsächliche Trainingsdauer zahlen.

Funktionsweise des Services

Über 250.000 Organisationen, die bereits auf der Hugging Face-Plattform aktiv sind, können die benötigte GPU-Clustergröße bei Bedarf anfordern. Der Service integriert Schlüsselkomponenten von NVIDIA und Hugging Face zu einer Komplettlösung:

NVIDIA Cloud-Partner stellen die neueste NVIDIA-Beschleunigungstechnologie wie NVIDIA Hopper und NVIDIA GB200 in regionalen Rechenzentren bereit, zentralisiert über NVIDIA DGX Cloud. NVIDIA DGX Cloud Lepton ermöglicht den einfachen Zugriff auf die für Forscher bereitgestellte Infrastruktur und erlaubt die Planung und Überwachung von Trainingsläufen. Die Entwicklerressourcen und Open-Source-Bibliotheken von Hugging Face vereinfachen den Start von Trainingsläufen.

Nach Annahme der Anfrage arbeiten Hugging Face und NVIDIA zusammen, um den GPU-Cluster entsprechend den Anforderungen an Größe, Region und Dauer zu beschaffen, zu bepreisen, bereitzustellen und einzurichten.

Anwendungsbeispiele

Das Telethon Institute of Genomics and Medicine (TIGEM) nutzt den Service, um neue KI-Modelle zu trainieren, die die Auswirkungen pathogener Varianten vorhersagen und die Medikamentenumwidmung ermöglichen. Für TIGEM vereinfacht "Training Cluster as a Service" die Beschaffung der benötigten GPU-Kapazität zum richtigen Zeitpunkt.

Numina, eine Non-Profit-Organisation, die Open-Source-KI für mathematisches Denken entwickelt, nutzt den Service, um ihre Ziele im Bereich des mathematischen Denkens mit KI zu erreichen. Der Zugang zu Rechenressourcen ist für Numina entscheidend, und "Training Cluster as a Service" hilft ihnen, ihre ambitionierten Ziele zu verwirklichen.

Mirror Physics, ein Startup, das KI-Systeme für Chemie und Materialwissenschaften entwickelt, nutzt den Service, um hochpräzise chemische Modelle in einem bisher ungekannten Maßstab zu erstellen. Dies stellt einen bedeutenden Fortschritt für das Feld dar.

Förderung der Vielfalt in der KI-Forschung

"Training Cluster as a Service" ist eine wegweisende Zusammenarbeit zwischen Hugging Face und NVIDIA, um die Verfügbarkeit von KI-Rechenleistung für die globale Forschungsgemeinschaft zu verbessern. Der Zugang zu leistungsstarker Rechenkapazität ist entscheidend für die Entwicklung der nächsten Generation von KI-Modellen in allen Bereichen und Sprachen. Der Service beseitigt Barrieren für Forscher und Unternehmen und ermöglicht es ihnen, die fortschrittlichsten Modelle zu trainieren und die Grenzen des Möglichen in der KI zu erweitern.

Zusammenarbeit für die Zukunft der KI

Die Integration von DGX Cloud Lepton mit dem Training Cluster as a Service von Hugging Face bietet Entwicklern und Forschern einen nahtlosen Zugang zu NVIDIA-GPUs über ein breites Netzwerk von Cloud-Anbietern. Diese Zusammenarbeit erleichtert es KI-Forschern und Organisationen, ihre KI-Trainings-Workloads zu skalieren und gleichzeitig vertraute Tools auf Hugging Face zu verwenden.

Bibliographie: https://huggingface.co/blog/nvidia-training-cluster http://nvidianews.nvidia.com/news/nvidia-dgx-cloud-lepton-connects-europes-developers-to-global-nvidia-compute-ecosystem https://nvidianews.nvidia.com/news/nvidia-and-hugging-face-to-connect-millions-of-developers-to-generative-ai-supercomputing https://opusresearch.net/2023/08/15/nvidia-and-hugging-faces-latest-offer-training-cluster-as-a-service/ https://techcrunch.com/2023/08/08/nvidia-teams-up-with-hugging-face-to-offer-cloud-based-ai-training/ https://aibusiness.com/nlp/hugging-face-offers-cloud-service-to-train-custom-ai-models-at-scale https://www.postmagazine.com/Press-Center/Daily-News/2023/Nvidia-Hugging-Face-partner-to-connect-developer.aspx https://heaptalk.com/technology/nvidia-teams-up-with-hugging-face-to-develop-a-cloud-based-ai-model-training/ https://huggingface.co/blog https://www.together.ai/blog/instant-gpu-clusters