Neues Speichersystem bei Hugging Face: Umstellung von Git LFS auf Xet

Kategorien:

No items found.

Freigegeben:

July 7, 2026

kostenlos testen Termin buchen

KI sauber im Unternehmen integrieren: Der 5-Schritte-Plan

Von der ersten Idee bis zur voll integrierten KI-Lösung – strukturiert, sicher und mit messbarem Erfolg

🎯

Strategie & Zieldefinition

Wir analysieren Ihre Geschäftsprozesse und identifizieren konkrete Use Cases mit dem höchsten ROI-Potenzial.

✓ Messbare KPIs definiert

🛡️

Daten & DSGVO-Compliance

Vollständige Datenschutz-Analyse und Implementierung sicherer Datenverarbeitungsprozesse nach EU-Standards.

✓ 100% DSGVO-konform

⚙️

Technologie- & Tool-Auswahl

Maßgeschneiderte Auswahl der optimalen KI-Lösung – von Azure OpenAI bis zu Open-Source-Alternativen.

✓ Beste Lösung für Ihren Fall

🚀

Pilotprojekt & Integration

Schneller Proof of Concept mit nahtloser Integration in Ihre bestehende IT-Infrastruktur und Workflows.

✓ Ergebnisse in 4-6 Wochen

👥

Skalierung & Team-Schulung

Unternehmensweiter Rollout mit umfassenden Schulungen für maximale Akzeptanz und Produktivität.

✓ Ihr Team wird KI-fit

Lassen Sie uns Ihren ersten Schritt planen

Inhaltsverzeichnis

mindverse studio – Ihre Plattform für digitale Effizienz

‍Optimieren Sie Prozesse, automatisieren Sie Workflows und fördern Sie Zusammenarbeit – alles an einem Ort.

Mehr über Mindverse Studio erfahren

Das Wichtigste in Kürze

Hugging Face hat sein Speichersystem von Git LFS vollständig auf Xet umgestellt, beginnend im November 2025.
Diese Umstellung ermöglicht die effiziente Verwaltung und Speicherung von Petabytes an Daten für KI-Modelle und Datensätze.
Xet zeichnet sich durch Deduplizierung auf Byte-Ebene und optimierte Übertragungsgeschwindigkeiten aus, welche die Skalierung für KI-Workloads unterstützen.
Die Akquisition von XetHub durch Hugging Face im August 2024 war ein strategischer Schritt zur Verbesserung der Speicherinfrastruktur.
Experten prognostizieren ein rasantes Wachstum des benötigten Speichervolumens in Richtung Exabyte, was die Bedeutung derartiger Lösungen unterstreicht.

Die Landschaft der Künstlichen Intelligenz (KI) ist durch ein exponentielles Wachstum des Datenvolumens gekennzeichnet. Modelle und Datensätze erreichen Größenordnungen, die traditionelle Speichersysteme an ihre Grenzen bringen. In diesem Kontext hat sich Hugging Face, eine zentrale Plattform für KI-Entwickler, strategisch neu positioniert. Die vollständige Migration ihrer Speicherinfrastruktur von Git LFS auf das Xet-System markiert einen signifikanten Schritt in der Bewältigung dieser Herausforderung.

Die Evolution der Speicherung bei Hugging Face: Von Git LFS zu Xet

Die Verwaltung großer Dateien war für Versionskontrollsysteme wie Git stets eine Herausforderung. Git LFS (Large File Storage) bot hierfür eine Lösung, indem es große Binärdateien außerhalb des Git-Repositorys speicherte und lediglich Verweise im Repository hinterlegte. Obwohl dies eine Verbesserung darstellte, stieß Git LFS mit dem rasanten Wachstum von KI-Modellen und Datensätzen zunehmend an seine Grenzen, insbesondere im Hinblick auf Skalierbarkeit und Effizienz.

Im August 2024 kündigte Hugging Face die Akquisition von XetHub an, einem Unternehmen, das sich auf die Skalierung von Git für Terabyte-große Repositories spezialisiert hat. Diese Übernahme war der Grundstein für die Integration von Xet in die Hugging Face-Plattform. Xet wurde entwickelt, um die Herausforderungen bei der Speicherung großer, sich ständig weiterentwickelnder Datensätze und Modelle zu adressieren. Die Technologie ermöglicht es, Software-Engineering-Best Practices auf die KI-Entwicklung zu übertragen und gleichzeitig die Performance zu verbessern.

Die Einführung von Xet erfolgte schrittweise. Bereits im Januar 2025 wurde ein neues Speicher-Backend implementiert, über das kurz darauf etwa 6 % der Hugging Face Hub-Downloads abgewickelt wurden. Im Mai 2025 wurde Xet zum Standard für neue Nutzer und Organisationen auf der Plattform. Die vollständige Umstellung von Git LFS auf Xet erfolgte schließlich um November 2025. Diese Migration umfasste bis Juli 2025 über 500.000 Repositories mit einem Gesamtvolumen von 20 Petabyte, was die Notwendigkeit einer robusteren und skalierbareren Speicherlösung verdeutlicht.

Technische Vorteile von Xet: Effizienz und Skalierbarkeit

Xet unterscheidet sich maßgeblich von traditionellen Ansätzen durch seine effiziente Datenverwaltung, insbesondere durch die Implementierung von Content-Defined Chunking (CDC) und Deduplizierung.

Deduplizierung auf Byte-Ebene

Ein Kernmerkmal von Xet ist die Deduplizierung auf Byte-Ebene. Anstatt ganze Dateien oder große Blöcke zu vergleichen, zerlegt Xet die Daten in kleine, variable Chunks (typischerweise um 64 KB). Jeder Chunk wird durch einen Rolling Hash identifiziert, der die Chunk-Grenzen basierend auf dem tatsächlichen Dateiinhalt bestimmt. Dies macht die Deduplizierung resistent gegenüber Einfügungen oder Löschungen innerhalb einer Datei. Wenn eine Datei in ein Xet-Repository hochgeladen wird, werden nur neue Chunks gespeichert, die noch nicht im Xet-Speicher vorhanden sind. Dies führt zu einer erheblichen Reduzierung des benötigten Speicherplatzes, insbesondere bei iterativen Änderungen an großen Datensätzen und Modellen.

Beschleunigte Uploads und Downloads

Die Architektur von Xet, insbesondere die Fähigkeit, Daten in Chunks zu verwalten, ermöglicht auch eine Beschleunigung der Übertragungsgeschwindigkeiten. Durch die Übertragung und Speicherung nur der geänderten Chunks können Uploads und Downloads, laut Berichten, um den Faktor 2-3 beschleunigt werden. Dies ist entscheidend für KI-Entwickler, die mit riesigen Datensätzen und Modellversionen arbeiten und schnelle Iterationszyklen benötigen.

Speicher-Buckets für dynamische Workflows

Ergänzend zu den Versionskontroll-Repositories bietet Hugging Face auch "Storage Buckets" an. Diese sind als mutable, S3-ähnliche Objektspeicher konzipiert und eignen sich für die Speicherung von Zwischenergebnissen, Checkpoints, Optimierungszuständen, verarbeiteten Daten-Shards und Logs, die sich häufig ändern und nicht zwingend eine vollständige Versionskontrolle benötigen. Diese Buckets können über den Hub durchsucht, per Python gescriptet oder mit dem hf CLI verwaltet werden, was die Flexibilität für KI-Workflows erhöht.

Implikationen für die KI-Community und zukünftige Entwicklungen

Die Umstellung auf Xet bei Hugging Face hat weitreichende Implikationen für die KI-Entwicklung:

Verbesserte Zusammenarbeit: Die effiziente Verwaltung großer Datensätze und Modelle erleichtert die Zusammenarbeit in Teams, da Änderungen schneller synchronisiert und weniger Speicherplatz beansprucht werden.
Skalierbarkeit für zukünftige Modelle: Mit der Prognose, dass das Datenvolumen im KI-Bereich bald in den Exabyte-Bereich vordringen wird, bietet Xet eine notwendige Infrastruktur, die mit diesen Anforderungen wachsen kann.
Kosteneffizienz: Durch Deduplizierung und optimierte Übertragungen können die Speicherkosten für KI-Entwickler potenziell gesenkt werden, da weniger redundante Daten gespeichert und übertragen werden müssen.
Standardisierung: Die Integration von Xet in eine so prominente Plattform wie Hugging Face könnte dazu beitragen, neue Standards für die Speicherung und Verwaltung von KI-Assets zu etablieren.

Die kontinuierliche Entwicklung von Speicherlösungen wie Xet ist ein Indikator für die Reifung des KI-Ökosystems. Sie ermöglicht es Entwicklern, sich auf die Innovation und Verbesserung von KI-Modellen zu konzentrieren, anstatt sich mit den Limitierungen der zugrundeliegenden Infrastruktur auseinanderzusetzen. Die Kapazität zur Speicherung und Verarbeitung von Daten im Petabyte- und zukünftig Exabyte-Bereich wird als entscheidender Faktor für den Fortschritt in der Künstlichen Intelligenz angesehen.

Fazit

Die Migration der Hugging Face-Speicherinfrastruktur auf Xet stellt eine strategische Anpassung an die wachsenden Anforderungen der KI-Branche dar. Durch fortschrittliche Techniken wie Content-Defined Chunking und Deduplizierung bietet Xet eine skalierbare und effiziente Lösung für die Verwaltung riesiger Datenmengen. Diese Entwicklung ist nicht nur eine technische Verbesserung, sondern eine grundlegende Voraussetzung für die weitere Expansion und Demokratisierung der Künstlichen Intelligenz.