Neuartige Kommunikationslösungen für große Sprachmodelle in Hochleistungsrechenzentren

Die rapide Entwicklung großer Sprachmodelle (LLMs) hat zu einer Verschiebung der Anforderungen an die Kommunikationsinfrastruktur in Hochleistungsrechenzentren geführt. Traditionelle kollektive Kommunikationsparadigmen, wie sie in vielen Machine-Learning-Frameworks verwendet werden, stoßen an ihre Grenzen, wenn es um die dynamischen und flexiblen Kommunikationsmuster moderner LLM-Architekturen geht. Eine aktuelle Forschungsarbeit stellt hierfür eine innovative Lösung vor, die auf Remote Direct Memory Access (RDMA) basiert und die Interoperabilität sowie Leistung in heterogenen Hardware-Umgebungen maßgeblich verbessert.

Herausforderungen in der LLM-Kommunikation

Die aktuellen LLM-Systeme, insbesondere bei Mustern wie disaggregierter Inferenz, Mixture-of-Experts (MoE)-Routing und asynchronem Reinforcement Learning (RL) Fine-Tuning, erfordern eine Kommunikationsflexibilität, die über einfache kollektive Operationen hinausgeht. Diese Ansätze sind durch folgende Charakteristika gekennzeichnet:

• Dynamische Skalierung: Die Fähigkeit, Rechenressourcen je nach Bedarf flexibel hinzuzufügen oder zu entfernen.
• Unregelmäßige Datenmuster: Kommunikation, die nicht immer gleichmäßig über alle beteiligten Knoten verteilt ist oder feste Puffergrößen erfordert.
• Spezifische Reihenfolge: Für bestimmte Operationen ist die Einhaltung einer strikten Datenreihenfolge essenziell.

Bisherige Implementierungen sind oft an spezifische Netzwerkschnittstellenkarten (NICs) gebunden, was die Integration in Inferenz-Engines erschwert und die Portabilität über verschiedene Hardware-Anbieter, wie etwa Cloud-Anbieter, hinweg behindert. Dies führt zu einem sogenannten "Vendor Lock-in", bei dem Unternehmen an die Technologie eines spezifischen Anbieters gebunden sind und Schwierigkeiten haben, auf andere Plattformen zu wechseln.

TransferEngine: Eine portable RDMA-Lösung

Als Antwort auf diese Herausforderungen wurde TransferEngine entwickelt. Es handelt sich um eine portable RDMA-Kommunikationsbibliothek, die darauf abzielt, die Funktionalität gängiger NICs – wie NVIDIA ConnectX-7 und AWS Elastic Fabric Adapter (EFA) – unter einer einheitlichen Schnittstelle zusammenzuführen. Das Kernkonzept von TransferEngine liegt in der Nutzung von Hardware-Merkmalen, die eine zuverlässige, aber nicht notwendigerweise geordnete Datenübertragung zulassen, um eine flexible Abstraktionsschicht zu schaffen.

Architektur und Kernmerkmale

TransferEngine bietet sowohl zweiseitige Send/Recv-Operationen als auch einseitige WriteImm-Operationen. Ein entscheidendes Merkmal ist das neuartige ImmCounter-Primitiv zur Benachrichtigung über den Abschluss von Übertragungen. Dieses Primitiv ermöglicht es, den Empfang von Daten zu bestätigen, ohne dabei auf die Einhaltung einer bestimmten Reihenfolge durch den Netzwerktransport angewiesen zu sein. Dies ist besonders vorteilhaft, da es die Komplexität der zugrunde liegenden Netzwerkprotokolle abstrahiert.

Die Architektur von TransferEngine umfasst:

• Worker-Threads pro GPU: Jeder Worker verwaltet eine DomainGroup, die wiederum mehrere NICs pro GPU koordiniert. Dies ist insbesondere für EFA-Umgebungen relevant, wo die Aggregation mehrerer NICs notwendig sein kann, um die volle Bandbreite zu erreichen.
• Einheitliche API: Unterstützt Speicherregistrierung, Punkt-zu-Punkt-Übertragungen (einzelne und paginierte Schreibvorgänge), Scatter/Barrier-Operationen und UVM-basierte GPU-Fortschrittsbeobachter.
• Abschlussbenachrichtigungen: Erfolgen über Callbacks oder atomare Flags, wobei der ImmCounter die pro-Immediate-Zähler für den Abschluss der Übertragung verfolgt.
• Hardware-spezifische Optimierungen: Umfassen unter anderem WR-Templating und Chaining für ConnectX, entspannte PCIe-Reihenfolge und Fabric-Domain-Management für EFA.

Die Implementierung in Rust nutzt NUMA-bewusste Allokationen, lock-freie Warteschlangen und Zero-Copy-Schnittstellen, um Latenz zu minimieren und den Durchsatz zu maximieren.

Anwendungsfälle und Leistungsbewertung

Die Wirksamkeit von TransferEngine wurde anhand von drei Produktionssystemen demonstriert:

KvCache-Übertragung für disaggregierte Inferenz

Bei der disaggregierten Inferenz werden Prädiktions- und Dekodierungsphasen auf verschiedene Geräte aufgeteilt. Dies erfordert eine uneingeschränkte, latenzarme Kommunikation zwischen den Prädiktor- und Dekodierknoten. TransferEngine ermöglicht paginierte KV-Cache-Übertragungen und Kontextaustausch ohne synchronisierte Initialisierung oder feste Mitgliedschaft, wodurch eine elastische Skalierung unterstützt wird. Die Nutzung von UVM-Watchern löst schichtweise Übertragungen aus, wobei der Dekoder den erwarteten Transfer verfolgt und den ImmCounter für die Abschlussbenachrichtigung nutzt, was eine sofortige Dekodierung nach Abschluss der Übertragung ermöglicht.

RL-Rollout-Gewichtsübertragung

Asynchrones RL-Fine-Tuning erfordert eine schnelle Gewichtssynchronisation von Trainings- zu Inferenz-GPUs. Dieser Prozess wird in kollektiv-basierten Frameworks oft zum Engpass. Mit dem Punkt-zu-Punkt-Ansatz von TransferEngine können Aktualisierungen für Modelle mit Billionen von Parametern in etwa 1,3 Sekunden durchgeführt werden, was mehr als hundertmal schneller ist als bisherige Methoden. Jede Trainings-GPU schreibt dabei die Gewichte direkt mittels einseitigem RDMA an die Inferenz-GPUs, wodurch die Cluster-Bandbreite vollständig genutzt und Engpässe vermieden werden.

MoE-Dispatch/Combine-Kernels

Mixture-of-Experts (MoE)-Architekturen benötigen ein latenzarmes und durchsatzstarkes Routing von Token zu Experten über verschiedene Knoten hinweg. TransferEngine ermöglicht Proxy-basierte Dispatch/Combine-Kernels, die sowohl auf ConnectX als auch auf EFA portabel sind und eine Dekodierungs-Latenz auf dem neuesten Stand der Technik erreichen. Das Design minimiert den Proxy-Overhead durch den Austausch von Routing-Informationen und Token-Zählungen, was kontiguierliche Puffer-Schreibvorgänge und effiziente Scatter-Operationen ermöglicht.

Leistungsmetriken

TransferEngine erreichte Spitzen-Durchsätze von 400 Gbit/s sowohl auf ConnectX-7 als auch auf EFA. Paginierte Schreibvorgänge sättigten die Bandbreite bei 64 KiB Nachrichtengrößen. Für RL-Gewichtsübertragungen wurden bei 256 KiB einzelnen Schreibvorgängen 54 Gbit/s (EFA) und 116 Gbit/s (ConnectX-7) erreicht. Die MoE-Dispatch/Combine-Kernels übertrafen DeepEP in Inter-Node-Szenarien und zeigten sich auf EFA als erste praktikable Lösung. Die Latenzen für Senden/Empfangen wurden hauptsächlich durch Speicherkopier- und Akkumulationsvorgänge dominiert, wobei die gesamte Kernel-Ausführung weniger als 15% der Übertragungszeiten ausmachte.

Implikationen und zukünftige Richtungen

Die Entwicklung von TransferEngine demonstriert, dass portable, Punkt-zu-Punkt-RDMA-Kommunikation über heterogene Cloud-Hardware hinweg sowohl machbar als auch leistungsfähig ist. Dies eliminiert den Zwang zu einem bestimmten Anbieter und ergänzt kollektive Bibliotheken für moderne LLM-Workloads. Die Abstraktion der zuverlässigen, ungeordneten Übertragung und das ImmCounter-Primitiv ermöglichen robuste, skalierbare und dynamische Kommunikationsmuster, die für disaggregierte Inferenz, MoE-Routing und RL-Fine-Tuning erforderlich sind.

Die praktischen Auswirkungen sind erheblich: Produktionssysteme können nun auf verschiedenen Cloud-Plattformen eingesetzt werden, ohne Leistung oder Flexibilität einzubüßen. Theoretische Implikationen umfassen die Entkopplung von Kommunikationsmustern von Hardware-spezifischen Ordnungsgarantien, was neue Systemarchitekturen für LLM-Bereitstellung und -Training ermöglicht.

Zukünftige Arbeiten könnten sich auf die weitere Reduzierung des Proxy-Overheads, die Erweiterung der Unterstützung auf zusätzliche NICs (z.B. Alibaba eRDMA, Google Falcon) und die Integration von TransferEngine in gängige LLM-Frameworks und RL-Bibliotheken konzentrieren. Die Untersuchung von Hardware-Offloads für ImmCounter und eine tiefere Integration mit CUDA-Graphen könnten zusätzliche Latenzverbesserungen erzielen.

Fazit

TransferEngine repräsentiert einen Fortschritt in der Kommunikationsarchitektur für Large Language Models. Durch die Bereitstellung einer portablen, leistungsstarken und herstellerunabhängigen RDMA-Kommunikation ermöglicht es die Bibliothek, die Anforderungen zukünftiger LLM-Systeme zu erfüllen und gleichzeitig die Flexibilität und Skalierbarkeit in komplexen Cloud-Umgebungen zu erhöhen. Diese Entwicklung trägt dazu bei, die Effizienz und Zugänglichkeit von KI-Berechnungen der nächsten Generation neu zu definieren.

Bibliographie

- Licker, N., Hu, K., Zaytsev, V., & Chen, L. (2025). RDMA Point-to-Point Communication for LLM Systems. arXiv preprint arXiv:2510.27656. - Emergent Mind. (2025). TransferEngine: RDMA for LLM Systems. - Perplexity Research. (2025). RDMA Point-to-Point Communication for LLM Systems. - SciBrief. (2025). TransferEngine Unlocks RDMA Point-to-Point Communication for Next-Gen Large Language Model Systems. - Hugging Face. (2025). RDMA Point-to-Point Communication for LLM Systems.