Optimierung der Durchsatzeffizienz bei Großen Sprachmodellen: Der NanoFlow-Ansatz

Einleitung

Die zunehmende Nutzung großer Sprachmodelle (Large Language Models, LLMs) hat zu einer steigenden Nachfrage nach globalen Bereitstellungssystemen geführt, in denen zehntausende GPUs kontinuierlich hunderte Millionen von Nutzern bedienen. Dies hat den Durchsatz – gemessen in der Anzahl der verarbeiteten Tokens pro Sekunde – zu einem entscheidenden Leistungsindikator für solche Systeme gemacht. Um den Durchsatz zu maximieren, wurden verschiedene Methoden der Parallelisierung zwischen Geräten (z.B. Daten-, Tensor-, Pipeline-Parallelität) untersucht. Diese bestehenden Methoden berücksichtigen jedoch nicht die gleichzeitige Nutzung unterschiedlicher Ressourcen innerhalb eines einzelnen Geräts, was zu einer suboptimalen Leistung führt. Hier setzt NanoFlow an, ein neues Framework zur Bereitstellung, das die Parallelität innerhalb eines Geräts ausnutzt.

Herausforderungen und Lösungen

LLMs sind extrem ressourcenintensiv, insbesondere bei der Inferenz, also dem Prozess der Anwendung eines trainierten Modells auf neue Daten. Ein GPT-3-Modell, das 2020 veröffentlicht wurde, hat beispielsweise 175 Milliarden Parameter und benötigt mehrere A100-GPUs, um die Modellgewichte zu halten. Zudem erfordert der Selbstaufmerksamkeitsmechanismus (Self-Attention), ein zentrales Element der LLM-Architektur, erheblichen Speicher- und Zeitaufwand, der linear mit der Kontextlänge skaliert.

Um der Herausforderung der Ressourcennutzung zu begegnen, führt NanoFlow zwei wesentliche Innovationen ein. Erstens teilt NanoFlow Anfragen in Nano-Batches auf, was die Abhängigkeit von sequentiellen Operationen bei der LLM-Inferenz aufbricht und eine Überlappung ermöglicht. Zweitens verwendet NanoFlow eine operationale Pipeline mit Ausführungseinheitenscheduling, die die funktionalen Einheiten des Geräts partitioniert und verschiedene Operationen gleichzeitig in jeder Einheit ausführt.

Technische Details von NanoFlow

Das Konzept der Nano-Batches unterscheidet sich vom herkömmlichen Mikro-Batching, das die Ausführung über Geräte und auf der Granularität von Modellschichten pipelint. NanoFlow nutzt hingegen die Parallelität innerhalb eines Geräts und auf der Granularität einzelner Operationen innerhalb einer Schicht. Dies ermöglicht eine feingranulare Ressourcenverwaltung und eine Erhöhung des Durchsatzes.

Um die Einrichtung der Pipeline zu automatisieren, verwendet NanoFlow einen Parameter-Suchalgorithmus, der eine einfache Portierung auf verschiedene Modelle ermöglicht. Die Implementierung auf NVIDIA-GPUs zeigt, dass NanoFlow im Vergleich zu aktuellen Bereitstellungssystemen eine 1,91-fache Steigerung des Durchsatzes erreicht.

Evaluation und Ergebnisse

Die Evaluation von NanoFlow wurde auf mehreren beliebten Modellen wie LLaMA-2-70B, Mixtral 8x7B und LLaMA-3-8B durchgeführt. Mit praktischen Arbeitslasten bietet NanoFlow eine Durchsatzsteigerung von 59% bis 72% des optimalen Durchsatzes über portierte Modelle hinweg. Dies zeigt das Potenzial von NanoFlow, die Effizienz und Leistung von LLM-Bereitstellungssystemen erheblich zu verbessern.

Fazit

Mit der zunehmenden Verbreitung von LLMs und der damit verbundenen Nachfrage nach ressourcenintensiven Bereitstellungssystemen wird die effiziente Nutzung von Hardware-Ressourcen immer wichtiger. NanoFlow stellt eine innovative Lösung dar, die durch die Ausnutzung der Parallelität innerhalb eines Geräts und die Überlappung der Ressourcennutzung eine signifikante Steigerung des Durchsatzes erreicht. Diese technologischen Fortschritte könnten einen erheblichen Einfluss auf die Kosten und Effizienz der Bereitstellung von LLMs haben.

Bibliographie

- https://arxiv.org/html/2408.12757v1 - https://arxiv.org/list/cs.DC/recent - https://github.com/AmberLJC/LLMSys-PaperList - https://medium.com/@pranjalkhadka/chinchilla-a-guide-to-training-compute-optimal-large-language-models-3d3ad3787f1d - https://proceedings.neurips.cc/paper_files/paper/2022/file/c1e2faff6f588870935f114ebe04a3e5-Paper-Conference.pdf - https://cs.nyu.edu/media/publications/lingfan_yu_phd_thesis.pdf - https://www.linkedin.com/pulse/paper-review-enhancing-large-language-model-performance-kt-park-l1ggc - https://medium.com/@raniahossam/chinchilla-scaling-laws-for-large-language-models-llms-40c434e4e1c1 - https://www.semanticscholar.org/paper/Training-Compute-Optimal-Large-Language-Models-Hoffmann-Borgeaud/8342b592fe238f3d230e4959b06fd10153c45db1 - https://proceedings.neurips.cc/paper_files/paper/2023/hash/cda04d7ea67ea1376bf8c6962d8541e0-Abstract-Conference.html