Metas Fortschritte im KI-Training: Llama 4 und die Zukunft der Rechenleistung

Metas Aufstieg zur KI-Dominanz: Training von Llama 4 auf einem gigantischen GPU-Cluster

Meta CEO Mark Zuckerberg verkündete kürzlich einen bedeutenden Fortschritt im Training generativer KI-Modelle. Das nächste große Release des Llama-Modells, Llama 4, wird auf einem GPU-Cluster trainiert, der "größer ist als alles, was bisher berichtet wurde". Zuckerberg betonte während einer Telefonkonferenz mit Investoren und Analysten, dass die Entwicklung von Llama 4 gut voranschreite und ein erster Launch Anfang nächsten Jahres erwartet werde. Er präzisierte, dass der Cluster für das Training der Llama-4-Modelle größer als 100.000 H100-Einheiten sei und damit größer als alle bekannten Cluster anderer Unternehmen. Nvidia H100-Chips sind derzeit die bevorzugte Hardware für das Training von KI-Systemen. Zuckerberg erwartet, dass die kleineren Llama-4-Modelle zuerst fertiggestellt sein werden.

Der Wettlauf um Rechenleistung

Die Entwicklung leistungsfähigerer generativer KI-Modelle ist eng mit dem Wettlauf um höhere Rechenleistung verknüpft. Meta scheint in diesem Bereich derzeit die Führung übernommen zu haben. Es wird allgemein angenommen, dass die Skalierung des KI-Trainings durch mehr Rechenleistung und Daten der Schlüssel zur Entwicklung deutlich leistungsfähigerer KI-Modelle ist. Obwohl Meta aktuell die Nase vorn zu haben scheint, arbeiten wahrscheinlich die meisten großen Akteure in diesem Bereich an Rechenclustern mit über 100.000 fortschrittlichen Chips. Im März gaben Meta und Nvidia Details über Cluster mit etwa 25.000 H100 bekannt, die für die Entwicklung von Llama 3 verwendet wurden. Im Juli prahlte Elon Musk damit, dass sein Unternehmen xAI in Zusammenarbeit mit X und Nvidia 100.000 H100 eingerichtet habe. Er bezeichnete diesen Cluster als den "leistungsstärksten KI-Trainingscluster der Welt".

Potenziale und Herausforderungen von Llama 4

Zuckerberg gab keine konkreten Details zu den potenziellen Fähigkeiten von Llama 4 preis, erwähnte aber vage "neue Modalitäten", "stärkere Argumentationsfähigkeiten" und "viel schnellere" Verarbeitung. Metas KI-Strategie erweist sich als Joker im Rennen um die Vorherrschaft in der Branche. Im Gegensatz zu den Modellen von OpenAI, Google und den meisten anderen großen Unternehmen, die nur über eine API zugänglich sind, können Llama-Modelle kostenlos heruntergeladen werden. Llama hat sich bei Start-ups und Forschern, die die volle Kontrolle über ihre Modelle, Daten und Rechenkosten haben wollen, als äußerst beliebt erwiesen.

Obwohl Meta Llama als "Open Source" bewirbt, enthält die Lizenz einige Einschränkungen für die kommerzielle Nutzung des Modells. Meta gibt auch keine Details zum Training der Modelle preis, was die Möglichkeiten von Außenstehenden einschränkt, deren Funktionsweise zu untersuchen. Die erste Version von Llama wurde im Juli 2023 veröffentlicht, die neueste Version, Llama 3.2, im September dieses Jahres.

Die Verwaltung eines so gigantischen Chip-Arrays für die Entwicklung von Llama 4 dürfte einzigartige technische Herausforderungen mit sich bringen und einen enormen Energiebedarf erfordern. Schätzungen zufolge würde ein Cluster mit 100.000 H100-Chips 150 Megawatt Leistung benötigen. Zum Vergleich: Der größte Supercomputer eines nationalen Labors in den USA, El Capitan, benötigt 30 Megawatt. Meta rechnet damit, in diesem Jahr bis zu 40 Milliarden Dollar für die Ausstattung von Rechenzentren und anderer Infrastruktur auszugeben, ein Anstieg von mehr als 42 Prozent gegenüber 2023. Für das nächste Jahr erwartet das Unternehmen ein noch stärkeres Wachstum dieser Ausgaben. Während die Gesamtbetriebskosten von Meta in diesem Jahr um etwa 9 Prozent gestiegen sind, ist der Gesamtumsatz – hauptsächlich aus Werbeeinnahmen – um mehr als 22 Prozent gestiegen. Dies ermöglicht dem Unternehmen höhere Margen und Gewinne, trotz der Milliardeninvestitionen in die Llama-Entwicklung.

Der offene Ansatz von Meta und die Konkurrenz

Metas offener Ansatz in der KI-Entwicklung hat sich als kontrovers erwiesen. Einige KI-Experten befürchten, dass die freie Verfügbarkeit deutlich leistungsfähigerer KI-Modelle gefährlich sein könnte, da sie Kriminellen helfen könnte, Cyberangriffe zu starten oder die Entwicklung chemischer oder biologischer Waffen zu automatisieren. Obwohl Llama vor der Veröffentlichung feinabgestimmt wird, um Missbrauch einzuschränken, ist es relativ einfach, diese Einschränkungen zu entfernen. Zuckerberg bleibt jedoch optimistisch, was die Open-Source-Strategie angeht, auch wenn Google und OpenAI proprietäre Systeme vorantreiben.

Zuckerberg ist der Meinung, dass Open Source die kostengünstigste, anpassbarste, vertrauenswürdigste, leistungsfähigste und am einfachsten zu bedienende Option für Entwickler sein wird. Er fügte hinzu, dass die neuen Fähigkeiten von Llama 4 in der Lage sein sollten, eine breitere Palette von Funktionen in den Meta-Diensten zu unterstützen. Das derzeit wichtigste Angebot, das auf Llama-Modellen basiert, ist der ChatGPT-ähnliche Chatbot Meta AI, der in Facebook, Instagram, WhatsApp und anderen Apps verfügbar ist. Über 500 Millionen Menschen nutzen Meta AI monatlich, so Zuckerberg. Meta geht davon aus, dass im Laufe der Zeit durch Werbung in der Funktion Einnahmen generiert werden.

Bibliographie: - https://www.theinformation.com/articles/meta-will-soon-get-a-100-000-gpu-cluster-too-whats-life-at-character-like-now - https://www.theregister.com/2024/08/01/meta_q2_2024/ - https://www.linkedin.com/pulse/llama-everything-metas-new-ai-model-ken-yeung-x8crc - https://www.nextplatform.com/2024/07/29/stacking-up-amd-versus-nvidia-for-llama-3-1-gpu-inference/ - https://ai.meta.com/blog/meta-llama-3-1/ - https://huggingface.co/meta-llama/Llama-3.1-8B-Instruct - https://www.aime.info/blog/en/how-to-run-30b-or-65b-llama-chat-on-multi-gpu-servers/ - https://www.reddit.com/r/LocalLLaMA/comments/1c76n8p/official_llama_3_meta_page/ - https://aibusiness.com/verticals/meta-reveals-gpu-clusters-used-to-train-llama-3