Mac mini Cluster für Künstliche Intelligenz: Ein experimenteller Ansatz zur Nutzung verteilter Rechenleistung

Ein Mac mini KI-Cluster: Experiment mit verteilter Rechenleistung

Künstliche Intelligenz und insbesondere große Sprachmodelle (LLMs) benötigen immense Rechenleistung und Speicherkapazität. Ein einzelner Computer stößt hier schnell an seine Grenzen. Daher experimentierte c’t 3003 mit einem Cluster aus vier Mac minis mit M4 Pro Prozessoren, die über Thunderbolt 5 verbunden wurden, um die benötigten Ressourcen für den Betrieb großer LLMs bereitzustellen. Dieses Experiment nutzte die experimentelle Open-Source-Software Exo, die es ermöglicht, mehrere Geräte zu einem Rechencluster zu verbinden.

Einzelne Mac minis im Test

Zunächst wurden die einzelnen Mac minis mit verschiedenen LLMs getestet, darunter Phi-4 von Microsoft, ein 32-Milliarden-Parameter-Destillat von DeepSeek und das kleinere Llama 3.2. Die Ergebnisse zeigten, dass die Mac minis, trotz ihres vergleichsweise geringen Speichers von 48 GB, im Vergleich zu einem Server mit 1,5 TB RAM schneller beim Zugriff auf die Modelle waren. Besonders beim kleinen Llama 3.2 Modell erzielte der Mac mini mit über 60 Token pro Sekunde eine doppelt so hohe Geschwindigkeit wie der Server. Im Vergleich zu einem High-End-Gaming-PC mit RTX 4090 Grafikkarte waren die Mac minis zwar langsamer, boten aber gleichzeitig das doppelte an Arbeitsspeicher zu einem deutlich geringeren Preis.

Der Aufbau des Clusters

Die Vernetzung der vier Mac minis über Thunderbolt 5 erwies sich als komplexer als zunächst angenommen. Die benötigten Thunderbolt 5 Kabel wurden auf ihre Leistung getestet, wobei sich zeigte, dass auch günstigere Kabel im Vergleich zum Original-Apple-Kabel vergleichbare Ergebnisse lieferten. Die erreichte Bandbreite von bis zu 64 Gigabit pro Sekunde über Thunderbolt 5 war beeindruckend, im Vergleich zu Ethernet eine deutliche Steigerung. Allerdings beanspruchte die Datenübertragung über Thunderbolt 5 die Ressourcen der Mac minis spürbar.

Für den Cluster wurden verschiedene Verbindungsmethoden getestet, darunter Daisy-Chaining und die Verwendung eines Thunderbolt Hubs (letzterer wurde von den Exo-Entwicklern empfohlen). Zusätzlich zur Thunderbolt-Verbindung wurden die Mac minis per Ethernet mit dem Internet verbunden, um die benötigten Modelldaten herunterzuladen. Die Priorisierung der Thunderbolt-Verbindung in den Netzwerkeinstellungen stellte sicher, dass die interne Kommunikation im Cluster bevorzugt über die schnellere Verbindung abgewickelt wurde.

Installation und Betrieb von Exo

Die Installation von Exo erfolgte über die Kommandozeile, da sich die Software noch in der Entwicklung befindet. Die Installation in einer isolierten Conda-Umgebung minimierte potenzielle Konflikte mit anderen Python-Paketen. Nach der Installation erkannten sich die vier Mac minis automatisch und bildeten einen Cluster. Exo bietet ein Webinterface, über das die Verwaltung und Steuerung des Clusters erfolgt. Hier konnten die Modelldaten heruntergeladen und die LLMs gestartet werden.

Ergebnisse des Cluster-Tests

Bei Tests mit kleineren Sprachmodellen zeigte sich, dass die Inferenzgeschwindigkeit im Clusterbetrieb geringer war als auf einzelnen Mac minis. Dies ist auf die im Vergleich zur internen Speicherbandbreite langsamere Thunderbolt 5 Verbindung zurückzuführen. Bei größeren Sprachmodellen, die die Speicherkapazität eines einzelnen Mac mini überstiegen, traten Stabilitätsprobleme auf. Die Thunderbolt-Verbindungen brachen wiederholt ab, was zu Download-Abbrüchen und der Notwendigkeit manueller Neustarts führte.

Fazit

Das Experiment zeigte das Potenzial von Mac mini Clustern für den Betrieb von LLMs. Die hohe Bandbreite von Thunderbolt 5 ermöglicht eine effiziente Kommunikation zwischen den Geräten. Allerdings zeigten sich auch die Herausforderungen bei der Nutzung von verteilter Rechenleistung, insbesondere im Hinblick auf die Stabilität der Verbindungen und die Optimierung der Software. Weitere Entwicklungen im Bereich der Cluster-Software und Hardware sind notwendig, um das volle Potenzial solcher Systeme auszuschöpfen.

Bibliographie: - https://www.heise.de/news/Vier-Mac-minis-werden-zum-KI-Cluster-10300352.html - https://www.it-boltwise.de/mac-mini-cluster-ein-experiment-mit-kuenstlicher-intelligenz.html - https://www.youtube.com/watch?v=39rTfPV58F4&vl=de - https://social.heise.de/@ct_Magazin/114082633518547480 - https://www.threads.net/@ct.mac.and.i/post/DGoKiyBt4D2/wir-haben-vier-mac-minis-mit-jeweils-48-gbyte-per-thunderbolt-5-zu-einem-cluster - https://theaiwhisperer.de/mini-ai-cluster-mac-minis-die-zukunft-zugaenglicher-ki-fuer-zuhause/ - https://www.ng-it.de/vier-mac-minis-werden-zum-ki-cluster/ - https://www.threads.net/@heiseonline/post/DGoc575tWjK - https://matthias.guru/2025/02/28/vier-mac-minis-werden-zum-ki-cluster/