Praxis & Anwendung
MoE-Handbuch setzt bei Trainingspraxis an – der behauptete Modelltrend bleibt unbelegt
Thomas Wolf stellt ein kostenloses MoE-Handbuch vor. Der behauptete Modelltrend ist nicht belegt; entscheidend bleiben Speicher, Routing und GPU-Kommunikation.
Das Wichtigste in Kürze7 Min. Lesezeit
- Thomas Wolf kündigte am 5. November ein kostenloses, offen zugängliches Handbuch zum Training von Mixture-of-Experts-Modellen an; laut seiner Darstellung beruhen die Inhalte auf Experimenten mit insgesamt 800.000 GPU-Stunden.
- Die Aussage, 18 der 20 besten offenen Modelle seien MoE-Systeme, ist Wolfs Einschätzung. Er nennt weder das Ranking noch Kriterien oder Vergleichsdatum.
- MoE-Architekturen aktivieren für einzelne Tokens nur einen Teil ihrer Experten. Das kann den Rechenaufwand pro Token senken, beseitigt aber weder den Speicherbedarf für die Experten noch den Kommunikationsaufwand zwischen GPUs.
