Neuer Ansatz für selbstüberwachtes Lernen: Das LeJEPA-Modell von Yann LeCun und Randall Balestriero

Die Welt der künstlichen Intelligenz ist Zeuge einer signifikanten Entwicklung: Yann LeCun, eine prägende Figur in der KI-Forschung und Chief AI Scientist bei Meta, hat zusammen mit Randall Balestriero das Modell LeJEPA (Latent-Euclidean Joint-Embedding Predictive Architecture) vorgestellt. Dieses Modell repräsentiert einen innovativen Ansatz im Bereich des selbstüberwachten Lernens und könnte das letzte große Forschungsprojekt LeCuns unter dem Dach von Meta sein, bevor er sich Berichten zufolge einem eigenen Startup widmet.

Eine neue Ära des selbstüberwachten Lernens: LeJEPA

Das von LeCun und Balestriero entwickelte LeJEPA-Modell wurde mit dem Ziel konzipiert, das selbstüberwachte Lernen grundlegend zu vereinfachen. Bislang waren frühere Ansätze von Meta, wie DINO und iJEPA, auf eine Vielzahl von technischen "Tricks" angewiesen, um Trainingsfehler zu vermeiden und eine robuste Leistung zu gewährleisten. LeJEPA hingegen setzt an der Wurzel dieses Problems an, indem es eine mathematisch fundierte Struktur für die internen Repräsentationen von KI-Modellen vorschlägt.

Die theoretische Grundlage: Isotropische Gaußsche Verteilung

Der Kern der LeJEPA-Idee ist die Annahme, dass KI-Modelle effektiver lernen können, wenn ihre internen Darstellungen einer stabilen mathematischen Struktur folgen. Die Forscher postulieren, dass die nützlichsten internen Merkmale eines Modells einer isotropen Gaußschen Verteilung entsprechen sollten. Dies bedeutet, dass die gelernten Merkmale gleichmäßig um einen Mittelpunkt verteilt sind und in alle Richtungen gleich stark variieren. Eine solche Verteilung fördert die Entwicklung ausgewogener, robuster Repräsentationen und erhöht die Zuverlässigkeit bei nachfolgenden Aufgaben.

SIGReg: Stabilität ohne Heuristiken

Um diese ideale Merkmalsverteilung zu erreichen, wurde eine neue Regularisierungsmethode namens Sketched Isotropic Gaussian Regularization (SIGReg) entwickelt. SIGReg gleicht die tatsächlichen Einbettungen des Modells mit der theoretisch optimalen Verteilung ab und korrigiert Abweichungen auf mathematisch präzise Weise. Dies eliminiert die Notwendigkeit vieler gängiger Stabilisierungstricks im selbstüberwachten Lernen, wie Stop-Gradient-Methoden, Teacher-Student-Setups oder komplexe Lernraten-Zeitpläne. Die Veröffentlichung hebt hervor, dass SIGReg in linearer Zeit ausgeführt wird, wenig Speicher benötigt, leicht über mehrere GPUs skaliert werden kann und lediglich einen einzigen abstimmbaren Parameter erfordert. Die Kernimplementierung umfasst nur etwa 50 Zeilen Code.

Wie JEPA-Modelle Struktur aus Rohdaten lernen

Der übergeordnete JEPA-Ansatz von LeCun speist einem Modell mehrere Ansichten derselben zugrunde liegenden Informationen zu, beispielsweise leicht unterschiedliche Bildausschnitte, Videosegmente oder Audioclips. Das Ziel ist es, dass das Modell diese Variationen auf ähnliche interne Repräsentationen abbildet, wenn sie denselben semantischen Inhalt widerspiegeln.

Das System lernt, welche Aspekte von Rohdaten relevant sind, ohne auf menschliche Labels angewiesen zu sein. Es wird darauf trainiert, Vorhersagen über verborgene oder veränderte Teile des Inputs zu treffen, basierend auf dem, was es bereits versteht – ähnlich wie ein Mensch ein Objekt erkennen könnte, selbst wenn ein Teil davon verdeckt ist.

Dies bildet den Kern der JEPA-Idee: prädiktives Lernen, das sich auf die Modellierung der zugrunde liegenden Struktur der Welt konzentriert und nicht auf die Vorhersage von Rohpixeln oder Audioproben. LeCun sieht in JEPA einen Schlüsselweg zu menschenähnlicher Intelligenz und eine stärkere Grundlage als Transformer-basierte Systeme.

Experimentelle Validierung und Leistung

Die Forscher berichten, dass LeJEPA auch bei großen Datensätzen stabil bleibt und eine wettbewerbsfähige Genauigkeit liefert, ohne zusätzliche Mechanismen zu benötigen. In Tests mit über 60 Modellen, darunter ResNets, ConvNeXTs und Vision Transformers, zeigte LeJEPA durchweg ein sauberes Lernverhalten und eine starke Leistung. Auf ImageNet-1K erreichte ein ViT-H/14-Modell eine Top-1-Genauigkeit von etwa 79 Prozent in einem linearen Evaluations-Setup. Bei spezialisierten Datensätzen wie Galaxy10, der Galaxienbilder enthält, übertraf LeJEPA große vortrainierte Modelle wie DINOv2 und DINOv3. Das Team interpretiert dies als Beleg dafür, dass Methoden, die auf starken theoretischen Prinzipien basieren, massive Modelle, die mit konventionellen Techniken trainiert wurden, übertreffen können, insbesondere bei domänenspezifischen Aufgaben.

LeCuns Abkehr von Meta und der Fokus auf "Weltmodelle"

Die Einführung von LeJEPA fällt in eine Zeit, in der Yann LeCun Berichten zufolge Meta verlassen wird, um ein eigenes KI-Startup zu gründen. Diese Entscheidung folgt einer strategischen Neuausrichtung innerhalb von Metas FAIR-Labor (Fundamental AI Research) hin zu kommerziellen Produkten und Differenzen bezüglich der starken Abhängigkeit des Unternehmens von Large Language Models (LLMs) auf dem Weg zur Superintelligenz. LeCun hat sich in der Vergangenheit kritisch gegenüber LLMs geäußert und sie als "Sackgasse" für das Erreichen menschenähnlicher Intelligenz bezeichnet. Sein neues Vorhaben soll seine langfristige Forschung an Systemen fortsetzen, die ähnlich wie der Mensch argumentieren und planen können, basierend auf visuellen und räumlichen Daten – ein Ansatz, der als "Weltmodelle" bekannt ist und von LeCun als entscheidend für die Entwicklung wahrhaft intelligenter KI angesehen wird.

Diese Entwicklung könnte eine Verschiebung in der KI-Forschung andeuten, weg von der alleinigen Skalierung von LLMs hin zu Modellen, die ein tieferes Verständnis der physischen Welt entwickeln. Es bleibt abzuwarten, wie sich LeCuns neues Startup in diesem sich schnell entwickelnden Feld positionieren wird und welche weiteren Innovationen aus seinem Fokus auf Weltmodelle hervorgehen werden.

Bibliographie

- Schreiner, M. (2025, 17. November). Yann LeCun unveils LeJEPA, likely his final Meta project before launching a startup. The Decoder. Abgerufen von https://the-decoder.com/yann-lecun-unveils-lejepa-likely-his-final-meta-project-before-launching-a-startup/ - Karhade, M. (2025, 16. November). Yann LeCun Left Meta: This Is His First Research Since Then! Towards AI. Abgerufen von https://pub.towardsai.net/yann-lecun-left-meta-this-is-his-first-research-since-then-2dcbec021085 - Tremayne-Pengelly, A. (2025, 11. November). Meta A.I. Chief Yann LeCun Is Leaving to Launch Physical A.I. Startup. Observer. Abgerufen von https://observer.com/2025/11/yann-lecun-leave-meta-launch-world-models-startup/ - Iyer, R. (2025, 11. November). Meta’s chief AI scientist Yann LeCun reportedly plans to leave to build his own startup. TechCrunch. Abgerufen von https://techcrunch.com/2025/11/11/metas-chief-ai-scientist-yann-lecun-reportedly-plans-to-leave-to-build-his-own-startup/ - Anonym (2025, 12. November). Yann LeCun to depart Meta and launch AI startup focused on ’world models’. Hacker News. Abgerufen von https://news.ycombinator.com/item?id=45897271 - Marais, M. (2025, 13. November). Yann LeCun departs Meta to launch a "world models" startup. Differentiated.io. Abgerufen von https://www.differentiated.io/daily-news/2025-11-13 - LeCun, Y. (2025, 13. November). LeJEPA with SIGReg. LinkedIn. Abgerufen von https://www.linkedin.com/posts/yann-lecun_lejepa-with-sigreg-activity-7394807412446318592-ChtQ - Anonym (2025, 14. November). Yann LeCun's Final Paper at Meta: Insights and Implications. eu.36kr.com. Abgerufen von https://eu.36kr.com/en/p/3552296290581639 - Balestriero, R., & LeCun, Y. (2025, 11. November). LeJEPA: Provable and Scalable Self-Supervised Learning Without the Heuristics. arXiv. Abgerufen von https://arxiv.org/abs/2511.08544 - FRANCE 24 English. (2025, 16. November). AI pioneer Yann Le Cun allegedly quitting Meta over the ... [Video]. YouTube. Abgerufen von https://www.youtube.com/watch?v=a4IzEPEZX4E