Grenzen und Herausforderungen der rekursiven Selbstverbesserung in KI-Systemen

Peyman Milanfar über die Grenzen der rekursiven Selbstverbesserung in KI-Systemen

In der aktuellen Diskussion um künstliche Intelligenz (KI) wird der Begriff der rekursiven Selbstverbesserung (Recursive Self-Improvement, RSI) oft mit der Erwartung einer rapiden, exponentiellen Entwicklung hin zu übermenschlicher Intelligenz verknüpft. Peyman Milanfar, ein renommierter Distinguished Scientist bei Google, beleuchtet diese Vorstellung aus einer kritischen Perspektive und zieht dabei Vergleiche zur etablierten Regelungstechnik. Seine Analyse, geteilt auf der Plattform X, bietet eine differenzierte Sichtweise auf die inhärenten Herausforderungen und Grenzen von RSI.

Die Faszination der Selbstverbesserung und die Skepsis der Regelungstechnik

Die Idee, dass ein KI-Modell sich selbst optimieren, intelligenter werden und diesen Intellekt nutzen kann, um sich erneut zu verbessern, erscheint intuitiv faszinierend. Sie suggeriert einen scheinbar unaufhaltsamen Fortschritt. Milanfar weist jedoch darauf hin, dass Experten aus der Regelungstechnik, einer Disziplin, die sich mit der Steuerung dynamischer Systeme befasst – wie beispielsweise Autopiloten –, dieser Erwartung mit Skepsis begegnen. Ihre Erfahrung lehrt, dass die Annahme einer unbegrenzten Selbstverbesserung in einer spezifischen Weise naiv ist.

Stabilität als Geschwindigkeitsbegrenzung: Das Small-Gain-Theorem

Milanfar betont, dass jede sich selbst verbessernde Schleife eine maximale sichere Geschwindigkeit besitzt. Diese Geschwindigkeit wird maßgeblich davon bestimmt, wie schnell zuverlässige Beweise dafür generiert werden können, dass eine vorgenommene Änderung tatsächlich eine Verbesserung darstellt. Hierbei zieht er das "Small-Gain-Theorem" der Regelungstechnik heran. Dieses Theorem besagt, dass eine Rückkopplungsschleife stabil bleibt, wenn das Produkt ihrer Verstärkungen unter eins liegt. Im Kontext der KI bedeutet "Verstärkung" das Ausmaß einer Modifikation, die das System pro Einheit des Beweises für deren Nützlichkeit vornimmt. Der Reiz von RSI liegt gerade in der Erwartung einer hohen Verstärkung – also eines schnellen Fortschritts. Milanfar argumentiert, dass genau diese hohe Verstärkung das System anfällig für Instabilität macht.

Historische Parallelen: Das Rohrs' Counterexample in der adaptiven Steuerung

Um seine Argumentation zu untermauern, verweist Milanfar auf die Entwicklungen in der adaptiven Steuerung in den 1980er und 1990er Jahren. Damals wurden globale Stabilitätsbeweise für Regler entwickelt, die ihre Modelle dynamisch anpassten. Doch bereits nach zwei Jahren veröffentlichten Forscher am MIT das sogenannte "Rohrs' Counterexample". Dieses zeigte, dass selbst bewährte adaptive Regelstrategien versagen und Systeme unvorhersehbar "ausrasten" können, wenn die zugrunde liegenden Annahmen in geringem, aber realistischem Maße verletzt werden. Ein selbstverbesserndes KI-System, das sich selbst umschreibt, weist laut Milanfar eine ähnliche Struktur auf. Sein Selbstmodell ist gerade dort am ungenauesten, wo es am wenigsten reale Erfahrungen gesammelt hat. Je stärker es sich an diesem ungenauen Modell optimiert, desto tiefer gerät es in diese "Lücken".

Ein weiteres kritisches Element ist, dass ein instabiles adaptives System oft nicht sofort versagt. Es kann eine Zeit lang einwandfrei funktionieren, bevor es plötzlich und ohne Vorwarnung unberechenbar wird – und sich dann möglicherweise sogar wieder stabilisiert. Die Ursache hierfür ist der Verlust der "persistent excitation", eine Anfälligkeit, die Milanfar direkt mit dem Versagen von KI-Modellen in "Out-of-Distribution" (OOD)-Szenarien vergleicht. Die "Ground Truth", also die verlässliche Realität, entsteht durch den Kontakt mit der Welt und nicht allein durch Benchmarks. Das System muss mit Geschwindigkeiten reagieren, mit denen sich Konsequenzen entfalten. Ein übermäßiges Vertrauen, das über die verfügbaren Beweise hinausgeht, führt zu einem System mit höherer Verstärkung und geringeren Stabilitätsmargen.

Lehren aus Evolution und Zivilisation

Gegenbeispiele wie die Evolution oder die Entwicklung der Zivilisation werden oft genannt, um die Machbarkeit von Selbstverbesserung zu belegen. Milanfar argumentiert jedoch, dass diese Beispiele gerade seine These stützen. Beide Prozesse haben sich ohne "Ausbrüche" verbessert, da sie im Verhältnis zum Feedback langsam abliefen, parallel arbeiteten und keine einzelne Instanz sowohl die Modifikationsmacht als auch die Bewertungsautorität innehatte. Dies unterstreicht die Bedeutung von verteilten, langsamen und gut überprüften Verbesserungsprozessen.

Konkrete Empfehlungen für robuste RSI-Systeme

Das Rohrs' Counterexample führte in der Regelungstechnik zu einer Dekade der Entwicklung von Robustheit, stets verbunden mit einem Kompromiss zwischen Spitzenleistung und Stabilitätsmarge. Milanfar übersetzt diese Erkenntnisse direkt in Empfehlungen für die Entwicklung von RSI-Systemen:

- Verlangsamen und Stoppen der Anpassung bei geringem Fehler: Das System sollte seine Anpassung verlangsamen und schließlich einstellen, wenn der Fehler innerhalb des Grundrauschens liegt. - Verankern von Parametern an vertrauenswürdige Vorgaben: Parameter sollten an zuvor verifizierte Prüfpunkte gebunden werden, um die Gesamtdistanz von einem bekannten stabilen Zustand zu begrenzen. - Behandeln gesättigter Benchmarks als Warnsignal: Eine Benchmark, die keine weiteren Verbesserungen mehr zeigt, sollte nicht als Erfolg gewertet werden, sondern als Sensor, der ausgefallen ist – ein Hinweis auf potenzielle Überoptimierung oder das Erreichen einer lokalen Grenze.

Zusammenfassend kommt Milanfar zu dem Schluss, dass Systeme, die sich zuverlässig selbst verbessern, stets gesteuert, gedämpft, langsam und durch Stabilitätsmargen begrenzt sein werden, die auf den ersten Blick verschwenderisch erscheinen mögen. Doch Stabilität ist die eigentliche Geschwindigkeitsbegrenzung. Seine Analyse mahnt zur Vorsicht vor überzogenen Erwartungen an die rekursive Selbstverbesserung von KI-Systemen und plädiert für einen robusten, wissenschaftlich fundierten Entwicklungsansatz, der Stabilität über reine Geschwindigkeitsmaximierung stellt.

Kommentare und Diskussion

Die Beiträge zu Milanfars Analyse auf X zeigen ein geteiltes Echo. Christian Catalini (@ccatalini) stimmt der Aussage zu, dass "Intelligenz ohne Verifikation für die Gesellschaft nicht nützlich ist", und verweist auf eine wissenschaftliche Veröffentlichung. Clément Herr (@ClementHerr__) hinterfragt die Bedeutung von "langsam" im Kontext von selbstverbessernden Systemen und fragt, ob eine Zeitspanne von Wochen/Monaten nicht doch eine hohe Geschwindigkeit darstellen könnte. bdambrosio (@bdambrosio) begrüßt Milanfars Beitrag als eine "Stimme des Realismus, die in bekannter Wissenschaft verankert ist", was die Relevanz der ingenieurwissenschaftlichen Perspektive in der KI-Diskussion unterstreicht.

Bibliographie

• Milanfar, Peyman (@docmilanfar). Post auf X, 12. September 2026. Verfügbar unter: [https://x.com/docmilanfar/status/2098887393759854599](https://x.com/docmilanfar/status/2098887393759854599)
• Peyman Milanfar – Google Research. Verfügbar unter: [https://research.google/people/peymanmilanfar/](https://research.google/people/peymanmilanfar/)
• Peyman Milanfar – LinkedIn. Verfügbar unter: [https://www.linkedin.com/in/peyman-milanfar-1a790b3](https://www.linkedin.com/in/peyman-milanfar-1a790b3)
• Peyman Milanfar – Persönliche Webseite. Verfügbar unter: [https://sites.google.com/view/milanfarhome/](https://sites.google.com/view/milanfarhome/)
• Peyman Milanfar (@docmilanfar) – Threads. Verfügbar unter: [https://www.threads.com/@docmilanfar](https://www.threads.com/@docmilanfar)
• Peyman Milanfar (@docmilanfar.bsky.social) – Bluesky. Verfügbar unter: [https://deer.social/profile/did:plc:y4d7dnrfilcdwczz2eqyf3bk](https://deer.social/profile/did:plc:y4d7dnrfilcdwczz2eqyf3bk)
• Peyman Milanfar Twitter (X) Stats – PlayerSells. Verfügbar unter: [https://playersells.com/best-x-accounts/docmilanfar](https://playersells.com/best-x-accounts/docmilanfar)
• Peyman Milanfar | DeepAI. Verfügbar unter: [https://deepai.org/profile/peyman-milanfar](https://deepai.org/profile/peyman-milanfar)