Autonome Entdeckung von Algorithmen durch KI-Agenten

Sehr geehrte Leserinnen und Leser,

die Entwicklung von künstlicher Intelligenz schreitet mit bemerkenswerter Geschwindigkeit voran, und die Frage, wie wir die Effizienz und Leistungsfähigkeit großer Sprachmodelle (LLMs) weiter optimieren können, bleibt zentral. Eine aktuelle Forschungsarbeit wirft ein neues Licht auf dieses Thema, indem sie die Rolle von KI-Agenten bei der Entdeckung und Optimierung von Algorithmen untersucht. Konkret geht es um die Frage, ob KI-Agenten selbstständig Skalierungsalgorithmen finden können, die menschliche Designer möglicherweise übersehen hätten oder die auf unkonventionellen Logiken basieren.

KI-Agenten als autonome Algorithmen-Entdecker

Traditionell werden Algorithmen, die die Leistung von LLMs beeinflussen – insbesondere im Bereich des sogenannten "Test-Time Scaling" (TTS) – von menschlichen Experten entwickelt. TTS-Methoden zielen darauf ab, die Qualität von Modellantworten zu verbessern, indem sie die Rechenressourcen dynamisch anpassen. Dies kann durch die parallele Ausführung mehrerer Lösungspfade oder die Verlängerung von Denkketten geschehen. Bislang bestimmten menschengemachte Regeln, wann ein Modell neue Lösungsansätze verfolgt, vielversprechende Wege vertieft oder ineffiziente abbricht.

Ein interdisziplinäres Forscherteam der UMD, UVA, WUSTL, UNC, Google und Meta hat nun mit "AutoTTS" einen Paradigmenwechsel eingeleitet. Anstatt die Algorithmen selbst zu schreiben, haben die Forscher eine Umgebung geschaffen, in der ein KI-Agent namens Claude Code eigenständig Algorithmen zur Effizienzsteigerung entwickeln kann. Die Kernidee dahinter ist, dass viele bestehende Methoden nur Spezialfälle eines breiteren Kontrollraums sind, der durch Breite (Anzahl der parallelen Lösungspfade) und Tiefe (Umfang der einzelnen Pfade) definiert wird. Anstatt diesen Raum manuell zu durchsuchen, überlässt AutoTTS diese Aufgabe einer Maschine.

Effizienz durch Simulation: Geringe Kosten bei hoher Varianz

Ein entscheidender Faktor für die Praktikabilität dieses Ansatzes ist die Simulation. AutoTTS verwendet eine Offline-Umgebung, in der für jede Aufgabe bereits im Vorfeld verschiedene Lösungspfade des Sprachmodells generiert und gespeichert werden. Ein neu entwickelter Kontrollalgorithmus entscheidet dann, wie die Rechenressourcen basierend auf diesen vorhandenen Daten eingesetzt werden sollen. Dies ermöglicht es, Tausende von Algorithmusvarianten zu testen, ohne das eigentliche Sprachmodell jedes Mal neu starten zu müssen. Dieser Ansatz reduziert die Rechenkosten erheblich und macht den Entdeckungsprozess skalierbar.

Claude Code agiert in dieser Umgebung als Suchagent. Über mehrere Runden hinweg analysiert der Agent frühere Vorschläge, identifiziert Schwachstellen und schreibt direkt im Code einen neuen Kontrollalgorithmus. Um die Komplexität zu beherrschen, beschränkt jede Iteration die externe Schnittstelle auf einen einzigen hochrangigen Controller, der alle anderen Schwellenwerte intern festlegt. Detaillierte Protokolle jeder Ausführung liefern dem Agenten zudem Rückmeldung darüber, wo Rechenressourcen unnötig verbraucht wurden, und unterstützen so den iterativen Verbesserungsprozess.

KI-generierte Algorithmen übertreffen menschliche Entwürfe

Die Ergebnisse des Experiments sind bemerkenswert. Auf mathematischen Benchmarks wie AIME und HMMT zeigte der von Claude Code entwickelte Algorithmus eine überlegene Genauigkeit pro Recheneinheit im Vergleich zu etablierten Methoden. Die Token-Nutzung konnte um etwa 70 Prozent reduziert werden, verglichen mit der standardmäßigen "Self-Consistency"-Methode, die typischerweise 64 Antworten parallel generiert und die beste per Mehrheitsentscheid auswählt. Dabei blieb die Genauigkeit stabil.

Die Übertragbarkeit des Algorithmus wurde ebenfalls demonstriert: Er funktionierte erfolgreich mit einem anderen Modell (DeepSeek-R1-Distill-Llama-8B) und einem nicht-mathematischen Benchmark (GPQA-Diamond). Die Gesamtkosten für den gesamten Entdeckungsprozess beliefen sich auf lediglich etwa 40 US-Dollar, und die Laufzeit betrug 160 Minuten. Dies unterstreicht die Effizienz und das Kosteneinsparungspotenzial dieses KI-gestützten Ansatzes.

Eine Logik, die den menschlichen Horizont erweitert

Die Art und Weise, wie der von der KI entdeckte Algorithmus funktioniert, ist vielleicht noch aufschlussreicher als die reinen Leistungszahlen. Er überwacht, wie sich das Konfidenzniveau des Modells über mehrere Runden hinweg entwickelt. Im Gegensatz dazu brechen viele herkömmliche Methoden ab, sobald eine Mehrheit unter den Antworten erreicht ist.

Der KI-Algorithmus verfährt wie folgt: Wenn das Konfidenzniveau kaum schwankt, eröffnet er weitere Lösungspfade. Steigt es hingegen schnell an, werden neue Pfade übersprungen. Lösungspfade, deren Zwischenergebnisse mit der aktuellen Mehrheit übereinstimmen, erhalten zusätzliche Rechenressourcen. Pfade, die abweichen, werden nur dann abgebrochen, wenn sie über mehrere Runden hinweg weiterhin in die falsche Richtung tendieren.

Die Autoren betonen, dass eine solche koordinierte Logik von Menschen nur schwer von Hand zu entwerfen gewesen wäre. Eine Ablationsstudie zeigte, wie entscheidend zwei Designentscheidungen sind: Ohne den zentralen, hochrangigen Controller würde der Agent auf extreme Abkürzungen zurückgreifen, die zwar im Test Rechenressourcen sparen, aber die Genauigkeit bei neuen Aufgaben massiv beeinträchtigen. Ohne detaillierte Protokolle würde der entdeckte Algorithmus zudem mehr Rechenressourcen bei schlechterer Genauigkeit verbrauchen, was die Bedeutung einer umfassenden Rückmeldung unterstreicht.

Vom Algorithmus-Schreiben zur Gestaltung von Suchräumen

Die Arbeit von AutoTTS reiht sich ein in eine wachsende Zahl von Forschungsprojekten wie FunSearch, AlphaEvolve und ADAS, die alle Sprachmodelle als Programm-Suchagenten einsetzen. Die Neuheit dieses Ansatzes liegt in seiner Anwendung auf das Test-Time Scaling, das bisher überwiegend manuell erfolgte.

Die aktuelle Version des Systems konzentriert sich auf den Kompromiss zwischen Breite und Tiefe und kann komplexere Strukturen wie Baum-Suchen noch nicht handhaben. Zudem hängt die Qualität der Entdeckung vom verwendeten Coding-Agenten ab, und die Autoren äußern sich nicht dazu, ob Open-Source-Alternativen ähnliche Ergebnisse liefern würden.

Das übergeordnete Fazit dieser Forschung ist jedoch von großer Bedeutung: Die Rolle des Menschen verlagert sich vom Erfinder der Regeln zum Gestalter der Suchumgebung, in der diese Regeln entstehen. Die eigentliche Strategie entwickelt sich dann in Form von Code, den ein Sprachmodell schreibt und verfeinert. Bereits im Jahr 2024 zeigten Forscher von Hugging Face, dass kleine Sprachmodelle durch intelligentes Test-Time Compute Scaling mit deutlich größeren Modellen mithalten können, wenn auch mit manuell entworfenen Suchstrategien. Meta und Partner stellten kürzlich Hyperagents vor, KI-Systeme, die ihren eigenen Verbesserungsprozess optimieren.

Diese Entwicklungen deuten auf eine Zukunft hin, in der KI nicht nur Probleme löst, sondern auch die Methoden zur Problemlösung autonom entdeckt und optimiert. Für B2B-Anwendungen bedeutet dies ein enormes Potenzial für die Entwicklung hochspezialisierter und effizienter KI-Lösungen, die über die Grenzen menschlicher Intuition und Designkapazitäten hinausgehen können.

Wir bei Mindverse beobachten diese Fortschritte genau und sind bestrebt, die neuesten Erkenntnisse der KI-Forschung in praxisnahe Lösungen für unsere Kunden zu überführen. Die Fähigkeit von KI-Agenten, selbstständig Algorithmen zu entdecken, eröffnet neue Wege für die Optimierung von Prozessen und die Entwicklung innovativer Produkte.

Bibliographie

- The Decoder: "Researchers let Claude Code discover AI scaling algorithms that humans probably wouldn't have designed", Jonathan Kemper, 24. Mai 2026. - Algorithmic SuperIntelligence Labs: "SLDAgent + OpenEvolve: Can Language Models Discover Their Own Scaling Laws?", Haowei Lin, Haotian Ye & ASI Labs Research Team, o. D. - GitHub Repository: linhaowei1/SLD, "Can Language Models Discover Scaling Laws?", Haowei Lin, o. D. - tengxiaoliu.github.io: "Can Coding Agents Optimize Algorithms Autonomously?", o. D. - arXiv: "Applying an Agentic Coding Tool for Improving Published Algorithm Implementations", Worasait Suwannik, 16. April 2026. - arXiv: "CodeEvolve: an open-source evolutionary framework for algorithmic discovery and optimization", Henrique Assumpção et al., o. D. - newclawtimes.com: "SkyPilot Gave Claude Code 16 GPUs and Karpathy's Autoresearch Framework. It Ran 910 Experiments in 8 Hours.", 24. März 2026. - arXiv: "CliffSearch: Structured Agentic Co-Evolution over Theory and Code for Scientific Algorithm Discovery", Youssef Mroueh et al., 2. April 2026. - dimitrisp.substack.com: "Addition Under Pressure", Dimitris Papailiopoulos, 19. Februar 2026. - GitHub Repository: JoaquinMulet/Artificial-General-Research, "AGR: Artificial General Research", Joaquin Mulet, o. D.