ABot-AgentOS: Fortschritte in der Robotik durch ein neues Betriebssystem für autonome Agenten

ABot-AgentOS: Ein neues Zeitalter für Roboteragenten mit lebenslangem multimodalen Gedächtnis

Die Entwicklung im Bereich der Künstlichen Intelligenz (KI) und Robotik schreitet mit hoher Geschwindigkeit voran. Insbesondere die Fortschritte bei Vision-Language-Models (VLM) und Vision-Language-Action (VLA)-Systemen haben die Wahrnehmung und Aktionsvorhersage von Robotern erheblich verbessert. Dennoch stehen autonome Agenten, die komplexe Aufgaben über längere Zeiträume hinweg ausführen sollen, weiterhin vor Herausforderungen. Ein Forschungsteam hat nun mit ABot-AgentOS ein neues Betriebssystem für Roboteragenten vorgestellt, das diese Lücke schließen soll, indem es eine übergeordnete Schicht für intelligentes Verhalten bereitstellt.

Die Notwendigkeit einer übergeordneten Steuerungsebene

Bisherige Systeme konzentrieren sich oft auf spezifische Aspekte wie Wahrnehmung oder einzelne Aktionen. Für die Bewältigung von Langzeitaufgaben in dynamischen Umgebungen ist jedoch eine umfassendere Architektur erforderlich. Diese Architektur muss in der Lage sein, zu schließen, sich zu erinnern, Werkzeuge zu nutzen, Aktionen zu verifizieren und eine nahtlose Ausführung über verschiedene physische Ausprägungen hinweg zu gewährleisten. ABot-AgentOS wurde entwickelt, um genau diese Funktionen zu erfüllen. Es agiert als eine deliberative Agentenschicht, die über den tiefer liegenden Steuerungen der Roboterhardware positioniert ist.

Kernkomponenten und Funktionalitäten von ABot-AgentOS

ABot-AgentOS integriert mehrere Schlüsselfunktionen, die es zu einem umfassenden System für autonome Agenten machen:

• Szenenbedingte Planung: Das System kann seine Aktionen basierend auf der aktuellen Umgebung und deren Kontext planen.
• Kontextisolierte Skill-Ausführung: Fähigkeiten werden in einer Weise ausgeführt, die von externen Kontexten isoliert ist, um Fehler zu minimieren und die Reproduzierbarkeit zu erhöhen.
• Mehrstufige Verifikation: Geplante Aktionen und deren Ergebnisse werden in mehreren Phasen überprüft, um die Zuverlässigkeit zu gewährleisten.
• Multimodales Gedächtnis: Eine der zentralen Innovationen ist das sogenannte "Universal Multi-modal Graph Memory". Dieses Gedächtnis ist darauf ausgelegt, eine breite Palette von Informationen – von Dialogen über visuelle Beobachtungen bis hin zu räumlichen und zeitlichen Beziehungen – in einer strukturierten Graphenform zu speichern. Diese Architektur ermöglicht eine tiefe und dauerhafte Speicherung von Wissen.
• Edge-Cloud-Kollaboration: Das System ist in der Lage, sowohl lokal (am Edge) als auch in der Cloud zu operieren und Daten sowie Verarbeitungsressourcen effizient zu teilen.

Universal Multi-modal Graph Memory: Das Herzstück des Systems

Das Universal Multi-modal Graph Memory (UMGM) stellt eine wesentliche Neuerung dar. Es ist als ein persistentes, quellengestütztes Substrat konzipiert, das verschiedene Arten von Informationen in typisierte Knoten und Kanten umwandelt. Dazu gehören:

• Dialoge mit Menschen oder anderen Agenten.
• Visuelle Beobachtungen der Umgebung.
• Räumliche Kontexte und deren Beziehungen.
• Zeitliche Abfolgen von Ereignissen.
• Aufgabenverläufe und deren Ergebnisse.

Diese Graphenstruktur ermöglicht es dem Agenten, komplexe Zusammenhänge zu verstehen und abzurufen, was für langfristige Aufgaben und kontinuierliches Lernen unerlässlich ist.

Fehlergesteuerte Selbstevolution für kontinuierliche Verbesserung

Ein weiterer bemerkenswerter Aspekt von ABot-AgentOS ist sein fehlertoleranter Selbstevolutionszyklus. Wenn das System auf Fehler oder unerwartete Situationen stößt, werden diese analysiert und die Ursachen im Gedächtnis diagnostiziert. Aus diesen Diagnosen werden dann sogenannte "Runtime Evo-Assets" generiert. Diese Assets dienen dazu, das System kontinuierlich zu verbessern. Dabei wird darauf geachtet, dass diese Verbesserungen nur in späteren Evaluationssplits eingeführt werden, um eine Verfälschung der aktuellen Testergebnisse zu verhindern und eine objektive Bewertung der kontinuierlichen Lernfähigkeit zu ermöglichen.

EmbodiedWorldBench: Ein neuer Standard für die Evaluierung

Um die Leistungsfähigkeit von Systemen wie ABot-AgentOS umfassend bewerten zu können, wurde der EmbodiedWorldBench eingeführt. Dieser ausführbare Benchmark umfasst:

• 16 verschiedene Szenen: Diese reichen von Innen- und Außenbereichen bis hin zu hybriden Umgebungen.
• Vier Schwierigkeitsgrade: Dies ermöglicht eine abgestufte Bewertung der Agentenleistungen.
• Über 200 Aufgaben: Die Aufgaben umfassen Navigation, Objektsuche, Interaktion mit NPCs (Non-Player Characters), dynamische Ereignisse und eine ergebnisbasierte Bewertung.

Dieser Benchmark soll eine realistische und vielseitige Testumgebung für zukünftige Entwicklungen im Bereich der Roboteragenten bieten.

Erste Ergebnisse und deren Implikationen

Erste Tests auf einem Teilbereich des EmbodiedWorldBench haben gezeigt, dass ABot-AgentOS im Vergleich zu einer Basislösung mit einer einfachen Steuerung sowohl die Erfolgsrate von Aufgaben als auch die Zielerreichung verbessern konnte. Die Ergebnisse legen nahe, dass eine allgemeine Agenten-OS-Schicht die Ausführung von Langzeitaufgaben in physischen Umgebungen erheblich verbessern kann. Die Fähigkeit, ein persistentes und überprüfbares Gedächtnis zu führen, ist dabei ein entscheidender Faktor für kontinuierliche Interaktion und Verbesserung.

Die Forschungsergebnisse zeigen auch spezifische Verbesserungen in verschiedenen Gedächtnis-Benchmarks:

• LoCoMo: Eine Verbesserung von 87,5 auf 88,7 durch Selbstevolution.
• OpenEQA (M-EQA): Eine Steigerung von 59,9 auf 60,4.
• Mem-Gallery: Eine Verbesserung von 88,6 auf 89,0.
• NExT-QA: Eine Genauigkeit von 76,5% (Acc@All).

Diese Daten untermauern die Wirksamkeit des multimodalen Gedächtnisses und des Selbstevolutionsansatzes.

Fazit

ABot-AgentOS stellt einen signifikanten Fortschritt in der Entwicklung von Roboteragenten dar. Durch die Bereitstellung einer übergeordneten, deliberativen Schicht mit einem umfassenden multimodalen Gedächtnis und einem fehlertoleranten Selbstevolutionsmechanismus adressiert es zentrale Herausforderungen bei der Entwicklung von autonomen Systemen. Die Einführung des EmbodiedWorldBench bietet zudem eine standardisierte Methode zur Bewertung dieser komplexen Agenten. Die erzielten Ergebnisse deuten darauf hin, dass dieser Ansatz das Potenzial hat, die Fähigkeiten von Robotern in realen Umgebungen maßgeblich zu erweitern und eine Grundlage für zukünftige, noch intelligentere und anpassungsfähigere Robotersysteme zu legen.

Bibliography: - Tian, J., Liu, S., Xu, Y., Lu, J., Guan, Z., Han, H., ... & Liu, J. (2026). ABot-AgentOS: A General Robotic Agent OS with Lifelong Multi-modal Memory. arXiv preprint arXiv:2607.10350. - AMAP CV Lab. (2026). amap-cvlab/ABot-AgentOS: A General Robotic Agent OS with Lifelong Multi-modal Memory. GitHub Repository. https://github.com/amap-cvlab/ABot-AgentOS - Hugging Face. (2026). ABot-AgentOS: A General Robotic Agent OS with Lifelong Multi-modal Memory. https://huggingface.co/papers/2607.10350 - AISurfing. (2026). ABot-AgentOS: A General Robotic Agent OS with Lifelong Multi-modal Memory. http://aisurfing.org/news/abot-agentos-a-general-robotic-agent-os-with-lifelong-multi-modal-memory-c577727f - Databubble. (2026). ABot-AgentOS: A General Robotic Agent OS with Lifelong Multi-modal Memory · via arxiv. https://databubble.co/news/abot-agentos-a-general-robotic-agent-os-with-lifelong-multi-modal-memory