Integration von Grundlagenmodellen für die langfristige Navigation von KI-Agenten

Grundlagenmodell-Integration: Ein Paradigmenwechsel in der Agenten-Navigation

Die Fähigkeit von KI-Agenten, sich autonom und über längere Zeiträume in komplexen physischen Umgebungen zu bewegen, stellt eine der zentralen Herausforderungen in der aktuellen Forschung dar. Insbesondere die sogenannte „Long-Horizon Navigation“ erfordert von den Agenten nicht nur die Fähigkeit zur präzisen Ausführung von Bewegungen, sondern auch ein tiefgreifendes Verständnis ihrer Umgebung, die Fähigkeit zur Planung über weite Entfernungen und die Anpassung an unvorhergesehene Situationen.

Die Herausforderungen der langfristigen Navigation

Bestehende Ansätze zur Navigation von KI-Agenten stoßen oft an ihre Grenzen, wenn es um Aufgaben geht, die eine Kette von Entscheidungen und Aktionen über einen längeren Zeitraum hinweg erfordern. Dies liegt primär an der Komplexität der realen Welt, der Notwendigkeit, unsichere Informationen zu verarbeiten, und der Schwierigkeit, langfristige Ziele in kurzfristige, ausführbare Schritte zu übersetzen. Zwei Haupttypen von Grundlagenmodellen dominieren derzeit die Diskussion:

• Vision-Language Models (VLMs): Diese Modelle sind exzellent darin, fehlende Informationen abzuleiten und hochrangige Pläne anzupassen. Sie können beispielsweise komplexe natürliche Sprachanweisungen interpretieren und daraus übergeordnete Strategien ableiten. Ihre Schwäche liegt jedoch in der robusten und effizienten Umsetzung dieser Pläne in konkrete Navigationsbefehle. Sie sind oft anfällig für Fehler, wenn es darum geht, ihre Entscheidungen kontinuierlich in die physische Bewegung zu überführen.
• Navigation Foundation Models (NFMs): Im Gegensatz dazu sind NFMs darauf spezialisiert, semantische Ziele robust auszuführen. Sie können beispielsweise einen Roboter zuverlässig zu einem definierten Punkt oder Objekt navigieren. Ihre Limitation besteht darin, dass sie typischerweise in begrenzten Episoden operieren und es ihnen an anhaltender, aufgabenbezogener Argumentation fehlt, die über einzelne Navigationsläufe hinausgeht. Sie können zwar gut navigieren, haben aber Schwierigkeiten, den übergeordneten Kontext oder langfristige Ziele zu berücksichtigen.

NavMCP: Ein Framework für kollaborative Intelligenz

Ein vielversprechender neuer Ansatz zur Überwindung dieser Einschränkungen ist das Framework NavMCP (Navigation-Memory-Collaboration-Planning). NavMCP zielt darauf ab, die Stärken von VLMs und NFMs zu kombinieren, indem es sie in einem agentischen Gerüst zusammenführt. Das Kernprinzip besteht darin, ein VLM als Argumentationsagenten mit einem NFM als Ausführungsagenten zu koppeln.

Die Struktur der Zusammenarbeit ist dabei entscheidend und wird durch drei primäre Kanäle definiert:

• Intent (Absicht): Dieser Kanal übersetzt die Evidenzanforderungen des VLMs in konkrete Navigationsanweisungen für das NFM. Das VLM formuliert, welche Informationen es benötigt (z.B. "Finde den roten Stuhl") und leitet diese Anweisung an das NFM weiter, das dann die physische Navigation übernimmt, um diese Evidenz zu sammeln.
• Observation (Beobachtung): Nach der Ausführung einer Navigationsaufgabe durch das NFM werden die dabei gesammelten Daten (z.B. visuelle Informationen, Positionsdaten) zurück an das VLM übermittelt. Diese "Rollouts" werden in quellengestützte Trajektorien-Evidenz umgewandelt, die das VLM interpretieren und in seine Argumentation einbeziehen kann.
• Memory (Gedächtnis): Ein zentraler Aspekt von NavMCP ist die Akkumulation von Informationen über die Zeit. Der Gedächtniskanal speichert gesammelte Erkenntnisse, negative Evidenz (z.B. "Der rote Stuhl war nicht im Wohnzimmer") und unerledigte Ziele über mehrere Navigationsaufrufe hinweg. Dies ermöglicht eine persistente, aufgabenbezogene Argumentation, die über einzelne Episoden hinausgeht und dem VLM hilft, aus Erfahrungen zu lernen und seine Strategien anzupassen.

Dieses Design ermöglicht es, isolierte Navigationsläufe in eine kontinuierliche, zielgerichtete Interaktion umzuwandeln. Ein wesentlicher Vorteil von NavMCP ist, dass es dies ohne ein erneutes Training der zugrunde liegenden VLM- oder NFM-Modelle erreicht. Stattdessen wird die Intelligenz beider Modelltypen durch eine intelligente Orchestrierung und Zusammenarbeit genutzt.

Praktische Anwendung und Ergebnisse

Die Leistungsfähigkeit von NavMCP wurde in verschiedenen Szenarien evaluiert. Im Bereich des Embodied Question Answering (EQA), bei dem ein Agent Fragen über eine Umgebung beantworten muss, indem er sich in dieser bewegt und Informationen sammelt, erzielte NavMCP auf den Benchmarks HM-EQA, MT-HM3D und EXPRESS-Bench Spitzenleistungen. Bei gleicher Agenten- und Exekutor-Grundlage übertraf es eine episodische Schnittstelle um 14,9 Prozentpunkte auf HM-EQA.

Besonders hervorzuheben sind die Ergebnisse bei realen Robotern. Auf einem Unitree Go2-Roboter erreichte NavMCP eine Erfolgsquote von 78,3%. Der Vorsprung gegenüber der stärksten Baseline vergrößerte sich von 10 auf 45 Prozentpunkte, je länger der Aufgabenhorizont wurde. Dies unterstreicht die Fähigkeit des Frameworks, auch in komplexen, realen Umgebungen über längere Zeiträume hinweg effektiv zu navigieren.

Zukünftige Perspektiven

Die Implementierung von Scaffolding-Frameworks wie NavMCP deutet auf einen Paradigmenwechsel in der Entwicklung von KI-Agenten für die physische Welt hin. Durch die intelligente Verknüpfung komplementärer Grundlagenmodelle können die Grenzen der langfristigen Navigation erweitert werden. Dies eröffnet neue Möglichkeiten für Anwendungen in Bereichen wie der autonomen Robotik, der Logistik, der Erkundung und sogar in der Unterstützung von Menschen in komplexen Umgebungen.

Die Forschung in diesem Bereich wird sich voraussichtlich auf die weitere Verfeinerung der Kommunikationskanäle, die Optimierung der Gedächtnisfunktionen und die Anpassung an noch diversere und unvorhersehbarere Umgebungen konzentrieren. Die Fähigkeit, die Stärken unterschiedlicher KI-Modelle synergetisch zu nutzen, wird entscheidend sein, um die nächste Generation von intelligenten, autonomen Agenten zu entwickeln.

Bibliography

- Lei, Z. et al. (2026). Scaffolding Foundation Models into Physical-World Agents Pushes the Frontier of Long-Horizon Navigation. https://arxiv.org/html/2608.30396 - Paperium.net (2026). Scaffolding Foundation Models into Physical-World Agents Pushes the Frontier of Long-Horizon Navigation: Analysis, Review & Summary. https://paperium.net/article/en/23331/scaffolding-foundation-models-into-physical-world-agents-pushes-the-frontier-oflong-horizon-navigati - Liu, F. et al. (2025). NavForesee: A Unified Vision-Language World Model for Hierarchical Planning and Dual-Horizon Navigation Prediction. https://arxiv.org/html/2512.01550v1 - Shen, Z. et al. (2026). Plan in Sandbox, Navigate in Open Worlds: Learning Physics-Grounded Abstracted Experience for Embodied Navigation. https://arxiv.org/html/2605.10118v1 - He, H. et al. (2025). From Seeing to Experiencing: Scaling Navigation Foundation Models with Reinforcement Learning. https://arxiv.org/html/2507.22028v1 - Wang, Y. et al. (2025). FOUNDER: Grounding Foundation Models in World Models for Open-Ended Embodied Decision Making. https://arxiv.org/pdf/2507.12496 - Hu, Y. et al. (2026). LongNav-R1: Horizon-Adaptive Multi-Turn RL for Long-Horizon VLA Navigation. https://www.roboticsproceedings.org/rss22/p068.pdf - Hill, B. (2025). Generative World Models of Tasks: LLM-Driven Hierarchical Scaffolding for Embodied Agents. https://arxiv.org/pdf/2509.04731 - Wang, Z. et al. (2025). PhysiAgent: An Embodied Agent Framework in Physical World. https://arxiv.org/html/2509.24524 - Liu, Y. et al. (2026). MAP: A Map-then-Act Paradigm for Long-Horizon Interactive Agent Reasoning. https://arxiv.org/html/2605.13037v1