AgentFlow Ein Neues Framework zur Optimierung agentischer Systeme durch In-the-Flow Planung

Optimierung Agentischer Systeme: Einblicke in "In-the-Flow Agentic System Optimization for Effective Planning and Tool Use"

Die Forschung im Bereich künstliche Intelligenz, insbesondere im Kontext großer Sprachmodelle (LLMs), schreitet mit bemerkenswerter Geschwindigkeit voran. Ein aktueller Fokus liegt auf der Entwicklung agentischer Systeme, die in der Lage sind, komplexe Aufgaben durch eine koordinierte Zusammenarbeit spezialisierter Module zu lösen. Eine neue Veröffentlichung mit dem Titel "In-the-Flow Agentic System Optimization for Effective Planning and Tool Use" stellt hierbei einen vielversprechenden Ansatz vor: AgentFlow.

Die Herausforderung traditioneller Ansätze

Bisherige Ansätze zur Werkzeug-augmentierten Argumentation in LLMs basieren oft auf einer einzelnen, monolithischen Richtlinie, die Gedanken und Werkzeugaufrufe in einem vollständigen Kontext verknüpft. Diese Methode skaliert jedoch schlecht bei langen Aufgabenhorizonten und einer Vielzahl von Werkzeugen. Zudem zeigt sie eine schwache Generalisierungsfähigkeit auf neue Szenarien. Agentische Systeme bieten hier eine Alternative, indem sie Aufgaben auf spezialisierte Module aufteilen. Viele dieser Systeme sind jedoch entweder trainingsfrei oder verlassen sich auf Offline-Training, das von der Live-Dynamik der Multi-Turn-Interaktion entkoppelt ist.

AgentFlow: Ein trainierbares, "In-the-Flow" agentisches Framework

AgentFlow adressiert diese Limitationen durch ein trainierbares, "In-the-Flow" agentisches Framework. Es koordiniert vier Kernmodule, die durch einen sich entwickelnden Speicher miteinander verbunden sind:

• Planer: Verantwortlich für die Planung von Denkprozessen und Werkzeugaufrufen.
• Ausführer: Führt Werkzeuge und Aktionen aus.
• Prüfer: Überprüft die Korrektheit der Ergebnisse.
• Generator: Erzeugt die finalen Outputs.

Das Besondere an AgentFlow ist die direkte Optimierung des Planers innerhalb des Multi-Turn-Loops, also "in-the-flow".

Flow-GRPO: Eine neue Optimierungsmethode

Um On-Policy-Training in Live-Umgebungen zu ermöglichen, wurde Flow-based Group Refined Policy Optimization (Flow-GRPO) entwickelt. Diese Methode transformiert die Multi-Turn-Optimierung in eine Sequenz von handhabbaren Single-Turn-Policy-Updates. Sie adressiert das Problem der Kreditvergabe bei langen Aufgabenhorizonten und spärlichen Belohnungen, indem ein einzelnes, verifizierbares Ergebnis auf Trajektorie-Ebene an jeden Schritt der Interaktion gesendet wird. Dies gewährleistet die Ausrichtung lokaler Planerentscheidungen mit dem globalen Erfolg und stabilisiert den Lernprozess durch gruppen-normalisierte Vorteile.

Ergebnisse und Leistungsfähigkeit

Die Leistungsfähigkeit von AgentFlow wurde anhand von zehn Benchmarks evaluiert. Die Ergebnisse zeigen, dass AgentFlow mit einem 7B-Backbone Top-Performing-Baselines übertrifft. Die durchschnittlichen Genauigkeitsgewinne betragen:

• 14,9 % bei Suchaufgaben
• 14,0 % bei agentischen Reasoning-Aufgaben
• 14,5 % bei mathematischen Aufgaben
• 4,1 % bei wissenschaftlichen Aufgaben

Bemerkenswert ist, dass AgentFlow sogar größere proprietäre Modelle, wie GPT-4o, in diesen Tests übertreffen konnte. Weitere Analysen bestätigen die Vorteile der "In-the-Flow"-Optimierung, die zu einer verbesserten Planung und einer erhöhten Zuverlässigkeit bei der Werkzeugnutzung führt. Zudem zeigte sich ein positives Skalierungsverhalten mit zunehmender Modellgröße und Anzahl der Reasoning-Turns.

Zukunftsperspektiven agentischer Systeme

Die Entwicklung von AgentFlow unterstreicht das Potenzial modularer und trainierbarer agentischer Architekturen. Solche Systeme können nicht nur die Effizienz und Genauigkeit bei komplexen Aufgaben steigern, sondern auch die Adaptionsfähigkeit an neue Szenarien verbessern. Die Fähigkeit, den Planer direkt während der Interaktion zu optimieren, eröffnet neue Wege für die Entwicklung robusterer und intelligenterer KI-Agenten, die sich dynamisch an ihre Umgebung anpassen können.

Bibliography

- "In-the-Flow Agentic System Optimization for Effective Planning and Tool Use." *arxiv.org*, https://arxiv.org/abs/2510.05592. Accessed 15 May 2024. - "AFlow: Automating Agentic Workflow Generation - OpenReview." *OpenReview*, https://openreview.net/forum?id=z5uVAKwmjf. Accessed 15 May 2024. - "A Multi-AI Agent System for Autonomous Optimization of Agentic AI Solutions via Iterative Refinement and LLM-Driven Feedback Loops." *aclanthology.org*, https://aclanthology.org/2025.realm-1.4.pdf. Accessed 15 May 2024. - "The Art of Tool Interface Design." *aclanthology.org*, https://aclanthology.org/2025.realm-1.5/. Accessed 15 May 2024.