Fehleranalyse zur Optimierung des Trainings von KI-Agenten

Fehlschläge als Lehrmeister: Wie Expertenfehler das Training von KI-Agenten verbessern

Große Sprachmodelle (LLMs) haben ihr Potenzial als Agenten unter Beweis gestellt, insbesondere bei Aufgaben, die mehrstufige Denkprozesse und Interaktionen erfordern. Ein etablierter Ansatz zum Finetuning von LLMs als Agenten ist das Rejection Sampling Fine-Tuning (RFT). Dabei imitiert das LLM zunächst erfolgreiche, von Experten vorgegebene Handlungsabläufe (Trajektorien) und verbessert anschließend seine Fähigkeiten durch iteratives Finetuning auf Basis selbstgenerierter, erfolgreicher Trajektorien. Da Experten (z.B. GPT-4) jedoch hauptsächlich bei einfacheren Teilaufgaben erfolgreich sind und RFT inhärent einfachere Szenarien bevorzugt, bleiben viele komplexe Teilaufgaben ungelöst und stellen eine dauerhafte Herausforderung dar (Out-of-Distribution, OOD).

Eine genauere Untersuchung dieser komplexen Teilaufgaben zeigt, dass fehlgeschlagene Experten-Trajektorien oft wertvolle Hinweise liefern können, wie z.B. Pläne und Schlüsselaktionen. Diese Informationen können die Effizienz der Exploration durch den Agenten und den Erwerb kritischer Fähigkeiten erheblich verbessern.

Auf Basis dieser Beobachtung wurde das Verfahren "Exploring Expert Failures" (EEF) entwickelt. EEF identifiziert nützliche Aktionen aus fehlgeschlagenen Experten-Trajektorien und integriert diese in den Trainingsdatensatz. Potenziell schädliche Aktionen werden dabei sorgfältig ausgeschlossen, um eine Beeinträchtigung des Lernprozesses zu vermeiden. Durch die Nutzung der nützlichen Aktionen aus Expertenfehlern gelingt es EEF, bisher unlösbare Teilaufgaben zu bewältigen und die Leistung des Agenten-Tunings zu verbessern.

Beeindruckende Ergebnisse und neue Standards

Die Ergebnisse von EEF sind bemerkenswert. In der WebShop-Umgebung erreichte der Ansatz eine Erfolgsquote von 62%, übertraf damit RFT (53,6%) und GPT-4 (35,6%) und setzte einen neuen Standard. Nach unserem Kenntnisstand ist EEF die erste Methode, die einen Wert von über 0,81 in WebShop und über 81 in SciWorld erzielt hat.

Diese Ergebnisse unterstreichen das Potenzial von EEF, die Entwicklung von leistungsfähigeren LLM-Agenten voranzutreiben. Durch die Integration von Informationen aus Fehlschlägen können Agenten komplexere Aufgaben bewältigen und ihre Fähigkeiten effizienter erweitern. Die sorgfältige Auswahl und Integration der relevanten Informationen aus den fehlgeschlagenen Trajektorien ist dabei entscheidend für den Erfolg des Verfahrens.

Die Weiterentwicklung von Methoden wie EEF ist essentiell, um das volle Potenzial von LLMs als Agenten auszuschöpfen und deren Einsatz in komplexen Anwendungsfällen zu ermöglichen. Die Fähigkeit, aus Fehlern zu lernen, ist ein zentraler Aspekt menschlicher Intelligenz und die Übertragung dieses Prinzips auf KI-Systeme eröffnet vielversprechende Perspektiven für die Zukunft der künstlichen Intelligenz.

Bibliografie:

1. Lan, L.-C., Bai, A., Cheng, M., Wang, R., Hsieh, C.-J., & Zhou, T. (2025). Exploring Expert Failures Improves LLM Agent Tuning. arXiv preprint arXiv:2504.13145.
2. Huang, W., et al. (2024). Trial and Error Exploration-Based Trajectory Optimization of LLM Agents. ResearchGate.
3. Li, Z., et al. (2024). Improving Large Language Model Agents with Tool Usage via Self-Supervised Pretraining and Instruction Tuning. Findings of the Association for Computational Linguistics: EMNLP 2024.
4. Wu, S., et al. (2024). On the Role of Negations in Large Language Model Prompting: An Empirical Study of Negation-Aware Prompting Strategies. Findings of the Association for Computational Linguistics: EMNLP 2024.
5. Sachin, T. (2024). Atlas: Approach to Finetune LLM Agents by Identifying Critical Steps in Expert Trajectories. Medium.
6. "LLM Fine-tuning: Methods, Techniques, and Best Practices." SuperAnnotate, 2024.