AutoVend testet KI-Agenten im langfristigen Automatenbetrieb

Eine Simulation mit Lager, Lieferzeit und Vor-Ort-Kosten

Die Automaten teilen sich ein Lager und ein Startkapital von 40.000 Yuan. Das Sortiment umfasst 1.372 Produkte. Eine Bestellung wird bei ihrer Aufgabe bezahlt und trifft laut Modell drei Tage später im Lager ein. Für den Verkauf am Automaten ist anschließend ein eigener Nachfüllschritt nötig. Die begrenzte Zeit zwischen Beschaffung und tatsächlicher Verfügbarkeit ist damit Teil der Aufgabe, nicht bloß ein technisches Detail. [5]

Auch die Ausführung vor Ort hat einen Preis: Ein Besuch an einem Automaten kostet im Benchmark 35 Yuan pro Tag, unabhängig davon, wie viele Waren dabei eingeräumt oder entfernt werden. Für die Automaten selbst fallen täglich vier Yuan Miete je Gerät an; gelagerte Waren verursachen zusätzliche Lagerkosten. Der Agent muss daher entscheiden, wann ein Besuch wirtschaftlich sinnvoll ist und wie er mehrere notwendige Arbeiten in einer Anfahrt bündelt. [5]

Das Modell berücksichtigt zudem unterschiedliche Haltbarkeiten. Waren verfallen 30 oder 90 Tage nach ihrer Ankunft im Lager. Für den Verkauf abgelaufener Produkte sieht die Simulation eine Strafe von 1.000 Yuan pro Einheit vor. Damit kann eine überdimensionierte Bestellung nicht nur Kapital binden, sondern auch Verluste aus Lagerung und Ablauf verursachen. [5]

Die Standorte sind nicht gleichartig: Das Netz umfasst Arbeitsstätten, Hochschulen, Wohngebiete, Gewerbestandorte und Büros. Nach der Beschreibung der Autoren unterscheiden sie sich unter anderem in Produktpräferenzen, Preissensitivität und Reaktionen auf Feiertage. Die Nachfrage ist außerdem nicht vollständig bekannt; unbeantwortete Nachfrage wird dem Agenten nicht direkt als solche offengelegt. [5]

• Ein einzelner Automat fasst höchstens 200 Produkteinheiten. [5]
• Die Simulation modelliert unter anderem Wetter-, Temperatur- und Feiertagseffekte auf die Nachfrage. [5]
• Ist ein Produkt ausverkauft, wird die Nachfrage danach nicht nachträglich erfüllt; nicht bediente Verkäufe gehen verloren. [5]

Der Agent muss aus unvollständigen Rückmeldungen lernen

AutoVend wird von den Autoren als teilweise beobachtbares Entscheidungsproblem formuliert. Der Agent erhält tägliche Zusammenfassungen und Rückmeldungen zu seinen Werkzeugaufrufen, sieht aber weder alle Nachfrageparameter noch die gesamte entgangene Nachfrage. Gleichzeitig beeinflussen seine eigenen Entscheidungen, welche Verkäufe beobachtet werden: Ein nicht angebotenes oder ausverkauftes Produkt liefert keine vollständige Auskunft darüber, wie hoch das Interesse tatsächlich gewesen wäre. [5]

Für die Praxis ist diese Konstruktion relevant, weil sie eine bekannte Schwierigkeit operativer Planung abbildet: Verkaufsdaten sind nicht automatisch eine unverzerrte Messung der Nachfrage. Sie hängen auch davon ab, was verfügbar war, wie es präsentiert und zu welchem Preis es angeboten wurde. Das ist eine Einordnung des Versuchsaufbaus, kein Nachweis dafür, dass AutoVend sämtliche realen Nachfrage- und Lieferketteneffekte erfasst. [5]

Reale Verkaufsdaten bilden die Grundlage

Nach Angaben im Volltext beruht der Simulator auf sechs Monaten Verkaufsdaten eines kommerziellen Automatenbetreibers. Der Datensatz umfasse 220.128 verkaufte Einheiten aus 99 Automaten. Für das simulierte Netz wählten die Forschenden 20 Geräte an fünf Standorttypen aus; der Produktkatalog decke 1.372 Artikel in 18 Unterkategorien ab, die zusammen 89,3 Prozent der verkauften Einheiten repräsentierten. [5]

Die Nachfrage wird nicht einfach aus einem festen Durchschnitt pro Gerät abgeleitet. Das Modell lässt die Attraktivität von Produkten unter anderem von Regalbestand, Preis und Standorttyp abhängen. Hinzu kommen zeitliche Einflüsse wie Wetter und Feiertage sowie Schwankungen, die sich über mehrere Tage fortsetzen können. So soll die Simulation sowohl unterschiedliche lokale Nachfrage als auch deren Veränderung im Zeitverlauf abbilden. [5]

Die Autoren beschreiben eine Prüfung des Nachfrageverhaltens anhand zurückgehaltener Daten: Eine Abbildungsbeschreibung nennt dafür 67 Automaten, einen Testzeitraum von acht Wochen und einen Mittelwert über 100 Zufallsdurchläufe. Das ist ein Hinweis auf eine modellinterne Validierung anhand realer Verkaufsmuster. Es ersetzt jedoch keinen Nachweis, dass die Agenten in einem realen Automatenbetrieb dieselben Ergebnisse erzielen würden. [5]

• Die Forschenden geben an, Margen, Haltbarkeiten, Preiselastizitäten und Betriebskosten teilweise als Einstellungen des Benchmarks festzulegen. [5]
• Für die angenommenen Bruttomargen nennt die Arbeit Spannen von 30 bis 40 Prozent für Getränke und 50 bis 60 Prozent für Snacks. [5]
• Die Ergebnisse hängen deshalb sowohl von den Verkaufsdaten als auch von den gewählten Simulationsannahmen ab. [5]

Vier von fünf Agenten bleiben hinter der Regelbasis

Die Autoren verglichen fünf Sprachmodell-Agenten mit einer regelbasierten Kontrolle für die Bestandssteuerung. Nach ihrer Zusammenfassung schnitten vier der fünf getesteten Agenten schlechter ab als diese Baseline. Die bereitgestellte Zusammenfassung nennt weder die konkreten Modellnamen noch absolute Ertragswerte; daraus lässt sich deshalb keine detaillierte Rangliste einzelner Anbieter ableiten. [1][2]

Ein weiterer Befund betrifft die Kosten der Modellaufrufe. Betrachtet man nicht nur den erzielten Ertrag, sondern den Ertrag je Dollar an Inferenzkosten, ordnen sich die getesteten Modelle laut Abstract anders. Ein System mit höherem Gesamtergebnis muss demnach nicht zugleich die kosteneffizienteste Wahl sein. Die verfügbaren Angaben enthalten allerdings keine Zahlen, mit denen sich die Größenordnung dieses Effekts unabhängig nachrechnen ließe. [1][2]

Die operative Auswertung zeichnet ein ähnliches Bild: Verbesserungen einzelner Kennzahlen führten nicht durchgängig zu stärkerem wirtschaftlichem Wachstum. Als Gründe nennen die Autoren Kosten für Bestände und physische Ausführung, die solche Fortschritte teilweise aufzehren können. Damit legt der Benchmark nahe, dass Kennzahlen wie Verkaufsvolumen oder Warenverfügbarkeit nicht isoliert als Erfolgskriterium dienen sollten. [1][2]

• Verglichen wurden fünf Sprachmodell-Agenten und eine regelbasierte Bestandskontrolle. [1][2]
• Vier der fünf Agenten verfehlten laut Autoren die Leistung der Regelbasis. [1][2]
• Die Rangfolge nach Ertrag pro Inferenzkosten unterscheidet sich von einer Rangfolge nach Ertrag allein. [1][2]

Was die Trajektorien über Fehlerquellen zeigen

Neben dem Endergebnis untersuchten die Forschenden den Verlauf der Aktionen. Ihre Analyse verweist auf Probleme, ausführbare und zulässige Schritte zuverlässig aus der Situation abzuleiten, Bestandszusagen über Standorte hinweg zu koordinieren und Rückmeldungen in wirksame Anpassungen der Strategie umzusetzen. Das sind keine einzelnen Fehlhandlungen, sondern Fähigkeiten, die sich über viele aufeinanderfolgende Entscheidungen bewähren müssen. [1][2]

Diese Diagnose ist für die Interpretation des Benchmarks wichtig: Ein schlechter Endwert kann aus mehreren miteinander verbundenen Ursachen entstehen. Eine Bestellung kann beispielsweise an sich plausibel sein, aber wegen Lieferverzug, fehlender Nachfüllung oder laufender Kosten wirtschaftlich scheitern. AutoVend ist darauf ausgelegt, solche Zusammenhänge in der Simulation zu untersuchen; die Zusammenfassung liefert jedoch keine vollständige Aufschlüsselung der Resultate nach Fehlerkategorie. [2][5]

Abgrenzung zu früheren Automaten-Tests

Der Volltext stellt AutoVend in einen Forschungsbereich, der den langfristigen Betrieb von Unternehmen durch Agenten untersucht. Als Vergleich nennt er unter anderem Vending-Bench, das laut den Autoren eine einzelne Maschine betrachtet, sowie AutoVends Ansatz, 20 Geräte unterschiedlicher Typen mit gemeinsamem Lager zu verwalten. Der zusätzliche Koordinationsbedarf entsteht also nicht allein durch eine längere Laufzeit, sondern auch dadurch, dass die Ressourcen zwischen Standorten verteilt werden müssen. [5]

Andon Labs beschreibt Vending-Bench ebenfalls als Simulation eines einzelnen Automatenbetriebs mit Aufgaben wie Bestellung, Lagerverwaltung und Preisgestaltung. Auf der dort veröffentlichten Seite werden stark unterschiedliche Resultate zwischen Modellen und teils erhebliche Schwankungen zwischen Durchläufen berichtet. Diese Angaben stammen von den Benchmark-Betreibern und sind nicht unmittelbar mit AutoVend vergleichbar: Die Umgebungen, Kostenmodelle und Bewertungskriterien unterscheiden sich. [7]

AutoVend ist damit kein Beleg dafür, dass Agenten grundsätzlich nicht für betriebliche Aufgaben geeignet sind. Es zeigt zunächst, wie fünf konkrete Systeme unter einem bestimmten Satz simulierter Bedingungen abschnitten. Der arXiv-Eintrag dokumentiert eine Forschungsarbeit, aber die vorliegenden Quellen weisen keine unabhängige Übertragung der Resultate auf einen laufenden kommerziellen Betrieb aus. [2][5]

Bedeutung für Unternehmen: Wirtschaftlichkeit und Kontrolle gemeinsam prüfen

Analyse: Für Unternehmen, die Agenten in Beschaffung, Bestandsplanung oder Filialbetrieb prüfen, spricht AutoVend dafür, nicht nur die Qualität einzelner Vorschläge zu messen. Relevant ist auch, ob ein System über längere Zeit lieferbare Mengen, Lagerbindung, Ablaufdaten, Ausführungskosten und Modellkosten gemeinsam berücksichtigt. Diese Schlussfolgerung ergibt sich aus den im Benchmark modellierten Abhängigkeiten und den berichteten Unterschieden zwischen operativen Kennzahlen und wirtschaftlichem Ergebnis. [1][2][5]

Analyse: Ein geeigneter Test sollte deshalb reale Prozessgrenzen abbilden und nachvollziehbare Zwischenmetriken erfassen. Bei AutoVend gehören dazu unter anderem Standortkoordination, Nachfüllkosten und Veränderungen der Leistung im Zeitverlauf. Für einen Unternehmenseinsatz wären zusätzlich die jeweils eigenen Lieferbedingungen, Verantwortlichkeiten und Kostenstrukturen zu prüfen; die Quellen belegen nicht, dass AutoVend diese betriebsspezifischen Anforderungen abdeckt. [2][5]

Der zentrale Beitrag der Arbeit liegt somit weniger in einer pauschalen Aussage über die Leistungsfähigkeit von Sprachmodellen als in einer konkreten Prüfaufgabe: Können Agenten digitale Entscheidungen unter knappen Ressourcen und verzögerter physischer Ausführung über viele Perioden in wirtschaftliche Ergebnisse übersetzen? Die bislang berichteten Resultate fallen für die Mehrheit der getesteten Systeme negativ aus. Ob spätere Systeme besser abschneiden oder sich der Befund auf andere Branchen übertragen lässt, zeigen die vorliegenden Quellen nicht. [1][2]

Quellen

1. [1] Paper page - AutoVend: Benchmarking LLM Agents on Long-Horizon Autonomous Vending Operations — https://huggingface.co/papers/2610.36980 (abgerufen am 2026-11-10)
2. [2] [2610.36980] AutoVend: Benchmarking LLM Agents on Long-Horizon Autonomous Vending Operations — https://arxiv.org/abs/2610.36980 (abgerufen am 2026-11-10)
3. [5] AutoVend: Benchmarking LLM Agents on Long-Horizon Autonomous Vending Operations — https://arxiv.org/html/2610.36980 (abgerufen am 2026-11-10)
4. [7] Vending-Bench: Testing long-term coherence in agents | Andon Labs — https://andonlabs.com/evals/vending-bench (abgerufen am 2026-11-10)