Optimierung von KI-Strategien: Kosten und Leistung im Gleichgewicht

Die Evolution der KI-Strategie: Kosten und Leistung im Fokus

Die Landschaft der Künstlichen Intelligenz entwickelt sich mit bemerkenswerter Geschwindigkeit weiter. Für Unternehmen, die KI-Technologien in ihre Geschäftsprozesse integrieren, stellt sich zunehmend die Frage nach der optimalen Balance zwischen Leistungsfähigkeit und Kosten. Eine reine Konzentration auf die höchste Intelligenz, ohne die damit verbundenen Ausgaben zu berücksichtigen, erweist sich oft als nicht nachhaltiger Ansatz. Vielmehr ist ein tiefgreifendes Verständnis der Kompromisse zwischen den verschiedenen Modellen und deren spezifischen Anwendungsbereichen von entscheidender Bedeutung, um KI effektiv und wirtschaftlich einzusetzen.

Die Herausforderung der Modellvielfalt und Kostenexplosion

Die Einführung immer leistungsfähigerer, sogenannter "Frontier-Modelle", hat in der Vergangenheit zu einem Phänomen geführt, das als "Token-Whiplash" bekannt wurde. Unternehmen, die Anfang 2026 den Token-Verbrauch als Produktivitätsmetrik feierten, sahen sich schnell mit der Realität konfrontiert, dass Budgets für KI-Anwendungen in wenigen Monaten ausgeschöpft waren. Berichte von Unternehmen wie Uber und ServiceNow, die ihre gesamten KI-Budgets in kurzer Zeit verbrauchten, unterstreichen die Notwendigkeit eines disziplinierteren Umgangs mit diesen Ressourcen. Die Erkenntnis, dass eine Abhängigkeit von einem einzigen, teuren Frontier-Modell ohne klare Nutzungsrichtlinien zu untragbaren Kosten führen kann, hat sich branchenweit durchgesetzt.

Parallel dazu hat sich der Modellmarkt dynamisch entwickelt. Neue offene Modelle wie GLM 5.2, Kimi K3 und DeepSeek V4 Flash sind zu niedrigeren Preispunkten auf den Markt gekommen. Gleichzeitig haben etablierte Anbieter wie OpenAI Preisanpassungen für ihre Modelle wie GPT-5.6 Luna und Terra vorgenommen. Diese Entwicklungen führen dazu, dass Unternehmen zunehmend auf eine Mischung aus verschiedenen Modellen setzen, was wiederum Plattformen für Inferenz und Modellbereitstellung, die eine breite Palette an Modellen unterstützen, zu einem steigenden Marktanteil verhilft.

Pareto-Frontier-Analyse: Ein Framework für Kosten-Leistungs-Optimierung

Um die komplexen Beziehungen zwischen Kosten und Leistung in der Modelllandschaft zu bewerten, hat sich die Pareto-Frontier-Analyse als ein valides Instrument etabliert. Diese Analyse identifiziert eine Menge von Modellen, die das bestmögliche Verhältnis zwischen Performance und Kosten bieten. Ein Modell wird als Pareto-optimal betrachtet, wenn keine andere Option eine bessere Leistung zum gleichen Preis oder ein günstigeres Modell bei gleicher Leistungsstufe bietet. Graphisch dargestellt, bilden diese Modelle eine Kurve, wobei weniger leistungsfähige und kostengünstigere Modelle im unteren linken Bereich und hochleistungsfähige, teurere Modelle im oberen rechten Bereich angesiedelt sind. Die Linie zwischen ihnen repräsentiert die optimale Grenze.

Glean's Ansatz zur Pareto-Frontier-Analyse

Glean hat eine spezifische Pareto-Frontier-Analyse entwickelt, die sich von herkömmlichen Ansätzen unterscheidet, indem sie auf der sicheren Auswertung von realem Unternehmens-Produktionsdatenverkehr basiert. Dies ermöglicht eine präzisere Bewertung der Modelle im Kontext der Komplexität und Vielfalt von Unternehmensaufgaben. Die Bewertung erfolgte durch einen agentenbasierten Richter, der sich auf Korrektheit, Aufgabenerfüllung und Ausgabebereitschaft konzentrierte. Durch einen Round-Robin-Wettbewerb und Vergleiche innerhalb von Modellfamilien wurden über 81 Modellpaarungen analysiert. Mithilfe der Bradley-Terry-Methodologie wurde ein Glean-Qualitätsscore ermittelt, der die erwartete Präferenzleistung eines Modells gegenüber dem Benchmark-Feld darstellt.

Wesentliche Erkenntnisse der Analyse:

• GPT-5.6 Luna (xhigh): Erreicht einen Qualitätsscore von 55 bei hoher Kosteneffizienz ($0.0819).
• GLM 5.2 (high): Für Open-Source-Enthusiasten bietet es einen Score von 57, ist jedoch mit $0.3489 teurer als GPT-5.6 Luna.
• Claude Opus 5 (high): Erreicht einen hohen Score von 67, allerdings zu deutlich höheren Kosten von $2.9605.
• Kimi K3 (high): Stellt einen ausgewogenen Mittelweg dar, mit einem Score von 63 und Kosten von $0.8995, was eine signifikante Qualitätssteigerung gegenüber GPT-5.6 Luna bedeutet.
• Gemini 3.7 Flash (high): Ein weiteres Beispiel für ein ausgewogenes Modell mit einem Score von 61 und Kosten von $0.4748.

Diese Analyse verdeutlicht, dass die Pareto-Frontier nicht von einem einzigen Anbieter dominiert wird. Die Kostenunterschiede zwischen den Modellen auf der Frontier können erheblich sein; beispielsweise beträgt der Kostenfaktor zwischen Luna 5.6 (xhigh) und dem teuersten Modell, Opus 5 (high), das 36-fache für einen Qualitätsgewinn von 22 %. Dies unterstreicht die Bedeutung einer intelligenten Modellauswahl und eines automatisierten Routings, um die gewünschte Qualität zu einem Bruchteil der Kosten zu erzielen.

Automatisches Routing: Der Schlüssel zur Effizienz

Glean's Ansatz des automatischen Routings zielt darauf ab, das passende Modell mit dem entsprechenden Reasoning-Level für jede spezifische Aufgabe auszuwählen. Dies entbindet den Nutzer von der Notwendigkeit, ein Modell-Experte zu sein. Das Routing erfolgt unter zwei Gesichtspunkten: der Modellauswahl aus über 40 verfügbaren offenen und Frontier-Modellen und dem "Effort Routing", das bestimmt, wie intensiv das Modell über die Aufgabe nachdenken soll (Reasoning-Level).

Zur Bestimmung des optimalen Reasoning-Levels zur Laufzeit verwendet Glean ein spezialisiertes Modell namens Glean Waldo, das auf NVIDIA Nemotron 3 Nano vortrainiert wurde. Nachdem Waldo den Reasoning-Level festgelegt hat, kann es die Aufgabe an ein spezialisiertes Modell übergeben. Beispielsweise hat sich gezeigt, dass Claude Opus 4.8 bei der Erstellung visueller Artefakte besonders leistungsfähig ist, weshalb das System bei entsprechenden Aufgaben auf dieses Modell zurückgreift.

Benchmark-Analyse: Glean vs. Claude Cowork

Eine interne Benchmark-Analyse verglich Glean Assistant mit Claude Cowork über 180+ Unternehmensaufgaben hinweg. Die Ergebnisse zeigen, dass Glean Assistant durch sein automatisiertes Routing signifikante Kosteneinsparungen und eine höhere Präferenzrate erzielen konnte.

Kostenreduktion durch Glean

Glean erreichte eine durchschnittliche Kostensenkung pro Aufgabe auf $0.58, verglichen mit $2.98 bei Claude Cowork. Dies resultierte aus zwei Faktoren:

• Geringerer Token-Verbrauch: Glean nutzte 1.3 Millionen Tokens im Vergleich zu 4.4 Millionen bei Claude Cowork, was einer Reduktion von 70 % entspricht.
• Optimierte Kosten pro Token: Der gemischte Token-Preis über die verschiedenen Modelle, die durch das automatische Routing verwendet wurden, war ebenfalls günstiger.

Diese Reduktion des Token-Verbrauchs ist auf spezifische architektonische Entscheidungen bei Glean zurückzuführen:

• Unifizierte Unternehmenskontext-Grundlagen: Glean startet mit einer einheitlichen, vorindexierten und bewerteten Ansicht von Unternehmensinformationen. Im Gegensatz dazu muss Claude Cowork mit seinem föderierten MCP-Ansatz jedes System einzeln durchsuchen, was oft zu einer Überbeschaffung von Ergebnissen und einem höheren Token-Verbrauch für die Datenharmonisierung und Konfliktlösung führt.
• Effizientes Harness-Design: Glean speichert Tool-Ausgaben und Zwischenzustände in Sandbox-Dateien, anstatt alles jedes Mal in den Kontext des Modells zu laden. Es lädt progressiv nur die Tools, Fähigkeiten und Schemata, die für eine Aufgabe benötigt werden. Isolierte Sub-Agenten halten zudem irrelevante Kontexte aus der Haupt-Reasoning-Schleife heraus.

Höhere Qualität und Nutzerpräferenz

Kosteneffizienz ist nur dann relevant, wenn die Ausgabe auch nutzbar ist. In dieser Hinsicht wurde Glean in 78 % der Fälle gegenüber Claude Cowork bevorzugt. Diese Präferenz basierte auf mehreren Kriterien:

• Gesamtpräferenz: Welche Antwort im Job tatsächlich genutzt werden würde.
• Korrektheit: Welche Antwort faktisch genauer, logisch fundierter und auf aktuellen Quellen basierend war.
• Vollständigkeit: Welche Antwort die Anfrage besser erfüllte und weniger unvollendete Arbeit hinterließ.
• Interaktionsqualität: Welches System weniger Steuerung, Korrektur, erneutes Prompting, Wartezeit oder manuelle Eingriffe erforderte.

Die Präferenz für Glean zeigte sich über alle evaluierten Abteilungen hinweg, darunter Vertrieb, Engineering, Marketing, HR, Produktentwicklung, Finanzen und Kundensupport. Auch über verschiedene Aufgabentypen hinweg, wie das Entwerfen von Inhalten, das Zusammenfassen von Quellen, die Datenanalyse und die Workflow-Automatisierung, behielt Glean seinen Vorteil.

Reduzierung von "Botsitting"

Ein weiterer wichtiger Befund war, dass die von Glean bevorzugten Antworten dazu beitragen, "Botsitting" zu reduzieren. Botsitting bezeichnet den nicht budgetierten Arbeitsaufwand, den Mitarbeiter betreiben, um KI nutzbar zu machen, indem sie Kontext bereitstellen, Ausgaben überwachen und Fehler korrigieren. Studien zeigen, dass Mitarbeiter bis zu 6.4 Stunden pro Woche für Botsitting aufwenden, was mehr Zeit ist, als sie für die eigentliche Produktion von Arbeit mit KI verbringen.

Fehlermuster, die zu dieser Art von Korrekturarbeit führen, umfassen falsch interpretierte Aufgaben, schwer lesbare Ausgaben, fehlenden Kontext, unvollständige oder veraltete Evidenz und unbegründete oder falsche Schlussfolgerungen. Wenn ein System von Anfang an den richtigen Kontext besitzt, ist weniger Korrektur erforderlich, wodurch Mitarbeiter wertvolle Arbeitszeit zurückgewinnen.

Fazit: Die Zukunft der KI-Strategie

Der Aufstieg der Pareto-Frontier-Analyse markiert einen Wandel weg von der Standardstrategie, maximale Intelligenz als primäres Ziel für Unternehmens-KI zu verfolgen. Unternehmen müssen nicht länger zwischen den Kosten und dem Nutzen von KI wählen. Eine Strategie, die auf ein einziges Frontier-Modell setzt, ohne Disziplin bei dessen Einsatz, ist nicht nachhaltig.

Die Ergebnisse von Glean demonstrieren, dass die Kombination von intelligentem Routing über eine sich schnell entwickelnde Modelllandschaft mit einem fundierten Unternehmenskontext die Token-Kosten um 81 % senken kann, während die Ausgaben selbst in 78 % der Fälle bevorzugt werden. Dies ermöglicht es Unternehmen, die Kosten für KI drastisch zu senken und gleichzeitig den Umfang der Aufgaben, die sie der KI anvertrauen, erheblich zu erweitern.

Bibliographie:

- @_akhaliq. (2026, 23. Juli). This is HUGE The AI App store is here... [Tweet]. Twitter. https://www.unrollnow.com/status/1886831521216016825 - @_akhaliq. (2026, 29. Juli). Thoughts Are All Over the Place: On... [Tweet]. Twitter. https://www.unrollnow.com/status/1885195541161574537 - Gentilcore, T. (2026, 26. August). At @Glean, we've long believed that prioritizing intelligence in isolation, without considering cost, is the wrong approach. [Tweet]. Twitter. https://x.com/tonygentilcore/status/2092585888090066959 - Hugging Face. (n.d.). akhaliq (AK). Abgerufen von https://huggingface.co/akhaliq - Thread Reader App. (n.d.). AK's Threads. Abgerufen von https://threadreaderapp.com/user/_akhaliq - Thread Reader App. (n.d.). Thread by @_akhaliq on Thread Reader App. Abgerufen von https://threadreaderapp.com/thread/1653419307550883850 - 齐思GPT. (2025, 23. März). 用于从图像和文本生成可伸缩矢量图形（SVG）代码。它利用 ... [Artikel]. Startup Aliyun. https://startup.aliyun.com/info/1093055.html