Neuartige Ansätze zur Kontext- und Gedächtnisverwaltung in der KI

Revolutionierung des KI-Gedächtnisses: Der Weg zu einem Semantischen Betriebssystem

Die Fähigkeit künstlicher Intelligenz, Informationen über längere Zeiträume zu speichern, zu verwalten und sinnvoll zu nutzen, stellt eine zentrale Herausforderung in der aktuellen Forschung dar. Aktuelle Modelle, insbesondere Große Sprachmodelle (LLMs), sind oft auf begrenzte "Kontextfenster" beschränkt, was ihre Leistungsfähigkeit bei komplexen, langandauernden Aufgaben limitiert. Eine neue Forschungsinitiative schlägt nun das Konzept eines Semantischen Betriebssystems vor, das eine grundlegende Neuausrichtung im Umgang mit KI-Gedächtnis und Kontext verspricht.

Die Evolution der Kontextverarbeitung in der KI

Die Entwicklung der Kontextverarbeitung in der KI lässt sich in verschiedene Phasen unterteilen. In den 1990er Jahren waren frühe kontextsensitive Systeme darauf angewiesen, dass Nutzer ihre Absichten in starre, maschinenlesbare Befehle übersetzten. Diese Systeme konnten lediglich strukturierte Eingaben verarbeiten.

Mit dem Aufkommen von Modellen wie GPT-3 um 2020 änderte sich dies grundlegend. Diese Systeme begannen, natürliche Sprache zu interpretieren und Implikationen zu verstehen, anstatt ausschließlich auf explizite Anweisungen angewiesen zu sein. Die Kontextverarbeitung verlagerte sich von Sensordaten zu unstrukturierten, menschenähnlichen Eingaben. Gespräche, die zuvor flüchtig waren, wurden nun zu semipersistenten Gedächtnisinhalten.

Das Konzept des Context Engineering wurde zuletzt von Anthropic als Ergänzung zum Prompt Engineering wieder in den Fokus gerückt. Bereits Anfang 2023 nutzte der Prompt Engineer Riley Goodside diesen Begriff, und bis zum Sommer 2025 diskutierten auch Shopify-CEO Tobi Lutke und der ehemalige OpenAI-Forscher Andrej Karpathy darüber. Die Forschung argumentiert, dass die wachsende Kluft zwischen menschlicher und maschineller Intelligenz die Notwendigkeit des Context Engineerings verstärkt, um Systeme zu schaffen, die menschliche Absichten besser interpretieren können.

Grenzen aktueller Modelle und die Notwendigkeit des Langzeitgedächtnisses

Ein bekanntes Problem aktueller KI-Modelle ist der Genauigkeitsverlust mit zunehmendem Kontext. Viele Systeme zeigen bereits eine Leistungsdegradation, wenn ihr Speicher nur halb ausgelastet ist. Hinzu kommen hohe Rechenkosten: Eine Verdopplung des Kontextes führt nicht zu einer Verdopplung, sondern zu einer Vervierfachung des Rechenaufwands, da Transformatormodelle jedes Token mit jedem anderen Token vergleichen. Dies führt beispielsweise bei 1.000 Tokens zu etwa 1 Million Vergleichen und bei 10.000 Tokens zu rund 100 Millionen Vergleichen.

Diese Problematik verdeutlicht, warum das bloße Einfügen eines gesamten PDFs in ein Chatfenster oft ineffektiv ist, wenn nur wenige Seiten relevant sind. Modelle arbeiten effizienter, wenn die Eingabe auf das Wesentliche reduziert wird. Viele Chat-Oberflächen berücksichtigen dies jedoch nicht, da es schwierig ist, Nutzern beizubringen, den Kontext aktiv zu verwalten, anstatt alle verfügbaren Informationen hochzuladen.

Während einige Unternehmen eine perfekt genaue, generative KI-gestützte Unternehmenssuche anstreben, erfordert die Praxis eine Kombination aus Context Engineering und Prompt Engineering. Generative Suche kann für die Exploration nützlich sein, garantiert jedoch nicht immer die präzise Beantwortung spezifischer Anfragen. Das Verständnis der Fähigkeiten eines Modells setzt ein Verständnis dessen voraus, was es "weiß" – eine Kernaufgabe des Context Engineerings.

Das Semantische Betriebssystem: Eine Vision für die Zukunft

Die vorgeschlagene Lösung für die genannten Limitationen ist ein Semantisches Betriebssystem. Dieses soll Kontext auf eine dauerhaftere und strukturiertere Weise speichern und verwalten können. Die Forscher definieren vier notwendige Fähigkeiten für ein solches System:

• Großflächige semantische Speicherung: Dies bedeutet die Erfassung von Bedeutung, nicht nur von Rohdaten.
• Menschenähnliches Gedächtnismanagement: Die Fähigkeit, Informationen bewusst hinzuzufügen, zu modifizieren und auch zu vergessen.
• Neue Architekturen: Systeme, die Zeit und Sequenzen effektiver als herkömmliche Transformatormodelle verarbeiten können.
• Integrierte Interpretierbarkeit: Nutzer sollen die Argumentation des Systems überprüfen, verifizieren und korrigieren können.

Für die Verarbeitung textueller Kontexte wurden verschiedene Methoden evaluiert:

• Zeitstempel: Eine einfache Methode zur Erhaltung der Reihenfolge, die jedoch keine semantische Struktur bietet und schlecht skaliert.
• Funktionale Rollen: Eine fortschrittlichere Methode, die Informationen in Kategorien wie "Ziel", "Entscheidung" oder "Aktion" organisiert. Dies erhöht die Klarheit, kann aber für flexible Schlussfolgerungen zu starr sein.
• Frage-Antwort-Paare und Hierarchien: Weitere Techniken, die jedoch jeweils Kompromisse mit sich bringen. Frage-Antwort-Reformulierungen können den Gedankenfluss unterbrechen, während Hierarchien zwar Ideen klären, aber logische Beziehungen oder zeitliche Änderungen oft übersehen.

Herausforderungen bei multimodalen Daten

Moderne KI muss heterogene Datenquellen wie Texte, Bilder, Audio, Video, Code und Sensordaten integrieren. Diese Modalitäten unterscheiden sich grundlegend: Text ist sequenziell, Bilder sind räumlich und Audio ist kontinuierlich. Die Forscher identifizieren drei Hauptstrategien für die multimodale Verarbeitung:

• Gemeinsamer Vektorraum: Alle Daten werden in einen gemeinsamen Vektorraum eingebettet, sodass verwandte Konzepte gruppiert werden.
• Gemeinsame Selbst-Attention: Mehrere Modalitäten werden in einen einzigen Transformer eingespeist, wodurch sie sich auf jeder Ebene gegenseitig beachten können.
• Cross-Attention: Eine Modalität kann sich auf spezifische Teile einer anderen konzentrieren.

Im Gegensatz zum menschlichen Gehirn, das fließend zwischen sensorischen Kanälen wechseln kann, verlassen sich technische Systeme noch auf feste Zuordnungen. Ein zentrales Konzept des Semantischen Betriebssystems ist das "Self-Baking" – die Umwandlung flüchtiger Eindrücke in stabile, strukturierte Erinnerungen. Kurzzeitgedächtnis speichert aktuelle Informationen, Langzeitgedächtnis erfasst wiederholte oder wichtige Muster, und Lernen findet statt, indem Daten zwischen beiden verschoben werden.

Frühe Anzeichen eines Semantischen Betriebssystems

Erste Schritte in Richtung eines semantischen Betriebssystems sind bereits erkennbar. Anthropic's LeadResearcher kann langfristige Forschungspläne speichern, selbst nach der Verarbeitung von über 200.000 Tokens. Google's Gemini CLI nutzt das Dateisystem als leichte Datenbank, um Projekthintergründe, Rollen und Konventionen in einer zentralen Datei zu speichern und diese mit KI-generierten Zusammenfassungen zu komprimieren. Alibaba's Tongyi DeepResearch kondensiert regelmäßig Informationen in einen "Reasoning State", der es zukünftigen Suchen ermöglicht, auf diesen Zusammenfassungen statt auf gesamten Historien aufzubauen.

Die Autoren vermuten, dass Gehirn-Computer-Schnittstellen (BCIs) die Kontextsammlung grundlegend verändern könnten, indem sie Fokus, emotionale Intensität und kognitive Anstrengung aufzeichnen. Dies würde die Gedächtnissysteme von externen Handlungen auf interne Gedanken erweitern.

Kontext als neue Form der Identität

Abschließend wird ein philosophischer Aspekt beleuchtet. Basierend auf Karl Marx' Idee, dass Menschen durch ihre sozialen Beziehungen geformt werden, argumentieren die Forscher, dass digitale Spuren heute eine ähnliche Rolle spielen. Unsere Gespräche, Entscheidungen und Interaktionen definieren uns zunehmend. Sie schreiben: "Der menschliche Geist mag nicht hochgeladen werden, aber der menschliche Kontext kann es – wodurch der Kontext selbst zu einer dauerhaften Form von Wissen, Erinnerung und Identität wird."

Nach ihrer Ansicht könnten unsere Entscheidungsmuster, Kommunikationsstile und Denkweisen über Generationen hinweg bestehen bleiben, sich entwickeln und neue Erkenntnisse generieren, lange nachdem wir gegangen sind. Kontext wird so zu einer Form von Gedächtnis, Wissen und Identität. Digitale Spuren könnten sich auch nach dem Ende eines Menschenlebens weiter verändern und mit der Welt interagieren. Das Semantische Betriebssystem soll die technische Grundlage für diese Zukunft schaffen.

Die Forschung zum Semantischen Betriebssystem verdeutlicht das Potenzial für eine umfassende Transformation der KI-Fähigkeiten. Durch die Überwindung der aktuellen Kontextbeschränkungen und die Entwicklung menschenähnlicher Gedächtnisfunktionen könnten KI-Systeme in Zukunft Aufgaben von bisher unerreichter Komplexität und Dauerhaftigkeit bewältigen. Unternehmen, die sich frühzeitig mit diesen Konzepten auseinandersetzen, können sich einen strategischen Vorteil sichern und die nächste Generation intelligenter Anwendungen gestalten.

Bibliographie

- Jonathan Kemper, "Researchers push "Context Engineering 2.0" as the road to lifelong AI memory", The Decoder, 15. November 2025. - Qishuo Hua et al., "Context Engineering 2.0: The Context of Context Engineering", arXiv:2510.26493 [cs.AI], 30. Oktober 2025. - Akhilesh Yadav, "SpikingBrain1.0: How Brain-Inspired AI Unlocks Infinite Context Beyond LLM Limits", DataDrivenInvestor, Medium, 26. September 2025. - "Context Engineering 2.0 Framework", Emergent Mind, 30. Oktober 2025. - Qizheng Zhang et al., "Agentic Context Engineering: Evolving Contexts for Self-Improving Language Models", arXiv:2510.04618 [cs.LG], 6. Oktober 2025. - Alex Levin, "WSJ: How REGAL's AI team iterates and tests AI agents", LinkedIn, 13. Oktober 2025.