Neue Entwicklungen in der zeitlichen Kausalentdeckung durch große Kausalmodelle und Sprachmodelle

Grundlagen der Kausalentdeckung und die Rolle großer Modelle

Die Identifizierung kausaler Zusammenhänge ist eine zentrale Herausforderung in vielen wissenschaftlichen und industriellen Bereichen. Traditionell erfolgte die Kausalentdeckung (Causal Discovery, CD) sowohl für Querschnitts- als auch für Zeitreihendaten nach einem datensatzspezifischen Paradigma. Hierbei wurde für jeden einzelnen Datensatz ein neues Modell angepasst. Dieser Ansatz stieß jedoch an Grenzen, insbesondere hinsichtlich des Potenzials des Multi-Datensatz-Pretrainings.

In den letzten Jahren hat sich das Konzept der großen Kausalmodelle (Large Causal Models, LCMs) als vielversprechender Ansatz etabliert. LCMs sind als eine Klasse von vortrainierten neuronalen Architekturen konzipiert, die speziell für die zeitliche Kausalentdeckung (Temporal Causal Discovery) entwickelt wurden. Frühere Methoden waren oft auf eine geringe Anzahl von Variablen beschränkt, zeigten bei größeren Eingabedimensionen Leistungseinbußen und stützten sich stark auf synthetische Daten, was die Generalisierungsfähigkeit einschränkte.

Ein aktueller Forschungsansatz, vorgestellt von Nikolaos Kougioulis und seinem Team, adressiert diese Limitierungen durch die Kombination von Hunderttausenden synthetischer und realer Trainingsdaten. Dies ermöglicht eine skalierbare Leistung, tiefere Modelle und höhere Eingabedimensionen mit verbesserter Generalisierung und schnellerer Inferenz im Vergleich zu klassischen CD-Ansätzen. Die Ergebnisse zeigen, dass LCMs eine vielversprechende Grundlage für die zeitliche Kausalentdeckung darstellen.

Innovationen durch Large Causal Models (LCMs)

Die Einführung von LCMs markiert einen bedeutenden Fortschritt in der Kausalentdeckung. Durch die Nutzung einer großen Menge an Trainingsdaten, die sowohl synthetische als auch reale Zeitreihen umfassen, können diese Modelle kausale Beziehungen in dynamischen Systemen effektiver und एफizienter identifizieren. Dies ist besonders relevant in komplexen Umgebungen, in denen die zugrundeliegenden Mechanismen oft nicht direkt beobachtbar sind.

Vorteile der LCM-Architektur

• Skalierbarkeit: LCMs können mit einer höheren Anzahl von Variablen und tieferen Architekturen umgehen, was sie für komplexe reale Anwendungen besser geeignet macht.
• Verbesserte Generalisierung: Durch das Training auf einer breiten Basis von synthetischen und realen Daten zeigen LCMs eine stärkere Leistung in unbekannten (Out-of-Distribution) Szenarien.
• Schnellere Inferenz: Im Gegensatz zu klassischen Methoden, die oft iterative und rechenintensive Prozesse erfordern, ermöglichen LCMs eine schnelle Inferenz in einem einzigen Durchgang.
• Multidata-Pretraining: Die Fähigkeit zum Pretraining auf verschiedenen Datensätzen ermöglicht es den Modellen, allgemeine kausale Muster zu lernen, die auf neue Probleme angewendet werden können, ohne jedes Mal von Grund auf neu trainiert werden zu müssen.

RealTCD: Zeitliche Kausalentdeckung mit Interventionsdaten und LLMs

Ein weiteres innovatives Framework, bekannt als RealTCD, erweitert die Konzepte der Kausalentdeckung, indem es die Stärken von Large Language Models (LLMs) und Interventionsdaten kombiniert, um kausale Beziehungen in industriellen Szenarien zu identifizieren. RealTCD wurde speziell entwickelt, um die Herausforderung zu bewältigen, kausale Zusammenhänge zu finden, wenn die Interventionsziele unbekannt sind – ein häufiges Problem in der Praxis.

Zentrale Komponenten von RealTCD

• Score-basierte zeitliche Kausalentdeckung: Dieser Modul modelliert Daten aus normalen und anomalen Systemzuständen als Beobachtungs- bzw. Interventionsdaten. Es entspannt die Bedingung, dass Interventionsziele bekannt sein müssen, was die Anwendbarkeit in realen Szenarien erheblich verbessert. Durch eine gemeinsame Optimierung der Adjazenzmatrix und der Interventionsfamilie mittels eines regularisierten Maximum-Log-Likelihood-Scores können kausale Graphen und Interventionsziele identifiziert werden.
• LLM-gesteuerte Meta-Initialisierung: Hier werden LLMs genutzt, um Domänenwissen und zusätzliche Vorabinformationen aus Textdaten zu integrieren. Dies ermöglicht es, potenzielle kausale Beziehungen zu identifizieren, die als Initialisierung für den datengesteuerten Optimierungsprozess dienen. Durch maßgeschneiderte Prompts können LLMs Kontextbeschreibungen, physikalische Strukturen und Erzeugungsregeln von Systemen nutzen, um die anfängliche kausalen Struktur möglichst unvoreingenommen zu gestalten.

Die Kombination dieser beiden Module im RealTCD-Framework ermöglicht eine robuste und präzise Kausalentdeckung, selbst in komplexen industriellen Umgebungen, in denen herkömmliche Methoden an ihre Grenzen stoßen.

Die Synergie von LLMs und Kausalentdeckung

Die Integration von LLMs in die Kausalentdeckung stellt einen Paradigmenwechsel dar. LLMs können als "Meta-Experten" fungieren, die menschliches Fachwissen ergänzen und erweitern. Ihre Fähigkeit, riesige Mengen an Textdaten zu verarbeiten und zu synthetisieren, ermöglicht es ihnen, Wissen aus unzähligen Dokumenten, Forschungsarbeiten und Expertenmeinungen zu destillieren.

Anwendungsbereiche der LLMs in der Kausalentdeckung

• Direkte Inferenz: LLMs können kausale Graphen oder Subgraph-Strukturen direkt aus natürlichsprachlichen Beschreibungen und Domänenwissen ableiten. Dies automatisiert die anfängliche Phase der Hypothesengenerierung.
• Posterior-Korrektur: LLMs können als Korrekturmechanismen dienen, die von statistischen CD-Methoden identifizierte kausale Beziehungen anhand ihrer umfangreichen Wissensbasis validieren und verfeinern.
• Integration von Vorwissen: LLMs können als umfassende Quellen für Vorabinformationen für traditionelle CD-Algorithmen dienen, indem sie Domänenwissen und kontextuelle Einschränkungen vor der statistischen Analyse bereitstellen.

Diese Ansätze beschleunigen nicht nur den Entdeckungsprozess, sondern machen auch anspruchsvolle kausale Analysen einem breiteren Spektrum von Forschern und Praktikern zugänglich, selbst ohne tiefgehende Domänenexpertise.

Herausforderungen und Zukunftsperspektiven

Trotz der vielversprechenden Fortschritte stehen die LCMs und die Integration von LLMs in die Kausalentdeckung noch vor Herausforderungen. Eine der wichtigsten ist die Notwendigkeit standardisierter Bewertungsmetriken und Benchmarks, um die Leistungsfähigkeit verschiedener Ansätze objektiv vergleichen zu können. Zudem ist die Interpretierbarkeit der von LLMs generierten kausalen Erklärungen ein entscheidender Faktor, um Vertrauen in diese Systeme aufzubauen.

Zukünftige Forschungsrichtungen umfassen die Entwicklung domänenspezifischer LLMs, die noch präziser auf die jeweiligen Anwendungsbereiche zugeschnitten sind, sowie die Verbesserung der Fähigkeit von LLMs, die Eigenschaften von Strukturellen Kausalmodellen (SCMs) zu diagnostizieren. Die Erforschung, wie LLMs echte kausale Schlussfolgerungen ziehen und nicht nur Muster in Daten erkennen, bleibt ein aktives Forschungsfeld.

Die kontinuierliche Weiterentwicklung dieser Technologien verspricht, die Kausalentdeckung in einer Vielzahl von Bereichen – von der IT-Betriebsanalyse (AIOps) bis hin zur Medizin und den Sozialwissenschaften – zu revolutionieren und ein tieferes Verständnis komplexer Systeme zu ermöglichen.

Bibliography

• Kougioulis, N. et al. (2026). Large Causal Models for Temporal Causal Discovery. arXiv:2602.18662.
• Li, P. et al. (2024). RealTCD: Temporal Causal Discovery from Interventional Data with Large Language Model. CIKM ’24, October 21–25, 2024, Boise, ID, USA.
• Wan, G. et al. (2025). Large Language Models for Causal Discovery: Current Landscape and Future Directions. Proceedings of the Thirty-Fourth International Joint Conference on Artificial Intelligence (IJCAI-25).
• Jiralerspong, T. et al. (2024). Efficient Causal Graph Discovery Using Large Language Models. arXiv:2402.01207.
• Herdeanu, B. et al. (2025). CausalDynamics: A large-scale benchmark for structural discovery of dynamical causal models. arXiv:2505.16620.
• Sanchez, P. P. et al. (2025). Causal Ordering for Structure Learning from Time Series. arXiv:2510.24639.
• Li, J. et al. (2025). Revealing Multimodal Causality with Large Language Models. NeurIPS 2025.
• Rohekar, R. Y. et al. (2023). From Temporal to Contemporaneous Iterative Causal Discovery in the Presence of Latent Confounders. arXiv:2306.00624.