Fortschritte bei der Verbindung von generativer KI und Bayesscher Optimierung durch Large Discovery Models

Die wissenschaftliche Forschung und Entwicklung, insbesondere in Bereichen wie der Materialwissenschaft, der Biologie und der Pharmazie, ist oft durch die Notwendigkeit gekennzeichnet, riesige, strukturierte und offene Hypothesenräume zu durchsuchen. Dies beinhaltet die Optimierung von Zielen, deren Bewertung mit hohen Kosten und Aufwand verbunden ist. In diesem Kontext gewinnen innovative Ansätze, die künstliche Intelligenz nutzen, zunehmend an Bedeutung. Eine aktuelle Entwicklung in diesem Feld ist die Einführung von "Large Discovery Models" (LDMs), die das Potenzial haben, die Effizienz und Effektivität wissenschaftlicher Entdeckungsprozesse maßgeblich zu verbessern.

Die Herausforderung der wissenschaftlichen Entdeckung

Die Entdeckung neuer Materialien, Moleküle oder Proteine erfordert oft Tausende von Experimenten und Simulationen, die zeit- und ressourcenintensiv sind. Große Sprachmodelle (LLMs) haben sich als leistungsstarke generative Werkzeuge erwiesen, die expressive Prioren über solche Räume liefern können. Allerdings sind ihre direkten Wahrscheinlichkeitsbewertungen und Selbsteinschätzungen oft keine zuverlässigen Indikatoren für die tatsächlichen Ziele oder eine kalibrierte epistemische Unsicherheit, insbesondere bei der Bewertung neuartiger Kandidaten, die außerhalb der bekannten Datenverteilung liegen. Dies führt zu einer Diskrepanz zwischen der generativen Fähigkeit von LLMs und der Notwendigkeit einer präzisen, empirisch fundierten Bewertung.

"Large Discovery Models" (LDMs): Ein integrierter Ansatz

Das Konzept der "Large Discovery Models" (LDMs) adressiert diese Herausforderung, indem es ein generatives Modell – typischerweise ein großes Sprachmodell – mit einem Bayesschen, nicht-parametrischen Surrogatmodell koppelt. Dieser rekurrent verknüpfte Ansatz ermöglicht eine empirisch fundierte Suche. Im Kern funktioniert ein LDM wie folgt:

• Vorschlag durch LLM: Ein LLM generiert und verfeinert potenzielle Kandidaten (z.B. Moleküle, Proteine, Programme) basierend auf seinen umfangreichen Wissensbeständen.
• Unsicherheitsbewertung durch Bayessches Surrogat: Das Bayessche Surrogatmodell bewertet die Leistung dieser vorgeschlagenen Kandidaten und quantifiziert gleichzeitig die Unsicherheit dieser Vorhersagen. Diese Unsicherheitsbewertung ist entscheidend, da sie aufzeigt, wo das Modell noch Wissenslücken hat und wo weitere Forschung am vielversprechendsten wäre.
• Iterative Optimierung: Die aus der Unsicherheitsbewertung gewonnenen Erkenntnisse steuern die weitere Generierung und Verfeinerung von Kandidaten durch das LLM. Dieser iterative Prozess, bei dem ein LLM Vorschläge macht und ein Bayessches Surrogat die Unsicherheit bewertet und den nächsten Suchschritt leitet, ermöglicht eine zielgerichtete und effiziente Exploration des Hypothesenraums.

Empirische Ergebnisse und Anwendungsbereiche

Die Wirksamkeit von LDMs wurde in verschiedenen Szenarien mit unterschiedlichen Designmodalitäten und Zielen evaluiert. Die Ergebnisse zeigen signifikante Verbesserungen im Vergleich zu reinen LLM-basierten Ansätzen oder traditionellen statistischen Suchmethoden:

• Reduktion des Validierungsfehlers: Eine 2,4-fache Reduktion des Validierungsfehlers (gemessen in BPB – Bits per Byte) wurde erreicht, was auf eine erheblich verbesserte Vorhersagegenauigkeit hinweist.
• Bindungsenergie: Eine relative Verringerung der Bindungsenergie um 18,2 % wurde festgestellt. Dies ist besonders relevant in der Medikamentenentwicklung, da eine niedrigere Bindungsenergie oft eine stärkere und effektivere Bindung zwischen einem Medikament und seinem Zielmolekül bedeutet.
• Molekulare Multiobjektivleistung: Eine Steigerung der molekularen Multiobjektivleistung um mehr als 60 % wurde erzielt. Dies deutet darauf hin, dass LDMs in der Lage sind, Moleküle zu identifizieren, die gleichzeitig mehrere gewünschte Eigenschaften aufweisen.

Diese Verbesserungen erstrecken sich über diverse Domänen, einschließlich des Trainings neuronaler Netze, des Antikörperdesigns und der molekularen Optimierung. Die Fähigkeit, die Validierungseffizienz zu verbessern und Bindungsenergien zu senken, hat direkte Auswirkungen auf die Kosten und Erfolgsraten in der Medikamentenentwicklung. Angesichts der hohen Misserfolgsraten und Kosten bei der Entwicklung neuer Medikamente könnte eine solche Technologie dazu beitragen, die Auswahl vielversprechender Kandidaten vor teuren klinischen Studien zu optimieren.

Der Wert für B2B-Anwendungen

Für Unternehmen im B2B-Sektor, insbesondere in den Bereichen Biotechnologie, Pharma und Materialwissenschaften, bieten LDMs eine Reihe von Vorteilen:

• Beschleunigung der Entdeckung: LDMs können den Prozess der Entdeckung neuer Materialien, Wirkstoffe oder Proteine erheblich beschleunigen.
• Reduzierung von Kosten und Risiken: Durch die verbesserte Vorhersagegenauigkeit und die gezielte Exploration können teure und zeitaufwändige Experimente reduziert werden. Dies minimiert das Risiko von Fehlinvestitionen in ungeeignete Kandidaten.
• Optimierung komplexer Zielsetzungen: Die Fähigkeit, mehrere Optimierungsziele gleichzeitig zu berücksichtigen, ermöglicht die Entwicklung von Produkten mit komplexen und spezifischen Eigenschaftsprofilen.
• Open-Ended Search: LDMs sind nicht auf vordefinierte Lösungsräume beschränkt, sondern können neue und unerwartete Lösungen in offenen Hypothesenräumen entdecken.

Fazit und Ausblick

Die "Large Discovery Models" repräsentieren einen vielversprechenden Fortschritt an der Schnittstelle von generativer KI und wissenschaftlicher Entdeckung. Durch die synergetische Verbindung von LLMs und Bayesschen Surrogatmodellen bieten sie ein leistungsstarkes Werkzeug zur effizienten und zielgerichteten Exploration komplexer wissenschaftlicher Fragestellungen. Die erzielten empirischen Ergebnisse untermauern das Potenzial dieser Technologie, die Art und Weise, wie wissenschaftliche Forschung und Entwicklung betrieben werden, grundlegend zu verändern. Für zukunftsorientierte Unternehmen, die in datenintensiven und innovationsgetriebenen Branchen tätig sind, könnten LDMs einen entscheidenden Wettbewerbsvorteil darstellen, indem sie den Weg zu schnelleren, kosteneffizienteren und erfolgreicheren Entdeckungen ebnen.

Bibliography

Yu, Z., Song, Y., Yan, X., Liu, A., Lu, X., Chen, Y., Zhou, H., Guo, S., Sun, L., Chen, S., Yu, X., & Wang, J. (2026). Large Discovery Models: Empirically-grounded Model-Based Open-Ended Search. arXiv preprint arXiv:2608.15669.

Kristiadi, A., Strieth-Kalthoff, F., Skreta, M., Poupart, P., Aspuru-Guzik, A., & Pleiss, G. (2024). A Sober Look at LLMs for Material Discovery: Are They Actually Good for Bayesian Optimization Over Molecules?. Proceedings of the 41st International Conference on Machine Learning, PMLR, 235, 25603-25622.

Gu, Q. (2026). LABO: LLM-Accelerated Bayesian Optimization through Broad Exploration and Selective Experimentation. alphaXiv.

Chen, Q., Ramos, F., Aspuru-Guzik, A., & Shkurti, F. (2025). Informing Acquisition Functions via Foundation Models for Molecular Discovery. OpenReview.

Agarwal, D., Majumder, B. P., Adamson, R., Chakravorty, M., Gavireddy, S. R., Parashar, A., Surana, H., Mishra, B. D., McCallum, A., Sabharwal, A., & Clark, P. (2025). AUTODISCOVERY: Open-ended Scientific Discovery via Bayesian Surprise. Proceedings of the Neural Information Processing Systems (NeurIPS).