Leistungsbewertung von LLMs in der textbasierten Molekülgenerierung

Bewertung der Leistungsfähigkeit von LLMs in der offenen Molekülgenerierung mit Textbasis

Die Entwicklung von großen Sprachmodellen (LLMs) hat in den letzten Jahren rasante Fortschritte gemacht. Diese Modelle zeigen beeindruckende Fähigkeiten in verschiedenen Bereichen, von der Textgenerierung und Übersetzung bis hin zum Verstehen komplexer Zusammenhänge. Ein neues Anwendungsgebiet, das zunehmend an Bedeutung gewinnt, ist die Generierung von Molekülen mithilfe von Textbeschreibungen. Dies eröffnet spannende Möglichkeiten für die Medikamentenentwicklung und Materialforschung.

Um die Leistungsfähigkeit von LLMs in diesem Bereich zu bewerten, wurde kürzlich TOMG-Bench (Text-based Open Molecule Generation Benchmark) vorgestellt. Dieser Benchmark stellt den ersten umfassenden Test für die offene, d.h. nicht auf spezifische Molekülklassen beschränkte, Generierung von Molekülen auf Basis von Textbeschreibungen dar. TOMG-Bench umfasst drei Hauptaufgaben: Molekülbearbeitung (MolEdit), Moleküloptimierung (MolOpt) und kundenspezifische Molekülgenerierung (MolCustom). Jede dieser Aufgaben ist weiter in drei Unteraufgaben unterteilt, die jeweils 5.000 Testbeispiele umfassen.

Die Komplexität der offenen Molekülgenerierung erfordert ein ausgeklügeltes Bewertungssystem. TOMG-Bench beinhaltet daher ein automatisiertes System, das sowohl die Qualität als auch die Genauigkeit der generierten Moleküle misst. Die Qualität bezieht sich dabei auf chemische Eigenschaften wie Gültigkeit und Neuheit der Molekülstruktur. Die Genauigkeit hingegen bewertet, wie gut das generierte Molekül der Textbeschreibung entspricht.

Eine umfassende Benchmarking-Studie mit 25 verschiedenen LLMs hat die aktuellen Grenzen und Verbesserungspotenziale in der textgesteuerten Molekülentdeckung aufgezeigt. Die Ergebnisse zeigen, dass die meisten LLMs Schwierigkeiten haben, komplexe Moleküle basierend auf Textbeschreibungen zu generieren. Häufige Probleme sind ungültige Molekülstrukturen, die den Regeln der Chemie widersprechen, sowie eine mangelnde Übereinstimmung zwischen generiertem Molekül und der gegebenen Textbeschreibung.

Ein vielversprechender Ansatz zur Verbesserung der Leistung von LLMs in der Molekülgenerierung ist das Instruction Tuning. Dabei werden die Modelle mit speziell aufbereiteten Datensätzen trainiert, die aus Textbeschreibungen und den entsprechenden Molekülen bestehen. Ein Beispiel für einen solchen Datensatz ist OpenMolIns, der speziell für die Herausforderungen von TOMG-Bench entwickelt wurde. Mit Hilfe von OpenMolIns konnte das Modell Llama3.1-8B alle Open-Source-LLMs in der Benchmarking-Studie übertreffen und sogar GPT-3.5-turbo um 46,5% in der Gesamtperformance auf TOMG-Bench schlagen.

Die Entwicklung von TOMG-Bench und OpenMolIns stellt einen wichtigen Schritt in Richtung einer effizienteren Molekülgenerierung mithilfe von LLMs dar. Die Ergebnisse der Benchmarking-Studie liefern wertvolle Einblicke in die Stärken und Schwächen aktueller Modelle und zeigen den Weg für zukünftige Forschung und Entwicklung in diesem vielversprechenden Bereich. Die Verfügbarkeit von Code und Datensätzen auf Plattformen wie GitHub ermöglicht es der Forschungsgemeinschaft, auf diesen Ergebnissen aufzubauen und die Entwicklung von leistungsfähigeren LLMs für die Molekülgenerierung voranzutreiben.

Bibliographie: https://paperswithcode.com/datasets?q=&v=lst&o=newest https://arxiv.org/abs/2409.16191 https://2024.emnlp.org/program/accepted_main_conference/ https://arxiv.org/html/2408.07246v2 https://github.com/THU-KEG/EvaluationPapers4ChatGPT https://medium.com/@bukowski.daniel/a-practical-framework-for-evaluating-text-generation-llms-4016ffa93736 https://aclanthology.org/2024.findings-emnlp.216.pdf https://2024.aclweb.org/program/finding_papers/ https://2024.euro-par.org/fileadmin/2024/files/Europar2024-keynote-for-sharing.pdf https://academic.oup.com/bioinformatics/article-pdf/doi/10.1093/bioinformatics/btae534/60195114/btae534.pdf