Können Modelle Skill-Komposition aus Beispielen lernen?

Mit der fortschreitenden Entwicklung großer Sprachmodelle (LLMs) rückt ihre Fähigkeit zur kompositionellen Generalisierung – die Fähigkeit, gelernte Fähigkeiten auf neuartige Weise zu kombinieren, die während des Trainings nicht vorkamen – zunehmend in den Fokus der Aufmerksamkeit. Diese Art der Generalisierung, insbesondere in Szenarien, die über die Trainingsdaten hinausgehen, ist auch für die Erforschung der Sicherheit und Ausrichtung von KI von großem Interesse.

Eine aktuelle Studie stellte die SKILL-MIX-Evaluierung vor, bei der Modelle die Aufgabe haben, einen kurzen Absatz zu verfassen, der die Anwendung eines bestimmten k-Tupels von Sprachfertigkeiten demonstriert. Während kleinere Modelle schon bei k=3 Schwierigkeiten hatten, Texte zu komponieren, zeigten größere Modelle wie GPT-4 eine recht gute Leistung bei k=5 und 6.

In einer neuen Forschungsarbeit wird nun ein ähnlicher Ansatz wie bei SKILL-MIX verwendet, um die Fähigkeit kleinerer Modelle zu untersuchen, kompositionelle Generalisierung aus Beispielen zu lernen. Unter Verwendung eines breiten Spektrums an Sprachfertigkeiten – darunter Rhetorik, Literatur, Argumentation, Theory of Mind und gesunder Menschenverstand – wurde GPT-4 eingesetzt, um Textbeispiele zu generieren, die zufällige Teilmengen von k Fertigkeiten aufweisen. Das anschließende Finetuning von Modellen mit 7B und 13B Parametern auf diesen kombinierten Skill-Texten für steigende Werte von k ergab folgende Erkenntnisse:

Wichtige Erkenntnisse des Finetunings

Das Training mit Kombinationen von k=2 und 3 Fähigkeiten führt zu spürbaren Verbesserungen der Fähigkeit, Texte mit k=4 und 5 Fähigkeiten zu verfassen, obwohl die Modelle während des Trainings nie solche Beispiele gesehen haben. Werden Fähigkeitenkategorien in Trainings- und Hold-out-Gruppen aufgeteilt, verbessern sich die Modelle beim Verfassen von Texten mit Hold-out-Fähigkeiten während des Tests signifikant, obwohl sie während des Finetunings nur Trainingsfähigkeiten gesehen haben. Dies zeigt die Wirksamkeit des Trainingsansatzes auch bei bisher nicht bekannten Fähigkeiten.

Diese Studie legt nahe, dass die Einbeziehung von fähigkeitsreichem (potenziell synthetischem) Text in das Training die kompositionellen Fähigkeiten von Modellen erheblich verbessern kann. Die Ergebnisse dieser Forschungsarbeit haben wichtige Implikationen für die Entwicklung von LLMs, die in der Lage sind, über die Grenzen ihrer Trainingsdaten hinaus zu generalisieren und neue und kreative Lösungen für komplexe Probleme zu finden.

Weitere Forschungsperspektiven

Die Erforschung der kompositionellen Generalisierung in LLMs ist noch lange nicht abgeschlossen. Zukünftige Arbeiten könnten sich auf die Entwicklung robusterer Evaluierungsmetriken, die Untersuchung verschiedener Trainingsmethoden und die Erforschung der Grenzen der kompositionellen Generalisierung in LLMs konzentrieren. Das Verständnis der Faktoren, die zur kompositionellen Generalisierung beitragen, wird für die Entwicklung von KI-Systemen von entscheidender Bedeutung sein, die in der Lage sind, menschenähnliche Argumentations- und Problemlösungsfähigkeiten zu erreichen.

Bibliographie

Lake, Brenden M, and Marco Baroni. “Human-Like Systematic Generalization through a Meta-Learning Neural Network.” Nature 623, no. 7988 (October 25, 2023): 115–21. https://doi.org/10.1038/s41586-023-06668-3. Zhao, Haoyu, Simran Kaur, Dingli Yu, Anirudh Goyal, and Sanjeev Arora. “Can Models Learn Skill Composition from Examples?” In ICML 2024 Workshop on LLMs and Cognition. OpenReview.net, June 18, 2024. https://openreview.net/forum?id=YEEsRgkvnU. Chen, Jiaao, Xiaoman Pan, Dian Yu, Kaiqiang Song, Xiaoyang Wang, Dong Yu, and Jianshu Chen. “Skills-in-Context Prompting: Unlocking Compositionality in Large Language Models.” arXiv, August 1, 2023. https://doi.org/10.48550/arXiv.2308.00304. Zhou, Hattie, Azade Nova, Hugo Larochelle, Aaron Courville, Behnam Neyshabur, and Hanie Sedghi. “Teaching Algorithmic Reasoning via In-Context Learning.” arXiv, November 15, 2022. https://doi.org/10.48550/arXiv.2211.09066.