DRAGON: Neuer Ansatz zur Verbesserung generativer KI-Modelle

DRAGON: Ein neuer Ansatz zur Optimierung generativer KI-Modelle

Die Entwicklung generativer KI-Modelle, insbesondere im Bereich der Medienerstellung, schreitet rasant voran. Ein zentraler Aspekt dieser Entwicklung ist die Optimierung dieser Modelle, um qualitativ hochwertige und den gewünschten Anforderungen entsprechende Ergebnisse zu erzielen. Traditionelle Methoden wie Reinforcement Learning with Human Feedback (RLHF) oder Direct Preference Optimization (DPO) stoßen hierbei jedoch an ihre Grenzen. Ein vielversprechender neuer Ansatz namens DRAGON (Distributional RewArds for Generative OptimizatioN) bietet hier eine flexible Alternative.

Funktionsweise von DRAGON

DRAGON unterscheidet sich von herkömmlichen Verfahren durch seine Fähigkeit, sowohl individuelle Beispiele als auch deren Verteilungen zu bewerten. Dies ermöglicht die Optimierung einer breiten Palette von Belohnungsfunktionen, von instanzweisen Bewertungen bis hin zu Vergleichen zwischen Verteilungen. Ein besonderer Vorteil von DRAGON liegt in der Möglichkeit, neuartige Belohnungsfunktionen durch die Auswahl eines Encoders und einer Reihe von Referenzbeispielen zu erstellen, die eine exemplarische Verteilung bilden. Durch die Verwendung von Cross-Modalitäts-Encodern wie CLAP können diese Referenzbeispiele sogar aus einer anderen Modalität stammen, beispielsweise Text im Vergleich zu Audio.

Im Optimierungsprozess sammelt DRAGON online und on-policy generierte Beispiele und bewertet diese, um eine positive und eine negative Demonstrationsmenge zu erstellen. Der Kontrast zwischen diesen beiden Mengen wird dann genutzt, um die Belohnungsfunktion zu maximieren. Dieser Ansatz ermöglicht eine zielgerichtete Anpassung des Modells an die gewünschten Eigenschaften.

Evaluierung und Ergebnisse

Die Wirksamkeit von DRAGON wurde anhand eines Text-zu-Musik-Diffusionsmodells im Audiobereich evaluiert. Dabei wurden 20 verschiedene Belohnungsfunktionen verwendet, darunter ein Modell für Musikästhetik, der CLAP-Score, die Vendi-Diversität und der Fréchet Audio Distance (FAD). Die Ergebnisse zeigten eine durchschnittliche Erfolgsquote von 81,45% über alle 20 Belohnungsfunktionen. Besonders bemerkenswert ist, dass durch die Verwendung von exemplarischen Verteilungen eine Verbesserung der generierten Ergebnisse erzielt werden konnte, die mit modellbasierten Belohnungen vergleichbar ist. Mit einem geeigneten exemplarischen Set erreichte DRAGON sogar eine von menschlichen Beurteilern bestätigte Qualitätsgewinnrate von 60,95%, ohne auf menschlichen Präferenzannotationen trainiert worden zu sein.

Anwendungsbereiche und Ausblick

Die Flexibilität von DRAGON eröffnet vielfältige Anwendungsmöglichkeiten in der Optimierung generativer KI-Modelle. Durch die Möglichkeit, verschiedene Belohnungsfunktionen zu verwenden und exemplarische Verteilungen zu nutzen, können Modelle gezielt an spezifische Anforderungen angepasst werden. Dies ist besonders relevant für Bereiche wie die Erstellung von Musik, Bildern und Texten, in denen die subjektive Wahrnehmung eine wichtige Rolle spielt. DRAGON stellt somit einen wichtigen Schritt in Richtung einer effizienteren und zielgerichteteren Entwicklung generativer KI-Modelle dar und könnte die Art und Weise, wie wir mit kreativen KI-Systemen interagieren, grundlegend verändern. Die Fähigkeit, komplexe Belohnungsfunktionen zu optimieren, eröffnet neue Möglichkeiten für die Entwicklung von KI-Systemen, die in der Lage sind, qualitativ hochwertige und den menschlichen Erwartungen entsprechende Ergebnisse zu liefern. Zukünftige Forschung könnte sich auf die Erweiterung des Anwendungsbereichs von DRAGON und die Entwicklung weiterer innovativer Belohnungsfunktionen konzentrieren.

Bibliographie: Bai, Y., Casebeer, J., Sojoudi, S., & Bryan, N. J. (2025). DRAGON: Distributional Rewards Optimize Diffusion Generative Models. arXiv preprint arXiv:2504.15217. Kim, Y. J., & Oh, S. J. (2024). Diffusion model alignment using direct preference optimization with a pretrained reward model. arXiv preprint arXiv:2409.06493. Lu, C., Zhou, L., Bao, F., Zhang, J., & Zhu, J. (2025). Preference-based reinforcement learning with human feedback for text-to-image diffusion model. arXiv preprint arXiv:2502.12198. Mou, W., Zhou, N., Niu, Y., & Zhou, M. (2023). Elucidating Optimal Reward-Diversity Tradeoffs in Text-to-Image Diffusion Models. arXiv preprint arXiv:2311.15449. Nguyen, T. L., Nguyen, Q. H., Le, T., Vu, T., & Phung, D. (2024). Diffusion Policies for Reinforcement Learning. arXiv preprint arXiv:2408.03270. Rombach, R., Blattmann, A., Lorenz, D., Esser, P., & Ommer, B. (2022). High-resolution image synthesis with latent diffusion models. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 10684-10695). Wolleb, A., Ertel, C., & Blattmann, A. (2024). Conditioning Text-to-Image Diffusion Models on Signed Distance Functions. In European Conference on Computer Vision (pp. 586-602). Springer, Cham. Wang, Z., Zhou, D., Li, X., & Liu, Q. (2024). Diffusion models for reinforcement learning. arXiv preprint arXiv:2403.02279. Lukyanko, A. (2024). Paper review: Diffusion model alignment using direct preference optimization with a pretrained reward model. Raileanu, R., & Fergus, R. (2024). Diffusion Policies as an Alternative to Actor-Critic Methods for Continuous Control. Advances in Neural Information Processing Systems, 37. Janner, M., Li, Y., & Levine, S. (2024). Planning with diffusion for flexible behavior synthesis. International Conference on Learning Representations.