Steuerung von Sprach- und Diffusionsmodellen durch Aktivierungstransport

Die Steuerung von Sprach- und Diffusionsmodellen durch Aktivierungstransport

Die stetig wachsenden Fähigkeiten großer generativer Modelle und deren zunehmende Verbreitung haben Bedenken hinsichtlich ihrer Zuverlässigkeit, Sicherheit und ihres Missbrauchspotenzials geweckt. Um diesen Herausforderungen zu begegnen, wurden in jüngster Zeit Methoden entwickelt, die die Generierung von Modellen durch die Steuerung von Modellaktivierungen beeinflussen. Ziel ist es, das Auftreten bestimmter Konzepte oder Verhaltensweisen im generierten Output effektiv zu induzieren oder zu verhindern. Dieser Artikel beleuchtet die Methode des Aktivierungstransports (AcT), ein allgemeines Framework zur Steuerung von Aktivierungen, das auf der Theorie des optimalen Transports basiert und viele frühere Arbeiten zur Aktivierungssteuerung verallgemeinert.

Aktivierungstransport (AcT): Ein Überblick

AcT ist modalitätsagnostisch, d.h., es kann für verschiedene Arten von generativen Modellen, wie z.B. große Sprachmodelle (LLMs) und Text-zu-Bild-Diffusionsmodelle (T2Is), verwendet werden. Es bietet eine feinkörnige Kontrolle über das Modellverhalten bei vernachlässigbarem Rechenaufwand und minimalen Auswirkungen auf die allgemeinen Modellfähigkeiten. Die Steuerung erfolgt durch die Berechnung einer optimalen Transportkarte zwischen zwei Aktivierungsverteilungen: einer Quelldatei und einem Ziel. Diese Karte wird dann verwendet, um die Aktivierungen des Modells während der Inferenz zu transformieren und so das gewünschte Verhalten zu induzieren.

Anwendungsfälle von AcT in LLMs

In LLMs zeigt AcT vielversprechende Ergebnisse in verschiedenen Bereichen. Es kann effektiv zur Minderung von Toxizität in generierten Texten eingesetzt werden, indem die Aktivierungen von toxischen zu nicht-toxischen Sprachmustern gelenkt werden. Darüber hinaus ermöglicht AcT die Induktion beliebiger Konzepte, wodurch die Generierung von Texten zu spezifischen Themen erleichtert wird. Ein weiterer Anwendungsfall ist die Erhöhung der Wahrheitsgemäßheit von LLMs, indem die Aktivierungen in Richtung von faktisch korrekten Aussagen gelenkt werden.

Anwendungsfälle von AcT in T2Is

Auch in T2Is bietet AcT neue Möglichkeiten zur Steuerung des Modellverhaltens. Es ermöglicht eine feinkörnige Stilkontrolle, indem die Aktivierungen zwischen verschiedenen künstlerischen Stilen transportiert werden. So können beispielsweise Bilder im Stil von Impressionismus, Kubismus oder anderen Stilrichtungen generiert werden. Zusätzlich ermöglicht AcT die Negation von Konzepten, wodurch unerwünschte Elemente aus generierten Bildern entfernt werden können.

AcT im Vergleich zu anderen Methoden

Im Vergleich zu anderen Methoden der Aktivierungssteuerung bietet AcT mehrere Vorteile. Es bewahrt die während des Trainings beobachtete Aktivierungsverteilung, wodurch unerwünschte Nebeneffekte vermieden werden, die durch Out-of-Distribution-Aktivierungen entstehen können. Die Stärke der Intervention kann durch einen Parameter λ zwischen 0 (kein Transport) und 1 (voller Transport) gesteuert werden, was eine flexible Anpassung an die jeweilige Anwendung ermöglicht. Experimentelle Ergebnisse zeigen, dass AcT bei der Steuerung von LLMs und T2Is vergleichbare oder bessere Ergebnisse erzielt als bestehende Methoden, ohne dass eine aufwendige Hyperparameter-Optimierung erforderlich ist.

Zukünftige Forschung

Die Forschung im Bereich des Aktivierungstransports steht noch am Anfang, und es gibt vielversprechende Richtungen für zukünftige Arbeiten. Die Untersuchung der Anwendbarkeit von AcT auf andere Modalitäten, wie z.B. Audio oder Video, ist ein vielversprechendes Gebiet. Darüber hinaus könnten neue Methoden zur Optimierung der Transportkarten entwickelt werden, um die Effizienz und die Kontrollgenauigkeit von AcT weiter zu verbessern. Die Kombination von AcT mit anderen Methoden der Modellsteuerung könnte ebenfalls zu neuen Synergien und verbesserten Ergebnissen führen.

Rodriguez, P., Blaas, A., Klein, M., Zappella, L., Apostoloff, N., Cuturi, M., & Suau, X. (2024). Controlling Language and Diffusion Models by Transporting Activations. arXiv preprint arXiv:2410.23054. Pandey, A., Tewari, A., Cole, F., Cole, F., Richardt, C., Richardt, C., ... & Theobalt, C. (2024). Diffusion Handles: Enabling 3D Edits for Diffusion Models by Lifting 2D Edits. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 25086-25096). Watson, D., Saxena, S., Li, L., Tagliasacchi, A., & Fleet, D. J. (2024). Controlling Space and Time with Diffusion Models. arXiv preprint arXiv:2407.07860. Ratcliff, R., & McKoon, G. (2008). The diffusion decision model: Theory and data for two-choice decision tasks. Neural computation, 20(4), 873-922.