Neue Methode zur Optimierung der Inferenzleistung in Transformatoren-Modellen

Große Sprachmodelle: HARP – Ein neuer Ansatz zur Verbesserung der Inferenzleistung Transformator-basierte Sprachmodelle haben die Verarbeitung natürlicher Sprache revolutioniert. Doch die Inferenz, also die Generierung von Text, stellt aufgrund des hohen Rechenaufwands weiterhin eine Herausforderung dar. Besonders bei langen Sequenzen steigt der Bedarf an Rechenressourcen erheblich. Während einige Token, die kleinsten Einheiten in einem Text, relativ einfach zu generieren sind, erfordern andere deutlich mehr Rechenleistung. Bisherige Ansätze zur Optimierung der Inferenz haben oft versucht, die Berechnung für alle Token gleichermaßen zu beschleunigen, ohne die unterschiedlichen Schwierigkeitsgrade zu berücksichtigen.

Ein menschlich inspiriertes Verfahren

Forscher haben nun eine neue Methode namens HARP (Hesitation-Aware Reframing in Transformer Inference Pass) entwickelt, die sich vom menschlichen Entscheidungsverhalten inspirieren lässt. HARP berücksichtigt die variable Rechenintensität einzelner Inferenzschritte und setzt zusätzliche Berechnungen selektiv ein, ähnlich wie Menschen bei schwierigen Entscheidungen zögern und verschiedene Perspektiven einnehmen. Zwei menschliche kognitive Prozesse dienen dabei als Vorbild: das Zögern und der Framing-Effekt. Zögern spiegelt Unsicherheit wider. Menschen neigen dazu, bei komplexen Entscheidungen innezuhalten und die Situation neu zu bewerten. Der Framing-Effekt beschreibt, wie die Darstellung von Informationen die Entscheidungsfindung beeinflusst. Eine alternative Formulierung desselben Sachverhalts kann zu anderen Ergebnissen führen.

HARP im Detail

HARP modifiziert den Forward-Pass von Transformatoren, ohne das Modell neu trainieren zu müssen. Zunächst durchläuft die Eingabe den Standard-Forward-Pass, wodurch initiale Logits, also Wahrscheinlichkeitsverteilungen über das Vokabular, erzeugt werden. Anschließend ermittelt HARP den Grad der Unsicherheit des Modells anhand dieser Logits. Bei geringer Unsicherheit gibt das Modell die initialen Logits direkt aus. Bei hoher Unsicherheit, also im Zustand des "Zögerns", werden die Eingaben neu formuliert ("Reframing"). Dies geschieht durch eine Perturbation der Embeddings, die die Token in einen Vektorraum abbilden. Mit den veränderten Embeddings wird ein zweiter Forward-Pass durchgeführt. Schließlich kombiniert HARP die Logits beider Durchläufe, um eine finale Ausgabe zu generieren, die beide Perspektiven berücksichtigt.

Überzeugende Ergebnisse

Die Evaluation von HARP in verschiedenen Downstream-Tasks und mit unterschiedlichen Modellgrößen zeigt vielversprechende Ergebnisse. Die Methode erzielt Leistungssteigerungen von bis zu 5,16% und ist dabei doppelt so schnell wie die etablierte Beam-Search-Methode. Im Gegensatz zu anderen Ansätzen, die zusätzliche Modelle oder ein erneutes Training erfordern, ist HARP modellunabhängig, trainingsfrei und einfach zu implementieren. Dies macht HARP zu einer praktikablen Lösung zur Verbesserung der Leistung von Transformator-basierten Sprachmodellen.

HARP und Mindverse

Die Entwicklungen im Bereich der KI-Inferenz, wie HARP, sind auch für Mindverse, den deutschen Anbieter von KI-gestützten Content-Tools, von großer Bedeutung. Mindverse bietet eine All-in-One-Plattform für KI-Text, Bilder und Recherche und entwickelt maßgeschneiderte Lösungen wie Chatbots, Voicebots, KI-Suchmaschinen und Wissenssysteme. Effiziente Inferenzmethoden sind entscheidend für die Performance und Skalierbarkeit dieser Anwendungen. HARP könnte dazu beitragen, die Qualität und Geschwindigkeit von Mindverse-Produkten weiter zu optimieren.

Zukünftige Forschung

Trotz der vielversprechenden Ergebnisse gibt es noch offene Forschungsfragen. Die optimale Methode zum "Reframing" der Eingaben könnte weiter untersucht werden. Auch die Kombination von HARP mit anderen Optimierungstechniken bietet Potenzial für weitere Verbesserungen. Die Entwicklungen in diesem Bereich werden die Leistungsfähigkeit von Sprachmodellen und deren Anwendung in der Praxis weiter vorantreiben. Bibliographie: Storaï, R., & Hwang, S. (2024). HARP: Hesitation-Aware Reframing in Transformer Inference Pass. arXiv preprint arXiv:2412.07282. Schilhab, T., Stjernfelt, F., & Deacon, T. (Eds.). (2012). The symbolic species evolved (Vol. 6). Springer. Li, J., Zhang, L. L., Xu, J., Wang, Y., Yan, S., Xia, Y., ... & Huang, X. (2023, August). Constraint-aware and ranking-distilled token pruning for efficient transformer inference. In Proceedings of the 29th ACM SIGKDD Conference on Knowledge Discovery and Data Mining (pp. 1280-1290). Carnegie Mellon University. (n.d.). Course Catalog. Retrieved from http://coursecatalog.web.cmu.edu/schools-colleges/schoolofcomputerscience/addlmajorsminors/courses/courses.pdf