Effizientes Dekodieren: Schneller zum besten Ergebnis

Die Entwicklung und der Einsatz großer Sprachmodelle (LLMs) haben in den letzten Jahren rasante Fortschritte gemacht. Neben der Verbesserung der Modellarchitekturen und Trainingsmethoden spielt die Effizienz des Dekodierprozesses, also die Generierung von Text, eine entscheidende Rolle. Ein gängiger Ansatz zur Verbesserung der Dekodierqualität ist die "Best-of-N"-Methode. Dabei werden N verschiedene Textausgaben für eine gegebene Eingabe generiert und anschließend die beste Ausgabe anhand eines bestimmten Kriteriums ausgewählt. Diese Methode führt zwar zu qualitativ hochwertigen Ergebnissen, ist aber aufgrund des mehrfachen Generierungsprozesses sehr rechenintensiv. Neue Forschungsarbeiten beschäftigen sich daher mit der Beschleunigung dieses Verfahrens, ohne dabei die Qualität der Ergebnisse zu beeinträchtigen. Ein vielversprechender Ansatz zur Beschleunigung der "Best-of-N"-Dekodierung ist die sogenannte "spekulative Zurückweisung" (Speculative Rejection). Dieses Verfahren nutzt ein kleineres, schnelleres Modell, um Teile von Textausgaben zu generieren. Parallel dazu bewertet ein weiteres Modell, beispielsweise ein Reward-Modell, diese Teilergebnisse. Textausgaben, die frühzeitig als wenig vielversprechend eingestuft werden, werden abgebrochen. Dadurch werden Rechenressourcen eingespart, die dann für die Generierung und Bewertung vielversprechenderer Kandidaten verwendet werden können. Die Funktionsweise der spekulativen Zurückweisung beruht auf der Annahme, dass die Bewertung von Teilergebnissen mit der finalen Bewertung der vollständigen Textausgabe korreliert. Studien haben gezeigt, dass diese Annahme in vielen Fällen zutrifft. Je höher die Korrelation, desto effektiver ist die spekulative Zurückweisung. Die Wahl des Schwellenwertes für die Zurückweisung von Teilergebnissen spielt dabei eine entscheidende Rolle und beeinflusst das Verhältnis zwischen Geschwindigkeit und Qualität. Die spekulative Zurückweisung ist eng verwandt mit anderen effizienten Dekodierstrategien wie dem spekulativen Dekodieren (Speculative Decoding) und der Kaskadendekodierung (Cascade Decoding). Beim spekulativen Dekodieren generiert ein schnelles Modell einen Block von Tokens, der dann von einem langsameren, aber genaueren Modell überprüft wird. Die Kaskadendekodierung verwendet eine Reihe von Modellen unterschiedlicher Größe und Komplexität. Einfache Eingaben werden von kleineren Modellen bearbeitet, während komplexere Eingaben an größere Modelle weitergeleitet werden. Die spekulative Zurückweisung kombiniert Aspekte beider Ansätze und ermöglicht so eine flexible und effiziente Dekodierung. Die Implementierung der spekulativen Zurückweisung kann auf verschiedene Arten erfolgen. Eine Möglichkeit besteht darin, die Teilergebnisse nach einer festen Anzahl von generierten Tokens zu bewerten. Alternativ kann die Bewertung auch nach jedem generierten Token erfolgen. Die optimale Strategie hängt von der jeweiligen Anwendung und den verwendeten Modellen ab. Experimentelle Ergebnisse zeigen, dass die spekulative Zurückweisung die "Best-of-N"-Dekodierung deutlich beschleunigen kann, ohne die Qualität der Ergebnisse signifikant zu verringern. Im Vergleich zur Standard-"Best-of-N"-Methode konnte in einigen Fällen eine bis zu 32-fache Beschleunigung erreicht werden. Diese Ergebnisse unterstreichen das Potenzial der spekulativen Zurückweisung für den effizienten Einsatz von LLMs in verschiedenen Anwendungsbereichen. Für Unternehmen wie Mindverse, die maßgeschneiderte KI-Lösungen entwickeln, bietet die spekulative Zurückweisung die Möglichkeit, ressourcenintensive Anwendungen wie Chatbots, Voicebots und KI-Suchmaschinen effizienter zu gestalten. Bibliographie - Sun, H., Haider, M., Zhang, R., Yang, H., Qiu, J., Yin, M., Wang, M., Bartlett, P., & Zanette, A. (2024). Fast Best-of-N Decoding via Speculative Rejection. *NeurIPS*. - Zhang, R., Haider, M., Yin, M., Qiu, J., Wang, M., Bartlett, P., & Zanette, A. (2024). Accelerating Best-of-N via Speculative Rejection. *ICML 2024 Workshop on Aligned Natural Language Generation*. - Narasimhan, H., Jitkrittum, W., Rawat, A. S., Kim, S., Gupta, N., Menon, A. K., & Kumar, S. (2024). Faster Cascades via Speculative Decoding. *arXiv preprint arXiv:2405.19261v2*.