Fortschritte in der KI-gestützten Schlussfolgerung durch Destillation

Neue Entwicklungen im Bereich des KI-gestützten Schlussfolgerns: Fortschritte durch Destillation

Die KI-Landschaft entwickelt sich rasant, und in den letzten Wochen gab es bemerkenswerte Fortschritte im Bereich des KI-gestützten Schlussfolgerns. Ähnlich wie bei der Entwicklung von Sprachmodellen wie Alpaca und Vicuna, die durch Destillation von ChatGPT und Bard entstanden sind, zeigt sich nun ein ähnlicher Trend bei Modellen, die auf logisches Denken spezialisiert sind. Dabei wird die Leistung größerer und komplexerer Modelle auf kleinere, effizientere Modelle übertragen.

Besonders hervorzuheben sind die Entwicklungen rund um Sky-T1 und Bespoke-Stratos. Das Sky Computing Lab der Universität Berkeley veröffentlichte Sky-T1-32B-Preview, eine Feinabstimmung des Qwen 2.5 32B Modells. Mit nur 17.000 Trainingsdaten, gewonnen aus QwQ-32B und optimiert durch GPT-4o-mini, erreicht Sky-T1 eine Leistung, die mit der von OpenAI's o1-preview vergleichbar ist. Die Kosten für diese Feinabstimmung beliefen sich auf lediglich 450 US-Dollar.

Kurz darauf präsentierte DeepSeek sein R1 Modell, welches in Benchmarks o1-preview deutlich übertraf. Überraschenderweise zeigte die zugehörige Publikation, dass durch Destillation von R1 ein 1,5B Qwen Modell die Leistung von GPT-4o und GPT-3.5 Sonnet erreichen kann.

Bespoke Labs griff diesen Ansatz auf und nutzte die Methodik von Sky-T1, um R1 erneut auf Qwen zu destillieren. Das Ergebnis ist ein Modell, das o1-preview in seiner Leistung übertrifft – und das ebenfalls mit nur 17.000 Trainingsdaten im Vergleich zu den 800.000 Daten von DeepSeek. Dies deutet darauf hin, dass mit weiteren Trainingsdaten noch größere Leistungsverbesserungen möglich wären.

"Supervised Fine-Tuning" als Schlüsseltechnologie

Ein bemerkenswertes Ergebnis dieser Entwicklungen ist die Erkenntnis, dass weitreichende Architekturänderungen für verbessertes logisches Denken nicht zwingend erforderlich sind. Stattdessen scheint "Supervised Fine-Tuning" (SFT) mit validierten und umformulierten Schlussfolgerungsdaten, inklusive Backtracking und Pivoting, ausreichend zu sein, um eine gute Generalisierung zu erreichen. Dies könnte auch die relative Effizienz von o1-mini und o3-mini im Vergleich zu ihren größeren Pendants erklären.

Die Fortschritte bei Sky-T1 und Bespoke-Stratos verdeutlichen das Potenzial der Destillation für die Entwicklung leistungsstarker und gleichzeitig effizienter KI-Modelle für logisches Schlussfolgern. Die geringen Kosten und der vergleichsweise geringe Datenbedarf eröffnen neue Möglichkeiten für die Forschung und Anwendung in diesem Bereich und könnten zu einer Demokratisierung des Zugangs zu fortschrittlichen KI-Technologien führen.

Diese Entwicklungen werfen auch Fragen nach der zukünftigen Rolle von großen Sprachmodellen auf. Wenn kleinere, destillierte Modelle vergleichbare oder sogar bessere Leistungen erzielen können, könnte dies zu einer Verschiebung der Ressourcen hin zu effizienteren und kostengünstigeren Lösungen führen. Die kommenden Monate werden zeigen, wie sich diese vielversprechenden Ansätze weiterentwickeln und welche Auswirkungen sie auf die KI-Landschaft haben werden.