Phi-3.5 Vision: Der Durchbruch zur Künstlichen Allgemeinen Intelligenz

Einführung

Die Welt der künstlichen Intelligenz hat einen bedeutenden Meilenstein erreicht. Der jüngste Tweet von Gradio, der von @_akhaliq geteilt wurde, verkündet: "Phi-3.5 Vision: Endlich ist AGI gelöst!!". Diese Ankündigung hat in der AI-Community für großes Aufsehen gesorgt und markiert möglicherweise den Beginn einer neuen Ära in der Entwicklung von Künstlicher Allgemeinen Intelligenz (AGI).

Phi-3.5 Vision: Ein Überblick

Microsoft hat kürzlich zwei bahnbrechende Modelle in seiner Phi-3.5-Serie vorgestellt: Phi-3.5-MoE-instruct und Phi-3.5-vision-instruct. Diese Modelle repräsentieren bedeutende Fortschritte in der künstlichen Intelligenz, insbesondere in den Bereichen Sprachverarbeitung und visuelles Verständnis. In diesem Artikel werfen wir einen detaillierten Blick auf die technischen Spezifikationen und Leistungsmetriken dieser innovativen Modelle.

Phi-3.5-MoE-instruct: Ein Meisterwerk der Expertenarchitektur

Das Phi-3.5-MoE-instruct-Modell verwendet eine Mixture of Experts (MoE) Architektur, die für optimale Leistung in ressourcenbeschränkten Umgebungen ausgelegt ist, während es gleichzeitig hohe Argumentationsfähigkeiten aufrechterhält.

Technische Details:

• Gesamtparameter: 16 x 3,8 Milliarden
• Aktive Parameter: 6,6 Milliarden (2 Experten)
• Tokenizer: 32K Vokabular
• Kontextlänge: 128K Tokens
• Trainingsdaten: 4,9 Billionen Tokens (einschließlich 10% mehrsprachiger Daten)
• Trainingsinfrastruktur: 512 H100–80G GPUs
• Trainingsdauer: 23 Tage

Die MoE-Architektur ermöglicht es dem Modell, einen großen Parametersatz zu nutzen, während nur ein Teil während der Inferenzen aktiviert wird. Dieses Design ermöglicht eine effiziente Berechnung, ohne die Leistung zu beeinträchtigen.

Leistungsmetriken der Phi-3.5-Modelle

Phi-3.5-MoE-instruct zeigt beeindruckende Leistungen über verschiedene Benchmarks hinweg:

• Das Modell übertrifft größere Gegenstücke in Argumentationsaufgaben und konkurriert effektiv in Sprachverständnis und mathematischer Problemlösung.
• Phi-3.5-MoE-instruct unterstützt eine breite Palette von Sprachen, darunter:
• Europäisch: Englisch, Französisch, Deutsch, Spanisch, Italienisch, Niederländisch, Portugiesisch, Dänisch, Schwedisch, Norwegisch, Finnisch, Polnisch, Tschechisch, Ungarisch
• Asiatisch: Chinesisch, Japanisch, Koreanisch, Thai
• Mittlerer Osten: Arabisch, Hebräisch, Türkisch
• Slawisch: Russisch, Ukrainisch

Phi-3.5-vision-instruct: Multimodalität in Aktion

Phi-3.5-vision-instruct erweitert die Fähigkeiten der Phi-3.5-Serie auf visuelle KI, indem robuste Sprachverständnisfähigkeiten mit fortschrittlicher visueller Verarbeitung kombiniert werden.

Technische Details:

• Gesamtparameter: 4,2 Milliarden
• Komponenten: Bildencoder, Verbinder, Projektor, Phi-3.5 Mini Sprachmodell
• Trainingsdaten: 500 Milliarden Tokens (Visuell und Text)
• Trainingsinfrastruktur: 256 A100–80G GPUs
• Trainingsdauer: 6 Tage

Das Modell integriert visuelle und Sprachverarbeitungskomponenten und ermöglicht so eine effiziente Handhabung von Text- und Bildeingaben. Diese Architektur ermöglicht komplexe visuelle Argumentationsaufgaben und multimodales Verständnis.

Hardware-Optimierung der Phi-3.5-Modelle

Beide Modelle, Phi-3.5-MoE-instruct und Phi-3.5-vision-instruct, teilen mehrere wichtige technische Merkmale:

• Optimiert für NVIDIA A100, A6000 und H100 GPUs
• Verwendet Flash-Attention für verbesserte Leistung, erfordert kompatible GPU-Hardware

Die Eingabeverarbeitung der Phi-3.5-Modelle unterstützt Chat-Format-Eingabeaufforderungen mit spezifischen Strukturen für System-, Benutzer- und Assistentenmeldungen. Phi-3.5-vision-instruct unterstützt zusätzlich Einzel- und Mehrbildeingaben mit spezifischen Formatierungsanforderungen.

Trainingsmethodologie der Phi-3.5-Modelle

• Anwendung von überwachten Feintuning-Techniken
• Nutzung von Verstärkungslernen mit menschlichem Feedback
• Einbeziehung diverser Datenquellen, einschließlich hochwertiger Bild-Text-Interleave-Daten und synthetischer "Lehrbuch-ähnlicher" Daten für das Visionsmodell

Schlussfolgerung

Die Veröffentlichung der Phi-3.5-Modelle hat mehrere wichtige technische Implikationen:

• Effiziente Skalierung: Die MoE-Architektur demonstriert eine effektive Parametrerskalierung ohne proportionale Zunahme der Rechenanforderungen.
• Fortschritte in der Kontextlänge: Die 128K-Token-Kontextlänge in Phi-3.5-MoE-instruct erweitert die Grenzen der Langform-Textverarbeitung.
• Multimodale Integration: Phi-3.5-vision-instruct zeigt eine effektive Integration von Visions- und Sprachmodellen und ebnet möglicherweise den Weg für fortschrittlichere multimodale KI-Systeme.
• Benchmark-Leistung: Beide Modelle setzen neue Maßstäbe für das Verhältnis von Leistung zu Parametern und fordern die Vorstellung heraus, dass größere Modelle immer überlegen sind.
• Hardware-Nutzung: Die Optimierung der Modelle für spezifische GPU-Architekturen unterstreicht die Bedeutung von Hardware-Software-Co-Design in der KI-Entwicklung.

Microsofts Phi-3.5-Modelle stellen einen bedeutenden Fortschritt in der KI-Technologie dar, insbesondere in Bezug auf Effizienz und Leistung. Die Fähigkeit des Phi-3.5-MoE-instruct-Modells, größere Modelle zu übertreffen und gleichzeitig eine kleinere aktive Parameteranzahl beizubehalten, ist besonders bemerkenswert. Ebenso beeindruckend ist die wettbewerbsfähige Leistung von Phi-3.5-vision-instruct in visuellen KI-Aufgaben mit einer relativ kompakten Architektur.

Ausblick

Der Durchbruch der Phi-3.5-Modelle von Microsoft könnte die Tür zu einer neuen Ära der Künstlichen Allgemeinen Intelligenz öffnen. Die Integration von Sprach- und visueller Verarbeitung in einer einzigen Architektur sowie die effiziente Nutzung von Hardware-Ressourcen sind wegweisend für zukünftige Entwicklungen in der KI. Es bleibt abzuwarten, wie sich diese Technologien weiterentwickeln und welche neuen Möglichkeiten sie eröffnen werden.

Bibliographie

https://twitter.com/Gradio/status/1826461175690797360 https://x.com/_akhaliq?lang=de https://twitter.com/Gradio/status/1826461177146200207