Neue Ära kompakter Sprachmodelle: Microsofts Phi-3-Familie setzt Maßstäbe

In den letzten Jahren hat sich künstliche Intelligenz (KI) rasant weiterentwickelt und ist zu einem integralen Bestandteil vieler Technologieplattformen und Dienste geworden. Dieser Anstieg der Popularität und Nutzbarkeit von KI-Systemen ist zum Teil auf die Entwicklung von großen Sprachmodellen (Large Language Models, LLMs) zurückzuführen, die eine Vielzahl von Aufgaben bewältigen können, von der Textgenerierung bis hin zum maschinellen Lernen. Microsoft, als einer der führenden Akteure in diesem Bereich, hat kürzlich seine Phi-3-Familie kompakter Sprachmodelle vorgestellt, die trotz ihrer geringeren Größe beeindruckende Leistungen erbringen. Die Phi-3-Reihe besteht aus verschiedenen Modellen, darunter das Phi-3-mini, das Phi-3-small und das Phi-3-medium, welche alle unterschiedliche Parametergrößen aufweisen. Das Phi-3-mini mit 3,8 Milliarden Parametern steht bereits der Öffentlichkeit zur Verfügung und zeichnet sich durch eine Leistung aus, die Modelle mit doppelter Größe übertrifft. Die größeren Varianten Phi-3-small mit 7 Milliarden und Phi-3-medium mit 14 Milliarden Parametern sollen in Kürze folgen. Ein besonderes Merkmal dieser neuen Modellreihe ist die Fähigkeit, auf eine Vielzahl von Anwendungsfällen zugeschnitten zu werden. Dies ist besonders für Organisationen von Bedeutung, die Anwendungen erstellen möchten, die lokal auf einem Gerät ausgeführt werden können, wo Aufgaben nicht umfangreiches schlussfolgerndes Denken erfordern oder eine schnelle Antwort benötigt wird. Aufgrund ihrer kleineren Größe ermöglichen es diese Modelle auch, Daten auf dem Gerät zu halten, was sowohl die Privatsphäre erhöht als auch die Latenzzeiten minimiert. Dies ist in Szenarien von Vorteil, in denen keine Netzverbindung besteht oder hohe Datenschutzanforderungen erfüllt werden müssen. Das Phi-3-mini wurde bereits erfolgreich auf einem iPhone 14 mit einem A16 Bionic Chip getestet und lief dort nativ. Die kompakte Größe des Modells und die beeindruckende Leistung eröffnen Möglichkeiten für den Einsatz in Smartphones, Kameras, landwirtschaftlichen Geräten und anderen Geräten, die am Rande des Netzwerks ("at the edge") operieren. Die Entwicklung der Phi-3-Familie von Microsoft wurde durch eine innovative Herangehensweise an die Datenauswahl und -generierung ermöglicht. Inspiriert von Kinderbüchern, hat das Forschungsteam von Microsoft hochwertige Daten aus dem Internet gefiltert und durch Runden von Aufforderungen, Generierungen und Filterungen sowohl durch Menschen als auch durch größere KI-Modelle synthetisiert. Dies führte zu einer qualitativ hochwertigen Trainingsdatenbank, die als 'CodeTextbook' bezeichnet wird und aus Lehrbuch-ähnlichem Material besteht. Diese sorgfältige Auswahl und Aufbereitung der Daten hat es ermöglicht, die Leistung der kleineren Modelle signifikant zu verbessern. Trotz dieser Fortschritte betont Microsoft die Notwendigkeit, zusätzliche Sicherheitspraktiken anzuwenden, um Risiken zu managen und zu mindern. Dazu gehören weitere Trainingsbeispiele, um erwartetes Verhalten zu verstärken, Bewertungen zur Identifizierung von Schwachstellen und die Bereitstellung von Azure AI-Tools für Kunden, um vertrauenswürdige Anwendungen auf Basis von Phi-3 zu entwickeln. Die Ankündigung von Microsoft unterstreicht das Potenzial von kleinen Sprachmodellen (Small Language Models, SLMs) und stellt einen wichtigen Schritt in der Evolution der KI dar, indem sie leistungsstarke Fähigkeiten in kompakte, kostengünstige und zugängliche Pakete packt. Dies könnte eine breitere Adoption von KI-Technologien über verschiedene Branchen und Anwendungen hinweg ermöglichen und gleichzeitig die Hürden für Unternehmen senken, die nach KI-Lösungen suchen. Quellen: - Microsoft Azure Blog: "Introducing Phi-3: Redefining what’s possible with SLMs" - NVIDIA Blog: "NVIDIA Accelerates Microsoft’s Open Phi-3 Mini Language Models" - TechMonitor: "Microsoft announces phi-3-mini compact LLM" - InfoWorld: "Microsoft unveils Phi-3 family of small language models" - AI News: "Tiny but mighty: The Phi-3 small language models with big potential"