Offene KI-Entwicklung: Red Hats Engagement für die Open-Source-Zukunft

Der Weg zur Open-Source-KI: Red Hat intensiviert seine Bemühungen

Die Vision einer leistungsstarken und offenen KI-Welt, getragen von der Open-Source-Community, gewinnt zunehmend an Bedeutung. Red Hat, ein führender Anbieter von Open-Source-Lösungen, positioniert sich an vorderster Front dieser Bewegung, doch der Weg dorthin ist komplex und mit Herausforderungen gepflastert.

OpenShift AI: Zentrale Plattform für KI-Entwicklung

Red Hats KI-Plattform OpenShift AI spielt eine Schlüsselrolle in dieser Strategie. Die neueste Version 2.15 bietet erweiterte Funktionalitäten, darunter eine zentrale Model Registry zur Verwaltung von KI-Modellen. Diese ermöglicht das Teilen, Versionieren, Bereitstellen und Überwachen von prädiktiven und generativen KI-Modellen, Metadaten und Artefakten. OpenShift AI unterstützt den gesamten Lebenszyklus von KI-Anwendungen, von der Datenerfassung und -aufbereitung über das Modelltraining und die Feinabstimmung bis hin zur Bereitstellung, Überwachung und Hardwarebeschleunigung – und das in einer hybriden Cloud-Umgebung.

Neue Funktionen für verbesserte Modellqualität und -leistung

Version 2.15 von OpenShift AI führt Data Drift Detection ein, um Änderungen in den Eingabedaten laufender ML-Modelle zu erkennen und Data Scientists vor Abweichungen zwischen Live- und Trainingsdaten zu warnen. Dies ermöglicht eine kontinuierliche Überprüfung der Modellzuverlässigkeit und Anpassungen an reale Daten. Bias Detection hilft bei der Entwicklung fairer und unvoreingenommener KI-Modelle, indem es sowohl die Unvoreingenommenheit der Trainingsdaten als auch die Fairness in der Praxis überwacht. Die Integration von Low Rank Adaption (LoRA) ermöglicht ein schnelleres Fine-Tuning von großen Sprachmodellen (LLMs) wie Llama 3. Die Unterstützung von NVIDIA NIM und AMD-GPUs beschleunigt die verteilte Bereitstellung von KI-Anwendungen und bietet zusätzliche Optionen für rechenintensive Aufgaben. OpenShift AI 2.15 integriert zudem KServe Model Cars, um Repositorys der Open Container Initiative (OCI) als Speicher- und Zugriffsmöglichkeit für containerisierte Modellversionen zu nutzen.

Die Herausforderung der Hardwareabhängigkeit

Ein zentrales Problem bei der plattformunabhängigen Bereitstellung von KI-Modellen ist deren starke Bindung an spezifische Hardware. Um diese Hürde zu überwinden, hat Red Hat Neural Magic akquiriert und verfolgt die Vision einer "Open Hybrid AI". Das Konzept der "virtuellen LLMs" (vLLMs), angelehnt an virtuelle Maschinen, soll die Abstraktion von LLMs ermöglichen und deren Ausführung auf verschiedenen Hardwareplattformen, darunter Prozessoren von AMD, Intel und Nvidia sowie benutzerdefinierte Chips von AWS und Google, gewährleisten.

Kleine Modelle für effizienten Ressourcenverbrauch

Der immense Ressourcenbedarf leistungsstarker LLMs stellt eine weitere Herausforderung dar. Red Hat setzt auf "Small Language Models" (SLMs), die für spezifische Anwendungsfälle optimiert sind. Mit InstructLab, RHEL und IBMs Granite-Modell können große Modelle so trainiert werden, dass sie mit deutlich weniger Rechenleistung auf eigenen Servern oder KI-PCs lauffähig sind. IBMs Integration des Sprachmodells Granite-7B in InstructLab ermöglicht die Anpassung und Erweiterung von Fähigkeiten für spezifische Unternehmensanforderungen, ohne die ursprünglichen Trainingsdaten zu beeinträchtigen.

Open Source in der KI: Chancen und Herausforderungen

Die Nutzung von Open Source für KI steht vor verschiedenen Herausforderungen, darunter die Abhängigkeit von großen Unternehmen mit den notwendigen Ressourcen für die Entwicklung und Pflege von LLMs. Vergleichsstudien der LF AI & Data Foundation zeigen, dass Open-Source-Modelle in der Performance oft hinter Closed-Source-Modellen zurückbleiben und Sicherheitslücken aufweisen können. "Openwashing" – das Vortäuschen von Open-Source-Konformität – verwirrt den Markt zusätzlich. Die LF AI & Data Foundation definiert klare Kriterien für Open-Source-KI, die von Modellen wie Pythia, OLMo, Amber, CrystalCoder und T5 erfüllt werden. Andere Modelle wie BLOOM, Starcoder2 und Falcon könnten sich mit Lizenzanpassungen qualifizieren, während Llama2, Grok, Phi-2 und Mixtral inkompatibel sind.

Transparenz als Vorteil von Open Source

Ein entscheidender Vorteil von Open Source ist die Transparenz der Algorithmen und Daten, die im Gegensatz zur Intransparenz von Closed-Source-Modellen rechtliche Vorteile bietet. Red Hat betont die Freiheit von Ansprüchen Dritter bei seinen Open-Source-KI-Lösungen.

Bibliographie Wright, C. (2024, 8. Mai). Die Zukunft von KI liegt in Open Source. Red Hat Blog. https://www.redhat.com/de/blog/open-source-and-ais-future-importance-democratization-sustainability-and-trust Red Hat übernimmt Neural Magic. (2024, 14. November). IT Reseller. https://www.itreseller.ch/Artikel/102080/Red_Hat_uebernimmt_Neural_Magic.html Seidel, U. (2024, 8. Mai). Konkret statt Hype: Red Hat baut die KI-Zukunft mit OpenShift und Ansible. heise online. https://www.heise.de/news/Red-Hat-marschiert-mit-Volldampf-in-Richtung-KI-9711991.html Asay, M. (2024, 12. Juni). Wir brauchen ein Red Hat für KI! Computerwoche. https://www.computerwoche.de/article/2834668/wir-brauchen-ein-red-hat-fuer-ki.html Söldner, J.-H. (2024, 21. November). Red Hat Summit Connect 2024: KI und Virtualisierung überall. ComputerWeekly.de. https://www.computerweekly.com/de/news/366616312/Red-Hat-Summit-Connect-2024-KI-und-Virtualisierung-ueberall