Die Dominanz von Open-Source-Produkten und die nächste Phase der Generativen KI: Einblicke aus dem State of Data + AI Bericht

‍

Einführung

Databricks, ein führendes Unternehmen im Bereich Datenanalyse und Cloud-basierte Datenverarbeitung, hat kürzlich eine umfassende Analyse der beliebtesten Daten- und KI-Produkte unter seinen über 10.000 Kunden veröffentlicht. Eine der bemerkenswertesten Erkenntnisse aus dieser Analyse ist, dass 9 von 10 der am häufigsten verwendeten Produkte Open-Source sind. Darüber hinaus hat die Akzeptanz der nächsten Phase der generativen KI (GenAI), insbesondere durch die Integration von @huggingface und @LangChainAI, erheblich zugenommen.

Die Bedeutung von Open-Source-Produkten

Open-Source-Produkte bieten Unternehmen erhebliche Vorteile, insbesondere in Bezug auf Anpassungsfähigkeit und Kosten. Unternehmen können diese Produkte modifizieren und optimieren, um sie an ihre spezifischen Bedürfnisse anzupassen, ohne hohe Lizenzgebühren zahlen zu müssen. Databricks berichtet, dass über 75% der Unternehmen, die große Sprachmodelle (LLMs) verwenden, sich für Open-Source-Optionen entscheiden. Ein Paradebeispiel dafür ist das Modell Meta Llama, das nach seiner Einführung fast 40% des gesamten Open-Source-Modellmarktes eroberte.

Die nächste Phase der Generativen KI

Die nächste Phase der GenAI konzentriert sich stark auf die Anpassung bestehender LLMs mit unternehmensspezifischen Daten. Diese Anpassung ermöglicht es Unternehmen, genauere und relevantere Ergebnisse zu erzielen. Eine Schlüsseltechnologie in diesem Bereich ist die Retrieval Augmented Generation (RAG), bei der eine Vektordatenbank verwendet wird, um die zugrunde liegenden Modelle mit privaten Daten zu trainieren. Dies führt zu einer besseren Leistung und höherer Relevanz der generierten Ausgaben.

Wachstum der Vektordatenbanken

Die Nutzung von Vektordatenbanken ist im letzten Jahr um beeindruckende 377% gestiegen. Dies zeigt, dass Unternehmen aktiv nach GenAI-Alternativen suchen, die spezifische Geschäftsprobleme lösen oder neue Chancen bieten können. Die Einführung der Databricks Vector Search im Public Preview hat die gesamte Kategorie der Vektordatenbanken um 186% wachsen lassen.

Präferenz für kleine Modelle

Ein interessanter Trend, der sich aus der Analyse von Databricks ergibt, ist die Präferenz der Unternehmen für kleinere Modelle. Bei der Auswahl eines Modells müssen Unternehmen oft zwischen Kosten, Latenz und Leistung abwägen. Die Nutzung der beiden kleinsten Meta Llama 2 Modelle (7B und 13B) ist signifikant höher als die des größten Modells (Meta Llama 2 70B). Dies deutet darauf hin, dass Unternehmen die Größe des Modells sorgfältig abwägen, um die beste Balance zwischen Kosten und Nutzen zu finden.

Erfolge in der Produktion

Ein weiteres Highlight des Berichts ist der Hinweis darauf, dass 11-mal mehr KI-Modelle in Produktion genommen wurden als im Vorjahr. Dies zeigt, dass Unternehmen zunehmend erfolgreich darin sind, ihre experimentellen ML-Projekte in reale Anwendungen zu überführen. Die Anzahl der registrierten Modelle für die Produktion ist um 1.018% gestiegen, während die Anzahl der experimentellen Projekte um 134% zugenommen hat. Dies deutet darauf hin, dass Unternehmen besser darin werden, ihre Projekte zu skalieren und in die Produktion zu bringen.

Schlussfolgerung

Die Analyse von Databricks zeigt deutlich, dass Open-Source-Produkte und die nächste Phase der GenAI eine zentrale Rolle in der aktuellen Daten- und KI-Landschaft spielen. Unternehmen nutzen zunehmend die Flexibilität und Anpassungsfähigkeit von Open-Source-Lösungen, um ihre spezifischen Geschäftsanforderungen zu erfüllen. Gleichzeitig zeigt das Wachstum der Vektordatenbanken und die Präferenz für kleinere Modelle, dass Unternehmen nach effizienten und kostengünstigen Lösungen suchen, um ihre KI-Strategien effektiv umzusetzen. Die Fortschritte, die in der Produktion erzielt wurden, verdeutlichen, dass die Unternehmen auf dem richtigen Weg sind, ihre KI-Initiativen erfolgreich in die Praxis umzusetzen.
‍

‍
Bibliographie:

‍
https://www.databricks.com/discover/state-of-data-ai
https://www.ciodive.com/news/enterprise-open-source-generative-ai-usage-Databricks/719047/
https://www.databricks.com/blog/2023-state-data-ai
https://www.linkedin.com/posts/falaki_databricks-ai-strategy-in-a-nutshell-activity-7211569647165349888-SC6r
https://www.linkedin.com/pulse/ai-product-strategy-databricks-2024-michael-spencer-dkgwc
https://www.databricks.com/resources/demos/videos/data-engineering/databricks-data-intelligence-platform
https://www.youtube.com/watch?v=LEuhmbaShGs
https://medium.com/@rjlhhi/databricks-and-hugging-face-9e349a78234d