Qdrant's BM42: Ein Schritt nach vorne oder ein falscher Start?

In der dynamischen Welt der Künstlichen Intelligenz gibt es ständig neue Entwicklungen und Innovationen. Eine der neuesten Diskussionen dreht sich um Qdrant's BM42, ein Versprechen, das bestehende Suchalgorithmen wie BM25 und SPLADE zu übertreffen. Doch die ersten Ergebnisse werfen Fragen auf und führen zu Kontroversen in der AI-Community.

Der Anspruch von BM42

Qdrant ist bekannt als die bevorzugte Vektordatenbank von OpenAI und hat während der Feierlichkeiten zum 4. Juli große Versprechungen gemacht. BM42 soll das Problem der semantischen und Schlüsselwortsuche lösen, indem es Transformator-Attention für die Wortwichtigkeitsbewertung mit sammlungsweiten Statistiken wie dem Inverse Document Frequency (IDF) kombiniert. Dies sollte in allen Anwendungsszenarien Vorteile bieten.

Die ersten Zweifel und Kontroversen

Doch die ersten Ergebnisse von BM42 wurden schnell in Frage gestellt. Jo Bergum von Vespa, einem Wettbewerber, wies auf die ungewöhnliche Wahl von Quora als Datensatz hin. Quora dient normalerweise als Datensatz für das Finden ähnlicher duplizierter Fragen und nicht als Q&A-Retrieval-Datensatz. Die Präzisionszahlen von BM42 bei 10 Treffern waren daher offensichtlich falsch, da der Quora-Datensatz nur etwa 1,6 Datenpunkte pro Abfrage enthält.

Wissenschaftliche Überprüfung

Nils Reimers von Cohere nahm BM42 und testete es erneut auf besseren Datensätzen für Finanzen, Biomedizin und Wikipedia-Domänen. Leider schnitt BM42 in allen Bereichen schlecht ab. Qdrant hat auf diese Korrekturen reagiert und veröffentlicht, arbeitet jedoch weiterhin mit einer BM25-Implementierung, die schlechter abschneidet als erwartet und damit bequem schlechter als BM42.

Lehren aus der Kontroverse

Für die AI-Community ist diese Situation eine wertvolle Lektion in Bezug auf die Bedeutung der Datenauswahl und der Überprüfung von Ergebnissen. Außergewöhnliche Ansprüche erfordern außergewöhnliche Beweise, und das scheint hier gefehlt zu haben. Diese Episode betont die Notwendigkeit, Daten und Evaluierungen sorgfältig zu überprüfen, bevor man sie als bahnbrechend betrachtet.

Zukunftsperspektiven und Herausforderungen

Die Zukunft von BM42 bleibt ungewiss. Qdrant muss sich den Herausforderungen stellen und möglicherweise ihre Methodik überdenken. Die AI-Community wird diese Entwicklungen aufmerksam verfolgen und hoffentlich aus den Fehlern lernen. Es bleibt abzuwarten, ob BM42 sich langfristig als wertvolle Innovation oder als übertriebene Versprechung herausstellen wird.

Fazit

Die Einführung von BM42 zeigt, wie schnell und dynamisch die Welt der Künstlichen Intelligenz ist. Obwohl es bei der ersten Einführung Mängel gab, bietet es auch eine Gelegenheit für die AI-Community, aus Fehlern zu lernen und sich weiterzuentwickeln. Die Zukunft der Technologie hängt davon ab, wie gut wir in der Lage sind, Daten korrekt zu interpretieren und innovative Ansätze kritisch zu bewerten.

Bibliographie

- AI News: https://rc-trust.ai/news