Domänspezifische KI-Modelle bei LinkedIn: Effizienzsteigerung und Kostenoptimierung

Domän-Adaptierte KI-Modelle: Effizienzsteigerung und Kostenreduktion bei LinkedIn

Die rasante Entwicklung im Bereich der generativen KI (GenAI) hat zu einer Vielzahl leistungsstarker proprietärer, Open-Source- und Open-Weight-Sprachmodelle geführt. Die Anpassung dieser Modelle an die spezifischen Bedürfnisse von über einer Milliarde Mitgliedern und 69 Millionen Unternehmen auf LinkedIn stellt eine zentrale Herausforderung für das Engineering-Team dar. Ziel ist es, KI-gestützte Funktionen zu entwickeln, die den größtmöglichen Mehrwert für die Nutzer bieten.

Ein Kernaspekt dieses Ansatzes besteht darin, die besten Sprachmodelle zu nutzen und sie für jeden einzelnen Anwendungsfall zu optimieren. LinkedIn hat im Rahmen des internen KI-Engineering-Projekts "Economic Opportunity Network" (EON) eine neue Familie domän-adaptierter Basismodelle entwickelt. Diese EON-Modelle erweitern die Fähigkeiten bestehender Open-Source- oder Drittanbieter-Modelle durch die Integration domänenspezifischer Daten, wie beispielsweise Informationen aus dem LinkedIn Economic Graph. Dies ermöglicht die schnelle Entwicklung und Skalierung neuer GenAI-Funktionen auf der LinkedIn-Plattform zu geringeren Kosten.

Tests mit den EON-Modellen haben vielversprechende Ergebnisse gezeigt, darunter eine deutlich verbesserte Übereinstimmung von Kandidaten und Stellenanforderungen im "Hiring Assistant", der im Oktober 2024 eingeführt wurde.

Die Entwicklung der GenAI-Innovation bei LinkedIn

LinkedIn arbeitet seit 2022 an der Entwicklung und Implementierung modernster GenAI-Modelle. Angefangen mit der Entwicklung eines Inhouse-Modells für personalisierte, KI-gestützte Nachrichten, beschleunigte sich der Prozess 2023 durch die GPT-4-Modelle von OpenAI. Dies ermöglichte die Einführung von Funktionen wie Premium-Profilvorschlägen und kollaborativen Artikeln. Obwohl diese Modelle qualitativ hochwertige Texte generierten, stellten Latenz und Kosten einen erheblichen Faktor dar.

Im Mai 2023 führte LinkedIn die KI-gestützte Nachrichtenfunktion ein, die auf dem InBart-Modell basiert, einem intern entwickelten, domän-adaptierten Open-Source-Encoder-Decoder-Transformer-Modell. Für das Training des Modells wurden Techniken wie Modellimitation, Datenvorverarbeitung und -filterung sowie automatisierte Erkennung von Halluzinationen und Abweichungen von Anweisungen eingesetzt. Zusätzlich wurde Retrieval Augmented Generation (RAG) verwendet, um die Vielfalt der generierten InMails zu verbessern.

Die Erweiterung des feinabgestimmten, domänenspezifischen Modells um neue Funktionen und dessen Anpassung an neue Anwendungen erforderte einen erheblichen Aufwand, um repräsentative und qualitativ hochwertige Trainingsdaten zu generieren. Um die Flexibilität eines generalisierbaren Modells zu gewährleisten, das die professionell ausgerichteten Produkte und Dienstleistungen von LinkedIn verbessert, entwickelte das Unternehmen domän-adaptierte Basismodelle.

Domän-adaptierte Basismodelle – Die EON-Modelle

Die EON-Modelle wurden entwickelt, um die Interaktion der Mitglieder mit LinkedIn zu optimieren, sei es bei der Jobsuche, dem Verfassen von Artikeln oder der Vernetzung mit anderen Fachleuten. Um KI-Funktionen zu erweitern und zu skalieren, nutzen die EON-Modelle Daten aus dem LinkedIn Economic Graph, einer digitalen Repräsentation der globalen Wirtschaft und Arbeitswelt. Ziel ist es, personalisierte und hilfreiche Nutzererlebnisse zu schaffen.

Die EON-Modelle müssen folgende Anforderungen erfüllen:

Anweisungen befolgen und auf neue, beruflich orientierte GenAI-Aufgaben generalisieren.

Die Anforderungen von LinkedIn an verantwortungsvolle KI erfüllen.

Outputs generieren, die den Erwartungen der LinkedIn-Mitglieder entsprechen.

Mehrstufige Abstraktion für die Aufgabenausführung bieten.

Eine reibungslose, konversationelle Interaktionsschnittstelle bereitstellen.

Das Training der EON-Modelle erfolgt in zwei Schritten: 1. Multi-Task-Instruction-Tuning mit Reasoning Traces und 2. Anpassung von Präferenzen und Sicherheitsaspekten mithilfe von Techniken wie Reinforcement Learning with Human Feedback (RLHF) und Direct Preference Optimization (DPO). Darüber hinaus wurden Strategien zur Prompt-Vereinfachung eingesetzt, um komplexe, von Menschen geschriebene Prompts zu standardisieren, was zu einer Reduzierung der Prompt-Größe um 30% führte.

Um den Grundsätzen von LinkedIn in Bezug auf Vertrauen, verantwortungsvolle KI und Fairness zu entsprechen, wurde das Modell zunächst mit synthetisch generierten, sicheren Outputs für Prompts mit schädlichem Inhalt trainiert und anschließend mit Präferenzdaten abgeglichen. Die hochwertigen, vielfältigen und deduplizierten Trainingsdaten umfassten rund 200 Millionen Token.

Modellauswahl und -bewertung

EON-Modelle sollten auf eine breite Palette von LinkedIn-spezifischen Anwendungsfällen generalisieren und gleichzeitig die Instruktionsbefolgung und Generalisierungsfähigkeiten des Basismodells erhalten oder sogar erweitern. Zur Auswahl des besten Basismodells wurde die Qualität verschiedener State-of-the-Art-Modelle wie Llama, Mixtral und Mistral nach ihrer Domän-Adaptierung gemessen. Die Leistung wurde anhand von Open-Source- und LinkedIn-Benchmarks in Bezug auf Argumentation, Instruktionsbefolgung und Sicherheit bewertet.

Standardmäßige Bewertungsmetriken wurden verwendet, um die Leistung zu messen, wenn Referenzlabels verfügbar waren. Um die Leistung der EON-Modelle im Vergleich zu State-of-the-Art-Open-Source-KI-Modellen zu bewerten, wurden Open-Source-Frameworks wie LM Evaluation Harness verwendet, um die Leistung anhand gängiger Benchmarks wie ARC, MuSR, IFEval und dem Berkeley Function Calling Leaderboard (BFCL) zu messen. In Ermangelung zuverlässiger Referenzlabels wurden GPT-4-Varianten als Bewertungsinstanz herangezogen. Obwohl diese Metriken die menschliche Bewertung nicht vollständig ersetzen, liefern sie ein zuverlässiges Richtungssignal für die Modellqualität.

Neben Qualitäts- und Sicherheitsbenchmarks wurden die Modelle auch auf Kosteneffizienz geprüft. Das EON-8B-Modell (eine domän-adaptierte Variante von Llama 3.1-8B) erwies sich im Vergleich zu GPT-4 als 75-mal und im Vergleich zu GPT-4o als 6-mal kosteneffektiver.

Trainings- und Bewertungsumgebung

Die EON-Trainingspipeline basiert auf einer lokalen Kubernetes-Plattform und ist als End-to-End-Lösung konzipiert, die alle notwendigen Aufgaben in einem einzigen, integrierten System verbindet. Dies umfasst Datenvorverarbeitung, Modelltraining, Offline-Inferenz und umfassende Bewertung.

Der modulare Aufbau der Pipeline ermöglicht eine hohe Flexibilität bei der Anpassung von State-of-the-Art-Basismodellen für die Zwecke von LinkedIn. Teams können beispielsweise verschiedene Optimierungstechniken im Trainingsauftrag testen, wie z. B. Inhouse-Liger-Kernels, DeepSpeed ZeRO oder Huggingface Accelerate. In ähnlicher Weise kann die Inferenzstufe so konfiguriert werden, dass sie eine Vielzahl von Optionen wie vLLM nutzt. Auf der Bewertungsseite ist die Pipeline in eine intern entwickelte Bewertungsplattform integriert, die die gesamte Benchmark-Suite ausführt.

Die Modellbewertung kann bei Bedarf oder automatisch nach Trainingsläufen ausgelöst werden, wobei die Ergebnisse jedes Bewertungslaufs zur genaueren Überprüfung in MLFlow und HDFS gespeichert werden. Experimente mit der besten Leistung auf Benchmarks werden in einem zentralen, unternehmensweiten Leaderboard veröffentlicht (ähnlich dem HuggingFace Leaderboard).

Bibliographie: https://www.linkedin.com/blog/engineering/generative-ai/how-we-built-domain-adapted-foundation-genai-models-to-power-our-platform https://de.linkedin.com/posts/cha23x_llama-31-vs-gpt-4-ein-vergleich-der-ki-modelle-activity-7224677819035840512-bBFL https://www.reddit.com/r/OpenAI/comments/1epgfz0/project_sharing_i_made_an_allinone_ai_that/ https://www.linkedin.com/posts/julienlaunay_really-excited-about-the-latest-llama-activity-7271903942366658560-2RX2 https://www.linkedin.com/posts/adi-fuchs_ai-llms-machinelearning-activity-7221861995921178624-LeRv https://community.openai.com/t/paper-astrollama-towards-specialized-foundation-models-in-astronomy/375667 https://www.linkedin.com/posts/adaptive-ml_were-excited-to-announce-that-metas-latest-activity-7271902364553416706-bFSk