Forschung zu Theory of Mind bei großen Sprachmodellen von Meta FAIR

Neue Forschung von Meta FAIR zur Theory of Mind bei großen Sprachmodellen

Das Thema „Theory of Mind“ (ToM), also die Fähigkeit, mentale Zustände anderer zu verstehen und vorherzusagen, ist ein zentraler Aspekt sozialer Intelligenz. In der KI-Forschung wird intensiv untersucht, inwieweit große Sprachmodelle (LLMs) diese Fähigkeit besitzen. Meta FAIR, die Forschungseinrichtung von Meta Platforms, hat nun neue Forschungsergebnisse, Code und einen Datensatz zu diesem Thema veröffentlicht, die auf Hugging Face zugänglich sind.

Die Forschung, die unter dem Titel "Explore Theory-of-Mind: Program guided adversarial data generation for theory of mind reasoning" veröffentlicht wurde, befasst sich mit der Generierung von komplexen und vielfältigen ToM-Daten. Bisherige Benchmarks zur Bewertung von ToM bei LLMs beruhen oft auf limitierten Datensätzen mit simplen Mustern. Dies kann zu blinden Flecken in der Evaluation und einer Überschätzung der Modellfähigkeiten führen.

Um dieses Problem zu adressieren, hat Meta FAIR das "ExploreToM"-Framework entwickelt. Dieses Framework nutzt einen A*-Suchalgorithmus in Verbindung mit einer domänenspezifischen Sprache, um komplexe Geschichten und Szenarien zu generieren. Diese Szenarien sind neuartig und vielfältig, aber dennoch plausibel, und sollen die Grenzen der LLMs aufzeigen.

Die Evaluation mit ExploreToM-generierten Daten ergab, dass selbst State-of-the-art LLMs wie Llama 3.1-70B und GPT-4o nur eine Genauigkeit von etwa 5% erreichen. Dieses Ergebnis unterstreicht die Notwendigkeit robusterer ToM-Evaluationsmethoden. Da die generierten Daten von ExploreToM die Komplexität bisheriger Benchmarks übertreffen, konnte durch Finetuning mit diesen Daten eine Verbesserung der Genauigkeit um 27 Prozentpunkte auf dem klassischen ToMi-Benchmark erreicht werden.

ExploreToM ermöglicht es auch, die zugrundeliegenden Fähigkeiten und Faktoren zu identifizieren, die Modellen fehlen, um ToM zu demonstrieren. Dazu gehören beispielsweise eine unzuverlässige Zustandsverfolgung oder Datenungleichgewichte, die zu der schlechten Performance in Benchmarks beitragen können.

Mindverse: Ihr Partner für maßgeschneiderte KI-Lösungen

Die Forschung von Meta FAIR unterstreicht die Bedeutung von qualitativ hochwertigen Daten und robusten Evaluationsmethoden für die Entwicklung von KI-Systemen mit sozialer Intelligenz. Mindverse, ein deutsches Unternehmen, das sich auf die Entwicklung von KI-Lösungen spezialisiert hat, bietet eine All-in-One-Plattform für KI-Text, Content, Bilder und Forschung. Als KI-Partner entwickelt Mindverse maßgeschneiderte Lösungen wie Chatbots, Voicebots, KI-Suchmaschinen und Wissenssysteme – und unterstützt Unternehmen dabei, die neuesten Fortschritte in der KI für ihre individuellen Bedürfnisse zu nutzen.

Die von Mindverse angebotenen Lösungen können Unternehmen dabei helfen, die Herausforderungen bei der Entwicklung und Implementierung von KI-Systemen zu meistern – von der Datengenerierung und -aufbereitung bis hin zur Integration von fortschrittlichen Sprachmodellen.

Die Bedeutung von Open Source für die KI-Forschung

Die Veröffentlichung des ExploreToM-Frameworks, des Codes und des Datensatzes auf Hugging Face unterstreicht die Bedeutung von Open Source für die KI-Forschung. Durch die Bereitstellung dieser Ressourcen ermöglicht Meta FAIR der Forschungsgemeinschaft, die Ergebnisse zu reproduzieren, weiterzuentwickeln und neue Ansätze zu erforschen. Dieser offene Austausch von Wissen und Werkzeugen trägt zur Beschleunigung des Fortschritts im Bereich der künstlichen Intelligenz bei.

Die Verfügbarkeit von umfangreichen und komplexen Datensätzen wie dem von Meta FAIR veröffentlichten ist essentiell für die Entwicklung robuster und zuverlässiger KI-Modelle. Hugging Face, eine Plattform für das Teilen von Machine-Learning-Modellen und -Datensätzen, spielt dabei eine wichtige Rolle. Durch die Bereitstellung einer zentralen Plattform für den Austausch von Ressourcen vereinfacht Hugging Face die Zusammenarbeit und den Wissenstransfer in der KI-Community.

Bibliographie - Sclar, M., et al. Explore Theory-of-Mind: Program guided adversarial data generation for theory of mind reasoning. https://ai.meta.com/research/publications/explore-theory-of-mind-program-guided-adversarial-data-generation-for-theory-of-mind-reasoning/ - AI at Meta. New research, models, and datasets from Meta FAIR. https://www.linkedin.com/posts/aiatmeta_new-research-models-and-datasets-from-meta-activity-7273135794293227520-p3un - OpenReview.net. TrackTheMind: program-guided adversarial data generation for theory of mind reasoning. https://openreview.net/forum?id=246rHKUnnf - reach-vb. What a great day for Open Science! @AIatMeta released models, datasets, and code for many of its research artefacts! https://huggingface.co/posts/reach-vb/773668577673507 - aiatmeta. Meta Sparsh is the first general-purpose encoder for vision-based tactile sensing. https://www.threads.net/@aiatmeta/post/DC43zWlT6zD - google-research-datasets/paws-x. Dataset on Hugging Face. https://huggingface.co/datasets/google-research-datasets/paws-x - Hugging Face. Share your open ML datasets on Hugging Face Hub!. https://huggingface.co/blog/researcher-dataset-sharing