Die Herausforderung der Mehrperspektivität in der Künstlichen Intelligenz: Sprachverständnis in komplexen Umgebungen

Die Interaktion zwischen Mensch und Maschine hat in den letzten Jahren enorme Fortschritte gemacht. Insbesondere die Verarbeitung natürlicher Sprache durch Künstliche Intelligenz (KI) hat sich rasant entwickelt. Ein Bereich, der jedoch nach wie vor eine Herausforderung darstellt, ist das sogenannte „Grounding“ von Sprache, also die Verknüpfung von Wörtern und Sätzen mit realen oder virtuellen Umgebungen. Dies ist besonders komplex, wenn mehrere Perspektiven berücksichtigt werden müssen, wie es beispielsweise bei der Kommunikation zwischen mehreren Agenten in einer gemeinsamen Umgebung der Fall ist.

Ein Forschungsteam hat sich dieser Herausforderung angenommen und eine neue Aufgabe und einen dazugehörigen Datensatz für die Generierung und das Verständnis von referenziellen Ausdrücken in Mehr-Agenten-Umgebungen vorgestellt. In dieser Aufgabe müssen zwei Agenten, die sich eine Szene teilen, die visuelle Perspektive des jeweils anderen berücksichtigen, um Referenzen auf Objekte in der Szene und deren räumliche Beziehungen zueinander zu produzieren und zu verstehen.

Die Bedeutung der Perspektive

Stellen Sie sich vor, Sie versuchen, einem Freund am Telefon zu beschreiben, wo er ein bestimmtes Objekt in einem Raum finden kann. Sie beschreiben die Position des Objekts aus Ihrer Sicht, aber Ihr Freund sieht den Raum aus einer anderen Perspektive. In diesem Fall müssen Sie in der Lage sein, die Perspektive Ihres Freundes einzunehmen, um ihm eine verständliche Beschreibung zu liefern. Ähnlich verhält es sich mit KI-Agenten, die in Mehr-Agenten-Umgebungen interagieren.

Um diese Herausforderung zu bewältigen, haben die Forscher einen Datensatz mit 2.970 von Menschen geschriebenen referenziellen Ausdrücken erstellt, die jeweils mit menschlichen Verständnisbewertungen gepaart sind. Dieser Datensatz wurde verwendet, um die Leistung von automatisierten Modellen als Sprecher und Hörer in Interaktion mit menschlichen Partnern zu bewerten.

KI vs. Mensch: Noch Luft nach oben

Die Ergebnisse zeigen, dass die Leistung der Modelle sowohl bei der Generierung als auch beim Verständnis von Referenzen hinter der von menschlichen Agentenpaaren zurückbleibt. Dies deutet darauf hin, dass es noch viel Raum für Verbesserungen bei der Entwicklung von KI-Systemen gibt, die in der Lage sind, Sprache in komplexen, mehrperspektivischen Umgebungen zu verstehen und zu verwenden.

Ein vielversprechender Ansatz, der in der Studie untersucht wurde, ist das Training eines Open-Weight-Speaker-Modells mit Hinweisen auf kommunikativen Erfolg in Kombination mit einem Listener-Modell. Dieser Ansatz führte zu einer Verbesserung des kommunikativen Erfolgs von 58,9 % auf 69,3 % und übertraf sogar das leistungsstärkste proprietäre Modell.

Der Weg in die Zukunft: Multimodale Modelle und Grounding

Die vorgestellte Forschung unterstreicht die Bedeutung der Entwicklung von KI-Systemen, die in der Lage sind, Sprache in ihrer Gesamtheit zu verstehen, einschließlich der Fähigkeit, verschiedene Perspektiven zu berücksichtigen und Sprache mit realen oder virtuellen Umgebungen zu verknüpfen. Zukünftige Forschung in diesem Bereich könnte sich auf die Entwicklung von multimodalen Modellen konzentrieren, die verschiedene Arten von Informationen, wie z.B. visuelle und sprachliche Daten, kombinieren, um ein tieferes Verständnis von Sprache und ihrer Beziehung zur Welt zu ermöglichen.

Die Entwicklung solcher KI-Systeme ist ein wichtiger Schritt auf dem Weg zu einer natürlicheren und effektiveren Mensch-Maschine-Interaktion und eröffnet neue Möglichkeiten in Bereichen wie Robotik, virtuelle Assistenten und autonome Systeme.

Bibliographie

Harnad, S. (1990). The symbol grounding problem. Physica D: Nonlinear Phenomena, 42(1-3), 335–346. Knoeferle, P., & Crocker, M. W. (2006). The coordinated interplay of scene, utterance, and common ground in real-time reference resolution. Psychological Science, 17(6), 452–459. Tan, H., & Bansal, M. (2019). LXMERT: Learning cross-modality encoder representations from transformers. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP) (pp. 5099–5110). Yu, L., Poesio, M., & Traum, D. (2017). Incremental grounding of referring expressions in interactive dialogue. In Proceedings of the 21st Conference on Computational Natural Language Learning (CoNLL 2017) (pp. 20–29). Tang, Z., Mao, L., & Suhr, A. (2024). Grounding Language in Multi-Perspective Referential Communication. arXiv preprint arXiv:2410.03959.