Fortschritte in der KI-gestützten Kommunikation für Menschen mit Hörbeeinträchtigungen

KI-gestützte Kommunikation: Ein Durchbruch für Menschen mit Hörbeeinträchtigungen

Die Kommunikation stellt für Menschen mit Hörbeeinträchtigungen oft eine erhebliche Herausforderung dar, insbesondere aufgrund der Schwierigkeiten, klare Sprache zu produzieren und zu verstehen. In diesem Kontext hat die Forschung der Künstlichen Intelligenz (KI) bedeutende Fortschritte erzielt, um diese Barrieren zu überwinden. Eine aktuelle Entwicklung ist die Einführung von HI-TransPA (Hearing Impairments Translation Personal Assistant), einem instruktionsgesteuerten audiovisuellen persönlichen Assistenten, der darauf abzielt, die tägliche Kommunikation für Betroffene zu erleichtern.

Das Omni-Modell-Paradigma als Kerninnovation

Das Herzstück von HI-TransPA bildet das sogenannte Omni-Modell-Paradigma, eine innovative Herangehensweise in der assistiven Technologie. Dieses Modell zeichnet sich durch seine Fähigkeit aus, undeutliche Sprache mit hochauflösenden Lippenbewegungen zu verschmelzen. Dadurch wird es möglich, sowohl Sprachübersetzungen als auch Dialoge innerhalb eines einzigen, multimodalen Frameworks zu realisieren. Dies stellt einen entscheidenden Vorteil gegenüber traditionellen Ansätzen dar, die oft auf einzelne Modalitäten beschränkt sind.

Herausforderungen in der Sprachverarbeitung bei Hörbeeinträchtigungen

Die Entwicklung effektiver Kommunikationshilfen für Menschen mit Hörbeeinträchtigungen ist mit spezifischen Herausforderungen verbunden. Dazu gehören die oft variierenden Aussprachemuster der Betroffenen und die begrenzte Anpassungsfähigkeit bestehender Modelle an diese Besonderheiten. Um diesen Schwierigkeiten zu begegnen, wurde eine umfassende Vorverarbeitungs- und Kurationspipeline entwickelt. Diese Pipeline erfüllt mehrere kritische Funktionen:

• Erkennung von Gesichtsmerkmalen: Präzise Identifizierung relevanter Punkte im Gesicht des Sprechers.
• Stabilisierung des Lippenbereichs: Sicherstellung einer konsistenten Erfassung der Lippenbewegungen, auch bei leichten Kopfbewegungen.
• Quantitative Bewertung der Stichprobenqualität: Analyse der Qualität der multimodal erfassten Daten, um die Robustheit des Modells zu gewährleisten.

Diese Qualitätsbewertungen dienen als Grundlage für eine Curriculum-Lernstrategie. Dabei wird das Modell zunächst mit sauberen, hochkonfidenten Daten trainiert und schrittweise mit komplexeren Fällen erweitert. Dieser Ansatz stärkt die Widerstandsfähigkeit des Modells gegenüber unterschiedlichen Sprach- und Lippenbewegungsmustern.

Architektur und Effizienz: Der Unified 3D-Resampler

Aus architektonischer Sicht setzt HI-TransPA einen neuartigen Unified 3D-Resampler ein. Dieser ist für die effiziente Kodierung von Lippenbewegungen mit hoher Bildrate von zentraler Bedeutung. Eine präzise Erfassung und Verarbeitung dieser dynamischen visuellen Informationen ist entscheidend für die genaue Interpretation der gesprochenen Inhalte. In Kombination mit einem SigLIP-Encoder ermöglicht dies eine herausragende Leistung des Gesamtsystems.

Leistung und zukünftige Perspektiven

Experimente, die auf einem speziell entwickelten HI-Dialogue-Datensatz durchgeführt wurden, belegen, dass HI-TransPA eine Spitzenleistung in Bezug auf sowohl die wörtliche Genauigkeit als auch die semantische Wiedergabetreue erzielt. Diese Ergebnisse unterstreichen das Potenzial des Systems, die unterstützende Kommunikation für Menschen mit Hörbeeinträchtigungen maßgeblich zu verbessern.

Die Arbeit an HI-TransPA legt ein Fundament für die Anwendung von Omni-Modellen in der unterstützenden Kommunikationstechnologie. Sie bietet einen durchgängigen Modellierungsrahmen und essenzielle Verarbeitungswerkzeuge für zukünftige Forschungsarbeiten. Die kontinuierliche Integration von KI in assistiven Technologien birgt das Potenzial, die Inklusion und die Lebensqualität von Menschen mit Behinderungen erheblich zu steigern.

Neben HI-TransPA gibt es weitere Initiativen, die sich auf die Überbrückung auditiver Lücken konzentrieren. Beispielsweise werden Augmented-Reality-Smart-Glasses für die Echtzeit-Sprach-zu-Text-Transkription erforscht, die die Richtung des Sprechers, Spracherkennungsergebnisse und Sprechererkennungsergebnisse anzeigen können. Auch die Entwicklung von Übersetzungsbots für Gebärdensprachen, wie der Handi Bot für die portugiesische Gebärdensprache, trägt zur digitalen Inklusion bei, indem er Kommunikationsbarrieren abbaut und Menschen mit Hörbeeinträchtigungen den Zugang zu Online-Inhalten in ihrer bevorzugten Sprache ermöglicht.

Diese Entwicklungen zeigen, dass der Einsatz von KI in der Barrierefreiheit ein dynamisches Feld ist, das kontinuierlich neue Lösungen hervorbringt, um eine umfassendere und inklusivere Gesellschaft zu gestalten.

Bibliographie

- Ma, Z., Gan, S., Zhao, J., Li, X., Pan, Q., Wang, P., Pan, M., Mo, Y., Cheng, J., Chen, C., Cao, Z., Liu, C., & Cheng, S. (2025). HI-TransPA: Hearing Impairments Translation Personal Assistant. arXiv.org. https://arxiv.org/abs/2511.09915 - Asaka, T. (2024). Bridging the Auditory Gap: AR Smart Glasses for Real-time Speech-to-Text Transcription for Hearing Impaired. IEICE. https://www.ieice.org/publications/proceedings/summary.php?expandable=8&iconf=ICETC&session_num=P3&number=P3-16&year=2024 - Rafael, S., Rebelo, F., Pinto, B., Gil, A., Lima, C., Chitas, J., Pascoal, M., & Simões, L. (2023). Inclusion Through Accessibility. Handi Bot, a Translator for Portuguese Sign Language. SpringerLink. https://link.springer.com/chapter/10.1007/978-3-031-35681-0_30 - Hall, D. A., Zaragoza Domingo, S., Hamdache, L. Z., Manchaiah, V., Thammaiah, S., Evans, C., & Wong, L. L. N. (2018). A good practice guide for translating and adapting hearing-related questionnaires for different languages and cultures. International Journal of Audiology, 57(3), 161–175. https://www.vumc.org/vfs/sites/default/files/public_files/Hall%20et%20al.%2C%202018.pdf