Tencent veröffentlicht Hy-Embodied-VLM-1.0 für verkörperte KI-Agenten

Tencent präsentiert Hy-Embodied-VLM-1.0: Ein Schritt vorwärts für verkörperte KI-Agenten

Im Bereich der künstlichen Intelligenz, insbesondere bei der Entwicklung von Systemen, die mit der physischen Welt interagieren können, stellt die Effizienz und Leistungsfähigkeit von Modellen eine zentrale Herausforderung dar. Tencent hat mit der Veröffentlichung von Hy-Embodied-VLM-1.0 auf Hugging Face eine Entwicklung vorgestellt, die in diesem Kontext Beachtung finden könnte.

Effizienz durch Mixture-of-Experts-Architektur

Das nun verfügbare Hy-Embodied-VLM-1.0 ist ein Vision-Language Model (VLM), das auf einer Mixture-of-Experts (MoE)-Architektur basiert. Diese Architektur ermöglicht es dem Modell, bei der Inferenz nur einen Bruchteil seiner Gesamtparameter zu aktivieren. Konkret werden nur etwa 3 Milliarden Parameter pro Token aktiviert, obwohl das Modell insgesamt rund 30 Milliarden Parameter umfasst. Diese selektive Aktivierung trägt dazu bei, die Recheneffizienz signifikant zu steigern, was für Anwendungen in realen Umgebungen, wo oft Rechenressourcen begrenzt sind, von Bedeutung sein kann.

Fokus auf verkörperte Agenten

Ein wesentliches Merkmal von Hy-Embodied-VLM-1.0 ist seine spezifische Ausrichtung auf verkörperte Agenten. Die Entwicklung solcher Agenten erfordert nicht nur multimodale Wahrnehmung und Verständnis, sondern auch die Fähigkeit zur Argumentation, zur Anpassung an sich ändernde Situationen und zur Interaktion mit der physischen Welt. Das Modell wurde konzipiert, um diese Anforderungen zu adressieren und die Lücke zwischen generischen Vision-Language Models und den spezifischen Bedürfnissen physischer Agenten zu überbrücken.

Leistungsfähigkeit und Benchmarks

Die Leistungsfähigkeit des Modells wird durch seine Ergebnisse auf verschiedenen Benchmarks untermauert. Berichten zufolge erreicht Hy-Embodied-VLM-1.0 auf 19 von 38 relevanten Benchmarks den aktuellen Stand der Technik (State-of-the-Art, SOTA). Diese Ergebnisse deuten auf eine fortgeschrittene Fähigkeit zur Verarbeitung und Interpretation von visuellen und sprachlichen Informationen im Kontext von Aufgaben für verkörperte Agenten hin.

Systematischer Entwicklungsansatz

Die Entwicklung von Hy-Embodied-VLM-1.0 erfolgte auf Basis einer aktionszentrierten Fähigkeitstaxonomie. Diese Taxonomie umfasst drei Dimensionen, die für die Kultivierung der Fähigkeiten verkörperter Agenten als progressiv angesehen werden:

• Aktionsrelevantes Zustandsverständnis: Die Fähigkeit, den Zustand der Umgebung in Bezug auf mögliche Aktionen zu interpretieren.
• Aktions-Übergangs-Argumentation: Die Fähigkeit, die Konsequenzen von Aktionen vorherzusagen und logische Schlussfolgerungen über Zustandsänderungen zu ziehen.
• Sequenzielle und adaptive Argumentation: Die Fähigkeit, langfristige Pläne zu erstellen und sich an unvorhergesehene Ereignisse anzupassen.

Geleitet von dieser Taxonomie wurde eine systematische Datenpipeline entwickelt und Datensätze für das Vortraining und die Feinabstimmung kuratiert.

Verfügbarkeit

Die Modellgewichte von Hy-Embodied-VLM-1.0 sind auf Hugging Face verfügbar. Darüber hinaus ist der Inferenzcode sowohl für Hugging Face Transformers als auch für vLLM bereitgestellt, was die Integration und Nutzung des Modells erleichtern soll.

Frühere Entwicklungen und Ausblick

Die Veröffentlichung von Hy-Embodied-VLM-1.0 ist Teil einer Reihe von Entwicklungen von Tencent in diesem Bereich. Zuvor wurden bereits HY-Embodied-0.5 und HY-VLA-0.5 vorgestellt, die ebenfalls auf die Herausforderungen der verkörperten KI abzielen. Die kontinuierliche Forschung und Entwicklung in diesem Bereich deutet auf ein wachsendes Interesse an leistungsfähigen und effizienten Modellen für die Interaktion von KI mit der physischen Welt hin.

Die vorgestellten Eigenschaften von Hy-Embodied-VLM-1.0 könnten für Unternehmen und Forschungseinrichtungen, die an der Entwicklung von Robotik, autonomen Systemen oder anderen Formen verkörperter KI arbeiten, von Interesse sein. Die Kombination aus hoher Effizienz und spezifischer Ausrichtung auf reale Interaktionen könnte neue Möglichkeiten für praktische Anwendungen eröffnen.

Bibliography:

1. tencent/Hy-Embodied-VLM-1.0. Hugging Face. URL: https://huggingface.co/tencent/Hy-Embodied-VLM-1.0
2. Hy-Embodied-VLM-1.0: Efficient Physical-World Agents. arXiv. URL: https://arxiv.org/html/2607.12894
3. Tencent-Hunyuan/HY-Embodied. GitHub. URL: https://github.com/Tencent-Hunyuan/HY-Embodied
4. Daily Papers' Post. LinkedIn. URL: https://www.linkedin.com/posts/daily-papers-ab213b360_tencent-just-released-a-new-vision-language-activity-7482995212198535168-C3md
5. Tencent-Hunyuan/HY-Embodied — GitHub trending stats & insights. Trendshift. URL: https://trendshift.io/repositories/83451
6. tencent/HY-Embodied-0.5 · Hugging Face. Hugging Face. URL: https://huggingface.co/tencent/HY-Embodied-0.5
7. HY-Embodied-0.5: Embodied Foundation Models for Real-World Agents. arXiv. URL: https://arxiv.org/html/2604.07430
8. tencent/Hy-Embodied-RxBrain-1.0 · Hugging Face. Hugging Face. URL: https://huggingface.co/tencent/Hy-Embodied-RxBrain-1.0
9. README.md at master · Tencent-Hunyuan/HY-Embodied. GitHub. URL: https://github.com/Tencent-Hunyuan/HY-Embodied/blob/master/README.md
10. Tencent-Hunyuan/HY-Embodied-0.5-X. GitHub. URL: https://github.com/Tencent-Hunyuan/HY-Embodied-0.5-X/
11. Post by @HuggingPapers. X. URL: https://x.com/HuggingPapers/status/2077386083407388993