Meta FAIR präsentiert SAM 2 – Das erste vereinheitlichte Modell für Echtzeit-Objektsegmentierung in Bildern und Videos

Die Fortschritte im Bereich der künstlichen Intelligenz (KI) haben in den letzten Jahren beeindruckende Entwicklungen hervorgebracht. Ein besonders herausragendes Beispiel ist das Segment Anything Model 2 (SAM 2) von Meta FAIR, das kürzlich vorgestellt wurde. SAM 2 ist das erste vereinheitlichte Modell, das in der Lage ist, Objekte in Echtzeit in Bildern und Videos zu segmentieren und nachzuverfolgen. Diese Innovation könnte zahlreiche Anwendungsbereiche revolutionieren, von der Videobearbeitung bis hin zu autonomen Fahrzeugen.

Hintergrund und Entwicklung von SAM 2

Das ursprüngliche Segment Anything Model (SAM) wurde letztes Jahr eingeführt und hat die Bildsegmentierung auf ein neues Niveau gehoben. SAM ermöglichte es, Objekte in Bildern präzise zu segmentieren, was in vielen Bereichen, wie der medizinischen Bildanalyse und der Meereswissenschaft, Anwendung fand. SAM 2 erweitert diese Fähigkeiten nun auf Videos und bietet dabei eine Echtzeit-Interaktivität, die bisherige Modelle übertrifft.

Funktionalitäten und Eigenschaften von SAM 2

SAM 2 ist in der Lage, jedes Objekt in Bildern und Videos zu segmentieren und zu verfolgen, selbst wenn diese Objekte während des Trainings des Modells nicht gesehen wurden. Dies wird als "zero-shot generalization" bezeichnet und ermöglicht es SAM 2, in einer Vielzahl von realen Anwendungen eingesetzt zu werden, ohne dass eine Anpassung erforderlich ist.

Hauptmerkmale von SAM 2

Die wichtigsten Merkmale von SAM 2 umfassen:

- Auswahl und Anpassung von Objekten: SAM 2 ermöglicht es Benutzern, Objekte in Videoframes auszuwählen und mithilfe zusätzlicher Eingaben zu verfeinern. - Robuste Segmentierung: Das Modell kann Objekte, Bilder und Videos segmentieren, die während des Trainings nicht gesehen wurden. - Echtzeit-Interaktivität: SAM 2 unterstützt durch Streaming-Inferenz Echtzeitanwendungen für effiziente Videobearbeitung.

Technische Architektur von SAM 2

Die Architektur von SAM 2 ist eine Erweiterung des ursprünglichen SAM-Modells auf den Videobereich. Ein zentrales Element ist das "per session memory module", das Informationen über das Zielobjekt im Video speichert. Dadurch kann SAM 2 das ausgewählte Objekt über alle Videoframes hinweg verfolgen, selbst wenn es vorübergehend aus dem Blickfeld verschwindet. Zusätzlich ermöglicht SAM 2 Korrekturen der Maskenvorhersage basierend auf weiteren Eingaben in jedem Frame.

Promptable Visual Segmentation (PVS)

Eine der herausragenden Eigenschaften von SAM 2 ist die "Promptable Visual Segmentation" (PVS). Diese Aufgabe generalisiert die Bildsegmentierung auf den Videobereich. SAM 2 nimmt Eingabepunkte, Boxen oder Masken in jedem Frame eines Videos entgegen, um das zu segmentierende Objekt zu definieren. Das Modell gibt sofort eine Vorhersage der Maske für den aktuellen Frame ab und propagiert diese temporär, um das Zielobjekt über alle Videoframes hinweg zu segmentieren. Diese initiale Maske kann iterativ durch zusätzliche Eingaben verfeinert werden.

Der SA-V Datensatz

SAM 2 wurde auf dem umfangreichen SA-V Datensatz trainiert, der von Meta AI zur Verfügung gestellt wurde. Der SA-V Datensatz umfasst etwa 600.000 Masken, die aus rund 51.000 Videos aus 47 Ländern gesammelt wurden. Diese vielfältige Datensammlung deckt verschiedene reale Szenarien ab und bietet umfassende Trainingsdaten für eine robuste Modellleistung.

Hauptmerkmale des SA-V Datensatzes

Wichtige Merkmale des SA-V Datensatzes umfassen:

- Ca. 600.000+ Masken aus ca. 51.000 Videos - Geografisch diverse, reale Szenarien aus 47 Ländern - Anmerkungen umfassen ganze Objekte, Teile und herausfordernde Verdeckungen

Praktische Anwendungen von SAM 2

SAM 2 ist prädestiniert, verschiedene Bereiche zu revolutionieren, darunter Augmented Reality, Virtual Reality, Robotik, autonome Fahrzeuge und Videobearbeitung. Diese Anwendungen erfordern oft eine zeitliche Lokalisierung jenseits der Bild-Ebene, was SAM 2 ideal macht. Das Modell kann in größere Systeme integriert werden, um neuartige Erlebnisse zu schaffen. Seine Videoobjektsegmentierungsausgaben können als Eingaben für moderne Videogenerationsmodelle verwendet werden und so präzise Bearbeitungsmöglichkeiten ermöglichen.

Zukunftsperspektiven

Die Extensibilität von SAM 2 ermöglicht zukünftige Verbesserungen mit neuen Arten von Eingabeaufforderungen, die kreative Interaktionen in Echtzeit oder Live-Video-Kontexten ermöglichen. Die Veröffentlichung von SAM 2 und dem SA-V Datensatz unter offenen Lizenzen zeigt das Engagement von Meta FAIR für die Förderung der Forschungsgemeinschaft. Es wird spannend sein zu sehen, wie die AI-Community diese Technologien weiterentwickeln und neue Anwendungsfälle erschließen wird.

Schlussfolgerung

SAM 2 von Meta FAIR markiert einen bedeutenden Fortschritt in der Objektsegmentierungstechnologie. Mit seinen Fähigkeiten zur Echtzeitsegmentierung und -verfolgung setzt es neue Maßstäbe für Bild- und Videobearbeitung. Die offene Bereitstellung des Modells und des Datensatzes fördert die Weiterentwicklung und Anwendung in zahlreichen Bereichen, von der Forschung bis hin zur Industrie. Die Zukunft der KI-gestützten Segmentierung sieht vielversprechend aus, und SAM 2 ist ein wichtiger Schritt in diese Richtung.

Bibliographie

https://ai.meta.com/sam2/ https://about.fb.com/news/2024/07/our-new-ai-model-can-segment-video/ https://ai.meta.com/blog/segment-anything-2/ https://x.com/AIatMeta/status/1818055906179105010?lang=de https://medium.com/@avinash2060/introducing-sam-2-the-next-generation-of-metas-segment-anything-model-for-videos-and-images-31d6a29adcf5 https://segment-anything.com/ https://www.youtube.com/watch?v=0wUo83v8GcM https://encord.com/blog/segment-anything-model-2-sam-2/