Meta's neues Open-Source-Modell SAM 2: Ein Meilenstein für die Computer Vision

Einführung

Meta hat das Segment Anything Model 2 (SAM 2) vorgestellt, ein fortschrittliches Modell zur Segmentierung von Objekten in Bildern und Videos. Dies folgt auf die Einführung des ursprünglichen Segment Anything Model (SAM) im April 2023, das als "GPT-3-Moment" für die Computer Vision gefeiert wurde. Während SAM hauptsächlich auf Bildsegmentierung spezialisiert war, erweitert SAM 2 diese Fähigkeiten auf Videos und bietet eine verbesserte Genauigkeit und Effizienz.

Die Entwicklung von SAM 2

Das ursprüngliche SAM wurde auf 11 Millionen Bildern trainiert und war darauf optimiert, Objekte in Bildern zu segmentieren. SAM 2 hingegen wurde auf Videodaten trainiert, wobei die neue SA-V-Dataset, die größte öffentlich zugängliche Video-Segmentierungs-Datenbank, genutzt wurde. Diese enthält 50.900 Videos mit 642.600 Maskenannotationen, was insgesamt 35,5 Millionen Einzelmasken ergibt. Die Annotatoren haben SAM 2 interaktiv genutzt, um Video-Segmente zu kennzeichnen, und die neuen Daten wurden verwendet, um SAM 2 zu aktualisieren.

Architektur und Funktionen von SAM 2

SAM 2 baut auf dem Transformer-basierten Vorgängermodell auf und verfügt über ein neues Speichermodul, das Informationen über Objekte und frühere Interaktionen über Videoframes hinweg speichert. Dies ermöglicht es SAM 2, Objekte über längere Sequenzen hinweg zu verfolgen und auf Benutzereingaben zu reagieren. Wenn SAM 2 auf Bilder angewendet wird, ist der Speicher leer und das Modell verhält sich wie SAM.

Leistungsfähige Segmentierung

In Experimenten zeigte SAM 2 eine bessere Segmentierungsgenauigkeit bei drei Mal weniger Interaktionen im Vergleich zu früheren Ansätzen. Meta gibt an, dass das neue Modell den aktuellen Stand der Technik bei etablierten Benchmarks für die Videoobjektsegmentierung übertrifft. Auch bei der Bildsegmentierung erzielte SAM 2 bessere Ergebnisse als das ursprüngliche SAM-Modell und das mit einer sechsfachen Geschwindigkeit.

Einsatzmöglichkeiten in der Praxis

SAM 2 ist robust gegenüber Hautfarbe und Alter und zeigt minimale Schwankungen zwischen den Geschlechtern. Die Inferenzgeschwindigkeit beträgt 44 Frames pro Sekunde, was einer nahezu Echtzeit-Performance entspricht.

Einschränkungen und Herausforderungen

Obwohl SAM 2 beeindruckende Fähigkeiten zeigt, ist es nicht perfekt. Schwierigkeiten bestehen beispielsweise beim Verfolgen von Objekten nach Szenenschnitten oder langen Verdeckungen, bei der Segmentierung sehr feiner Details und beim Verfolgen einzelner Objekte innerhalb von Gruppen ähnlicher, sich bewegender Objekte. Eine explizite Modellierung der Bewegung könnte helfen, diese Herausforderungen zu bewältigen.

Zukunftsperspektiven

Die Forscher sehen SAM 2 als wichtigen Fortschritt in der maschinellen Bildverarbeitung, der weitere Forschung und Anwendungen vorantreiben könnte. Mögliche Anwendungen umfassen Roboter, die sich zuverlässiger in der realen Welt bewegen und interagieren können, oder die Ermöglichung von Videoeffekten in generativen KI-Videomodellen.

Open-Source und Verfügbarkeit

Meta stellt das SAM 2 Modell, den Code und die Gewichtungen als Open Source unter der Apache 2.0 Lizenz zur Verfügung. Das SA-V-Dataset wird unter der CC-by-4.0 Lizenz veröffentlicht. SAM 2 kann in einem interaktiven Demo getestet werden.

Fazit

Mit SAM 2 hat Meta einen bedeutenden Schritt in der Computer Vision gemacht, der das Potenzial hat, die Art und Weise, wie wir Bilder und Videos segmentieren, grundlegend zu verändern. Die Freigabe als Open Source fördert die Weiterentwicklung und Anwendung in verschiedenen Bereichen, von der Wissenschaft bis zur Unterhaltung.

Bibliografie

- https://encord.com/blog/segment-anything-model-2-sam-2/ - https://ai.meta.com/blog/segment-anything-2/ - https://about.fb.com/news/2024/07/our-new-ai-model-can-segment-video/ - https://encord.com/blog/gpt-4-vision-alternatives/ - https://www.picsellia.com/post/sam-and-foundation-models-in-computer-vision - https://blog.roboflow.com/gpt-4o-vision-use-cases/ - https://the-decoder.com/metas-segment-anything-is-the-gpt-3-moment-for-computer-vision/ - https://openai.com/index/hello-gpt-4o/ - https://pub.towardsai.net/sam-from-meta-ai-the-chatgpt-moment-for-computer-vision-ai-37167d5240e6 - https://www.youtube.com/watch?v=cEHFzvU-pzk