Meta stellt SAM 2 vor Fortschritte und neue Möglichkeiten in der Video und Bildsegmentierung

Architektur und Funktionen von SAM 2

SAM 2 baut auf dem Transformer-basierten Vorgängermodell auf und verfügt über ein neues Speichermodul, das Informationen über Objekte und frühere Interaktionen über Videoframes hinweg speichert. Dies ermöglicht es SAM 2, Objekte über längere Sequenzen hinweg zu verfolgen und auf Benutzereingaben zu reagieren. Wenn SAM 2 auf Bilder angewendet wird, ist der Speicher leer und das Modell verhält sich wie SAM.

Leistungsfähige Segmentierung

In Experimenten zeigte SAM 2 eine bessere Segmentierungsgenauigkeit bei drei Mal weniger Interaktionen im Vergleich zu früheren Ansätzen. Meta gibt an, dass das neue Modell den aktuellen Stand der Technik bei etablierten Benchmarks für die Videoobjektsegmentierung übertrifft. Auch bei der Bildsegmentierung erzielte SAM 2 bessere Ergebnisse als das ursprüngliche SAM-Modell und das mit einer sechsfachen Geschwindigkeit.

Einsatzmöglichkeiten in der Praxis

SAM 2 ist robust gegenüber Hautfarbe und Alter und zeigt minimale Schwankungen zwischen den Geschlechtern. Die Inferenzgeschwindigkeit beträgt 44 Frames pro Sekunde, was einer nahezu Echtzeit-Performance entspricht.

Einschränkungen und Herausforderungen

Obwohl SAM 2 beeindruckende Fähigkeiten zeigt, ist es nicht perfekt. Schwierigkeiten bestehen beispielsweise beim Verfolgen von Objekten nach Szenenschnitten oder langen Verdeckungen, bei der Segmentierung sehr feiner Details und beim Verfolgen einzelner Objekte innerhalb von Gruppen ähnlicher, sich bewegender Objekte. Eine explizite Modellierung der Bewegung könnte helfen, diese Herausforderungen zu bewältigen.

Zukunftsperspektiven

Die Forscher sehen SAM 2 als wichtigen Fortschritt in der maschinellen Bildverarbeitung, der weitere Forschung und Anwendungen vorantreiben könnte. Mögliche Anwendungen umfassen Roboter, die sich zuverlässiger in der realen Welt bewegen und interagieren können, oder die Ermöglichung von Videoeffekten in generativen KI-Videomodellen.

Open-Source und Verfügbarkeit

Meta stellt das SAM 2 Modell, den Code und die Gewichtungen als Open Source unter der Apache 2.0 Lizenz zur Verfügung. Das SA-V-Dataset wird unter der CC-by-4.0 Lizenz veröffentlicht. SAM 2 kann in einem interaktiven Demo getestet werden.

Fazit

Mit SAM 2 hat Meta einen bedeutenden Schritt in der Computer Vision gemacht, der das Potenzial hat, die Art und Weise, wie wir Bilder und Videos segmentieren, grundlegend zu verändern. Die Freigabe als Open Source fördert die Weiterentwicklung und Anwendung in verschiedenen Bereichen, von der Wissenschaft bis zur Unterhaltung.

Bibliografie

1. https://encord.com/blog/segment-anything-model-2-sam-2/
2. https://ai.meta.com/blog/segment-anything-2/
3. https://about.fb.com/news/2024/07/our-new-ai-model-can-segment-video/
4. https://encord.com/blog/gpt-4-vision-alternatives/
5. https://www.picsellia.com/post/sam-and-foundation-models-in-computer-vision
6. https://blog.roboflow.com/gpt-4o-vision-use-cases/
7. https://the-decoder.com/metas-segment-anything-is-the-gpt-3-moment-for-computer-vision/
8. https://openai.com/index/hello-gpt-4o/
9. https://pub.towardsai.net/sam-from-meta-ai-the-chatgpt-moment-for-computer-vision-ai-37167d5240e6
10. https://www.youtube.com/watch?v=cEHFzvU-pzk