Segment Anything 2: Ein Durchbruch in der Maskengenerierung

Die Welt der künstlichen Intelligenz und des maschinellen Lernens entwickelt sich rasant weiter. Eines der jüngsten und aufregendsten Projekte in diesem Bereich ist das Segment Anything Model 2 (SAM2), das von der renommierten Plattform Hugging Face gehostet wird. Am 31. Juli 2024 gab der Entwickler @skalskip92 bekannt, dass er sein Space auf Hugging Face für SAM2 erfolgreich zum Laufen gebracht hat. Aktuell ist nur der Modus zur Maskengenerierung verfügbar, doch in naher Zukunft sind auch Bild- und Videoprompting geplant.

Was ist Maskengenerierung?

Maskengenerierung ist die Aufgabe, Masken zu erzeugen, die ein spezifisches Objekt oder einen Bereich von Interesse in einem gegebenen Bild identifizieren. Diese Masken werden häufig in Segmentierungsaufgaben verwendet, um das Objekt von Interesse präzise für weitere Verarbeitung oder Analyse zu isolieren.

Einsatzmöglichkeiten der Maskengenerierung

Maskengenerierungsmodelle haben vielfältige Anwendungen:

- Bildfilterung: Identifizierung relevanter Bereiche, z. B. Vegetation in Satellitenbildern. - Maskiertes Bildmodellieren: Erleichterung des Lernens in semi- oder unüberwachten Lernumgebungen. - Mensch-in-der-Schleife-Anwendungen: Hervorhebung bestimmter Bildbereiche zur Validierung durch Menschen.

Technische Details des Segment Anything Modells

Das Segment Anything Model (SAM) bietet eine leistungsstarke Grundlage für die Segmentierung. Es besteht aus einem Vision Transformer-basierten Bildencoder, einem Prompt-Encoder und einem Zwei-Wege-Transformer-Maskendecoder. Bilder und Prompts werden kodiert, und der Decoder nimmt diese Einbettungen und generiert gültige Masken. SAM wird auf dem SA-1B-Datensatz trainiert, der 1 Million Bilder und 1,1 Milliarden Masken enthält.

Modi der Maskengenerierung

- Segment Everything Mode: Generierung von Masken für jedes Objekt im Bild. - Prompt Mode: Generierung von Masken basierend auf einem gegebenen Prompt (Punkt, Box oder Text).

Ein Blick auf die Implementierung

Die Implementierung der Maskengenerierung kann mithilfe der Transformatoren-Bibliothek von Hugging Face erfolgen. Hier sind einige Beispiele:

Segment Everything Mode

Im Segment Everything Mode wird eine Vielzahl von Masken für ein gegebenes Bild generiert. Dies kann durch den folgenden Code erreicht werden:

from transformers import pipeline
generator = pipeline("mask-generation", model="Zigeng/SlimSAM-uniform-50", points_per_batch=64, device="cuda")
image_url = "https://huggingface.co/ybelkada/segment-anything/resolve/main/assets/car.png"
outputs = generator(image_url)
masks = outputs["masks"]

Prompt Mode

Im Prompt Mode kann der Benutzer einen Punkt, eine Box oder einen Text eingeben, und eine bedeutungsvolle Maske wird zurückgegeben. Hier ein Beispiel für einen Punkt-Prompt:

from transformers import SamModel, SamProcessor
from PIL import Image
import requests

model = SamModel.from_pretrained("Zigeng/SlimSAM-uniform-50").to("cuda")
processor = SamProcessor.from_pretrained("Zigeng/SlimSAM-uniform-50")

image_url = "https://huggingface.co/ybelkada/segment-anything/resolve/main/assets/car.png"
raw_image = Image.open(requests.get(image_url, stream=True).raw).convert("RGB")
input_points = [[[450, 600]]]
inputs = processor(raw_image, input_points=input_points, return_tensors="pt").to("cuda")
outputs = model(**inputs)
masks = processor.post_process_masks(outputs.pred_masks.cpu(), inputs["original_sizes"].cpu(), inputs["reshaped_input_sizes"].cpu())

Zukunftsaussichten

Die Entwicklung von SAM2 steht erst am Anfang. In den kommenden Tagen und Wochen plant der Entwickler, Bild- und Videoprompting zu integrieren, was die Anwendungsmöglichkeiten erheblich erweitern wird. Dieses Projekt zeigt, wie leistungsfähig und vielseitig moderne KI-Modelle sein können und wie sie in verschiedenen Bereichen angewendet werden können, von der Bildanalyse bis hin zur Videoverarbeitung.

Fazit

Das Segment Anything Model 2 ist ein bedeutender Fortschritt in der Welt der künstlichen Intelligenz und des maschinellen Lernens. Mit seiner Fähigkeit, präzise Masken zu generieren und die Vielseitigkeit in der Anwendung, bietet es enorme Potenziale für die Zukunft. Die Integration von Bild- und Videoprompting wird die Grenzen dessen, was mit KI möglich ist, weiter verschieben.

Bibliografie

https://huggingface.co/tasks/mask-generation https://discuss.huggingface.co/t/two-questions-about-segment-anything-model-sam-in-transformers/63825 https://twitter.com/skalskip92/status/1727842771447300304 https://huggingface.co/docs/transformers/tasks/mask_generation https://github.com/facebookresearch/segment-anything/blob/main/notebooks/predictor_example.ipynb https://huggingface.co/ybelkada/segment-anything https://github.com/huggingface/notebooks/blob/main/examples/segment_anything.ipynb https://huggingface.co/docs/transformers/model_doc/gpt2