Neue Methode zur bewegungsbasierten Videoverfolgung mit Point Prompting

Punkt-Prompting: Ein neuer Ansatz für die Bewegungsverfolgung in Videos

Die Analyse und Synthese von Bewegung in Videos sind eng verwandte Bereiche der künstlichen Intelligenz. Während traditionelle Tracking-Systeme darauf ausgelegt sind, die Bewegung von Objekten zu analysieren, konzentrieren sich Videogeneratoren auf die Erzeugung von Bewegungsabläufen. Eine aktuelle Forschungsarbeit der University of Michigan und Cornell University stellt nun einen innovativen Ansatz vor, der diese Verbindung nutzt: das sogenannte „Point Prompting“. Diese Methode ermöglicht es vortrainierten Video-Diffusionsmodellen, Punkte in Videos ohne spezifisches Vortraining zu verfolgen, was als „Zero-Shot Point Tracking“ bezeichnet wird.

Die Funktionsweise von Point Prompting

Das Kernprinzip des Point Prompting ist verhältnismäßig einfach, aber effektiv. Zunächst wird ein deutlich sichtbarer, farbiger Marker auf einen spezifischen Punkt im ersten Frame eines Videos platziert, dessen Bewegung verfolgt werden soll. Anschließend wird das Video von einem Video-Diffusionsmodell neu generiert, ausgehend von einem mittleren Rauschlevel. Dabei wird dem Modell die Aufgabe gegeben, den hinzugefügten Marker über die nachfolgenden Frames hinweg zu propagieren. Auf diese Weise zeichnet der Marker die Trajektorie des ursprünglich markierten Punktes im Video nach.

Eine zentrale Herausforderung bei diesem Ansatz besteht darin, dass künstliche Marker in natürlichen Videos unüblich sind und das Diffusionsmodell dazu neigen könnte, diese als Artefakte zu interpretieren und zu entfernen. Um dies zu verhindern, wird ein cleverer Kniff angewendet: Das uneditierte Originalbild des ersten Frames ohne Marker dient als negativer Prompt. Dies weist das Modell an, den Marker während der kontrafaktischen Generierung beizubehalten und ihn nicht als unerwünschtes Element zu behandeln.

Architektur und technische Details

Die Methodik des Point Prompting gliedert sich in drei Hauptphasen:

• Visuelle Prompt-Einfügung (Point Prompting): Beginnend mit einem Quellvideo und den spezifischen Koordinaten des zu verfolgenden Punktes im ersten Frame, wird ein künstlicher, gut sichtbarer farbiger Punkt auf diesen initialen Frame gezeichnet. Dieser editierte Frame dient als visueller Prompt für das Videogenerierungsmodell.
• Kontrafaktische Videogenerierung: Basierend auf dem ersten Frame mit dem roten Punkt wird der Rest des Videos neu generiert. Ziel ist es, den Punkt durch die nachfolgenden Frames zu propagieren. Hier kommt die Verstärkung des kontrafaktischen Signals ins Spiel. Da das Modell dazu neigen könnte, den künstlichen Punkt als Fehler zu ignorieren oder zu entfernen, wird ein negativer Prompt verwendet. Bei jedem Denoising-Schritt des Diffusionsprozesses sagt das Modell das Rauschen unter zwei Bedingungen voraus: einer positiven Bedingung (der erste Frame mit dem roten Punkt) und einer negativen Bedingung (der ursprüngliche erste Frame ohne Punkt). Dies stellt sicher, dass der Marker über die Frames hinweg sichtbar bleibt.
• Verfolgung des Markers: Nach der Generierung des neuen Videos, in dem der rote Punkt in jedem Frame vorhanden ist, wird ein einfacher farbbasierter Tracker eingesetzt. Dieser Tracker sucht in jedem Frame nach roten Pixeln innerhalb eines bestimmten Radius der Position des Punktes aus dem vorherigen Frame, um die genaue Trajektorie zu bestimmen.

Zur weiteren Verbesserung der Genauigkeit werden zudem Techniken wie Farbrebalancierung und eine Grob-zu-Fein-Verfeinerung durch Inpainting-Generierung vorgeschlagen.

Leistung und Vergleich mit bestehenden Methoden

Die Evaluierung der Point-Prompting-Methode erfolgte mittels des TAP-Vid-Benchmarks und umfasste Vergleiche mit etablierten Zero-Shot-Tracking-Methoden wie DINOv2, DIFT und SD-DINO. Die Ergebnisse zeigen, dass Point Prompting in allen Metriken eine signifikant höhere Leistung erzielt. Bemerkenswerterweise übertrifft es sogar spezialisierte, selbstüberwachte Modelle, die explizit für das Tracking trainiert wurden (z.B. GMRW), und erreicht eine vergleichbare Leistung mit Opt-CWM, einem der leistungsstärksten selbstüberwachten Modelle.

Die Forschung identifizierte das kontrafaktische Signal als den entscheidenden Faktor für die Leistung; dessen Abwesenheit führte zu einem drastischen Leistungsabfall. Auch die Farbrebalancierung hatte einen erheblichen Einfluss auf die Ergebnisse. Dies unterstreicht die Bedeutung der präzisen Steuerung des Diffusionsprozesses, um die gewünschten Tracking-Ergebnisse zu erzielen.

Implikationen und zukünftige Perspektiven

Die Ergebnisse dieser Studie legen nahe, dass Video-Diffusionsmodelle, die ursprünglich für die Synthese von Bewegung entwickelt wurden, über eine implizite Fähigkeit zur Bewegungsanalyse verfügen. Diese „emergente“ Tracking-Fähigkeit könnte neue Wege für die Entwicklung von Tracking-Algorithmen eröffnen und die Notwendigkeit umfangreicher, spezifischer Trainingsdaten reduzieren. Die Fähigkeit, auch durch Okklusionen hindurch zu verfolgen, ist ein weiteres vielversprechendes Merkmal dieses Ansatzes.

Obwohl Point Prompting bereits beeindruckende Ergebnisse liefert, gibt es noch offene Fragen und Bereiche für zukünftige Entwicklungen. Die Komplexität, für jeden zu verfolgenden Punkt ein gesamtes Video neu generieren zu müssen, deutet auf einen potenziell hohen Rechenaufwand hin. Darüber hinaus zeigen sich in bestimmten Szenarien, wie bei stationären Punkten, symmetrischen Objekten oder bei der Verfolgung nahe der Bildränder, noch Grenzen des aktuellen Modells. Trotz dieser Herausforderungen stellt Point Prompting einen bedeutenden Fortschritt im Bereich des Zero-Shot Point Trackings dar und unterstreicht das Potenzial von Video-Diffusionsmodellen als vielseitige Werkzeuge für die Computer Vision.

Bibliography

- Shrivastava, A., Mehta, S., Geng, D., & Owens, A. (2025). Point Prompting: Counterfactual Tracking with Video Diffusion Models. arXiv preprint arXiv:2510.11715. - JamesLee. (2025). Point Prompting: Counterfactual Tracking with Video Diffusion Models. Medium. - Geng, D., Herrmann, C., Hur, J., Cole, F., Zhang, S., Pfaff, T., ... & Sun, D. (2024). Motion Prompting: Controlling Video Generation with Motion Trajectories. arXiv preprint arXiv:2412.02700.