Universelle Bildübereinstimmung durch multimodales Vortraining

MatchAnything: Universelle Bildübereinstimmung durch großangelegtes Vortraining

Die Bildübereinstimmung, also die Identifizierung korrespondierender Pixelpositionen zwischen Bildern, spielt in vielen wissenschaftlichen Disziplinen eine zentrale Rolle und unterstützt Bildregistrierung, -fusion und -analyse. In den letzten Jahren haben Deep-Learning-basierte Algorithmen die menschlichen Fähigkeiten bei der schnellen und präzisen Ermittlung von Korrespondenzen deutlich übertroffen. Bei Bildern, die mit unterschiedlichen Bildgebungsmodalitäten aufgenommen wurden und daher signifikante Unterschiede im Erscheinungsbild aufweisen, sinkt die Leistung dieser Algorithmen jedoch häufig aufgrund des Mangels an annotierten, multimodalen Trainingsdaten. Diese Einschränkung behindert Anwendungen in verschiedenen Bereichen, die auf mehrere Bildgebungsmodalitäten angewiesen sind, um komplementäre Informationen zu erhalten.

Um diese Herausforderung zu bewältigen, wurde ein umfangreiches Vortrainings-Framework entwickelt, das synthetische, multimodale Trainingssignale nutzt und vielfältige Daten aus verschiedenen Quellen integriert. Dieses Framework trainiert Modelle darauf, grundlegende Strukturen in Bildern zu erkennen und über Modalitäten hinweg zuzuordnen. Diese Fähigkeit ist auf reale, bisher nicht gesehene, multimodale Bildübereinstimmungsaufgaben übertragbar.

Ein zentrales Ergebnis ist die bemerkenswerte Generalisierbarkeit des mit diesem Framework trainierten Matching-Modells. Mit nur einem einzigen Satz an Netzwerkgewichten erreicht das Modell hervorragende Ergebnisse in über acht verschiedenen, zuvor nicht gesehenen multimodalen Registrierungsaufgaben. Es übertrifft dabei deutlich bestehende Methoden, sowohl solche, die auf Generalisierung ausgelegt sind, als auch solche, die auf spezifische Aufgaben zugeschnitten sind.

Das Vortrainings-Framework im Detail

Das Framework besteht aus zwei Hauptkomponenten:

1. Multi-Ressourcen-Datensatz-Mix-Engine: Diese Engine generiert Bildpaare mit Ground-Truth-Matches, indem sie die Stärken verschiedener Datentypen kombiniert. Sie umfasst:

• Multi-View-Bilder mit bekannter Geometrie: Ground-Truth-Matches werden durch Warping von Pixeln mithilfe von Tiefenkarten auf andere Bilder gewonnen.
• Videosequenzen: Die in Videobildern vorhandene Kontinuität wird genutzt, um Punkt-Trajektorien zu konstruieren und Trainingspaare mit Pseudo-Ground-Truth-Matches zwischen entfernten Bildern zu erstellen.
• Bildverzerrung (Warping): Transformationen werden genutzt, um synthetische Bildpaare mit perspektivischen Veränderungen für große Einzelbild-Datensätze zu erzeugen.

2. Generierung multimodaler Trainingspaare: Mithilfe von Bildgenerierungsmodellen werden pixelgenau ausgerichtete Bilder in anderen Modalitäten erzeugt und in den Trainingspaaren anstelle der Originalbilder eingesetzt. Dadurch lernt das Modell, grundlegende Bildstrukturen und geometrische Informationen modalitätsübergreifend zu erkennen und zuzuordnen.

Training und Evaluation

Das Training erfolgt mit einem Mix aus Datensätzen wie MegaDepth, ScanNet++, BlendedMVS, DL3DV, SA-1B und Google Landmark sowie synthetischen multimodalen Paaren (sichtbar-Tiefe, sichtbar-thermisch, Tag-Nacht). Für das Training werden 16 NVIDIA A100-80G GPUs mit einer Batch-Größe von 64 verwendet. Die Modelle werden von Grund auf neu trainiert. Die Evaluierung erfolgt mit den gleichen vortrainierten Gewichten für jede Methode.

Die Ergebnisse zeigen, dass das vortrainierte Modell eine signifikante Verbesserung der Leistung in verschiedenen, ungesehenen multimodalen Bildregistrierungsaufgaben erzielt. Dies demonstriert die starke Generalisierbarkeit des Frameworks und eröffnet neue Möglichkeiten für Anwendungen in Bereichen wie der medizinischen Bildanalyse, Histopathologie, Fernerkundung, autonomen Systemen und mehr.

Ausblick

Diese Weiterentwicklung stärkt die Anwendbarkeit von Bildübereinstimmungstechnologien in verschiedenen wissenschaftlichen Disziplinen erheblich und ebnet den Weg für neue Anwendungen in der multimodalen Analyse durch Mensch und Künstliche Intelligenz. Zukünftige Forschung könnte sich auf die Erweiterung des Frameworks auf weitere Modalitäten und die Verbesserung der Robustheit gegenüber noch komplexeren Bildgebungsbedingungen konzentrieren.

Bibliographie https://arxiv.org/abs/2501.07556 https://zju3dv.github.io/MatchAnything/ https://github.com/zju3dv/MatchAnything https://deeplearn.org/arxiv/566715/matchanything:-universal-cross-modality-image-matching-with-large-scale-pre-training https://arxiv.org/html/2501.07556v1 https://arxiv-sanity-lite.com/?rank=pid&pid=2501.07556 https://chatpaper.com/chatpaper/zh-CN/paper/97712 https://paperreading.club/page?id=278089 https://openaccess.thecvf.com/content/ICCV2021/papers/Wen_COOKIE_Contrastive_Cross-Modal_Knowledge_Sharing_Pre-Training_for_Vision-Language_Representation_ICCV_2021_paper.pdf https://openaccess.thecvf.com/content/CVPR2024/papers/Li_Matching_Anything_by_Segmenting_Anything_CVPR_2024_paper.pdf