Innovative Methodik: FrozenSeg zur Harmonisierung von Frozen Foundation Modellen für Open-Vocabulary-Segmentierung

Einführung

Die Herausforderung der Open-Vocabulary-Segmentierung liegt darin, Objekte in einer offenen Kategorievielfalt in unkontrollierten Umgebungen zu segmentieren und zu erkennen. Dieser Bereich der Computer Vision hat in den letzten Jahren bedeutende Fortschritte gemacht, insbesondere durch die Nutzung leistungsstarker Vision-Language (ViL) Foundation Modelle wie CLIP.

Herausforderungen bei der Open-Vocabulary-Segmentierung

Trotz erheblicher Leistungsverbesserungen stehen diese Modelle immer noch vor dem grundlegenden Problem, präzise Maskenvorschläge für unbekannte Kategorien und Szenarien zu generieren. Dies führt letztlich zu einer minderwertigen Segmentierungsleistung. Die Notwendigkeit, genaue Masken für bislang unbekannte Kategorien zu erstellen, stellt eine erhebliche Herausforderung dar.

FrozenSeg: Ein neuartiger Ansatz

Um diese Herausforderung zu bewältigen, wurde FrozenSeg entwickelt. Dieser Ansatz zielt darauf ab, räumliches Wissen aus einem Lokalisierungsmodell (z.B. SAM) und semantisches Wissen aus einem ViL-Modell (z.B. CLIP) in einem synergistischen Rahmen zu integrieren. Durch die Nutzung des visuellen Encoders des ViL-Modells als Feature-Backbone wird das raumbezogene Feature in die lernbaren Abfragen und CLIP-Features im Transformer-Decoder injiziert.

Technische Umsetzung

FrozenSeg setzt auf eine maskenbasierte Ensemble-Strategie zur Verbesserung der Rückrufrate und der Maskenqualität. Um das vortrainierte Wissen optimal zu nutzen und den Trainingsaufwand zu minimieren, werden beide Foundation-Modelle eingefroren. Die Optimierung konzentriert sich ausschließlich auf einen leichtgewichtigen Transformer-Decoder für die Generierung von Maskenvorschlägen, der als Leistungsengpass identifiziert wurde.

Experimentelle Ergebnisse

Um die Wirksamkeit von FrozenSeg zu demonstrieren, wurden umfangreiche Experimente durchgeführt. Diese zeigen, dass FrozenSeg in verschiedenen Segmentierungs-Benchmarks den Stand der Technik übertrifft. Die Experimente wurden ausschließlich auf COCO-Panoptic-Daten trainiert und in einem Zero-Shot-Verfahren getestet.

Schlussfolgerung

FrozenSeg bietet eine vielversprechende Lösung für die Herausforderungen der Open-Vocabulary-Segmentierung. Durch die Harmonisierung von Frozen Foundation Modellen und die Integration von räumlichem und semantischem Wissen in einem synergistischen Rahmen, setzt FrozenSeg neue Maßstäbe in der Segmentierungsleistung. Der Code für FrozenSeg ist auf GitHub verfügbar und bietet Forschern und Entwicklern die Möglichkeit, diese innovative Technik weiter zu erforschen und anzuwenden.

Quellen

- https://arxiv.org/abs/2210.15138 - https://paperreading.club/page?id=250136 - https://bmvc2022.mpi-inf.mpg.de/0045_poster.pdf - https://www.arxiv.org/abs/2408.04883 - https://paperswithcode.com/task/open-vocabulary-semantic-segmentation-1 - https://openaccess.thecvf.com/content/CVPR2024/papers/Jiang_Open-Vocabulary_3D_Semantic_Segmentation_with_Foundation_Models_CVPR_2024_paper.pdf - https://bmvc2022.mpi-inf.mpg.de/0045.pdf - https://proceedings.neurips.cc/paper_files/paper/2023/file/661caac7729aa7d8c6b8ac0d39ccbc6a-Paper-Conference.pdf - https://www.researchgate.net/publication/373314510_Learning_Open-Vocabulary_Semantic_Segmentation_Models_From_Natural_Language_Supervision - https://github.com/jianzongwu/Awesome-Open-Vocabulary