Effiziente Unsicherheitsschätzung für DETR-basierte Objekterkennung

Die Objekterkennung ist ein entscheidender Bestandteil moderner autonomer Systeme und spielt in vielen sicherheitskritischen Anwendungen eine zentrale Rolle. Fortschritte in der Computer Vision haben in den letzten Jahren zu leistungsstarken Modellen geführt, wobei insbesondere der Detection Transformer (DETR) und seine Varianten neue Maßstäbe gesetzt haben. Diese Modelle zeichnen sich durch ihre end-to-end-Ansätze aus, die handgefertigte Komponenten wie Non-Maximum Suppression (NMS) und Anker-Priorisierungen überflüssig machen.

Die Herausforderung der Unsicherheitsschätzung in der Objekterkennung

Trotz der beeindruckenden Leistungsfähigkeit von DETR-basierten Modellen besteht eine wesentliche Einschränkung: Ihre Konfidenzwerte spiegeln primär die semantische Unsicherheit wider – also die Gewissheit über die Klassenzugehörigkeit eines erkannten Objekts. Die ebenso wichtige räumliche Unsicherheit, die die Zuverlässigkeit der Position und Größe des erkannten Objekts betrifft, wird dabei oft vernachlässigt. Diese unvollständige Bewertung der Detektionszuverlässigkeit kann in sicherheitskritischen Anwendungen, wie beispielsweise im autonomen Fahren, ernsthafte Konsequenzen haben.

Bestehende Ansätze und ihre Limitationen

Zur Adressierung der Unsicherheitsschätzung wurden verschiedene Methoden entwickelt:

• Deep Ensembles: Diese Methode liefert hochwertige Schätzungen der räumlichen Unsicherheit, indem sie mehrere unabhängige Modelle trainiert und deren Vorhersagen zusammenführt. Ein großer Nachteil ist jedoch der immense Speicherverbrauch, der Deep Ensembles für Echtzeitanwendungen unpraktisch macht.
• Monte Carlo (MC) Dropout: Als kostengünstigere Alternative wird MC Dropout während der Inferenz eingesetzt, indem Dropout-Schichten aktiv bleiben und so mehrere Vorhersagen generieren. Dies führt jedoch zu einer hohen Latenz, da mehrere Durchläufe (Forward Passes) zur Unsicherheitsschätzung erforderlich sind.

GroupEnsemble: Ein effizienter Ansatz zur Unsicherheitsschätzung

Um die genannten Limitationen zu überwinden, wurde die Methode GroupEnsemble entwickelt. GroupEnsemble zielt darauf ab, eine effiziente und effektive Unsicherheitsschätzung für DETR-ähnliche Modelle zu ermöglichen, ohne dabei Kompromisse bei der Leistung oder den Rechenkosten einzugehen.

Funktionsweise von GroupEnsemble

Der Kern von GroupEnsemble liegt in der Nutzung mehrerer, diverser Gruppen von Objekt-Queries, die während der Inferenz an den Transformer-Decoder gesendet werden. Die Methode funktioniert wie folgt:

• Parallele Verarbeitung von Query-Gruppen: GroupEnsemble nutzt die inhärente Parallelität des Transformer-Decoders. Anstatt nur eine Gruppe von Objekt-Queries zu verwenden, werden zusätzliche, diverse Gruppen von Queries eingespeist. Jede dieser Query-Gruppen wird vom gemeinsamen Decoder isoliert verarbeitet und liefert einen vollständigen Satz von Detektionen für dasselbe Eingabebild.
• Aufmerksamkeits-Maskierung: Eine spezielle Aufmerksamkeitsmaske wird auf den Decoder angewendet, um jegliche Interaktionen zwischen den Query-Gruppen zu verhindern. Dies stellt sicher, dass jede Gruppe unabhängig voneinander Detektionen durchführt, was für eine zuverlässige ensemble-basierte Unsicherheitsschätzung entscheidend ist.
• Effizienz durch Single-Pass-Inferenz: Durch die parallele Verarbeitung kann GroupEnsemble Unsicherheit in einem einzigen Forward Pass schätzen, ohne sequentielle Wiederholungen. Dies reduziert die Latenz erheblich und macht die Methode für Echtzeitanwendungen praktikabel.
• Clustering und Aggregation: Die von den verschiedenen Query-Gruppen generierten Detektionen weisen oft Überlappungen auf. Um diese zu gruppieren und eine finale Detektion mit Unsicherheitsschätzung zu erhalten, wird das Basic Sequential Algorithmic Scheme (BSAS) Clustering-Verfahren angewendet. Innerhalb jedes Clusters werden die Detektionen aggregiert, um eine finale Bounding Box, eine Klassenzuordnung, einen Konfidenzwert und eine räumliche Unsicherheit (gemessen durch Varianz) zu erhalten.

Vorteile der GroupEnsemble-Methode

GroupEnsemble bietet mehrere Vorteile:

• Umfassende Unsicherheitsschätzung: Es ermöglicht die Schätzung sowohl semantischer als auch räumlicher Unsicherheiten, was zu einer vollständigeren Bewertung der Detektionszuverlässigkeit führt.
• Effizienz: Durch die Nutzung der Decoder-Parallelität wird die Unsicherheit in einem einzigen Durchlauf geschätzt, was die Rechenzeit im Vergleich zu sequentiellen Ansätzen deutlich reduziert.
• Skalierbarkeit: Die Methode ist flexibel und kann in verschiedene DETR-ähnliche Modelle integriert werden.
• Verbesserte Detektionsgenauigkeit: Die Kombination von GroupEnsemble mit MC-Dropout in einem hybriden Ansatz, dem MC-GroupEnsemble, führt zu einer weiteren Steigerung der Detektionsqualität.

Experimentelle Validierung und Ergebnisse

Die Wirksamkeit von GroupEnsemble wurde in verschiedenen Szenarien umfassend evaluiert, darunter autonomes Fahren und allgemeine Alltagsszenen, unter Verwendung der Datensätze Cityscapes und COCO. Die Leistungsfähigkeit wurde anhand von Metriken wie Probabilistic Detection Quality (PDQ), Detection Expected Calibration Error (D-ECE), mittlerer durchschnittlicher Präzision (mAP), Latenz und der Anzahl der Parameter bewertet.

Vergleichende Analyse

Die Ergebnisse zeigen, dass GroupEnsemble eine vergleichbare Leistung wie MC-Dropout erzielt und die deterministischen Baselines in allen Metrik-Kategorien übertrifft. Insbesondere der hybride Ansatz MC-GroupEnsemble lieferte herausragende Resultate:

• Er übertraf Deep Ensembles in verschiedenen Metriken, insbesondere in der PDQ, bei deutlich geringeren Kosten.
• MC-GroupEnsemble war 66 % schneller in der Verarbeitungszeit und benötigte 51 % weniger Modellparameter als Deep Ensembles.
• Auf Cityscapes und dem anspruchsvollen Foggy Cityscapes-Datensatz erreichte MC-GroupEnsemble die besten PDQ- und mAP-Werte bei einem nur vernachlässigbaren Anstieg der Modellgröße (+0,7 %).

Diese Ergebnisse deuten darauf hin, dass GroupEnsemble und MC-Dropout komplementär sind und ihre Kombination präzise Unsicherheitsschätzungen zu akzeptablen Rechenkosten liefert. Die Methode bietet einen überlegenen Kompromiss zwischen Leistung und Laufzeit, was sie für Echtzeitanwendungen wie das autonome Fahren besonders vielversprechend macht.

Ablationsstudien

Zusätzliche Ablationsstudien untersuchten den Einfluss der Anzahl der Query-Gruppen und der Aggregationsstrategie für Konfidenzwerte:

• Anzahl der Query-Gruppen: Eine Erhöhung der Anzahl der Query-Gruppen führte zu höheren PDQ-Werten und damit zu präziseren Unsicherheitsschätzungen. Die Parallelität des Decoders sorgte dabei für eine relativ geringe Zunahme der Latenz.
• Aggregationsstrategie: Eine skalierte maximale Konfidenz-Aggregation verbesserte die Kalibrierung der Vorhersagen, indem sie implizite Unsicherheitsinformationen aus der Clustergröße nutzte und die Konfidenz für Detektionen mit wenigen Unterstützungen reduzierte.

Fazit

GroupEnsemble stellt eine innovative und effiziente Methode zur Unsicherheitsschätzung in DETR-basierten Objekterkennungsmodellen dar. Durch die geschickte Nutzung der Decoder-Parallelität und eines Aufmerksamkeits-Maskierungsmechanismus ermöglicht sie eine umfassende Bewertung der Detektionszuverlässigkeit in einem einzigen Durchlauf. Die Kombination mit MC-Dropout, bekannt als MC-GroupEnsemble, demonstriert eine überragende Leistung bei gleichzeitiger Kosteneffizienz im Vergleich zu herkömmlichen Methoden wie Deep Ensembles. Dies macht GroupEnsemble zu einer vielversprechenden Technologie für eine Vielzahl von Anwendungen, insbesondere in sicherheitskritischen Bereichen wie dem autonomen Fahren, wo präzise und effiziente Unsicherheitsschätzungen unerlässlich sind.

Die kontinuierliche Forschung in diesem Bereich wird voraussichtlich weitere Verbesserungen in der Robustheit und Zuverlässigkeit von Objekterkennungssystemen hervorbringen, was einen wichtigen Schritt in Richtung sichererer und autonomerer Systeme darstellt.

Bibliographie

• Yutong Yang, Katarina Popović, Julian Wiederer, Markus Braun, Vasileios Belagiannis, Bin Yang. GroupEnsemble: Efficient Uncertainty Estimation for DETR-based Object Detection. arXiv preprint arXiv:2603.01847, 2026.
• Nicolas Carion, Francisco Massa, Gabriel Synnaeve, Nicolas Usunier, Alexander Kirillov, Sergey Zagoruyko. End-to-End Object Detection with Transformers. European Conference on Computer Vision (ECCV), 2020.
• Yihui He, Chenchen Zhu, Jianren Wang, Marios Savvides, Xiangyu Zhang. Bounding Box Regression with Uncertainty for Accurate Object Detection. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2019.
• Balaji Lakshminarayanan, Alexander Pritzel, Charles Blundell. Simple and scalable predictive uncertainty estimation using deep ensembles. Advances in Neural Information Processing Systems (NeurIPS), 2017.
• David Miller, Lachlan Nicholson, Feras Dayoub, Michael Milford. Dropout sampling for robust object detection in open-set conditions. IEEE International Conference on Robotics and Automation (ICRA), 2018.
• Zhora Gevorgyan. SIoU loss: More powerful learning for bounding box regression. arXiv preprint arXiv:2205.12740, 2022.
• Zhi Tian, Chunhua Shen, Hao Chen, Tong He. FCOS: A Simple and Strong Anchor-free Object Detector. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020.
• Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun. Deep Residual Learning for Image Recognition. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016.
• Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, C Lawrence Zitnick. Microsoft COCO: Common Objects in Context. European Conference on Computer Vision (ECCV), 2014.
• Yifan Pu, Weicong Liang, Yiduo Hao, Yuhui Yuan, Yukang Yang, Chao Zhang, Han Hu, Gao Huang. Rank-DETR for high quality object detection. Advances in Neural Information Processing Systems (NeurIPS), 2024.
• Zhi Cai, Songtao Liu, Guodong Wang, Zheng Ge, Xiangyu Zhang, Di Huang. Align-DETR: Improving DETR with Simple IoU-aware BCE Loss. arXiv preprint arXiv:2304.07527, 2023.
• Julie Delon, Agnes Desolneux, Antoine Salmona. Gromov-Wasserstein distances between Gaussian distributions. Journal of Applied Probability, 2022.
• Seyed Hamid Rezatofighi, Hamid Soltanian-Zadeh. Automatic recognition of five types of white blood cells in peripheral blood. Computerized Medical Imaging and Graphics, 2011.
• H.W. Kuhn. The Hungarian method for the assignment problem. Naval Research Logistics Quarterly, 1955.
• Cordts, M., Omran, M., Ramos, S., Rehfeld, T., Enzweiler, M., Benenson, R., Franke, U., Roth, S., & Schiele, B. (2016). The Cityscapes Dataset for Semantic Urban Scene Understanding. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016.
• Sakaridis, C., Dai, D., & Van Gool, L. (2018). Semantic Foggy Scene Understanding with Synthetic Data. International Journal of Computer Vision, 2018.
• Srivastava, N., Hinton, G., Krizhevsky, A., Sutskever, I., & Salakhutdinov, R. (2014). Dropout: A Simple Way to Prevent Neural Networks from Overfitting. The Journal of Machine Learning Research, 2014.
• Durasov, N., Dorndorf, N., Le, H., & Kämmerer, M. (2022). Zigzag: Universal sampling-free uncertainty estimation through two-step inference. arXiv preprint arXiv:2211.11435, 2022.