Neuer Benchmark-Datensatz und Baseline-Modell für interaktive medizinische Bildsegmentierung

Interaktive medizinische Bildsegmentierung: Ein neuer Benchmark-Datensatz und ein Baseline-Modell revolutionieren die Forschung Die interaktive medizinische Bildsegmentierung (IMIS) hat in den letzten Jahren erhebliche Fortschritte gemacht. Sie ermöglicht es Medizinern und anderen Nutzern, durch Markierungen von Punkten, Linien oder Bereichen auf einem Bild den Segmentierungsprozess aktiv zu steuern und so die Ergebnisse an die spezifischen klinischen Bedürfnisse anzupassen. Diese Methode optimiert nicht nur die Genauigkeit der Segmentierung, sondern adressiert auch die Herausforderungen, die vollautomatische Segmentierungsmodelle bei der Generalisierung auf unbekannte Objektklassen haben. Trotz des Potenzials von IMIS wurde die Forschung bisher durch das Fehlen großer, vielfältiger und dicht annotierter Datensätze eingeschränkt. Ein neuer Benchmark-Datensatz namens IMed-361M und ein darauf trainiertes Baseline-Modell versprechen nun, die IMIS-Forschung zu revolutionieren. IMed-361M zeichnet sich durch seinen Umfang und seine Diversität aus: Er umfasst über 6,4 Millionen medizinische Bilder aus verschiedenen Quellen, die 14 Modalitäten und 204 Segmentierungsziele abdecken. Insgesamt enthält der Datensatz 361 Millionen Masken, was durchschnittlich 56 Masken pro Bild entspricht. Diese hohe Maskendichte ist entscheidend, um die Fähigkeit von Modellen zu trainieren, "alles" in einem medizinischen Bild zu segmentieren, und ermöglicht fein abgestufte Interaktionen. Die Erstellung von IMed-361M erfolgte in mehreren Schritten. Zunächst wurden medizinische Bilder und zugehörige Ground-Truth-Masken aus verschiedenen öffentlichen und privaten Quellen gesammelt und standardisiert. Anschließend wurden mithilfe eines leistungsstarken visuellen Foundation-Modells für jedes Bild dichte interaktive Masken generiert. Strenge Qualitätskontrollen und ein Granularitätsmanagement stellten die hohe Qualität der Masken sicher. Das auf IMed-361M trainierte Baseline-Modell unterstützt die Generierung von Masken durch verschiedene interaktive Eingaben, darunter Klicks, Bounding Boxes und Texteingaben, sowie deren Kombinationen. Die Evaluierung des Modells auf medizinischen Bildsegmentierungsaufgaben zeigte eine überlegene Genauigkeit und Skalierbarkeit im Vergleich zu bestehenden interaktiven Segmentierungsmodellen. Die Veröffentlichung von IMed-361M und des Baseline-Modells unter https://github.com/uni-medical/IMIS-Bench stellt einen wichtigen Schritt für die Forschung an Foundation-Modellen im Bereich der medizinischen Bildverarbeitung dar. Der Datensatz und das Modell bieten eine solide Grundlage für die Entwicklung und Evaluierung neuer IMIS-Algorithmen und tragen dazu bei, die Anwendung von IMIS in der klinischen Praxis zu beschleunigen. Die Möglichkeit, mit verschiedenen Interaktionsstrategien zu experimentieren, eröffnet neue Wege für die Entwicklung flexibler und präziser Segmentierungswerkzeuge, die den Anforderungen der medizinischen Bildanalyse gerecht werden. Die Entwicklung von IMed-361M adressiert die bestehenden Herausforderungen im Bereich der medizinischen Bildsegmentierung. Bisherige Datensätze waren oft auf bestimmte Modalitäten oder Aufgaben beschränkt, was die Generalisierbarkeit der Modelle einschränkte. IMed-361M hingegen bietet eine umfassende und vielfältige Datenbasis, die die Entwicklung robusterer und flexiblerer Segmentierungsalgorithmen ermöglicht. Die hohe Maskendichte des Datensatzes ist besonders hervorzuheben, da sie das Training von Modellen für dichte Segmentierungsaufgaben und fein abgestufte Interaktionen ermöglicht. Das Baseline-Modell, das auf IMed-361M trainiert wurde, demonstriert das Potenzial des Datensatzes. Die Unterstützung verschiedener Interaktionsstrategien, wie Klicks, Bounding Boxes und Texteingaben, bietet eine hohe Flexibilität und ermöglicht es den Nutzern, den Segmentierungsprozess effektiv zu steuern. Die überlegene Genauigkeit und Skalierbarkeit des Modells im Vergleich zu bestehenden Ansätzen unterstreicht die Bedeutung von IMed-361M für die Weiterentwicklung der IMIS-Forschung. Die Veröffentlichung von IMed-361M und des Baseline-Modells ist ein wichtiger Beitrag zur Forschung an Foundation-Modellen im Bereich der medizinischen Bildverarbeitung. Die Bereitstellung einer umfassenden und frei verfügbaren Ressource fördert die Zusammenarbeit und den Austausch von Wissen innerhalb der Forschungsgemeinschaft. Es wird erwartet, dass IMed-361M und das Baseline-Modell die Entwicklung innovativer IMIS-Algorithmen vorantreiben und die Anwendung von IMIS in der klinischen Praxis beschleunigen.

Bibliographie

1. https://arxiv.org/abs/2411.12814
2. https://arxiv.org/html/2411.12814v2
3. https://github.com/uni-medical/IMIS-Bench
4. https://paperreading.club/page?id=267355
5. https://paperswithcode.com/?page=2
6. https://paperswithcode.com/task/interactive-segmentation/latest
7. https://papers.miccai.org/miccai-2024/334-Paper0050.html
8. https://www.medrxiv.org/content/10.1101/2024.08.26.24312619v1
9. https://openaccess.thecvf.com/content/CVPR2024/papers/Wu_One-Prompt_to_Segment_All_Medical_Images_CVPR_2024_paper.pdf
10. https://iopscience.iop.org/article/10.1088/1361-6560/ad1cf8/pdf