Entwicklung neuer Bewertungsmetriken für generative Bildmodelle: iFID und CMMD im Fokus

Die Evolution der Bewertungsmetriken in der generativen KI: Von FID zu iFID und CMMD

Die rapide Entwicklung generativer künstlicher Intelligenz, insbesondere im Bereich der Bilderzeugung, hat die Notwendigkeit robuster und präziser Bewertungsmetriken verstärkt. Eine der am weitesten verbreiteten Metriken ist die Fréchet Inception Distance (FID). Sie dient dazu, die Qualität von Bildern zu beurteilen, die von generativen Modellen wie Generative Adversarial Networks (GANs) oder Diffusionsmodellen erzeugt werden. Die FID vergleicht die Verteilung der generierten Bilder mit der Verteilung realer Bilder und wurde 2017 eingeführt, um den früher verwendeten Inception Score (IS) zu ergänzen. Obwohl die FID seit ihrer Einführung als Standard gilt, zeigen neuere Forschungen auf, dass sie in bestimmten Szenarien, insbesondere bei Diffusionsmodellen, an ihre Grenzen stößt. Dies führt zu einer Neubewertung und der Entwicklung verbesserter Metriken, um die Fortschritte in der Bildgenerierung präziser zu erfassen.

Herausforderungen der traditionellen FID bei Diffusionsmodellen

Die Fréchet Inception Distance (FID) misst die Distanz zwischen zwei multivariaten Normalverteilungen, die aus den Inception-v3-Merkmalen von realen und generierten Bildern abgeleitet werden. Ein niedrigerer FID-Wert deutet auf eine höhere Bildqualität und -vielfalt hin. Trotz ihrer Popularität weist die FID mehrere Limitationen auf:

• Geringe Korrelation zwischen Rekonstruktions-FID (rFID) und Generierungs-FID (gFID): Es ist bekannt, dass die rFID eines Variational Autoencoders (VAEs) und die gFID eines latenten Diffusionsmodells nur schlecht miteinander korrelieren. Dies erschwert eine verlässliche Vorhersage der Generierungsqualität basierend auf Rekonstruktionsmetriken.
• Annahme der Normalverteilung: Die FID basiert auf der Annahme, dass die Inception-Einbettungen von Bildern einer multivariaten Normalverteilung folgen. Diese Annahme ist jedoch, wie Studien zeigen, für typische Bilddatensätze wie COCO 30K oft nicht zutreffend, was zu irreführenden Ergebnissen führen kann.
• Geringe Stichprobeneffizienz: Zur Berechnung der FID ist eine große Anzahl von Bildern erforderlich, um die hochdimensionalen Kovarianzmatrizen zuverlässig zu schätzen. Dies macht die FID rechenintensiv und zeitaufwendig, insbesondere bei der Entwicklung und dem Vergleich zahlreicher Modelle.
• Inkonsistenz mit menschlicher Wahrnehmung: Empirische Beobachtungen legen nahe, dass die FID in manchen Fällen der menschlichen Beurteilung der Bildqualität widerspricht und graduelle Verbesserungen in iterativen Text-zu-Bild-Modellen nicht immer korrekt widerspiegelt. Sie kann sogar eine Qualitätsverschlechterung anzeigen, wo visuell eine Verbesserung erkennbar ist.
• Unempfindlichkeit gegenüber komplexen Verzerrungen: Während die FID bei einfachen Bildverzerrungen wie Gaußschem Rauschen oder Weichzeichnung zuverlässig ist, versagt sie oft bei der Erkennung komplexerer Verzerrungen, die im latenten Raum hinzugefügt werden.

Einführung der interpolierten FID (iFID)

Angesichts der Limitationen der traditionellen FID wurde ein neuer Ansatz entwickelt, die sogenannte interpolierte FID (iFID). Diese Metrik zielt darauf ab, die Korrelation zwischen Rekonstruktions- und Generierungs-FID bei Diffusionsmodellen deutlich zu verbessern. Die Kernidee der iFID besteht darin, für jedes Element im Datensatz dessen nächsten Nachbarn (Nearest Neighbor, NN) im latenten Raum zu identifizieren. Anschließend werden die latenten Repräsentationen dieser beiden Punkte interpoliert. Die dekodierten interpolierten Latenzen werden dann verwendet, um die FID zwischen den dekodierten Stichproben und dem Originaldatensatz zu berechnen.

Empirische Ergebnisse belegen eine starke Korrelation zwischen iFID und gFID, mit Pearson- und Spearman-Rangkorrelationen von etwa 0,85. Dies deutet darauf hin, dass iFID eine zuverlässigere Vorhersage der Generierungsqualität von Diffusionsmodellen ermöglicht. Die Forschung zeigt zudem auf, dass die rFID eher die Stichprobenqualität in der Diffusionsverfeinerungsphase widerspiegelt, während die iFID besser die Qualität in der Diffusionsnavigationsphase erfasst. Diese Differenzierung ist entscheidend für ein umfassendes Verständnis der Modellleistung in verschiedenen Phasen des Generierungsprozesses.

Rethinking FID: Die CMMD-Metrik als Alternative

Parallel zur Entwicklung von iFID wird die Notwendigkeit betont, die FID generell neu zu bewerten. Forscher haben eine alternative Metrik vorgeschlagen: die CMMD (CLIP-MMD). Diese Metrik basiert auf CLIP-Einbettungen und der Maximum Mean Discrepancy (MMD) Distanz mit einem Gaußschen RBF-Kernel. Die CMMD wurde entwickelt, um einige der Hauptschwächen der FID zu überwinden:

• Robuste Einbettungen: Im Gegensatz zu den Inception-Einbettungen, die auf dem ImageNet-Datensatz mit 1000 Klassen trainiert wurden, nutzen CLIP-Einbettungen ein deutlich umfangreicheres Dataset von 400 Millionen Bild-Text-Paaren. Dies ermöglicht eine reichhaltigere und diversere Repräsentation der Inhalte, die von modernen Text-zu-Bild-Modellen erzeugt werden.
• Distributionsfreie Eigenschaft: Die MMD-Metrik ist, im Gegensatz zur Fréchet-Distanz, distributionsfrei und macht keine Annahmen über die zugrundeliegenden Wahrscheinlichkeitsverteilungen. Dies eliminiert Fehler, die durch eine fehlerhafte Normalverteilungsannahme entstehen können.
• Unverzerrter Schätzer: Der MMD-Schätzer ist unverzerrt, was bedeutet, dass er weniger anfällig für Stichprobengrößen und die Eigenschaften des bewerteten Modells ist. Dies führt zu konsistenteren und zuverlässigeren Bewertungen.
• Höhere Stichprobeneffizienz und geringere Rechenkosten: CMMD erfordert eine geringere Anzahl von Bildern für eine zuverlässige Schätzung und ist zudem rechnerisch effizienter als FID. Dies ist besonders vorteilhaft für die schnelle Online-Bewertung während des Modelltrainings und den Vergleich einer großen Anzahl von Modellen.

Empirische Vergleiche zeigen, dass CMMD konsistent mit menschlichen Bewertungen übereinstimmt und graduelle Qualitätsverbesserungen in iterativen Generierungsprozessen korrekt widerspiegelt, wo FID oft versagt. Auch bei komplexen Bildverzerrungen erweist sich CMMD als robuster.

Praktische Implikationen und Ausblick

Die Erkenntnisse über die Limitationen der FID und die Entwicklung von Metriken wie iFID und CMMD haben weitreichende Implikationen für die generative KI-Forschung und -Entwicklung. Eine präzisere und zuverlässigere Bewertung der Modellleistung ist entscheidend, um den Fortschritt voranzutreiben und Fehlentscheidungen bei der Modellauswahl zu vermeiden.

Für Unternehmen, die im B2B-Bereich generative KI-Lösungen anbieten oder nutzen, bedeutet dies:

• Verbesserte Modellentwicklung: Durch den Einsatz von iFID oder CMMD können Entwickler die Qualität ihrer Diffusionsmodelle genauer beurteilen und gezieltere Optimierungen vornehmen.
• Effizientere Ressourcennutzung: Die höhere Stichprobeneffizienz und geringere Rechenkosten von CMMD ermöglichen schnellere Iterationszyklen und eine effizientere Nutzung von Rechenressourcen.
• Zuverlässigere Benchmarks: Die neuen Metriken tragen dazu bei, objektivere und aussagekräftigere Benchmarks für generative KI-Modelle zu etablieren, was den Vergleich und die Auswahl von Technologien erleichtert.
• Höhere Produktqualität: Letztendlich führt eine verbesserte Bewertung zu generierten Inhalten von höherer Qualität, die den Anforderungen der Endnutzer und Geschäftsanwendungen besser entsprechen.

Die kontinuierliche Forschung in diesem Bereich wird dazu beitragen, die Lücke zwischen automatisierten Bewertungsmetriken und der menschlichen Wahrnehmung von Bildqualität weiter zu schließen. Dies ist ein entscheidender Schritt auf dem Weg zu noch leistungsfähigeren und intuitiveren generativen KI-Systemen.

Bibliographie

- Xu, T., He, M., Abu-Hussein, S., Hernandez-Lobato, J. M., Zhang, H., Zhao, K., Zhou, C., Zhang, Y.-Q., & Wang, Y. (2026). Making Reconstruction FID Predictive of Diffusion Generation FID. arXiv. - Jayasumana, S., Ramalingam, S., Veit, A., Glasner, D., Chakrabarti, A., & Kumar, S. (2024). Rethinking FID: Towards a Better Evaluation Metric for Image Generation. arXiv. - Jayasumana, S., Ramalingam, S., Veit, A., Glasner, D., Chakrabarti, A., & Kumar, S. (2024). Rethinking FID: Towards a Better Evaluation Metric for Image Generation. IEEE/CVF Conference on Computer Vision and Pattern Recognition, CVPR 2024, Seattle, WA, USA, June 16–22, 2024. - Fréchet inception distance. (n.d.). In Wikipedia. Retrieved from https://en.wikipedia.org/wiki/Fr%C3%A9chet_inception_distance