FitDiT: Fortschrittliche Technologien für realistische virtuelle Anproben

FitDiT: Ein neuer Ansatz für realistischere virtuelle Anproben

Virtuelle Anproben gewinnen im E-Commerce zunehmend an Bedeutung. Kunden können so Kleidungsstücke digital anprobieren, ohne sie physisch tragen zu müssen. Dies erhöht die Kundenzufriedenheit und kann die Retourenquote senken. Die Technologie hinter virtuellen Anproben entwickelt sich ständig weiter, um immer realistischere und detailgetreuere Ergebnisse zu erzielen. Ein vielversprechender neuer Ansatz in diesem Bereich ist FitDiT.

Herausforderungen bei virtuellen Anproben

Bisherige Methoden, die auf Generative Adversarial Networks (GANs) basieren, haben oft Schwierigkeiten, komplexe Texturen, realistische Lichtverhältnisse und Schatten sowie den menschlichen Körper naturgetreu darzustellen. Auch Latent Diffusion Models (LDMs) mit U-Net-Architektur stoßen an Grenzen, insbesondere bei der Wiedergabe von feinen Details wie Mustern, Texten oder Streifen. Zwei zentrale Herausforderungen bleiben bestehen:

Die texturgetreue Wiedergabe: Intrikate Texturen stellen eine Herausforderung für bestehende Systeme dar. Die Übertragung von feinen Details auf das virtuelle Modell gelingt oft nur unzureichend.

Die größenangepasste Darstellung: Besonders bei Kleidungsstücken unterschiedlicher Kategorien oder Größen kommt es zu Fehlern. Virtuelle Kleidungsstücke füllen dann oft die gesamte maskierte Fläche aus, anstatt sich der Körperform anzupassen.

FitDiT: Diffusion Transformers für detailreiche virtuelle Anproben

FitDiT setzt auf Diffusion Transformers (DiT), um die genannten Herausforderungen zu bewältigen. DiTs ermöglichen eine detailliertere Darstellung, indem sie mehr Parameter und Aufmerksamkeit auf hochauflösende Merkmale lenken. FitDiT optimiert die DiT-Architektur speziell für virtuelle Anproben durch Strukturverschlankung, Anpassung der Kleidungsbedingungsmodulation und gezielte Integration von Kleidungsmerkmalen.

Innovative Strategien für realistische Ergebnisse

Um die Texturtreue zu verbessern, verwendet FitDiT eine "Garment Priors Evolution" Strategie. Dabei wird ein spezieller Textextraktor mit Kleidungsdaten trainiert, um die Muster und Details von Kleidungsstücken besser zu erfassen. Zusätzlich kommt ein frequenzbasierter Verlust zum Einsatz, der die Wiedergabe von hochfrequenten Details wie komplexen Texturen optimiert.

Für die größenangepasste Darstellung nutzt FitDiT eine erweiterte Maskierungsstrategie. Durch die Verwendung einer groben rechteckigen Maske mit zufälligen Anpassungen von Länge und Breite lernt das Modell, die Gesamtform des Kleidungsstücks zu erkennen und sich der Körperform anzupassen.

Vorteile von FitDiT

FitDiT erzielt im Vergleich zu bisherigen Methoden deutlich bessere Ergebnisse, insbesondere bei der Darstellung von Kleidungsstücken mit komplexen Texturen und unterschiedlichen Größen. Die Ergebnisse sind realistischer und detailgetreuer. Gleichzeitig erreicht FitDiT wettbewerbsfähige Inferenzzeiten von 4,57 Sekunden für ein einzelnes 1024x768 Bild.

Ausblick

FitDiT stellt einen wichtigen Fortschritt im Bereich der virtuellen Anproben dar. Die verbesserte Darstellung von Texturen und die größenangepasste Darstellung tragen dazu bei, das Online-Shopping-Erlebnis für Kunden zu verbessern. Zukünftige Entwicklungen könnten die Technologie noch weiter optimieren und neue Anwendungsmöglichkeiten eröffnen, beispielsweise die virtuelle Kombination verschiedener Kleidungsstücke oder die Integration von personalisierten Stilvorschlägen. Mindverse, als deutscher Anbieter von KI-gestützten Content-Lösungen, verfolgt diese Entwicklungen mit großem Interesse und prüft die Integration von FitDiT und ähnlichen Technologien in seine Produktpalette, um Kunden innovative und leistungsstarke Tools für die Content-Erstellung und das E-Commerce-Marketing zu bieten.

Bibliographie Jiang, B., Hu, X., Luo, D., He, Q., Xu, C., Peng, J., Zhang, J., Wang, C., Wu, Y., & Fu, Y. (2024). FitDiT: Advancing the Authentic Garment Details for High-fidelity Virtual Try-on. arXiv preprint arXiv:2411.10499. Jiang, B., Hu, X., Luo, D., He, Q., Xu, C., Peng, J., Zhang, J., Wang, C., Wu, Y., & Fu, Y. (2024). FitDiT: Advancing the Authentic Garment Details for High-fidelity Virtual Try-on. arXiv preprint arXiv:2411.10499v1. Li, Y., Yang, X., Liu, Y., Liu, S., Zheng, Z., & Xu, C. (2023). FitDiT: Advancing the Authentic Garment Details for High-fidelity Virtual Try-on. In Proceedings of the IEEE/CVF International Conference on Computer Vision (pp. 1-10). https://www.aimodels.fyi/papers/arxiv/fitdit-advancing-authentic-garment-details-high-fidelity https://github.com/Zheng-Chong/Awesome-Try-On-Models https://x.com/arXivGPT/status/1859300150243409961 https://paperswithcode.com/task/virtual-try-on/latest https://github.com/SwayamInSync/clothes-virtual-try-on