Neue ControlNets für Stable Diffusion 3.5 Large erweitern kreative Möglichkeiten für Nutzer

Neue ControlNets für Stable Diffusion 3.5 Large erweitern kreative Möglichkeiten

Stability AI hat drei neue ControlNets für Stable Diffusion 3.5 Large veröffentlicht: Blur, Canny und Depth. Diese Erweiterung bietet Nutzern präzisere Kontrolle über die Bildgenerierung und eröffnet neue kreative Anwendungsfelder. Die Modelle sind unter der Stability AI Community License sowohl für kommerzielle als auch für nicht-kommerzielle Zwecke kostenlos verfügbar, mit bestimmten Umsatzbeschränkungen für die kommerzielle Nutzung.

Die drei neuen ControlNets im Detail

Jedes der drei neuen Modelle nutzt unterschiedliche Eingabemethoden, um die Bildgenerierung zu steuern und zu verfeinern:

Blur: Ermöglicht hochauflösendes Upscaling bis zu 8K und 16K. Besonders nützlich ist die Möglichkeit, niedrigauflösende Bilder in große, detailreiche Visuals umzuwandeln, indem das Bild in Kacheln zerlegt, jede Kachel mit dem ControlNet bearbeitet und anschließend wieder zusammengefügt wird.

Canny: Verwendet Canny-Kantenkarten, um die Struktur der generierten Bilder zu beeinflussen. Diese Methode eignet sich besonders für Illustrationen, kann aber für verschiedene Stile angepasst werden.

Depth: Nutzt Tiefenkarten, die beispielsweise mit DepthFM erstellt werden können, um die Bildgenerierung zu lenken. Anwendungsbeispiele sind architektonische Renderings, die Texturierung von 3D-Assets und andere Szenarien, die eine präzise Kontrolle über die Bildkomposition erfordern.

Einfache Integration und Verfügbarkeit

Die Modellgewichte sind auf Hugging Face verfügbar, der Code auf GitHub. ComfyUI bietet bereits Unterstützung für die neuen ControlNets. Dies ermöglicht eine einfache Integration in bestehende Workflows und erleichtert den Zugang für Nutzer.

Lizenzierung und zukünftige Entwicklungen

Die neuen ControlNets stehen unter der Stability AI Community License. Diese erlaubt die kostenlose Nutzung für nicht-kommerzielle Zwecke, einschließlich Forschung. Für kommerzielle Nutzung ist die Lizenz ebenfalls kostenlos, sofern der Jahresumsatz unter 1 Million US-Dollar liegt. Für Unternehmen mit höherem Umsatz bietet Stability AI Enterprise-Lizenzen an.

Stability AI plant die Veröffentlichung weiterer ControlNet-Modelle, darunter Varianten für Stable Diffusion 3.5 Medium (2B) und neue Kontrolltypen. Diese zukünftigen Erweiterungen sollen die Funktionalität und die kreativen Möglichkeiten von Stable Diffusion weiter verbessern. Nutzer können sich auf weitere Innovationen im Bereich der KI-gestützten Bildgenerierung freuen.

Bedeutung für Mindverse und seine Nutzer

Die Veröffentlichung der neuen ControlNets ist auch für Mindverse, die deutsche All-in-One-Plattform für KI-Text, -Inhalte, -Bilder und -Recherche, von Bedeutung. Mindverse fungiert als KI-Partner und entwickelt maßgeschneiderte Lösungen wie Chatbots, Voicebots, KI-Suchmaschinen und Wissenssysteme. Durch die Integration der neuen ControlNets in die Plattform können Mindverse-Nutzer von den erweiterten Möglichkeiten der Bildgenerierung profitieren und ihre kreativen Projekte noch präziser und effizienter umsetzen. Die neuen ControlNets unterstreichen das Engagement von Stability AI und Mindverse für Innovation und Benutzerfreundlichkeit im Bereich der generativen KI.

Bibliographie

1. https://stability.ai/news/sd3-5-large-controlnets
2. https://blog.comfy.org/sd3-5-large-controlnet/
3. https://twitter.com/StabilityAI/status/1861430199587611091
4. https://huggingface.co/stabilityai/stable-diffusion-3.5-controlnets
5. https://huggingface.co/stabilityai/stable-diffusion-3.5-large-controlnet-blur
6. https://twitter.com/btibor91/status/1861506709010964492
7. https://alternativeto.net/news/2024/11/stable-diffusion-3-5-large-launches-three-new-free-controlnet-models-blur-canny-and-depth/
8. https://www.all-ai.de/news/top-news24/stable-diffusion-3-5-so-ver%C3%A4ndern-neue-controlnets-alles