Ideogram 4.0: Fortschritte in der Open-Source-Bildgenerierung

Ideogram 4.0: Ein neuer Meilenstein in der Open-Source-Bildgenerierung

Ideogram AI hat mit der Veröffentlichung von Ideogram 4.0 einen neuen Diffusion Transformer vorgestellt, der darauf abzielt, die Grenzen der Bildgenerierung zu erweitern und die Open-Source-Gemeinschaft zu stärken. Dieses Modell, das mit 9,3 Milliarden Parametern ausgestattet ist und von Grund auf neu trainiert wurde, bietet eine bemerkenswerte Kombination aus Leistung und Zugänglichkeit.

Architektur und Training: Präzision durch strukturierte Daten

Ein zentraler Aspekt von Ideogram 4.0 ist sein Trainingsansatz. Das Modell wurde auf detaillierten, strukturierten JSON-Prompts trainiert. Diese Prompts enthalten nicht nur umfassende Beschreibungen jedes Elements im Bild, sondern auch deren Bounding-Box-Koordinaten. Dieser Ansatz, der dem Diffusionsmodell so viele Informationen wie möglich zur Verfügung stellt, zielt darauf ab, die Ausgabequalität und die Trainingsgeschwindigkeit signifikant zu verbessern.

Die Architektur von Ideogram 4.0 besteht aus vier Schlüsselkomponenten:

• Einem eingefrorenen Qwen3-VL-8B Text-Encoder.
• Einem 34-Schichten Single-Stream DiT (Diffusion Transformer).
• Einem Flow-Matching Euler Sampler mit asymmetrischer CFG (Classifier-Free Guidance).
• Einem eingefrorenen FLUX.2 VAE (Variational Autoencoder).

Der einzige trainierbare Bestandteil des Modells ist der 9,3 Milliarden Parameter umfassende Single-Stream DiT. Dieser nutzt Self-Attention, QK-RMSNorm und 3D Multimodal RoPE (Rotary Positional Embeddings), um Text- und Bild-Token in einem einzigen Positionsrahmen für ein Flow-Matching-Ziel zu platzieren. Der verwendete Text-Encoder, Qwen3-VL-8B, ist ein Vision-Language Model (VLM), was bedeutet, dass derselbe Encoder nicht nur Text, sondern auch Bilder zur Bearbeitung verarbeiten kann. Der DiT konsumiert verborgene Zustände aus 13 Zwischenschichten, die entlang der Feature-Dimension verkettet sind, anstatt eines einzelnen verborgenen Zustands.

Zugänglichkeit und Offenheit: Innovation für alle

Ein wesentliches Merkmal von Ideogram 4.0 ist seine Betonung der Offenheit. Das Team von Ideogram AI vertritt die Ansicht, dass Offenheit Innovation fördert. Entsprechend wurden sowohl fp8- als auch nf4-Checkpoints in den Repositories bereitgestellt. Die nf4-Variante ist dabei so optimiert, dass sie auf einer einzelnen 24 GB GPU ausgeführt werden kann. Dies senkt die Eintrittsbarriere für Entwickler und Forscher erheblich und ermöglicht es einer breiteren Gemeinschaft, das Modell zu nutzen und weiterzuentwickeln.

Um die Nutzung der strukturierten JSON-Prompts zu erleichtern, hat Ideogram AI ein Prompt-Enhancement-Modell entwickelt. Dieses Modell wandelt natürliche Sprache in das erforderliche JSON-Format um und ist über eine kostenlose API zugänglich. Zusätzlich wurde ein System-Prompt als Open Source zur Verfügung gestellt, um die gleiche Konvertierung mit handelsüblichen Large Language Models (LLMs) zu ermöglichen.

Leistung und zukünftige Perspektiven

Die Entwickler von Ideogram AI positionieren Ideogram 4.0 als das beste verfügbare Open-Weight-Bildmodell, das die Lücke zu proprietären Foundation Models schließen soll. Trotz seiner Leistungsfähigkeit handelt es sich bei dem Modell mit 9,3 Milliarden Parametern noch nicht um die Skalierungsgrenze. Es wird erwartet, dass weitere Skalierungen zu zusätzlichen Leistungsverbesserungen führen werden.

Diese Veröffentlichung unterstreicht den anhaltenden Trend zur Demokratisierung fortschrittlicher KI-Technologien. Durch die Bereitstellung leistungsstarker Modelle und der notwendigen Werkzeuge in einer quelloffenen Form trägt Ideogram AI dazu bei, die Innovationskraft der gesamten KI-Gemeinschaft zu stärken und neue Anwendungsfelder für die Bildgenerierung zu erschließen.

Quellen:

- Hugging Face Blog: "Welcome Llama 4 Maverick & Scout on Hugging Face" (URL: https://github.com/huggingface/blog/blob/main/llama4-release.md)
- Hugging Face: nvidia/Llama-3.1-8B-Instruct-NVFP4 (URL: https://huggingface.co/nvidia/Llama-3.1-8B-Instruct-NVFP4)
- Hugging Face Blog: "Llama 3.1 - 405B, 70B & 8B with multilinguality and long context" (URL: https://github.com/huggingface/blog/blob/main/llama31.md)
- Hugging Face: diffusers/t5-nf4 (URL: https://huggingface.co/diffusers/t5-nf4/tree/main)
- Hugging Face: JongYeop/Llama-3.1-8B-Instruct-NVFP4-W4A4 (URL: https://huggingface.co/JongYeop/Llama-3.1-8B-Instruct-NVFP4-W4A4)
- Hugging Face: nvidia/DeepSeek-V4-Pro-NVFP4 (URL: https://huggingface.co/nvidia/DeepSeek-V4-Pro-NVFP4)
- Hugging Face: nvidia/Phi-4-multimodal-instruct-FP8 (URL: https://huggingface.co/nvidia/Phi-4-multimodal-instruct-FP8)
- Hugging Face: mconcat/Trinity-Large-Base-NVFP4 (URL: https://huggingface.co/mconcat/Trinity-Large-Base-NVFP4)
- Hugging Face: nvidia/Qwen3-8B-NVFP4 (URL: https://huggingface.co/nvidia/Qwen3-8B-NVFP4/tree/main)
- Google Blog: "Gemma 4 with quantization-aware training" (URL: https://blog.google/innovation-and-ai/technology/developers-tools/quantization-aware-training-gemma-4/)
- X.com: @ideogram_ai (URL: https://x.com/ideogram_ai/status/2062956472489922584)