Neues KI-Modell JanusCoder vereint Programmierung und visuelles Design in einer Plattform
Inhaltsverzeichnis
Optimieren Sie Prozesse, automatisieren Sie Workflows und fördern Sie Zusammenarbeit – alles an einem Ort.
Das Wichtigste in Kürze
- JanusCoder ist ein neues KI-Modell, das Code-Generierung und visuelle Ausgabe in einem einzigen System vereint.
- Das Modell wurde auf dem JanusCode-800K Datensatz trainiert, der eine Balance zwischen text- und bildbasierten Aufgaben herstellt und Domänenübergreifendes Lernen ermöglicht.
- JanusCoder-Modelle mit 7B bis 14B Parametern erreichen oder übertreffen die Leistung größerer kommerzieller Modelle in Benchmarks.
- Das System ermöglicht Entwicklern die Erstellung komplexer visueller Anwendungen, ohne zwischen verschiedenen KI-Tools wechseln zu müssen.
- JanusCoder ist Open Source und als Standard für multimodale Code-Intelligenz konzipiert.
Die Verschmelzung von Programmierung und visuellem Design stellt eine zentrale Herausforderung in der Softwareentwicklung dar. Traditionell werden diese Bereiche oft getrennt behandelt, was zu einem fragmentierten Workflow und der Notwendigkeit führt, verschiedene Tools und Modelle zu verwenden. Eine internationale Forschungsgruppe hat mit JanusCoder und dessen Variante JanusCoderV ein multimodales System entwickelt, das darauf abzielt, diese Lücke zu schließen und einen einheitlichen Ansatz für die Code-Generierung und visuelle Gestaltung zu bieten.
Einheitliche Entwicklungsumgebung durch multimodale KI
Die meisten bestehenden KI-Modelle betrachten die Code-Generierung und die Erstellung visueller Inhalte als separate Aufgaben. Dies zwingt Entwickler dazu, für jede Anforderung unterschiedliche Lösungen zu nutzen. JanusCoder wurde konzipiert, um diese Funktionen in einer einzigen, vereinheitlichten Schnittstelle zu bündeln. Dies ermöglicht es Entwicklern, Web-UIs, Diagramme und Animationen direkt aus Code-Anweisungen zu generieren und zu bearbeiten.
Dieser integrierte Ansatz soll die Konsistenz in Projekten verbessern, beispielsweise durch die durchgängige Verwendung derselben Farbpalette. JanusCoder unterstützt dabei mehrere Programmiersprachen und kann Code für Matplotlib-Plots, interaktive Webanwendungen, wissenschaftliche Demonstrationen und mathematische Animationen erstellen. Das System verarbeitet sowohl Textprompts als auch visuelle Eingaben, wie Screenshots oder Diagramme, und wandelt diese in funktionsfähigen Code um.
Grundlagen und Trainingsmethodik
Das Fundament von JanusCoder bildet der JanusCode-800K Datensatz, der von den Forschenden als der bisher größte multimodale Datensatz für Code-Intelligenz beschrieben wird. Dieser Datensatz wurde mithilfe eines spezifischen Toolkits erstellt, das verschiedene Strategien zur Generierung und Verbesserung von Trainingsdaten kombiniert. JanusCode-800K ist nahezu gleichmäßig aufgeteilt: 50,9 Prozent textzentrierte Aufgaben und 49,1 Prozent visionszentrierte Aufgaben.
Kreuzdomänenlernen und Qualitätskontrolle
Ein wesentlicher Bestandteil des JanusCoder-Ansatzes ist das sogenannte Kreuzdomänenlernen. Hierbei werden Fähigkeiten aus einem Bereich genutzt, um Ergebnisse in einem anderen zu verbessern. Zum Beispiel kann das Training mit R-Code die Resultate für Mathematica-Probleme verbessern, während Ausgaben von Python-Visualisierungen die Genauigkeit bei der Chart-zu-Code-Umwandlung steigern können.
Um die Qualität der visuellen Ausgaben sicherzustellen, wurde ein umfangreicher Qualitätskontrollprozess implementiert. Dieser Prozess nutzt Vision-Language-Modelle, um vier Kriterien zu überprüfen:
- Aufgabenrelevanz
- Vollständigkeit
- Code-Qualität
- Visuelle Klarheit
Nur die besten Samples, die diese Prüfungen bestehen, werden in den finalen Datensatz aufgenommen.
Leistungsvergleich mit kommerziellen Modellen
In umfassenden Tests zeigte sich, dass die JanusCoder-Modelle mit 7 Milliarden bis 14 Milliarden Parametern die Leistung führender kommerzieller Modelle, die oft deutlich größer sind, erreichen oder sogar übertreffen können. Bei Python-Visualisierungs-Benchmarks erreichte JanusCoder-14B eine Fehlerrate von 9,7 Prozent, was vergleichbar mit der Leistung von GPT-4o ist.
JanusCoderV zeigte insbesondere bei "Chart-to-Code"-Aufgaben eine starke Leistung und übertraf in einigen Fällen sogar GPT-4o auf dem ChartMimic-Benchmark. Obwohl es bei der Generierung von Webseiten nicht immer führend war, erzielte JanusCoder erhebliche Fortschritte in Bezug auf visuelle Qualität und Code-Struktur bei der Generierung von Webseiten aus Screenshots und der Erstellung wissenschaftlicher Demos.
Die Modelle konnten sich auch in allgemeinen Coding-Tests behaupten und übertrafen sogar spezialisierte Datenvisualisierungsmodelle wie VisCoder. Dies deutet auf eine ausgewogene Leistungsfähigkeit bei der visuellen Inhaltserstellung und der allgemeinen Coding-Fähigkeit hin.
Bedeutung des Designs und Open-Source-Ansatz
Experimente unterstrichen die Wichtigkeit des Modell-Designs: Das Entfernen von Datenkategorien während des Trainings führte zu einem Leistungsabfall, was den Wert des Kreuzdomänenlernens hervorhebt. Ebenso führte das Weglassen der visuellen Qualitätsprüfungen zu schlechteren Ergebnissen. Der Ansatz erwies sich als wirksam über verschiedene Basismodelle hinweg, von Qwen3 bis InternVL, und über verschiedene Größenordnungen. Alle profitierten vom JanusCode-800K Datensatz.
JanusCoder ist als Open-Source-Projekt auf GitHub verfügbar und soll einen Standard für multimodale Code-Intelligenz etablieren. Das Projekt richtet sich an Entwickler, die komplexe visuelle Anwendungen erstellen möchten, ohne zwischen verschiedenen KI-Tools wechseln zu müssen. Diese Entwicklung reiht sich in einen breiteren Trend in der KI ein, bei dem Unternehmen wie Meta ebenfalls Modelle entwickeln, die über die reine Code-Generierung hinausgehen und verstehen sollen, wie Code in realen Anwendungen eingesetzt wird.
Die Einführung von JanusCoder könnte einen wichtigen Schritt in Richtung einer effizienteren und kohärenteren Softwareentwicklung darstellen, indem die Grenzen zwischen Programmierung und visuellem Design weiter verwischt werden und Entwicklern leistungsstarke, integrierte Werkzeuge zur Verfügung gestellt werden.
Bibliography - Sun, Q., Gong, J., Liu, Y., Chen, Q., Li, L., Chen, K., Guo, Q., Kao, B., & Yuan, F. (2025). JanusCoder: Towards a Foundational Visual-Programmatic Interface for Code Intelligence. arXiv preprint arXiv:2510.23538. - InternLM. (2025). JanusCoder: Towards a Foundational Visual-Programmatic ... - GitHub. Verfügbar unter: https://github.com/InternLM/JanusCoder - Kemper, J. (2025). JanusCoder unites programming and visual design in one multimodal system. The Decoder. Verfügbar unter: https://the-decoder.com/januscoder-unites-programming-and-visual-design-in-one-multimodal-system/ - The Decoder - EVERYTHING AI. (2025). THE DECODER - EVERYTHING AI's Post. LinkedIn. Verfügbar unter: https://www.linkedin.com/posts/the-decoder-en_januscoder-unites-programming-and-visual-activity-7392896455600148481-Ae0K - Hugging Face. (2025). internlm/JanusCoder-14B. Verfügbar unter: https://huggingface.co/internlm/JanusCoder-14B - ICLR 2026 Conference Submission. (2025). JanusCoder: Towards a Foundational Visual-Programmatic Interface... OpenReview. Verfügbar unter: https://openreview.net/forum?id=N4BB09TXad - Sonusahani. (2025). JanusCoder Vision 8B Install Locally. sonusahani.com. Verfügbar unter: https://sonusahani.com/blogs/januscoder - ChatPaper. (2025). JanusCoder: Towards a Foundational Visual-Programmatic ... Verfügbar unter: https://chatpaper.com/paper/203748Artikel jetzt als Podcast anhören
.svg){kind=logo}
.png){kind=logo}
