NVIDIA stellt neuen Datensatz zur Sicherheit agentischer KI-Systeme vor

NVIDIA veröffentlicht Datensatz zur Sicherheit agentischer KI-Systeme: Ein Schritt zur Stärkung der Resilienz

In der dynamischen Landschaft der künstlichen Intelligenz, insbesondere im Bereich der agentischen Systeme, gewinnen Fragen der Sicherheit und Robustheit zunehmend an Bedeutung. NVIDIA hat kürzlich einen bedeutenden Beitrag zu diesem Feld geleistet, indem es einen umfassenden Datensatz zur agentischen Sicherheit auf Hugging Face veröffentlichte. Dieser Datensatz, bestehend aus 1.272 synthetischen Red-Teaming-Datensätzen, zielt darauf ab, die Fähigkeit von KI-Agenten zu testen, indirekten Prompt-Injections zu widerstehen, die in von Tools zurückgegebenen Daten verborgen sind.

Die Herausforderung indirekter Prompt-Injections

Agentische KI-Systeme, die zunehmend in Unternehmensumgebungen eingesetzt werden, sind darauf ausgelegt, Aufgaben autonom zu planen, Werkzeuge zu nutzen und Entscheidungen zu treffen. Diese erweiterte Autonomie bringt jedoch neue Sicherheitsrisiken mit sich, insbesondere im Hinblick auf sogenannte indirekte Prompt-Injections. Im Gegensatz zu direkten Injections, bei denen böswillige Anweisungen direkt in den Benutzereingaben enthalten sind, verstecken sich indirekte Injections in Daten, die von externen Tools oder Systemen an den Agenten zurückgegeben werden. Ein Agent könnte beispielsweise eine E-Mail verarbeiten, die scheinbar harmlos ist, aber verdeckte Anweisungen enthält, die ihn dazu veranlassen, unerwünschte Aktionen auszuführen.

Diese Art von Angriff stellt eine besondere Herausforderung dar, da die bösartigen Anweisungen nicht offensichtlich sind und in einem Kontext auftreten, der vom Agenten als vertrauenswürdig eingestuft werden könnte. Die Auswirkungen solcher Angriffe können weitreichend sein, von Datenlecks bis hin zur Manipulation von Systemen oder der Generierung schädlicher Inhalte.

Der Nemotron-AIQ-Agentic-Safety-Datensatz

Der von NVIDIA veröffentlichte „Nemotron-AIQ-Agentic-Safety-Dataset-1.0“ ist ein Versuch, diese komplexen Sicherheitsrisiken systematisch zu erfassen und zu analysieren. Er wurde entwickelt, um eine breite Palette neuartiger sicherheitsrelevanter Kontextrisiken zu identifizieren, die in agentischen Systemen auftreten können. Der Datensatz umfasst 1.272 synthetische Red-Teaming-Einträge, die neun verschiedene Unternehmensbereiche abdecken. Diese Einträge sind speziell darauf ausgelegt, Szenarien zu simulieren, in denen Werkzeuge nutzende Agenten indirekten Prompt-Injections widerstehen müssen, die in den von Tools zurückgegebenen Daten verborgen sind.

Ein zentrales Element des Datensatzes ist die Demonstration der Robustheit von NVIDIAs offenem Modell, Llama-3.3-Nemotron-Super-49b-v1, wenn es als Forschungsassistent innerhalb von AIQ eingesetzt wird. Dies zeigt die Fähigkeit des Modells, eine Vielzahl von agentischen Sicherheits- und Schutzherausforderungen zu bewältigen.

Ziele und Anwendungsbereiche des Datensatzes

Die Veröffentlichung dieses Datensatzes verfolgt mehrere Ziele:

• Forschungsförderung: Angesichts der aktuellen Knappheit an Datensätzen und führenden Gedanken im Bereich der agentischen Sicherheit und des Schutzes zielt dieser Datensatz darauf ab, Forschungs- und Entwicklungsbemühungen in diesem kritischen Bereich voranzutreiben.
• Evaluierung von Agenten: Entwickler und Forscher können den Datensatz nutzen, um die Leistung verschiedener Agenten bei der Identifizierung und Minderung solcher Risiken zu bewerten. Dies ermöglicht einen direkten Vergleich von Sicherheitsmechanismen und Strategien.
• Verständnis von Risikomechanismen: Der Datensatz bietet die Möglichkeit zu analysieren, wie agentische Sicherheitsrisiken entstehen und sich innerhalb von agentischen Systemen auf Unternehmensebene manifestieren.
• Open-Source-Beitrag: Durch die Bereitstellung als Open-Source-Ressource auf Hugging Face wird die Zusammenarbeit innerhalb der KI-Gemeinschaft gefördert und ein breiterer Zugang zu wichtigen Sicherheitsdaten ermöglicht.

Ein breiterer Kontext: Sicherheitsframeworks für agentische Systeme

Die Initiative von NVIDIA ist Teil eines breiteren Trends zur Entwicklung robuster Sicherheitsframeworks für agentische KI-Systeme. Forschungsergebnisse von NVIDIA und Partnern wie Lakera AI haben gezeigt, dass die Sicherheit und der Schutz nicht nur feste Attribute einzelner Modelle sind, sondern auch emergente Eigenschaften, die aus den dynamischen Interaktionen zwischen Modellen, Orchestratoren, Tools und Daten innerhalb ihrer Betriebsumgebungen entstehen.

Ein solches Framework beinhaltet typischerweise:

• Eine Taxonomie von Risiken, um die verschiedenen Angriffsvektoren zu klassifizieren.
• Dynamische Bewertungsmethoden, um die Sicherheit in realen Arbeitsabläufen zu messen.
• Fallstudien, wie die des NVIDIA AI-Q Research Assistant, um die Anwendung des Frameworks zu demonstrieren.

Diese Arbeiten unterstreichen die Notwendigkeit, Sicherheit nicht als nachträglichen Gedanken, sondern als integralen Bestandteil des Designs und der Implementierung agentischer KI-Systeme zu betrachten.

Die Bedeutung für B2B-Anwendungen

Für Unternehmen, die KI-Technologien einsetzen oder entwickeln, sind diese Entwicklungen von großer Relevanz. Die Sicherheit agentischer Systeme ist entscheidend für den Schutz sensibler Unternehmensdaten, die Aufrechterhaltung der Betriebsintegrität und die Sicherstellung der Compliance. Ein robuster Umgang mit indirekten Prompt-Injections und anderen Sicherheitsrisiken ist unerlässlich, um das Vertrauen in KI-gestützte Prozesse zu gewährleisten.

Die Verfügbarkeit von Datensätzen wie dem von NVIDIA ermöglicht es Unternehmen, ihre eigenen agentischen Systeme proaktiv auf Schwachstellen zu testen und zu härten. Dies führt zu widerstandsfähigeren und zuverlässigeren KI-Anwendungen, die den anspruchsvollen Anforderungen des B2B-Umfelds gerecht werden können.

Zusammenfassung und Ausblick

Die Veröffentlichung des Nemotron-AIQ-Agentic-Safety-Datensatzes durch NVIDIA stellt einen wichtigen Fortschritt in der Forschung und Entwicklung sicherer agentischer KI-Systeme dar. Indem es eine standardisierte Ressource für das Red-Teaming und die Evaluierung bereitstellt, leistet NVIDIA einen wertvollen Beitrag zur Stärkung der Resilienz von KI-Agenten gegenüber komplexen Angriffsvektoren wie indirekten Prompt-Injections. Diese Initiative wird voraussichtlich die Entwicklung robusterer und vertrauenswürdigerer KI-Lösungen in verschiedenen Branchen vorantreiben und ist ein klares Signal für die wachsende Bedeutung von Sicherheit in der KI-Entwicklung.

Bibliografie

- NVIDIA. (2025). NVIDIA-NeMo/Gym. Abgerufen von https://github.com/NVIDIA-NeMo/gym - NVIDIA-AI-Blueprints. (2025). NVIDIA-AI-Blueprints/safety-for-agentic-ai. Abgerufen von https://github.com/NVIDIA-AI-Blueprints/safety-for-agentic-ai - NVIDIA. (2025). nvidia/Nemotron-AIQ-Agentic-Safety-Dataset-1.0. Hugging Face. Abgerufen von https://huggingface.co/datasets/nvidia/Nemotron-AIQ-Agentic-Safety-Dataset-1.0 - Ghosh, S., Simkin, B., Shiarlis, K., Nandi, S., Zhao, D., Fiedler, M., ... & Richardson, B. (2025). A Safety and Security Framework for Real-World Agentic Systems. arXiv preprint arXiv:2511.21990. Abgerufen von https://arxiv.org/pdf/2511.21990 - Markovic, S. (2025, 8. Dezember). NVIDIA research shows how agentic AI fails under attack. Help Net Security. Abgerufen von https://www.helpnetsecurity.com/2025/12/08/nvidia-agentic-ai-security-framework/ - Teixeira, D. (2026, 20. April). Mitigating Indirect AGENTS.md Injection Attacks in Agentic Environments. NVIDIA Technical Blog. Abgerufen von https://developer.nvidia.com/blog/mitigating-indirect-agents-md-injection-attacks-in-agentic-environments/ - Zhu, W., Dong, X., Chen, X., Cai, R., Qiu, P., Wang, Z., ... & Wang, Y. (2026). Your Agent is More Brittle Than You Think: Uncovering Indirect Injection Vulnerabilities in Agentic LLMs. arXiv preprint arXiv:2604.03870. Abgerufen von https://arxiv.org/html/2604.03870 - NVIDIA. (o. J.). NVIDIA/NeMo-Agent-Toolkit/examples/safety_and_security/retail_agent/README.md. Abgerufen von https://github.com/NVIDIA/NeMo-Agent-Toolkit/blob/develop/examples/safety_and_security/retail_agent/README.md - Fujitsu. (o. J.). Fujitsu/agentic-rag-redteam-bench. Hugging Face. Abgerufen von https://huggingface.co/datasets/Fujitsu/agentic-rag-redteam-bench