Ettin-pii verbindet PII-Erkennung mit Redigierfunktionen – externe Tests zeigen Grenzen

Was das 68-Millionen-Modell laut Model Card leistet

Die Model Card beschreibt Ettin-68M als Token-Klassifikator auf Basis des Ettin-Encoder-Modells mit 68 Millionen Parametern. Sie gibt an, dass das Modell auf dem Nemotron-PII-Datensatz feinabgestimmt wurde und englischsprachige Texte verarbeitet. Bei einer Token-Klassifikation ordnet das Modell Textbestandteilen Klassen zu; aus den markierten Bestandteilen lassen sich anschließend erkannte Entitäten zusammensetzen. [6]

Für einen Testausschnitt mit 10.000 Beispielen aus dem Nemotron-PII-Datensatz nennt die Model Card einen Micro-F1 von 96,27 Prozent, eine Präzision von 96,35 Prozent und einen Recall von 96,19 Prozent. Diese Zahlen stammen aus den Unterlagen des Modellanbieters und beschreiben die angegebene Auswertung auf diesem Datensatz. Sie sind keine unabhängige Messung der Leistung in Unternehmensdaten. [6]

Auch die Ergebnisse je Kategorie sind unterschiedlich. Für occupation weist die Model Card einen F1-Wert von 0,6232 aus, bei einer Präzision von 0,7200 und einem Recall von 0,5493. Für time nennt sie einen F1-Wert von 0,7934. Ein Gesamtwert kann also Unterschiede zwischen Entitätstypen verdecken, die für einen konkreten Prozess entscheidend sein können. [6]

Die verfügbaren Unterlagen legen für diese Testauswertung keine Konfidenzintervalle oder detaillierten Fallzahlen pro Label vor. Ebenso enthalten sie keinen unabhängigen Vergleich, der die Ergebnisse nach Branche, Sprache und Dokumenttyp aufschlüsselt. Die Model Card nennt außerdem occupation als eine der schwierigeren Kategorien. [6]

Entitätsumfang und Modellunterlagen sind nicht völlig einheitlich

Bei der Zahl der unterstützten Entitätstypen verwenden die Quellen unterschiedliche Angaben. Das Repository spricht allgemein von mehr als 50 Typen; die Model Card für Ettin-68M führt 55 Kategorien auf. Ein externer Detektorkatalog zählt für diesen Modell-Eintrag 53 Bezeichnungen. Die Dokumente erläutern nicht, ob diese Differenz durch unterschiedliche Versionen, Zählweisen oder Label-Zuordnungen entsteht. [1][4][6]

Die Model Card listet unter anderem E-Mail-Adressen, Telefonnummern, Ausweis- und Kontonummern, IP-Adressen, Gesundheitskennungen und Geburtsdaten. Das ist eine breite Taxonomie, belegt aber nicht, dass jedes Label in jedem Texttyp gleich zuverlässig erkannt wird. Für Integrationen sollten Sie deshalb prüfen, welche Bezeichnungen die konkret eingesetzte Modellversion tatsächlich ausgibt und welche davon für Ihren Anwendungsfall nötig sind. [6]

Auch der Dokumentationsumfang ist zwischen den bereitgestellten Modellunterlagen nicht gleich. Die Model Card für die 68-Millionen-Variante enthält Angaben zu Datensatz, Sprache, Lizenz und Testergebnissen. Die vorliegende Karte für das 17-Millionen-Modell ist dagegen als automatisch erzeugte Vorlage gekennzeichnet und lässt wesentliche Felder, darunter Training, Evaluation und Lizenz, offen. [2][6]

Eine weitere Quelle hält für Ettin-68M eine Überschneidung mit Nemotron-PII als Trainingsquelle fest; die Model Card nennt denselben Datensatz als Grundlage der Feinabstimmung. Der Katalog weist zugleich darauf hin, dass ein solcher Quellenhinweis weder eine Datenmemorierung beweist noch widerlegt. Für die Bewertung von Testresultaten ist daher relevant, welche Daten und Aufteilungen in Training und Prüfung verwendet wurden. [4][6]

Klinische Texte stellen andere Anforderungen an die Erkennung

Die externe Studie beruht auf zwei goldannotierten Sammlungen: SHIELD umfasst 1.381 klinische Notizen aus Stanford Medicine, i2b2-2014 weitere 1.304 Notizen einer anderen Institution. Die Autoren betonen, dass sich die Korpora unter anderem in Einrichtung, Dokumenttypen und Häufigkeit der annotierten Identifikatoren unterscheiden. [5]

Die Studie weist darauf hin, dass klinische Anwendungen teilweise zwischen Patientinnen und Patienten sowie medizinischem Personal unterscheiden müssen. In der Model Card für Ettin-68M sind unter anderem Vor- und Nachnamen als Kategorien aufgeführt; eine getrennte Kennzeichnung von Patient und behandelnder Person ist in der dort veröffentlichten Liste nicht ausgewiesen. Das kann für klinische Arbeitsabläufe relevant sein, lässt sich aber aus der Liste allein nicht als Ursache der Testergebnisse ableiten. [5][6]

Die Autoren der Untersuchung berichten zudem, dass die externen PII-Modelle auf ihren Korpora als nicht abgestimmte Vergleichspunkte dienten. Das klinische Modell TIDE2-Sentry erreichte im selben Versuchsaufbau höhere Recall-Werte; es wurde aus einem großen Sprachmodell destilliert und für den klinischen Erkennungskontext entwickelt. Dieser Vergleich zeigt vor allem den Einfluss von Daten und Aufgabenpassung und ist keine Aussage darüber, dass Ettin in anderen Einsatzgebieten dieselbe Leistung erzielen würde. [5]

Analyse: Wenn Sie ettin-pii für Verträge, Kundendienst, Personalunterlagen oder medizinische Dokumentation prüfen, sollten Sie die Erkennungsleistung getrennt nach den benötigten Entitätstypen messen. Die klinische Untersuchung zeigt, dass Resultate bei einem Wechsel von Datenquelle und Textsorte abweichen können; sie liefert jedoch keine Messwerte für Ihre eigenen Dokumente. [5]

Vier Redigierstrategien verändern den Text unterschiedlich

Nach einer Erkennung bietet die Bibliothek laut README vier Strategien zur Bearbeitung an. Replace ersetzt erkannte Werte durch einen Hinweis auf den Entitätstyp. Mask verdeckt Zeichen vollständig oder teilweise; dokumentierte Modi lassen etwa nur den ersten Buchstaben stehen oder maskieren jedes zweite Zeichen. Custom verwendet eine vorgegebene Zuordnung für bestimmte Typen und beschreibt einen sicheren Rückfall, wenn kein eigener Ersatzwert festgelegt ist. [1]

Die Strategie fake soll synthetische Ersatzwerte erzeugen und dabei Formatmerkmale wie Symbole, Ziffern sowie Groß- und Kleinschreibung erhalten. Das ist die Beschreibung des Projektbetreibers; die bereitgestellten Unterlagen enthalten keine unabhängige Prüfung dazu, ob solche Ersatzwerte über mehrere Dokumente hinweg konsistent sind oder Rückschlüsse ausschließen. [1]

Erkennung und Redigierung sind dabei unterschiedliche Schritte. Ein nicht erkannter Wert kann im Text verbleiben; eine fälschlich markierte Stelle kann fachlich benötigte Information verlieren. Die Studie zu TIDE 2.0 beschreibt beide Seiten als praktische Probleme der De-Identifikation und verweist darauf, dass Kennzahlen zur Erkennung allein den Erhalt des klinischen Inhalts nicht vollständig abbilden. [5]

Analyse: Eine Redigierstrategie sollte deshalb zum Zweck der Verarbeitung passen. Typmarkierungen, Maskierung und synthetische Ersatzwerte verändern Informationen unterschiedlich; aus den dokumentierten Funktionen folgt nicht automatisch, dass eine konkrete Ausgabe rechtlich anonymisiert ist oder organisatorische Datenschutzanforderungen erfüllt. [1][5]

Vor dem Produktiveinsatz bleiben eigene Prüfungen nötig

Das Repository kennzeichnet das Paket als MIT-lizenziert; die Model Card für Ettin-68M nennt ebenfalls eine MIT-Lizenz. Für das 17-Millionen-Modell lässt die bereitgestellte Modellkarte das Lizenzfeld hingegen offen. Daher sollten Sie die Bedingungen der konkret eingesetzten Modellgewichte und Abhängigkeiten getrennt vom Paket prüfen. [1][2][6]

Im README finden sich Beispiele für die Verarbeitung einzelner Texte und Dateien, aber keine numerischen Laufzeit- oder Durchsatzmessungen. Die verfügbaren Unterlagen belegen auch nicht, ob jede mögliche Konfiguration vollständig lokal arbeitet oder welche externen Datenwege ein konkretes Setup nutzt. Diese Eigenschaften müssen Sie in Ihrer Zielumgebung anhand der tatsächlich verwendeten Abhängigkeiten und Betriebsweise verifizieren. [1]

Für eine belastbare Einführung sollten Sie ein repräsentatives internes Testset verwenden und Fehlalarme sowie übersehene Informationen getrennt erfassen. Dazu gehört, die benötigten Kategorien, die gewählte Modellvariante, den Export und die Wirkung der Redigierstrategie zu prüfen. Die Funktionen von ettin-pii stellen dafür Bausteine bereit; die Anbieterkennzahlen und der klinische Fremdtest beantworten nicht, wie gut eine konkrete Konfiguration auf Ihren Daten abschneidet. [1][5][6]

Quellen

1. [1] GitHub - KalyanKS-NLP/ettin-pii: PII detection library powered by Ettin Nemotron PII model family. · GitHub — https://github.com/KalyanKS-NLP/ettin-pii (abgerufen am 2026-11-11)
2. [2] Blame for README.md · kalyan-ks/ettin-17m-nemotron-pii at dc6dcae — https://huggingface.co/kalyan-ks/ettin-17m-nemotron-pii/blame/dc6dcaee184957618e539ebe420ee4d7396bcdfb/README.md (abgerufen am 2026-11-11)
3. [4] pii-arena/docs/models.md at main · Quakeer444/pii-arena · GitHub — https://github.com/Quakeer444/pii-arena/blob/main/docs/models.md (abgerufen am 2026-11-11)
4. [5] TIDE 2.0: an open, model-agnostic engine for keyed de-identification of clinical notes — https://arxiv.org/html/2610.07224v1 (abgerufen am 2026-11-11)
5. [6] Update README.md · kalyan-ks/ettin-68m-nemotron-pii at 6602537 — https://huggingface.co/kalyan-ks/ettin-68m-nemotron-pii/commit/66025377dc530abaa3a50d1c3207ebec1d7440ba (abgerufen am 2026-11-11)