Zum Inhalt springen
Unternehmen & Märkte 7 Min. Lesezeit

CurvDelta soll Modellanpassungen mit weniger Verlust bestehender Fähigkeiten ermöglichen

Mindverse News

KI-gestützt erstellt, vor Veröffentlichung redaktionell geprüft 2 Quellen

KI-generierte Illustration: CurvDelta soll Modellanpassungen mit weniger Verlust bestehender Fähigkeiten ermöglichen
KI-generierte Illustration

Das Wichtigste in Kürze

  • CurvDelta parametrisiert die tatsächlich angewendete Gewichtsänderung so, dass sie während des Trainings in einem lokal berechneten Niedrigkrümmungsraum bleibt. [1][2]
  • In Tests zu Mathematik, Codegenerierung und selektivem Vergessen berichten die Autoren von einem günstigeren Verhältnis zwischen Zielaufgabe und Erhalt anderer Fähigkeiten. [1][2]
  • Eine kontrollierte Ablation mit gleichem Projektionsraum und Adam zeigte bei zwei Lernraten höhere Forget-Quality- und Utility-Werte als eine Gradient-Projektionsvariante. [2]
  • Im beschriebenen Testaufbau lag die Laufzeit von CurvDelta 59,5 Prozent unter der von CrispEdit; CurvLoRA benötigte weniger Spitzenspeicher als die dichte Variante. [2]
  • Die lokale quadratische Näherung und ihre theoretische Schranke lagen in den berichteten Messungen deutlich unter dem tatsächlichen Retain-KL. Die Autoren sehen ähnliche Trends, aber keine Übereinstimmung der Größenordnung. [2]
  • Die Arbeit ist als ICLR-2027-Einreichung gelistet; die vorliegenden Angaben belegen keine Annahme für die Konferenz. [2]
Inhalt · 7 Abschnitte
  1. Ein Verfahren für kontrollierte Modelländerungen
  2. Dichte und niedrig-rangige Anpassung
  3. Ergebnisse bei Lernen und gezieltem Vergessen
  4. Zusätzlicher Test zur Rolle der Delta-Parametrisierung
  5. Laufzeit und Speicher im berichteten Test
  6. Theoretische Schranke und beobachtete Erhaltung
  7. Einordnung für Unternehmen und Forschungsstand
  8. Quellen

Ein Verfahren für kontrollierte Modelländerungen

Bei der Anpassung eines großen Sprachmodells kann die Leistung auf einer neuen Aufgabe steigen, während bereits vorhandene Fähigkeiten nachlassen. CurvDelta setzt an diesem Zielkonflikt an: Das Verfahren soll die Änderung der Modellgewichte so einschränken, dass sie eine festgelegte Erhaltungsbedingung möglichst wenig beeinträchtigt. Die Arbeit untersucht dafür Aufgaben wie mathematisches Schlussfolgern, Codegenerierung und selektives Unlearning. [1][2]

Der Begriff „surgical“ im Titel bezieht sich hier auf gezielte Änderungen an Modellparametern, nicht auf medizinische Anwendungen oder chirurgische Robotik. Untersucht wird die Anpassung großer Sprachmodelle. [1][2]

Die Autoren stellen CurvDelta und die ressourcenschonender angelegte Variante CurvLoRA in einer ICLR-2027-Einreichung vor. Die OpenReview-Seite führt den Beitrag als Einreichung und enthält Bewertungen sowie Antworten der Autoren; aus den verfügbaren Angaben lässt sich keine Annahme für die Konferenz ableiten. [2] Die Paper-Seite von Hugging Face führt den Beitrag unter der ArXiv-Kennung 2611.24654 und nennt den 17. November als Veröffentlichungsdatum. [1]

Was die Methode verändert

CurvDelta schätzt zunächst die lokale Krümmung eines Erhaltungsverlusts rund um das noch nicht angepasste Modell. Die Autoren verwenden dafür eine K-FAC-Näherung, also eine strukturierte Approximation der Krümmungsinformation, und eine faktorisierte Projektion. Aus dieser Geometrie wird ein Raum abgeleitet, in dem Änderungen den Erhaltungsverlust lokal nur gering beeinflussen sollen. [1][2]

Entscheidend ist nach Darstellung der Autoren, dass nicht nur der Gradient in einen solchen Raum projiziert wird. Stattdessen wird die tatsächlich angewendete Gewichtsänderung ΔW direkt parametrisiert: Sie entsteht durch Projektionen auf beiden Seiten einer trainierbaren Änderung. Damit soll ΔW während des gesamten Trainings innerhalb des vorgegebenen Raums bleiben. [2]

Der Unterschied ist bei adaptiven Optimierern relevant. Laut Autoren kann etwa Adam eine zuvor projizierte Gradientänderung durch seine koordinatenweise Skalierung so verändern, dass das resultierende Update den Projektionsraum verlässt. Bei der Delta-Parametrisierung soll dagegen die ausgeführte Änderung selbst beschränkt bleiben. [2]

Dichte und niedrig-rangige Anpassung

CurvDelta ist die dichte Variante: Die trainierbare Änderung wird als Matrix geführt. CurvLoRA nutzt stattdessen eine niedrig-rangige Darstellung mit zwei trainierbaren Faktoren. Beide Varianten sollen dieselbe aus der Erhaltungsbedingung abgeleitete Projektionsgeometrie verwenden. [2]

Die Autoren grenzen ihr Verfahren auch von CrispEdit ab, einer im Beitrag verglichenen Methode. Beide Arbeiten verwenden Krümmungsinformation und K-FAC, unterscheiden sich nach Angaben der CurvDelta-Autoren aber darin, was projiziert wird und wie der Projektionsraum konstruiert wird: CrispEdit projiziere Gradienten anhand einer Schwelle auf Produkten von Eigenwerten, CurvDelta parametrisiere die Gewichtsänderung und kürze die Spektren der Faktoren getrennt. [2]

Diese getrennte Kürzung soll die Speicherung und Berechnung vereinfachen und die Projektion direkt auf niedrig-rangige Faktoren ermöglichen, ohne eine dichte Matrix aufzubauen. Das ist die technische Grundlage für CurvLoRA; die verfügbaren Quellen belegen allerdings nicht, dass die daraus entstehenden Einsparungen in jeder Modell- und Trainingsumgebung gleich ausfallen. [2]

Ergebnisse bei Lernen und gezieltem Vergessen

Für mathematisches Schlussfolgern und Codegenerierung berichten die Autoren von konkurrenzfähiger Leistung auf den Zielaufgaben bei zugleich besserem Erhalt allgemeiner Fähigkeiten als bei den verglichenen Baselines. Für selektives Unlearning nennen sie Versuche auf TOFU und MUSE und beschreiben einen günstigeren Ausgleich zwischen dem Vergessen ausgewählter Inhalte und dem Erhalt übrigen Wissens. [1][2] Die Zusammenfassungen enthalten jedoch nicht die vollständigen Ergebnistabellen für alle Aufgaben, weshalb sich daraus keine umfassende Rangfolge über sämtliche Tests ableiten lässt.

Ein konkreter Vergleich betrifft Codegenerierung mit Llama-2-7B. In den von den Autoren angeführten Ergebnissen erreicht CurvDelta bei HumanEval 39,6 gegenüber 37,8 für CrispEdit und bei MBPP 41,3 gegenüber 40,7. Auch der angegebene Durchschnitt der Zielaufgaben liegt höher: 40,5 gegenüber 39,3. Für den Durchschnitt der drei Retention-Aufgaben nennen die Autoren 44,4 gegenüber 40,3. [2]

Ein weiterer Vergleich bezieht sich auf TOFU Forget 10 Prozent mit Llama-3.1-8B-Instruct und SimNPO. Dort berichtet die Einreichung für CurvDelta eine Forget-Quality von −1,1, eine Forget-Probability von 6,5 Prozent und eine Model-Utility von 63,2; für CrispEdit lauten die entsprechenden Werte −1,9, 16,9 Prozent und 42,0. Die Kennzahlen sind in der Tabelle mit Pfeilen versehen, die höhere FQ- und MU-Werte sowie eine niedrigere FP als günstiger ausweisen. [2]

Diese Zahlen stammen aus unterschiedlichen Aufgabensettings und Modellkonfigurationen. Sie sollten deshalb nicht zu einer einzigen Leistungsrangliste zusammengezogen werden. Zudem zeigen Retention-Messungen allein nicht, ob ein Unlearning-Verfahren das gewünschte Wissen ausreichend entfernt; die Autoren weisen selbst darauf hin, dass für die Gesamtbewertung auch die Vergessens- und Utility-Ergebnisse zu berücksichtigen sind. [2]

Zusätzlicher Test zur Rolle der Delta-Parametrisierung

In einer nachgereichten Ablation verglichen die Autoren CurvDelta mit CurvDeltaGrad. Beide Verfahren verwendeten denselben festgelegten Niedrigkrümmungs-Projektionsraum und Adam; der Unterschied lag damit in der Parametrisierung der Gewichtsänderung gegenüber der Projektion des Gradienten. Getestet wurde TOFU Forget 10 Prozent mit Llama-3.2-3B-Instruct und SimNPO. [2]

Bei einer Lernrate von 2 × 10⁻⁵ lag FQ für CurvDelta bei −1,108 statt −1,699 und MU bei 66,3 statt 66,1; die FP betrug 11,3 statt 11,8 Prozent. Bei 5 × 10⁻⁵ meldeten die Autoren FQ-Werte von −0,193 gegenüber −0,676 und MU-Werte von 65,6 gegenüber 65,1; FP lag bei 10,2 gegenüber 10,0 Prozent. [2]

Die Autoren interpretieren die Ergebnisse als Hinweis darauf, dass die Delta-Parametrisierung über die Auswahl des Projektionsraums hinaus einen Beitrag leisten kann. Die Ablation ist dafür aussagekräftiger als ein Vergleich zweier Methoden mit unterschiedlichen Projektionsräumen, bleibt aber ein einzelner Versuchsaufbau und ersetzt keine Replikation über weitere Modelle, Aufgaben und Trainingsbedingungen. [2]

Laufzeit und Speicher im berichteten Test

Die Autoren berichten außerdem Messungen auf einer NVIDIA-L40-GPU mit Llama-3.2-3B-Instruct und TOFU Forget 10 Prozent. Um den Speichervergleich einheitlich zu halten, setzten sie für alle Methoden eine Geräte-Batchgröße von vier an. Die angegebenen Gesamtlaufzeiten umfassen bei den betreffenden Methoden sowohl die Krümmungsschätzung als auch das anschließende Aufgabentraining. [2]

In diesem Aufbau dauerte CurvDelta insgesamt 1.004 Sekunden und benötigte maximal 38,4 Gigabyte GPU-Speicher. CrispEdit kam auf 2.482 Sekunden und 40,8 Gigabyte. Die Autoren beziffern CurvDeltas Laufzeitvorteil gegenüber CrispEdit auf 59,5 Prozent. CurvLoRA benötigte 866 Sekunden und 24,4 Gigabyte; das waren 36,5 Prozent weniger Spitzenspeicher als bei der dichten CurvDelta-Variante. [2]

CurvLoRA lag bei der Laufzeit in diesem Test nahe bei OPLoRA, für das 882 Sekunden ausgewiesen werden. Beim Spitzenspeicher war LoRA mit 17,9 Gigabyte allerdings niedriger als CurvLoRA. Die Resultate sprechen daher nicht für einen allgemeinen Speicher- oder Laufzeitvorteil gegenüber jeder Low-Rank-Methode, sondern beschreiben den konkreten Vergleich unter den genannten Bedingungen. [2]

Nach Angaben der Autoren werden K-FAC-Faktoren und Eigenzerlegungen einmalig berechnet; ausgewählte Eigenvektorbasen können anschließend zwischengespeichert werden. Eine Wiederverwendung sei möglich, solange Basismodell, Erhaltungsdatensatz, Zielgewichte und Schwelle für die spektrale Energie festgehalten werden. Die Quellen nennen dafür keinen separaten Messwert für die reine Einmalkalkulation. [2]

Theoretische Schranke und beobachtete Erhaltung

Die Arbeit verknüpft die lokale Krümmung mit einer Schranke für die quadratische Näherung des Erhaltungsverlusts. In neun Konfigurationen aus drei Lernraten und drei Schwellenwerten lag die K-FAC-Näherung laut Autoren stets innerhalb der theoretischen spektralen Schranke. [2]

Die tatsächlich gemessene Retain-KL war jedoch deutlich größer als beide theoretischen Größen. Bei einer Lernrate von 10⁻⁴ und einer Schwelle γ von 0,5 berichten die Autoren eine empirische KL von 0,03892, eine quadratische Näherung von 5,82 × 10⁻⁹ und eine Schranke von 1,72 × 10⁻⁶. Bei γ = 0,9 sank die empirische KL auf 0,01296; die Näherung und Schranke lagen bei 5,17 × 10⁻¹⁰ beziehungsweise 1,24 × 10⁻⁸. [2]

Nach den Autoren folgen tatsächliche KL, Näherung und Schranke in den getesteten Einstellungen ähnlichen Trends: Höhere γ-Werte gingen mit niedrigeren Messwerten einher, während steigende Lernraten sie erhöhten. Die Übereinstimmung der Richtung ist aber nicht mit einer präzisen Vorhersage der tatsächlichen Verlusthöhe gleichzusetzen. Die Ergebnisse stützen damit die lokale Motivation der Methode, belegen aber keine quantitative Gleichheit zwischen Modell und empirischem Verhalten. [2]

Einordnung für Unternehmen und Forschungsstand

Für Unternehmen, die ein Basismodell wiederholt an Aufgaben anpassen, ist die Wiederverwendung der berechneten Projektionsbasis ein möglicher Effizienzhebel. Das gilt nach der beschriebenen Methode jedoch nur, wenn die genannten Voraussetzungen für Modell, Erhaltungsdatensatz, Zielgewichte und Schwellenwert gleich bleiben. Ändert sich etwa der Erhaltungsdatensatz, belegen die vorliegenden Angaben nicht, dass derselbe Cache weiterhin geeignet ist. Dies ist eine praktische Einordnung aus den von den Autoren beschriebenen Bedingungen, kein unabhängig bestätigter Betriebsvorteil. [2]

Auch bei der Bewertung von Unlearning sind die Resultate zunächst experimentelle Evidenz aus den angegebenen Benchmarks, keine allgemeine Garantie dafür, dass vertrauliche oder unerwünschte Informationen aus einem produktiven Modell vollständig entfernt werden. Die Quellen dokumentieren weder einen produktiven Unternehmenseinsatz noch eine unabhängige Replikation der berichteten Zahlen. [1][2]

Die OpenReview-Seite enthält unterschiedliche Einschätzungen: Ein Reviewer vergab die Bewertung „Weak acceptance“ mit 3, ein anderer eine klare Ablehnung mit 1. Nach den zusätzlichen Antworten erklärten die Autoren des ersten Reviews, ihre Bedenken seien adressiert; eine abschließende Konferenzentscheidung ist in den vorliegenden Angaben nicht ausgewiesen. [2] Für Unternehmen ist CurvDelta daher als Forschungsansatz mit konkreten, aber begrenzten Benchmark- und Effizienzmessungen einzuordnen, nicht als bereits unabhängig validierter Standard.

Quellen

  1. [1] Paper page - CurvDelta: Low-Curvature Delta Modeling For Surgical Learning and Unlearning — https://huggingface.co/papers/2611.24654 (abgerufen am 2026-11-19)
  2. [2] CurvDelta: Low-Curvature Delta Modeling For Surgical Learning and Unlearning | OpenReview — https://openreview.net/forum?id=S5oOUUKaGX (abgerufen am 2026-11-19)

Nächster Artikel

Praxis & Anwendung

iX kündigt Online-Workshop zu lokalem GenAI-Einsatz in GRC und SOC an

Ein iX-Workshop im Dezember behandelt lokale GenAI-Anwendungen für GRC und SOC. Die Anbieter versprechen Praxislabs; unabhängige Ergebnisse liegen nicht vor.

Artikel teilen

Bei Google bevorzugen

Dranbleiben

Mindverse News folgen

Neue Meldungen erhalten Sie über unseren RSS-Feed oder auf LinkedIn.

Recherchieren Sie KI-News wie diese selbst – mit Mindverse Studio.

7 Tage kostenlos testen – ohne Kreditkarte, mit 200 Credits. Für Fragen zur Umsetzung buchen Sie eine persönliche Demo.