AB-Attention zielt auf präzisere Beschleunigung von Video-Diffusion

Ein neuer Ansatz für den Attention-Engpass

Video-Diffusion-Transformer verarbeiten räumliche und zeitliche Informationen in einer Sequenz von Bild- beziehungsweise Latent-Tokens. Bei vollständiger Attention kann jedes Token mit allen anderen interagieren; der Rechenaufwand wächst deshalb quadratisch mit der Sequenzlänge. Bei langen oder hochauflösenden Videos wird dieser Schritt zu einem wesentlichen Kostenfaktor für die Inferenz. [1][3]

AB-Attention, ausgeschrieben Accurate Block Attention, setzt an diesem Engpass an. Das Verfahren soll dichte Video-Attention bei hoher Sparsität möglichst genau annähern, ohne dafür ein zusätzliches Training des Modells vorauszusetzen. Statt sämtliche Key- und Value-Blöcke zu berechnen, wählt es eine Teilmenge dynamisch aus und führt Attention nur für diese Blöcke aus. [1][2]

Der Ansatz adressiert dabei einen Zielkonflikt: Werden zu viele Blöcke ausgelassen, sinkt zwar der Rechenaufwand, zugleich können aber wichtige Beiträge zur Ausgabe fehlen. Die Arbeit beschreibt drei miteinander verbundene Bausteine, die die Auswahl genauer machen und die Ausführung an die GPU-Hardware anpassen sollen. [1][2]

• Intra-Block Clustering Selector (IBCS) schätzt die Bedeutung von Blöcken mithilfe von Query-Clustern innerhalb des jeweiligen Query-Blocks. [1][2]
• Sampling with Inclusion-Probability Weighting (SIP) zieht Blöcke entsprechend ihrer geschätzten Bedeutung und gewichtet sie anhand ihrer Einschlusswahrscheinlichkeit. [1][2]
• Ein Kernel sammelt kleinere Key- und Value-Blöcke zu vollständigen Tensor-Core-Tiles, um die Auswahl feiner aufzulösen. [1][2]

Warum Block-Sparsität allein nicht genügt

Dynamische block-sparse Verfahren wählen Blöcke anhand der aktuellen Aktivierungen aus und berechnen innerhalb der ausgewählten Bereiche weiterhin exakte Attention. Nach Darstellung der Autoren verlieren solche Verfahren bei aggressiver Sparsität jedoch an Wiedergabetreue: Eine Bewertung anhand grober Zusammenfassungen kann relevante Bereiche verfehlen; eine globale Clusterbildung kann zusätzlichen Aufwand verursachen. Werden Blöcke vollständig aus der Softmax-Berechnung entfernt, tragen sie außerdem gar nicht mehr zum Ergebnis bei. [1][2]

Ein weiteres Problem ist die Granularität. Ein GPU-Tile wird üblicherweise als Einheit verarbeitet. Enthält ein ausgewählter Tile nur wenige tatsächlich relevante Schlüssel, kann die Berechnung des gesamten Tiles Arbeit einschließen, die für das Ergebnis wenig beiträgt. AB-Attention soll diese Schwäche mit einer feineren Auswahl und einer hardwaregerechten Zusammenstellung der benötigten Daten begrenzen. [1][2]

Drei Bausteine für Auswahl und Korrektur

Der Intra-Block Clustering Selector gruppiert zunächst Queries nur innerhalb eines einzelnen Query-Blocks. Aus dieser lokalen Struktur schätzt IBCS die Bedeutung möglicher Key- und Value-Blöcke. Laut Beschreibung benötigt die Auswahl dafür keine globale Clusterbildung und verändert die Reihenfolge der Tokens nicht. Das soll die Bedeutungsschätzung präziser machen, ohne den Aufwand einer globalen Sortierung oder Gruppierung zu verursachen. [1][2]

Die zweite Komponente, SIP, verändert die Art, wie die ausgewählten Blöcke in die Berechnung eingehen. Statt nur die am höchsten bewerteten Blöcke zu behalten und alle anderen vollständig abzuschneiden, werden Blöcke proportional zu den geschätzten Einschlusswahrscheinlichkeiten gezogen. Die ausgewählten Beiträge werden anschließend mit dem Kehrwert ihrer jeweiligen Einschlusswahrscheinlichkeit gewichtet. Nach Darstellung der Autoren soll ein einzelner Durchlauf damit die dichte Attention schätzen, statt sie lediglich auf die behaltenen Blöcke zu beschränken. [1][2]

Diese Gewichtung ist der konzeptionelle Unterschied zwischen einer bloßen Top-K-Kürzung und einer Stichprobenschätzung: Auch weniger wahrscheinlich ausgewählte Blöcke können in die Schätzung eingehen, ihre Gewichtung soll dabei die Auswahlwahrscheinlichkeit berücksichtigen. Die verfügbaren Kurzbeschreibungen enthalten allerdings keine ausführliche Herleitung, keine Angaben zur Varianz dieser Schätzung und keine Ablation, anhand derer sich der Beitrag von SIP isoliert beurteilen ließe. [1][2]

Der dritte Baustein betrifft die Ausführung. AB-Attention sammelt Key- und Value-Blöcke, die kleiner als ein Tensor-Core-Tile sind, zu vollständigen Tiles zusammen. Dadurch soll die Blockauswahl feiner werden, ohne zusätzliche Tensor-Core-Kosten zu verursachen. Die Autoren stellen somit nicht nur einen Auswahlalgorithmus vor, sondern koppeln ihn an einen Kernel, der die ausgewählten Daten in einer für die Hardware geeigneten Form verarbeitet. [1][2]

• Die Methode wird als trainingsfrei beschrieben; ein zusätzliches Anlernen der Sparse-Maske ist demnach nicht erforderlich. [1][2]
• IBCS arbeitet innerhalb einzelner Query-Blöcke und verzichtet laut Abstract auf eine Permutation der Tokens. [1][2]
• SIP soll ausgelassene Bereiche nicht einfach aus der Berechnung entfernen, sondern eine gewichtete Schätzung der dichten Attention ermöglichen. [1][2]

Was sich daraus nicht ableiten lässt

Die Formulierung „ohne zusätzliche Tensor-Core-Kosten“ bezieht sich auf die Zusammenstellung kleinerer Blöcke in vollständige Tiles. Sie belegt für sich genommen weder einen vernachlässigbaren Gesamtaufwand des Verfahrens noch identische Laufzeitvorteile auf verschiedenen Beschleunigern. Auswahl, Datenzugriff und Kernel-Ausführung müssen im jeweiligen Gesamtsystem gemessen werden. Die vorliegenden Abstracts führen keine aufgeschlüsselte Laufzeit für diese Komponenten auf. [1][2]

Berichtete Messwerte und ihre Grenzen

Die Autoren berichten Tests mit den Videomodellen Wan2.1 und HunyuanVideo. AB-Attention überspringe dort 89 bis 92 Prozent der Attention-Berechnung. Zugleich hätten die verglichenen Baselines das 1,8- bis 3,6-Fache an Attention berechnet. Diese Angaben beziehen sich auf den Attention-Anteil und sind nicht gleichbedeutend mit einer entsprechenden Reduktion des gesamten Rechenaufwands eines Videogenerierungslaufs. [1][2]

Als Qualitätskennzahl nennen die Autoren eine Verbesserung des PSNR um bis zu 4,4 dB gegenüber der stärksten Baseline. Die Formulierung „bis zu“ bezeichnet einen Maximalwert und keine durchgehend erzielte Verbesserung über alle Modelle oder Testfälle. Aus dem verfügbaren Abstract geht außerdem nicht hervor, welche Baseline den Vergleich anführt, wie die Testdaten und Referenzvideos ausgewählt wurden oder welche Einstellungen den Höchstwert ergeben. [1][2]

Für die End-to-End-Laufzeit nennt die Arbeit eine Beschleunigung von bis zu 2,23-fach. Dieser Wert ist für den praktischen Einsatz besonders relevant, weil er über die Attention-Kernel hinausgeht. Die bereitgestellten Zusammenfassungen spezifizieren jedoch weder die verwendete Hardware noch Auflösung, Videolänge, Zahl der Diffusionsschritte oder den jeweiligen Ausgangswert. Damit ist der Spitzenwert aus den vorliegenden Angaben nicht unmittelbar auf eine konkrete Produktionsumgebung übertragbar. [1][2]

Auch die Ergebnisse zu sparsamer Attention sind methoden- und systemabhängig. So berichtet AMD für eine eigene Implementierung eines anderen Verfahrens, Video Sparse Attention (VSA), auf Wan2.1 und einer MI308X-GPU eine 3,31-fache Beschleunigung des Attention-Kernels bei 70 Prozent Sparsität sowie rund 37 Prozent weniger End-to-End-Laufzeit. AMD kennzeichnet die Qualitätsprüfung in diesem Test ausdrücklich als qualitativen visuellen Plausibilitätstest und weist darauf hin, dass quantitative Qualitätsmetriken fehlen. Das sind keine Messwerte für AB-Attention, verdeutlicht aber, warum Kernel- und Gesamtlaufzeit sowie Qualitätsmessungen getrennt betrachtet werden müssen. [5]

• Die gemeldeten 89 bis 92 Prozent beziehen sich auf übersprungene Attention-Berechnung, nicht auf eine gleich hohe Reduktion der gesamten Inferenzkosten. [1][2]
• Die Spitzenwerte für PSNR und End-to-End-Beschleunigung sind im Abstract nicht nach einzelnen Modellen oder Konfigurationen aufgeschlüsselt. [1][2]
• Die verfügbaren Quellen enthalten keine unabhängige Reproduktion der AB-Attention-Ergebnisse. [1][2]

Einordnung des PSNR-Werts

Der berichtete PSNR-Vorsprung bezieht sich auf die stärkste verglichene Baseline, nicht ausdrücklich auf vollständige dichte Attention. Die Zahl stützt daher zunächst eine Aussage über den Vergleich mit den untersuchten sparsamen Verfahren. Ohne Angaben zur Auswertung lässt sich daraus nicht schließen, dass AB-Attention in jeder Videoqualität oder jedem Anwendungsszenario überlegen ist. [1][2]

Abgrenzung zu trainierbarer Sparse Attention

AB-Attention ist nicht der einzige Ansatz, der den quadratischen Aufwand von Video-Attention reduzieren soll. Die Arbeit zu Video Sparse Attention (VSA) verfolgt beispielsweise eine trainierbare, zweistufige Strategie: Eine grobe Stufe fasst Tokens in räumlich-zeitlichen Blöcken zusammen und wählt wichtige Bereiche aus; eine feinere Stufe berechnet dort Token-Attention. VSA integriert Sparsität nach Darstellung der Autoren sowohl ins Training als auch in die Inferenz. [3]

Die in der VSA-Arbeit berichteten Resultate umfassen eine Reduktion der gesamten Trainings-FLOPS um den Faktor 2,53 bei vergleichbarem Diffusionsverlust sowie eine 1,7-fache End-to-End-Beschleunigung beim nachträglichen Einsatz in Wan-1.3B. Diese Zahlen sind nicht direkt mit den AB-Attention-Werten vergleichbar: VSA ist ein anderes Verfahren, die beschriebenen Versuche und Messbedingungen unterscheiden sich, und die AB-Abstracts liefern keine vollständigen Benchmarkdetails. [1][2][3]

Der Unterschied ist für Unternehmen mit bestehenden Modellen praktisch bedeutsam. Ein trainingsfreier Ansatz kann nach der Beschreibung von AB-Attention ohne zusätzliches Training eingesetzt werden; eine trainierbare Methode wie VSA richtet sich dagegen auch auf Einsparungen während des Modelltrainings. Welche Option wirtschaftlicher ist, hängt deshalb unter anderem davon ab, ob ein Unternehmen ein bestehendes Modell beschleunigen oder Trainingskosten für künftige Modelle senken möchte. Das ist eine Einordnung der jeweils beschriebenen Einsatzbereiche, kein belegter Kostenvergleich zwischen den Verfahren. [1][2][3]

• AB-Attention adressiert die Inferenz mit einer trainingsfreien Auswahl und Korrektur der Blöcke. [1][2]
• VSA ist als trainierbare Sparse Attention für Training und Inferenz angelegt. [3]
• Die jeweils veröffentlichten Beschleunigungswerte lassen sich ohne gemeinsame Hardware, Modelleinstellungen und Qualitätsprüfung nicht als Rangliste lesen. [1][2][3][5]

Bedeutung der Hardwareabstimmung

Die Arbeiten zu Sparse Attention zeigen, dass rechnerische Einsparungen nicht automatisch eine proportional kürzere Laufzeit bedeuten. AMDs VSA-Benchmark unterscheidet deshalb ausdrücklich zwischen Kernelzeit und End-to-End-Zeit und weist darauf hin, dass Auswahl und Erzeugung der Blockindizes bei einer vollständigen Implementierung ebenfalls berücksichtigt werden müssen. Für AB-Attention fehlen in den vorliegenden Kurzbeschreibungen vergleichbar detaillierte Angaben. [5][1][2]

Relevanz für den Unternehmenseinsatz

Für Anbieter von Videoerzeugung und Unternehmen, die eigene Video-Diffusionsmodelle betreiben, liegt der potenzielle Nutzen in geringeren Attention-Kosten pro Generierung. Wenn sich eine hohe Sparsität mit der berichteten Bildtreue und einer messbaren End-to-End-Beschleunigung verbinden lässt, könnte das die Zahl der Generierungen erhöhen, die mit einem gegebenen Beschleunigerbudget möglich sind. Diese betriebliche Folgerung ist plausibel, aber keine von den verfügbaren Quellen nachgewiesene Kostensenkung: Stromverbrauch, Hardwareauslastung, Durchsatz und Kosten pro Video werden nicht ausgewiesen. [1][2]

Vor einer Integration wären deshalb mindestens Messungen auf der eigenen Hardware und mit den tatsächlich eingesetzten Modellen erforderlich. Für einen belastbaren Vergleich müssten dieselben Prompts, Auflösungen, Videolängen und Inferenzschritte verwendet werden. Neben der Attention-Kernelzeit sollten Sie die vollständige Laufzeit sowie geeignete Qualitätsmetriken erfassen. Diese Prüfanforderungen folgen aus der Lücke zwischen den im Abstract genannten Spitzenwerten und den dort nicht dokumentierten Benchmarkbedingungen. [1][2][5]

Auch die Modellkompatibilität bleibt offen. Die Quelle nennt Ergebnisse mit Wan2.1 und HunyuanVideo, beschreibt im vorliegenden Abstract aber weder Integrationsaufwand noch Einschränkungen bei Modellvarianten oder Hardware. Die Angabe, dass Code verfügbar ist, belegt einen Zugang zum Projekt, nicht automatisch eine produktionsreife Integration oder Unterstützung für beliebige Videomodelle. [1][2]

• Prüfen Sie End-to-End-Laufzeit statt nur die Beschleunigung des Attention-Kernels. [1][2][5]
• Bewerten Sie Qualität und Laufzeit unter denselben Modellen und Inferenzbedingungen, bevor Sie Ergebnisse übertragen. [1][2]
• Behandeln Sie die genannten Spitzenwerte als Autorenangaben, bis vollständige Benchmarkdetails und unabhängige Reproduktionen vorliegen. [1][2]

Status der Arbeit

OpenReview führt AB-Attention als Einreichung für die ICLR 2027. Dort ist als Einreichungsdatum der 18. September 2026 und als Änderungsdatum der 5. Oktober 2026 angegeben; die bereitgestellte OpenReview-Seite nennt keine Annahmeentscheidung. [2]

Die Hugging-Face-Papierseite führt den Beitrag als am 28. Oktober veröffentlicht und nennt eine Einreichung auf der Plattform am 30. Oktober. Diese Plattformdaten sind von der Einreichung bei ICLR zu unterscheiden. Die verfügbaren Quellen enthalten den Abstract und Einreichungsmetadaten, aber keine vollständige Darstellung der Experimente, Ablationen oder Benchmarkkonfigurationen. Die hier berichteten Leistungsangaben sind daher als Angaben der Autoren einzuordnen, nicht als unabhängig bestätigte Ergebnisse. [1][2]

Quellen

1. [1] Paper page - AB-Attention: Accurate Block Attention for Accelerating Video Diffusion Transformers — https://huggingface.co/papers/2610.39663 (abgerufen am 2026-10-30)
2. [2] AB-Attention: Accurate Block Attention for Accelerating Video Diffusion Transformers | OpenReview — https://openreview.net/forum?id=VB0Zsq3nYU (abgerufen am 2026-10-30)
3. [3] VSA: Faster Video Diffusion with Trainable Sparse Attention | alphaXiv — https://www.alphaxiv.org/abs/2505.13389v4 (abgerufen am 2026-10-30)
4. [5] VSA: Accelerating Video Diffusion Inference with Sparse Attention on AMD GPUs — ROCm Blogs — https://rocm.blogs.amd.com/artificial-intelligence/vsa-sparse-attention/README.html (abgerufen am 2026-10-30)