Große Kernels im Fokus: RepLKNet und die Renaissance von großen Kerneln in CNNs

In der Welt der Künstlichen Intelligenz (KI) und insbesondere im Bereich des Deep Learnings sind Convolutional Neural Networks (CNNs) nicht mehr wegzudenken. Sie haben sich als leistungsstarke Architektur für die Bildklassifizierung, Objekterkennung und viele andere Aufgaben erwiesen. Ein wesentliches Element von CNNs sind die sogenannten Kernel oder Filter, die über die Eingabebilder gleiten und dabei Merkmale extrahieren. Traditionell wurden in CNNs hauptsächlich kleine Kernel, typischerweise 3x3 Pixel groß, verwendet. In letzter Zeit hat jedoch ein neuer Trend Einzug gehalten: die Verwendung von großen Kerneln.

Die Renaissance der großen Kernel

Inspiriert von den Erfolgen der Vision Transformers (ViTs), die mit ihren globalen Aufmerksamkeitsmechanismen die Art und Weise der Bildverarbeitung revolutioniert haben, besinnen sich Forscher wieder auf das Potenzial von großen Kerneln in CNNs. Die Idee dahinter ist einfach: Große Kernel können größere Bereiche des Eingabebildes erfassen und so komplexere Merkmale in einem Schritt lernen. Im Gegensatz dazu benötigen kleine Kernel mehrere Schichten, um den gleichen Bereich abzudecken, was zu einem tieferen Netzwerk und einem höheren Rechenaufwand führt.

RepLKNet: Ein Beispiel für die Leistungsfähigkeit großer Kernel

Ein vielbeachtetes Beispiel für die Renaissance der großen Kernel ist RepLKNet (Re-parameterized Large Kernel Network), eine von Forschern der Tsinghua University, MEGVII Technology und der Aberystwyth University entwickelte CNN-Architektur. RepLKNet verwendet Kernel mit einer Größe von bis zu 31x31 Pixeln und erzielt damit beeindruckende Ergebnisse in verschiedenen Benchmarks.

Die Entwickler von RepLKNet haben fünf Designprinzipien für effiziente und leistungsstarke CNNs mit großen Kerneln formuliert:

• Nutzung von großen Depth-wise (DW) Convolutions: DW-Convolutions sind eine effiziente Methode, um große Kernel zu implementieren, da sie die Anzahl der Parameter und Rechenoperationen im Vergleich zu Standard-Convolutions deutlich reduzieren.
• Identitätsshortcuts: Identitätsshortcuts, wie sie beispielsweise in ResNet-Architekturen verwendet werden, sind besonders wichtig für Netzwerke mit sehr großen Kerneln. Sie ermöglichen es dem Netzwerk, sowohl lokale als auch globale Informationen zu verarbeiten und so ein besseres Gleichgewicht zwischen Genauigkeit und Effizienz zu erreichen.
• Re-Parameterisierung mit kleinen Kerneln: Um die Optimierung des Netzwerks zu verbessern, schlagen die Autoren von RepLKNet vor, während des Trainings zusätzlich zu den großen Kerneln auch kleine Kernel zu verwenden. Nach dem Training werden diese kleinen Kernel dann in die großen Kernel integriert, sodass das endgültige Netzwerk nur noch große Kernel enthält.
• Große Kernel für Downstream-Aufgaben: Die Autoren von RepLKNet haben festgestellt, dass große Kernel besonders gut für Downstream-Aufgaben wie semantische Segmentierung oder Objekterkennung geeignet sind. Dies liegt daran, dass diese Aufgaben oft ein größeres Rezeptives Feld erfordern, um den Kontext eines Bildes besser zu verstehen.
• Große Kernel auf kleinen Feature Maps: Auch auf kleinen Feature Maps, die in den späteren Schichten eines CNNs auftreten, können große Kernel noch von Vorteil sein. Sie ermöglichen es dem Netzwerk, die relative Position von Merkmalen zueinander besser zu erfassen.

UniRepLKNet: Universelle Repräsentationen durch große Kernel

Aufbauend auf den Erkenntnissen von RepLKNet haben die Forscher die Architektur weiterentwickelt und UniRepLKNet (Universal Representation Learning with Large Kernel Network) vorgestellt. UniRepLKNet zeichnet sich durch eine noch bessere Skalierbarkeit und Leistung aus und erzielt herausragende Ergebnisse in verschiedenen Aufgaben und Modalitäten, darunter:

• Bildklassifizierung: UniRepLKNet erreicht auf dem ImageNet-Datensatz eine Genauigkeit von 88.0%, was die Leistung vieler anderer CNN- und ViT-Architekturen übertrifft.
• Semantische Segmentierung: Auf dem ADE20K-Datensatz für semantische Segmentierung erzielt UniRepLKNet einen mIoU (mean Intersection over Union) von 55.6%.
• Objekterkennung: In der Objekterkennungsaufgabe auf dem COCO-Datensatz erreicht UniRepLKNet eine Box AP (Average Precision) von 56.4%.

Darüber hinaus zeigt UniRepLKNet vielversprechende Ergebnisse in anderen Bereichen wie Zeitreihenprognose, Audioverarbeitung, Punktwolkenverarbeitung und Videoerkennung. Diese Ergebnisse unterstreichen das Potenzial von großen Kerneln, universelle Repräsentationen zu lernen, die auf verschiedene Aufgaben und Modalitäten übertragen werden können.

Die Zukunft der großen Kernel

Die Renaissance der großen Kernel in CNNs ist ein spannender Trend, der das Potenzial hat, die Art und Weise, wie wir Deep Learning-Modelle für die Bildverarbeitung und andere Aufgaben entwickeln, grundlegend zu verändern. RepLKNet und UniRepLKNet sind vielversprechende Beispiele für die Leistungsfähigkeit dieser Architektur, und es ist zu erwarten, dass in Zukunft weitere Innovationen in diesem Bereich folgen werden.

Besonders interessant ist die Frage, ob und wie sich die Vorteile von großen Kerneln mit anderen aktuellen Entwicklungen im Deep Learning kombinieren lassen, wie beispielsweise der Verwendung von aufmerksamkeitsbasierten Mechanismen oder der Entwicklung von effizienteren Trainingsmethoden. Die Zukunft der großen Kernel verspricht spannend zu werden.

Bibliographie

https://arxiv.org/abs/2203.06717 https://openaccess.thecvf.com/content/CVPR2022/papers/Ding_Scaling_Up_Your_Kernels_to_31x31_Revisiting_Large_Kernel_Design_CVPR_2022_paper.pdf https://arxiv.org/pdf/2311.15599 https://openaccess.thecvf.com/content/CVPR2023/papers/Chen_LargeKernel3D_Scaling_Up_Kernels_in_3D_Sparse_CNNs_CVPR_2023_paper.pdf https://github.com/DingXiaoH/RepLKNet-pytorch https://www.researchgate.net/publication/373312984_LargeKernel3D_Scaling_up_Kernels_in_3D_Sparse_CNNs https://sh-tsang.medium.com/review-scaling-up-your-kernels-to-31x31-revisiting-large-kernel-design-in-cnns-f10de3af873b https://paperswithcode.com/paper/scaling-up-your-kernels-to-31x31-revisiting/review/?hl=63755 https://openreview.net/pdf?id=rkYOxLLv2x https://www.researchgate.net/publication/363887193_Scaling_Up_Your_Kernels_to_3131_Revisiting_Large_Kernel_Design_in_CNNs