Metas neuer Byte Latent Transformer: Fortschritte in der Sprachmodellarchitektur
Artikel jetzt als Podcast anhören
Inhaltsverzeichnis
Metas Byte Latent Transformer (BLT): Ein neuer Ansatz in der Sprachmodellarchitektur
Meta hat eine neue KI-Architektur namens Byte Latent Transformer (BLT) entwickelt, die ein grundlegendes Problem aktueller Sprachmodelle angeht: die zuverlässige Verarbeitung einzelner Buchstaben. Aktuelle KI-Systeme haben Schwierigkeiten mit Aufgaben wie dem Zählen des Buchstaben "n" im Wort "Mayonnaise". Diese Einschränkung liegt in der Art und Weise begründet, wie diese Modelle Text verarbeiten – sie zerlegen ihn in kurze Zeichenketten, sogenannte Token, wodurch der direkte Zugriff auf einzelne Buchstaben verloren geht.
Der tokenbasierte Ansatz erschwert auch die Arbeit mit verschiedenen Datentypen wie Bildern und Tönen. Während Unternehmen weiterhin Token verwenden, da die Verarbeitung von Rohbytes eine hohe Rechenleistung erfordert, gibt Meta an, einen Weg gefunden zu haben, diese Einschränkung zu umgehen.
Ein neuer Ansatz mit Bytes
Anstatt Token zu verwenden, verarbeitet BLT Daten direkt auf Byte-Ebene. Um den Rechenaufwand zu kontrollieren, gruppiert das System Bytes dynamisch in Patches. Bei der Verarbeitung von einfachem, vorhersehbarem Text kombiniert BLT Bytes zu größeren Patches. Bei komplexen Textpassagen erzeugt es kleinere Patches und verwendet mehr Rechenleistung für deren Verarbeitung.
BLT verarbeitet Daten in fünf verschiedenen Stufen. In der ersten Stufe wandelt ein lokales Modell die Bytes in eine kodierte Form um und kombiniert sie zu Patches. Diese Patches durchlaufen dann einen großen Transformer zur Verarbeitung, wonach ein weiteres lokales Modell sie wieder in Bytes umwandelt. In der letzten Stufe analysiert ein kleinerer Transformer die Sequenz, um vorherzusagen, welches Byte als nächstes kommen sollte.
Laut Meta schneidet BLT bei Tests mit Aufgaben, die das Verständnis einzelner Zeichen erfordern, besser ab als größere Modelle. Mit nur 8 Milliarden Parametern übertrifft das System Llama 3.1, obwohl Llama mit 16-mal mehr Daten trainiert wurde. Die neue Architektur erweist sich beim Skalieren auch als effizienter als aktuelle Systeme. Metas Forschungsteam entdeckte, dass sie die Leistung verbessern konnten, ohne die Kosten zu erhöhen, indem sie gleichzeitig die Patch- und Modellgrößen erweiterten. Diese Methode erzielte eine bis zu 50 Prozent höhere Effizienz während der Inferenz bei gleichbleibender Leistung.
Robustere und flexiblere Verarbeitung
Laut Meta-Forschern liegt die größte Stärke des Systems in seiner Fähigkeit, ungewöhnlichen oder beschädigten Text zu verarbeiten. BLT erzielt bessere Ergebnisse bei der Arbeit mit seltenen Textmustern und behält die Leistung auch bei Rauschen oder anderen Störungen in der Eingabe bei.
Dies ist nicht Metas erster Versuch, Tokenizer zu überwinden. Im Mai 2023 veröffentlichte das Unternehmen MegaByte, einen ähnlichen, aber weniger flexiblen Ansatz. Damals bezeichnete der bekannte KI-Entwickler Andrej Karpathy die Abschaffung von Tokenizern als ein wichtiges Ziel für die Weiterentwicklung von Sprachmodellen, obwohl diese Methoden noch keine breite Anwendung gefunden haben.
Meta hat sowohl den Code als auch die Forschungsergebnisse auf GitHub veröffentlicht. Das Unternehmen hofft, dass dies die Fortschritte bei der Verarbeitung weniger verbreiteter Sprachen und Computercodes beschleunigen und KI-Systeme in Bezug auf Fakten genauer machen wird.
Bibliographie: - https://twitter.com/rohanpaul_ai/status/1867974137211465861 - https://wand.ai/blog/large-language-models-are-so-unreasonable/ - https://arxiv.org/html/2405.10098v1 - https://www.labellerr.com/blog/challenges-in-development-of-llms/ - https://www.managementsolutions.com/sites/default/files/minisite/static/72b0015f-39c9-4a52-ba63-872c115bfbd0/llm/pdf/rise-of-llm.pdf - https://2024.aclweb.org/program/main_conference_papers/ - https://rbcborealis.com/research-blogs/a-high-level-overview-of-large-language-models/ - https://arxiv.org/html/2402.06196v2 - https://www.sciencedirect.com/science/article/pii/S2667305324000127 - https://www.wevolver.com/article/llm-training-mastering-the-art-of-language-model-development
