// Modelle & Forschung 19.10.2026 · 14:58 Uhr 6 Min. Lesezeit

PocketGPT bringt ein selbst trainiertes Sprachmodell auf den ESP32-S3

Mindverse News

KI-gestützt erstellt 2 Quellen Originalmeldung: heise.de Arbeitsweise

KI-generierte Illustration: PocketGPT bringt ein selbst trainiertes Sprachmodell auf den ESP32-S3 — KI-generierte Illustration

Das Wichtigste in Kürze

Die YouTuberin Marina hat PocketGPT von Grund auf trainiert und auf einem ESP32-S3 zum Laufen gebracht. Das Modell umfasst rund 30 Millionen Parameter. [1]
Für das Training wurden laut Dokumentation etwa 300 Millionen Token verwendet, überwiegend aus KI-generierten Kindergeschichten und Bildungswebseiten. [1]
Auf einem Entwicklerboard mit 16 MByte Zusatzspeicher erreicht PocketGPT rund 1,4 Token pro Sekunde; eine Variante mit microSD kommt auf 0,74 Token pro Sekunde. [1]
Das Modell ist auf kurze Ausgaben beschränkt: Sein Kontextfenster umfasst 64 Token, Antworten höchstens 24 Token. [1]
Ein anderes ESP32-Projekt erzeugt zwar deutlich schneller Text, kann laut der Berichterstattung aber weder zuverlässig Fragen beantworten noch Anweisungen befolgen. [1][2]

// Inhalt · 7 Abschnitte

Ein Sprachmodell auf Mikrocontroller-Hardware
Training von Grund auf statt Anpassung eines bestehenden Modells
Speicher wird zum zentralen Engpass
Parameterzahl allein erklärt die Leistung nicht
Kurze Eingaben und Ausgaben begrenzen den Einsatz
Was sich für Unternehmen daraus ableiten lässt
Offener Code, aber kein Nachweis für Produktreife
Quellen

Ein Sprachmodell auf Mikrocontroller-Hardware

Die YouTuberin Marina hat ein eigenes Sprachmodell mit rund 30 Millionen Parametern trainiert und auf einem ESP32-S3 ausgeführt. In einem von heise beschriebenen Beispiel beantwortet der Mikrocontroller die englische Frage „how are you?“ nach knapp zwölf Sekunden mit „I'm doing okay.“ Das zeigt, dass sich Textgenerierung auf dieser Hardware realisieren lässt – sagt für sich genommen aber noch wenig darüber aus, wie vielseitig oder zuverlässig das Modell arbeitet. [1]

Das Projekt trägt den Namen PocketGPT. Im Unterschied zu vielen kleinen Sprachmodell-Demonstrationen, die auf die Ausgabe kurzer Kindergeschichten beschränkt sind, soll es kurze Unterhaltungen ermöglichen. Die tatsächlichen Fähigkeiten bleiben jedoch begrenzt: Laut Projektbeschreibung kann das Modell falsche, wiederholende oder themenfremde Antworten erzeugen und ist selbst bei einfachen Rechenaufgaben unzuverlässig. [1]

Marina ordnet das Ergebnis selbst als Experiment ein und erklärt, PocketGPT solle nicht mit modernen Sprachmodellen konkurrieren. Für Unternehmen ist diese Einordnung wichtig: Die Demonstration belegt eine technische Möglichkeit, nicht die Eignung als kompakter Assistent für produktive Prozesse. [1]

Modellgröße: rund 30 Millionen Parameter. [1]
Ausführung: ESP32-S3-Mikrocontroller. [1]
Zweck laut Projektbeschreibung: kurze Unterhaltungen, nicht anspruchsvolle Assistenzaufgaben. [1]

Training von Grund auf statt Anpassung eines bestehenden Modells

Laut der Dokumentation begann Marina nicht mit einem bereits trainierten Modell. Die Gewichte – also die Zahlenwerte, in denen ein Sprachmodell während des Trainings gelernte Zusammenhänge speichert – waren zu Beginn Zufallswerte. Erst durch das Training sollte das Modell sprachliche Muster aufnehmen. [1]

Verarbeitet wurden demnach rund 300 Millionen Token. Den größten Anteil bildeten KI-generierte Kindergeschichten und lehrreiche Webseiten; etwa ein Zehntel stammte aus öffentlich verfügbaren Chatverläufen. Die Zusammensetzung des Trainingsmaterials ist relevant, weil sie den möglichen Einsatzbereich mitprägt: Ein Modell, das überwiegend Geschichten und Bildungsinhalte verarbeitet, ist nicht automatisch auf betriebliche Fragen, Fachsprache oder verlässliche Auskünfte ausgelegt. [1]

Diese letzte Einschätzung ist eine Einordnung der beschriebenen Datengrundlage, keine dokumentierte Messung des Modells. Die verfügbaren Angaben enthalten keine unabhängige Bewertung der Trainingsdatenqualität oder systematische Tests zu einzelnen Branchenaufgaben. Belegt sind die Größenordnung und die von der Projektbeschreibung genannten Quellen des Trainingsmaterials. [1]

Speicher wird zum zentralen Engpass

Bei einem Mikrocontroller ist nicht allein die Rechenleistung entscheidend. Auch das Modell muss in den verfügbaren Speicher passen oder so verteilt werden, dass die Hardware seine Bestandteile während der Ausführung erreichen kann. PocketGPT speichert laut heise den Großteil seiner Gewichte mit vier Bit pro Zahl. Diese kompakte Darstellung begrenzt den Speicherbedarf gegenüber einer Speicherung mit mehr Bits pro Gewicht, wobei die Quelle keine Messung möglicher Auswirkungen auf die Modellqualität nennt. [1]

Auf einem Entwicklerboard mit 16 MByte Zusatzspeicher erreicht die dort beschriebene Variante etwa 1,4 Token pro Sekunde. Eine zweite Umsetzung nutzt das daumengroße Seeed-XIAO-ESP32S3-Board mit rundem Touchdisplay, das als Tastatur dient. Sie lagert Teile des Modells auf eine microSD-Karte aus und erreicht laut Bericht etwa 0,74 Token pro Sekunde. [1]

Die beiden Werte zeigen einen Zielkonflikt zwischen Hardwareaufbau, Speicherorganisation und Geschwindigkeit. Sie sind jedoch keine allgemeingültigen Leistungswerte für ESP32-Systeme: Die Quelle beschreibt unterschiedliche Konfigurationen und nennt keine einheitlichen Testbedingungen, mit denen sich die Varianten direkt vergleichen ließen. [1]

Parameterzahl allein erklärt die Leistung nicht

Ein Vergleich mit dem Projekt esp32-ai macht deutlich, warum die Zahl der Parameter nicht als alleiniger Leistungsindikator taugt. Dieses Modell umfasst laut heise 28,9 Millionen Parameter und erzeugt knapp zehn Token pro Sekunde – also deutlich schneller als die dort beschriebene PocketGPT-Variante mit 1,4 Token pro Sekunde. Zugleich unterscheidet sich die Architektur: Ein großer Teil der Parameter liegt in einer Art Wörterbuch, aus dem für jedes Token nur bestimmte Einträge gelesen werden. [1]

Eine zusätzliche Beschreibung des esp32-ai-Projekts erläutert, dass etwa 25 Millionen Parameter in einer Tabelle im Flash-Speicher liegen. Sie führt den Ansatz auf sogenannte Per-Layer Embeddings zurück: Die Tabelle wird nicht vollständig in den schnellen Arbeitsspeicher geladen; stattdessen werden benötigte Einträge abgerufen, während der rechnende Teil des Modells im schnelleren Speicher bleibt. Die Quelle nennt für diese andere ESP32-Umsetzung 512 KByte SRAM, 16 MByte Flash und 8 MByte PSRAM. [2]

Die schnellere Ausgabe bedeutet nicht, dass esp32-ai vielseitiger wäre. Heise berichtet, dass der tatsächlich rechnende Teil vergleichsweise klein ist und das Modell laut Projektseite weder Fragen beantworten noch Anweisungen befolgen kann. Auch eine Videodemonstration beschreibt, dass es bei eigenen Eingaben wieder in die trainierte Kindergeschichten-Erzählung zurückdriftet. [1][2]

Für die Bewertung kleiner Sprachmodelle folgt daraus: Parameterzahl und Tokenrate müssen zusammen mit Speicheraufteilung, Trainingsdaten und konkretem Verhalten betrachtet werden. PocketGPT und esp32-ai sind unterschiedliche Projekte; ihre Kennzahlen belegen keine Rangfolge in allgemeiner Sprachfähigkeit. [1][2]

Kurze Eingaben und Ausgaben begrenzen den Einsatz

PocketGPT verfügt laut heise über ein Gedächtnis von 64 Token. Eine Antwort darf höchstens 24 Token lang sein. Damit bleiben sowohl der Gesprächskontext als auch die Ausgabe kurz; längere Dialoge oder ausführliche Erklärungen lassen sich mit diesen Grenzen nicht abbilden. [1]

Hinzu kommen die vom Projekt beschriebenen Verhaltensprobleme: Antworten können falsch, wiederholend oder themenfremd sein, und selbst einfache Rechenaufgaben gelten als unzuverlässig. Zusammen mit dem kleinen Kontextfenster spricht das gegen Einsatzfälle, bei denen ein System längere Vorgänge berücksichtigen, verbindliche Auskünfte geben oder Ergebnisse nachvollziehbar begründen muss. Diese betriebliche Folgerung ergibt sich aus den dokumentierten Grenzen; eine produktive Unternehmensprüfung des Modells ist in den Quellen nicht beschrieben. [1]

Auch die bloße Möglichkeit, auf dem Mikrocontroller Text zu erzeugen, ist nicht mit einem einsatzbereiten lokalen Assistenten gleichzusetzen. Die vorliegenden Angaben beschreiben einen Prototyp und seine Leistungsgrenzen, aber keine abgesicherte Fehlerbehandlung, keine Qualitätskennzahlen für Fachaufgaben und keine Validierung in einem realen Betriebsprozess. [1]

Was sich für Unternehmen daraus ableiten lässt

Für Unternehmen liegt der Erkenntniswert des Projekts vor allem im Machbarkeitsnachweis: Ein vergleichsweise kleiner Mikrocontroller kann ein selbst trainiertes Sprachmodell ausführen. Das kann für Produktentwicklung und Embedded-KI relevant sein, wenn eine Anwendung mit sehr kurzen, eng begrenzten Textausgaben auskommt. Die Quellen belegen aber nicht, dass PocketGPT bereits für ein konkretes Unternehmensprodukt geeignet wäre. [1]

Bei der Planung wäre zunächst zu klären, welche Aufgabe das Modell tatsächlich erfüllen soll. Ein Gerät, das eine kleine Auswahl an kurzen Formulierungen erzeugt, stellt andere Anforderungen als ein System, das Fragen zu Betriebsabläufen beantwortet oder Anweisungen ausführt. Gerade der Vergleich mit esp32-ai zeigt, dass eine hohe Tokenrate und eine große Parameterzahl solche Fähigkeiten nicht belegen. [1][2]

Ebenso entscheidend sind Speicher- und Hardwareanforderungen. PocketGPT erreicht auf zwei beschriebenen Konfigurationen unterschiedliche Geschwindigkeiten; die kleinere Variante greift auf eine microSD-Karte zurück. Beim separaten esp32-ai-Projekt werden Modellbestandteile auf Flash, SRAM und PSRAM verteilt. Unternehmen müssten daher die konkrete Zielhardware und den vollständigen Daten- und Ausführungspfad testen, statt von der Modellgröße auf die spätere Produktleistung zu schließen. [1][2]

Eine lokale Ausführung kann grundsätzlich interessant sein, wenn ein Gerät ohne fortlaufende Anfrage an einen entfernten Sprachmodelldienst arbeiten soll. Für PocketGPT nennen die vorliegenden Informationen jedoch keine belastbaren Messwerte zu Energiebedarf, Laufzeit im Dauerbetrieb oder Zuverlässigkeit unter Einsatzbedingungen. Aussagen zu diesen betrieblichen Faktoren wären daher vor einer Produktentscheidung durch eigene Tests zu ergänzen. [1]

Offener Code, aber kein Nachweis für Produktreife

Code, Trainingsskripte und das fertige Modell stellt Marina laut Bericht frei auf GitHub bereit. Das ermöglicht Interessierten, den Ansatz zu prüfen und eigene Experimente auf kompatibler Hardware durchzuführen. Die frei verfügbare Bereitstellung ist jedoch nicht gleichbedeutend mit einer unabhängigen Prüfung von Modellqualität oder Einsatzsicherheit. [1]

Das Ergebnis ist damit vor allem als technisches Experiment einzuordnen: Es zeigt, dass ein kleines, lokal laufendes Sprachmodell auf einem ESP32-S3 möglich ist, und macht zugleich die praktischen Grenzen sichtbar. Für anspruchsvolle B2B-Anwendungen reichen die beschriebenen Fähigkeiten und Leistungsdaten nicht aus, um Zuverlässigkeit oder Wirtschaftlichkeit zu belegen. [1]