POCKET-35B-GGUF: Ein großes Sprachmodell für CPU-Systeme

Ein 35B-Modell mit Fokus auf lokale Ausführung

VIDRAFT stellt POCKET-35B-GGUF als quantisierte Fassung eines Modells mit 35 Milliarden Parametern vor. Laut Modellseite soll es auf PCs oder Servern auch ohne dedizierte GPU laufen und mit der unveränderten Laufzeit llama.cpp genutzt werden können. Als Lizenz nennt das Repository Apache 2.0. [1]

Die Gewichte stammen laut Anbieter von Darwin-36B-Opus, einem VIDRAFT-Modell, das seinerseits auf einer Qwen3.5-MoE-Architektur aufbaut. Die Bezeichnung „35B“ beschreibt die Modellklasse; die Modellseite beziffert die Parameterzahl auf 35 Milliarden. [1] Eine externe Visualisierung ordnet das Modell ebenfalls als quantisierte Darwin-36B-Opus-Variante mit Qwen-MoE-Architektur ein. [3]

Die zentrale Aussage ist nicht, dass ein 35B-Modell keinen Speicher benötigt, sondern dass es mit stark komprimierten Gewichten und einer sparsamen Architektur auch auf CPU-Hardware nutzbar werden soll. Das ist für Unternehmen relevant, die lokale Inferenz prüfen, aber keine GPU-Server bereitstellen möchten. Ob sich daraus ein geeigneter Produktionsbetrieb ergibt, hängt allerdings von Antwortqualität, Latenz, Kontextlänge und dem konkreten Rechner ab; die vorliegenden Anbieterbenchmarks beantworten diese Fragen nur teilweise. [1]

• Hugging Face listet das Repository als GGUF-Modell; die Modellseite gibt an, dass es bei Inference Providers nicht bereitgestellt wird. Die Verfügbarkeit der Gewichte ist daher nicht mit einem angebotenen gehosteten API-Dienst gleichzusetzen. [1]
• Der Anbieter verlinkt zusätzlich eine CPU-Demo. Diese belegt eine Demo-Möglichkeit, nicht automatisch die Leistung auf der Hardware eines Unternehmens. [1]

Was die MoE-Architektur zur Laufzeit beiträgt

POCKET nutzt laut Modellkarte ein Mixture-of-Experts-Design mit 256 Experten, von denen pro Token acht aktiviert werden. [1] Eine externe Architekturansicht nennt ebenfalls 256 Experten und acht aktive Experten pro Token; sie beschreibt zudem 40 Transformer-Schichten, davon 30 mit Linear-Attention und zehn mit vollständiger Attention. [3]

Bei einem Mixture-of-Experts-Modell werden nicht für jedes Token alle Experten gleichzeitig berechnet. Das kann den Rechenaufwand pro Token verringern, beseitigt aber nicht den Speicherbedarf der Modellgewichte: Die quantisierten Dateien müssen weiterhin geladen werden. Diese Unterscheidung erklärt, weshalb eine vergleichsweise große Parameterzahl mit einer begrenzten Rechenlast pro Token zusammengehen kann. Die tatsächliche Geschwindigkeit hängt zusätzlich von CPU, Speicherbandbreite, Laufzeit und Aufgabe ab. [1][3]

Vier Größenklassen, unterschiedliche Qualitätsziele

Für das 35B-Modell nennt die Modellseite vier zentrale GGUF-Dateien: Q4_K_M mit rund 21,2 GB, Q3_K_M mit 16,8 GB, Q2_K mit 12,9 GB und IQ1_M mit 8,24 GB. VIDRAFT empfiehlt Q2_K als Kompromiss für Mini-PCs; Q4_K_M ist als Variante mit höherer Qualität ausgewiesen, IQ1_M als kleinste Vollmodell-Datei. [1]

Die Größenangaben beziehen sich auf die Dateien, nicht auf den vollständigen Speicherbedarf während der Ausführung. Für die Nutzung kommen unter anderem Laufzeitbedarf und zusätzlicher Speicher für den jeweiligen Inferenzkontext hinzu. Ein externer GPU-Rechner weist bei seinen Schätzungen ausdrücklich Gewichte, Aktivierungen und KV-Cache aus; seine Zahlen beziehen sich allerdings auf andere Präzisions- und Einsatzannahmen und lassen sich nicht direkt mit den RAM-Empfehlungen der Modellseite gleichsetzen. [1][4]

Als Qualitätsindikator veröffentlicht VIDRAFT Perplexity-Werte auf einem Wikipedia-Koreanisch-Test: 5,79 für Q4_K_M, 6,49 für Q2_K und 9,69 für IQ1_M; niedriger ist laut Modellkarte besser. [1] Diese Werte zeigen innerhalb des angegebenen Tests einen Nachteil stärkerer Kompression. Sie sind jedoch kein umfassendes Maß für allgemeine Antwortqualität und sollten insbesondere nicht als Nachweis für deutsche Fachtexte, Code oder unternehmensspezifische Aufgaben gelesen werden.

Die Auswahl ist damit eine Abwägung: Eine kleinere Datei kann den Einstieg auf einem Rechner mit begrenztem RAM erleichtern, während der Anbieter für die stärkste Kompression ausdrücklich Qualitätseinbußen nennt. Für eine Beschaffungsentscheidung sollten Sie daher nicht nur die Dateigröße betrachten, sondern die gewünschte Quantisierung mit repräsentativen Aufgaben und der vorgesehenen Hardware testen. Diese Empfehlung ist eine Analyse der veröffentlichten Speicher- und Qualitätsangaben. [1]

• Q4_K_M: 21,2 GB; laut Anbieter für PC oder Server mit 32 GB RAM vorgesehen. [1]
• Q2_K: 12,9 GB; laut Anbieter für Mini-PCs und Systeme mit 16 bis 24 GB RAM positioniert. [1]
• IQ1_M: 8,24 GB; laut Anbieter für Systeme mit 16 GB RAM gedacht, mit dem höchsten der drei veröffentlichten koreanischen Perplexity-Werte. [1]

Mobilgeräte sind nicht mit der 35B-Datei gleichzusetzen

Die Modellseite führt neben POCKET-35B kleinere Sprach- und Plattformvarianten auf. Dazu zählen etwa eine koreanische GGUF-Datei mit 5,1 GB für Android sowie eine koreanische MLX-Version gleicher Größe für Apple-Geräte. Eine englische iPhone-Variante ist mit 5,3 GB angegeben. [1] Diese Angaben belegen nicht, dass die vollständige 35B-Datei in diesen Varianten enthalten ist; die Modellseite behandelt sie als eigene Builds.

Zugleich steht auf der Modellseite, dass Messungen zur Geschwindigkeit auf iPhone und Strix-Halo-Systemen noch ausstehen. [1] Die Aussage, die Modellfamilie sei für Mobilgeräte vorgesehen, ist daher von einer nachgewiesenen Leistung des 35B-Modells auf einem konkreten Smartphone zu unterscheiden.

Benchmarks: Vorteile bei der Generierung, kein einheitliches Ergebnis

VIDRAFT vergleicht POCKET-35B IQ1_M mit Bonsai-27B Q1_0 und erklärt, beide Modelle auf derselben Maschine mit dem unveränderten llama.cpp getestet zu haben. Auf einem Xeon mit 16 Threads meldet der Anbieter 27,0 gegenüber 10,1 Tokens pro Sekunde bei der Textgenerierung. Auf einer H100 nennt er 197 gegenüber 89 Tokens pro Sekunde. Das sind vom Modellanbieter veröffentlichte Messwerte; eine unabhängige Prüfung oder vollständige Beschreibung sämtlicher Testbedingungen liegt in den bereitgestellten Quellen nicht vor. [1]

Der H100-Vergleich zeigt zugleich eine Einschränkung: Bei der Verarbeitung des Prompts meldet VIDRAFT 753 Tokens pro Sekunde für POCKET und 1.816 für Bonsai. Beim HellaSwag-Test mit 400 Fragen weist die Modellseite 61,0 gegenüber 60,0 Prozent aus und bezeichnet das Ergebnis wegen überlappender Konfidenzintervalle als Gleichstand. [1] Die Zahlen stützen daher keine pauschale Aussage, POCKET sei in jeder Aufgabe oder auf jeder Hardware schneller.

Für einen MacBook Pro mit M3 Pro und 18 GB nennt die Modellseite weitere Messwerte: 25,4 Tokens pro Sekunde bei der Metal-Generierung und 13,8 bei der CPU-Generierung für POCKET-35B IQ1_M. Bei der Prompt-Verarbeitung stehen 240,7 Tokens pro Sekunde über Metal und 45,5 über CPU. [1] In einem Abschnitt erklärt die Modellseite, POCKET liege in diesem Laptopvergleich auf allen aufgeführten Achsen vor Bonsai. [1][2]

Allerdings enthält dieselbe Modellseite einen Widerspruch: Sie führt Messungen auf dem M3 Pro an, erklärt unter „Limitations“ aber, die iPhone- und Mac-Geschwindigkeit sei vom Anbieter noch nicht gemessen worden. [1] Der zusätzliche Hugging-Face-Beitrag von VIDRAFT wiederholt die MacBook-Werte, ist aber keine unabhängige Bestätigung. [2] Die veröffentlichten Mac-Werte können deshalb als Anbieterangaben berichtet werden; welche Einschränkung für die Messung gilt, lässt sich aus den vorliegenden Texten nicht eindeutig auflösen.

Auch der GPQA-Diamond-Test ist eng zu lesen: VIDRAFT nennt bei 198 Fragen und greedy decoding 68,7 Prozent für POCKET Q4_K_M und 60,1 Prozent für Q2_K; zum Vergleich führt die Seite 73,2 Prozent für Qwen3.6-35B-A3B an. [1] Die Werte dokumentieren Unterschiede in diesem konkreten Test, aber keine unabhängige Evaluation und keine Aussage über betriebliche Aufgaben.

• CPU-Generierung auf Xeon, 16 Threads: Anbieterangabe 27,0 Tokens pro Sekunde für POCKET-35B IQ1_M. [1]
• H100-Prompt-Verarbeitung: In diesem Test liegt POCKET laut Anbieter hinter dem Vergleichsmodell. [1]
• iPhone- und Strix-Halo-Durchsatz: auf der Modellseite als noch nicht gemessen ausgewiesen. [1]

Warum die Prompt-Verarbeitung anders ausfallen kann

VIDRAFT erklärt die schwächere H100-Prompt-Verarbeitung mit der Art, wie große Eingabebatches auf der GPU verarbeitet werden: Dichte Modelle könnten große Matrixoperationen effizient bündeln, während ein MoE-Modell Tokens auf Experten verteile und damit kleinere Operationen erzeuge. In der Diskussion erläutert der Anbieter außerdem, dass bei einer einzelnen, speicherbandbreitenbegrenzten Ausführung die sparsamen aktiven Experten eher zum Vorteil werden könnten. [2]

Das ist eine technische Erklärung des Anbieters, keine unabhängig überprüfte Ursache. Für Unternehmen folgt daraus vor allem, dass Benchmarkwerte nur für den jeweiligen Hardware- und Lastfall aussagekräftig sind. Eine Messung bei Einzelanfragen sagt wenig über hohe Parallelität oder große Batches aus; umgekehrt bildet ein GPU-Test nicht automatisch einen lokalen CPU-Arbeitsplatz ab. [1][2]

Betrieb, Integration und Lizenzprüfung

Die Modellseite nennt als Laufzeit das unveränderte llama.cpp und verweist auf Nutzung über unter anderem Ollama und LM Studio. Der Quickstart empfiehlt, die Zahl der CPU-Threads an physischen Kernen auszurichten, und warnt davor, pauschal alle Threads zu verwenden, weil das die Geschwindigkeit deutlich verringern könne. [1] Das sind konkrete Hinweise für einen ersten technischen Test, aber keine vollständige Betriebsanleitung für einen Mehrbenutzer- oder Produktionsdienst.

Für Unternehmen kann die Möglichkeit, Anfragen lokal zu verarbeiten, eine Option sein, wenn externe Inferenzdienste nicht gewünscht oder nicht verfügbar sind. Das ist zunächst ein Architekturvorteil, keine automatische Datenschutzgarantie: Protokollierung, Zugriffsschutz, Betriebssystem, Anwendung und Speicherort müssen ebenfalls geprüft werden. Die Modellseite bewirbt den Betrieb ohne Cloud, stellt aber keine unabhängige Sicherheitsprüfung oder Datenschutzbewertung bereit. [1]

Das Repository nennt Apache 2.0 als Lizenz. [1] Für eine geschäftliche Nutzung sollten Sie dennoch die Lizenzinformationen der konkreten Gewichte und aller verwendeten Komponenten in der eigenen Freigabeprüfung berücksichtigen. Die bereitgestellten Angaben belegen die im Repository ausgewiesene Lizenz, enthalten aber keine vollständige rechtliche Bewertung der gesamten Modellherkunft oder des Trainings.

• Vor einer Einführung sollten Sie Latenz, RAM-Verbrauch und Qualität auf Ihrer Zielhardware mit eigenen, repräsentativen Aufgaben messen. Das ist besonders wichtig, weil die Anbieterbenchmarks zwischen CPU, H100 und M3 Pro unterschiedliche Ergebnisse zeigen und die Mac-Messung widersprüchlich eingeordnet wird. [1][2]
• Prüfen Sie außerdem, ob die eingesetzte GGUF-Variante, Laufzeit und Lizenz zu Ihrer Betriebsumgebung passen. Die Modellseite weist darauf hin, dass das Modell nicht über Hugging Face Inference Providers bereitgestellt wird. [1]

Einordnung für den Unternehmenseinsatz

POCKET-35B-GGUF ist vor allem als Kandidat für lokale Experimente und CPU-basierte Inferenz interessant: Die Modellkarte benennt passende quantisierte Dateien, llama.cpp-Kompatibilität und eigene Vergleichsmessungen. [1] Die Quellen belegen dagegen nicht, dass das Modell für produktive Anwendungen auf jedem Mini-PC, für deutsche Fachaufgaben oder für gleichzeitige Anfragen mehrerer Nutzer ausreichend leistungsfähig ist.

Für Ihre Bewertung sind daher drei Fragen entscheidend: Reicht die Qualität der gewählten Quantisierung für den Anwendungsfall? Ist die Antwortzeit unter der erwarteten Last akzeptabel? Und lässt sich der lokale Betrieb in Ihre Sicherheits- und Wartungsprozesse integrieren? Die veröffentlichten Daten liefern Anhaltspunkte für einen Testaufbau, ersetzen aber keine eigene Evaluation.

Quellen

1. [1] FINAL-Bench/POCKET-35B-GGUF · Hugging Face — https://huggingface.co/FINAL-Bench/POCKET-35B-GGUF (abgerufen am 2026-11-01)
2. [2] @SeaWolf-AI on Hugging Face: "📱 POCKET — a 35-billion-parameter model that runs on your iPhone, and on your…" — https://huggingface.co/posts/SeaWolf-AI/745666844415915 (abgerufen am 2026-11-01)
3. [3] FINAL-Bench/POCKET-35B-GGUF • hfviewer — https://hfviewer.com/FINAL-Bench/POCKET-35B-GGUF (abgerufen am 2026-11-01)
4. [4] POCKET-35B-GGUF VRAM Requirements: ~76 GB at FP16, Cheapest GPU from $0.48/hr at INT4 | Spheron — https://www.spheron.network/tools/gpu-recommender/FINAL-Bench/POCKET-35B-GGUF (abgerufen am 2026-11-01)