LFM3-1.7B nutzt auf dem iPhone 17 Pro 256K Kontext – mit langer Vorlaufzeit

Kontextlänge ist nicht gleich Antwortgeschwindigkeit

Die Messreihe zeigt, dass die Unterstützung eines langen Kontexts nicht bedeutet, dass ein solcher Kontext schnell verarbeitet wird. Zwischen 32K und 128K sinkt der angegebene Prefill-Durchsatz von etwa 1.050 auf 480 Tokens pro Sekunde; bei 256K nennt Liquid AI noch rund 270 Tokens pro Sekunde. Entsprechend steigt die Zeit bis zum ersten Token von rund 30 Sekunden über viereinhalb Minuten auf etwa 16 Minuten. [1]

Für interaktive Anwendungen ist diese Vorlaufzeit eine eigene Leistungsgrenze. Ein lokaler Assistent, der bei jedem neuen Auftrag einen vollständigen 256K-Prompt erneut einliest, kann trotz ausreichenden Arbeitsspeichers sehr träge wirken. Die 16 Minuten sind dabei keine Messung der Dauer für eine vollständige Unterhaltung: Sie beziehen sich auf das Einlesen des langen Prompts bis zum ersten Token; für die anschließende Ausgabe bei 256K veröffentlicht die Antwort keine Rate. [1]

Auch die genaue Bedeutung der 256K-Testzeile bleibt in der Diskussion nicht vollständig ausformuliert. Die Tabelle bezeichnet die Eingabe als 256K-Prompt und nennt zugleich 100 Ausgabetokens. Die Model Card definiert die maximale Kontextlänge als 256K Tokens für Ein- und Ausgabe zusammen. Die Quellen erklären nicht, wie Liquid AI diese beiden Angaben im konkreten Test abgegrenzt oder gezählt hat. Für eine exakte Reproduktion sollten Sie deshalb die verwendete Tokenzählung und die Begrenzung des Gesamtkontexts zusätzlich klären. [1][3]

Bedeutung für lokale Agenten und Unternehmensanwendungen

Für Unternehmen, die lokale Agenten auf mobilen Geräten prüfen, lautet die belastbare Aussage nicht schlicht „256K laufen auf dem iPhone“. Präziser ist: Liquid AI berichtet, dass der angegebene Aufbau einen Prompt dieser Länge auf dem getesteten iPhone 17 Pro verarbeiten konnte; zugleich benötigte der Prozess etwa 5,1 GB Spitzenbelegung und rund 16 Minuten bis zum ersten Token. Ob diese Kombination für einen konkreten Arbeitsablauf ausreicht, hängt davon ab, wie oft lange Kontexte neu verarbeitet werden müssen und welche Wartezeit akzeptabel ist. [1]

Liquid AI empfiehlt für lokale Agenten, einen stabilen Prompt-Präfix beizubehalten und den KV-Cache über mehrere Gesprächsrunden wiederzuverwenden. Dann müsse bei Folgerunden nicht der gesamte Kontext erneut verarbeitet werden, sondern nur die neu hinzugekommenen Tokens. Das ist die vom Anbieter genannte Möglichkeit, die wiederholte Vorlaufzeit zu vermeiden; ob sie tatsächlich greift, hängt in der jeweiligen Anwendung davon ab, ob Laufzeit und Agentenarchitektur den Cache erhalten und korrekt wiederverwenden. [1]

Als Analyse folgt daraus: Bei einem langen, weitgehend unveränderlichen System- oder Gesprächspräfix kann Cache-Wiederverwendung die praktische Relevanz der gemessenen Kaltstartzeit deutlich verändern. Bei wechselnden Dokumentbeständen, häufig neu zusammengesetzten Prompts oder Sitzungen ohne erhaltenen Cache bleibt die Verarbeitung des langen Eingabetexts dagegen ein zentraler Kosten- und Latenzfaktor. Die Quellen quantifizieren weder Energieverbrauch noch Akkulaufzeit oder thermische Drosselung; diese Größen lassen sich aus den veröffentlichten Messwerten nicht ableiten. [1]

Für eine Systementscheidung sollten Sie daher mindestens Spitzenverbrauch, Zeit bis zum ersten Token und Verhalten bei wiederholten Anfragen getrennt testen. Die Angabe „passt in den Speicher“ beantwortet nicht, ob das Modell unter realer Last schnell genug reagiert. Ebenso wenig lässt sich aus einem iPhone-Test eine Aussage über andere Geräte ableiten: Die zugrunde liegende Diskussion nennt ausdrücklich den A19 Pro und Metal-Offload, nicht eine geräteübergreifende Messreihe. [1]

Architektur und Einsatzgrenzen des Modells

LFM3-1.7B ist laut Model Card ein dichtes Modell mit 1,73 Milliarden Parametern und einem Kontextfenster von bis zu 256K Tokens. Die Architektur kombiniert globale Attention, Sliding-Window-Attention und kurze Convolutions. Für die Speicherfrage ist diese Mischung wichtig: Nicht jede Schicht hält einen vollständigen, mit der Promptlänge anwachsenden Attention-Cache vor. Die sechs globalen Attention-Schichten dominieren nach der von Liquid AI bestätigten Rechnung den KV-Speicherbedarf; die Fenster-Schichten begrenzen ihren Cache auf jeweils 256 Tokens. [1][3]

Der Anbieter positioniert das Modell für lokale Agenten, Tool-Aufrufe, strukturierte Ausgaben und domänenspezifische Anpassungen. Zugleich rät die Model Card wegen der relativ kleinen Modellgröße von agentischem Coding und komplexem mehrstufigem Schlussfolgern ab und empfiehlt für wissensintensive Aufgaben Retrieval oder Suche. Die 256K-Kapazität sollte daher nicht mit einer pauschalen Eignung für jede lange oder anspruchsvolle Aufgabe verwechselt werden: Sie beschreibt die verarbeitbare Kontextlänge, nicht automatisch Qualität oder Zuverlässigkeit über den gesamten Bereich. [3]

Liquid AI veröffentlicht außerdem eigene Edge-Benchmarks für 32K Kontext auf mehreren Geräten. Für das iPhone 17 Pro nennt die Model Card beim Q4_0-GGUF-Testaufbau 1,90 GB Speicher und 1.061 Tokens pro Sekunde Prefill. Diese Werte liefern einen Bezugspunkt zur neuen Langkontextmessung, sagen aber nicht aus, wie sich andere Modelle oder Anwendungen bei 128K und 256K unter vergleichbaren Bedingungen verhalten. [3]

Einordnung: technisch möglich, betrieblich nicht automatisch praktikabel

Die neue Angabe beantwortet eine konkrete offene Frage der Model Card: Wie stark steigen Speicherbedarf und Vorlaufzeit jenseits des dort gezeigten 32K-iPhone-Tests? Nach Liquid AIs Antwort ist der maximale Kontext auf dem getesteten Gerät grundsätzlich erreichbar, aber die Verarbeitung wird mit zunehmender Eingabelänge langsam. Für viele Unternehmensanwendungen dürfte deshalb weniger die theoretische Obergrenze als die Kombination aus Promptlänge, Cache-Strategie und akzeptabler Erstreaktion entscheidend sein. [1][3]

Die Aussagekraft bleibt auf den vom Anbieter beschriebenen Einzelaufbau begrenzt. Die verfügbaren Quellen enthalten keine unabhängigen Messungen, keinen dokumentierten Vergleich der 128K- und 256K-Läufe unter alternativen Cache-Formaten und keine Angaben zur Streuung der Ergebnisse. Auch die 256K-Zeile lässt offen, wie Promptlänge und vom Modell dokumentierte Gesamtkontextgrenze zusammengezählt wurden. Vor einem Einsatz sollten Sie daher mit Ihrer konkreten Hardware, Laufzeit, Quantisierung und Agentenlogik eigene Tests durchführen. [1][3]

Der zentrale Befund ist damit zweigeteilt: LFM3-1.7B kann laut Liquid AI auf einem iPhone 17 Pro einen sehr langen Prompt verarbeiten, ohne dass der Prozessspeicher im Test über etwa 5,1 GB steigt. Bei einem kalten 256K-Prompt kostet das Einlesen jedoch rund 16 Minuten. Für lokale Agenten kann Cache-Wiederverwendung diesen Engpass in passenden Arbeitsabläufen entschärfen; sie ersetzt aber keine Prüfung, ob Speicherbedarf, Antwortlatenz und Modellqualität zum jeweiligen Unternehmensprozess passen. [1][3]

Quellen

1. [1] LiquidAI/LFM3-1.7B · iPhone peak memory and prefill at 128K and 256K context — https://huggingface.co/LiquidAI/LFM3-1.7B/discussions/5 (abgerufen am 2026-10-29)
2. [3] LiquidAI/LFM3-1.7B · Hugging Face — https://huggingface.co/LiquidAI/LFM3-1.7B (abgerufen am 2026-10-29)
3. [5] LiquidAI/LFM3-1.7B-GGUF · Hugging Face — https://huggingface.co/LiquidAI/LFM3-1.7B-GGUF (abgerufen am 2026-10-29)