Effizienzsteigerung durch Prompt Caching: Kostensenkung und Beschleunigung von KI-Anwendungen

Praktische Anwendungsfälle

Prompt-Caching kann in einer Vielzahl von Szenarien nützlich sein, darunter: - **Konversationsagenten**: Reduzierung der Kosten und Latenzzeiten bei längeren Gesprächen, insbesondere bei solchen mit ausführlichen Anweisungen oder hochgeladenen Dokumenten. - **Codierungsassistenten**: Verbesserung der Autovervollständigung und der Q&A-Funktion für den Code durch das Behalten einer zusammengefassten Version der Codebasis im Prompt. - **Verarbeitung großer Dokumente**: Einbindung von vollständigem, langem Material einschließlich Bildern in den Prompt, ohne die Antwortlatenz zu erhöhen. - **Detaillierte Anweisungssets**: Teilen umfangreicher Listen von Anweisungen, Verfahren und Beispielen, um die Antworten von Claude zu optimieren. - **Agentische Suche und Werkzeugnutzung**: Verbesserung der Leistung bei Szenarien, die mehrere Werkzeuganrufe und iterative Änderungen erfordern.

Effizienz und Kostenersparnis

Frühe Anwender haben erhebliche Verbesserungen in Bezug auf Geschwindigkeit und Kosten durch den Einsatz von Prompt-Caching erlebt. So konnte beispielsweise die Latenzzeit bei der Interaktion mit einem Buch (100.000 Zeichen gecachter Prompt) von 11,5 Sekunden auf 2,4 Sekunden reduziert werden, was einer Einsparung von 90% entspricht. Ebenso konnten die Kosten für viele-shot Prompting (10.000 Zeichen Prompt) um 86% gesenkt werden.

Preisgestaltung für gecachte Prompts

Die Preisgestaltung für gecachte Prompts basiert auf der Anzahl der Eingabezeichen, die gecacht werden, und der Häufigkeit der Nutzung dieses Inhalts. Das Schreiben in den Cache kostet 25% mehr als der Basistarif für Eingabezeichen des jeweiligen Modells, während die Nutzung von gecachten Inhalten nur 10% des Basistarifs kostet.

Beispielhafte Modelle und Preise:

- **Claude 3.5 Sonnet**: - Eingabe: $3 / MTok - Cache-Schreiben: $3.75 / MTok - Cache-Lesen: $0.30 / MTok - Ausgabe: $15 / MTok - **Claude 3 Opus**: - Eingabe: $15 / MTok - Cache-Schreiben: $18.75 / MTok - Cache-Lesen: $1.50 / MTok - Ausgabe: $75 / MTok - **Claude 3 Haiku**: - Eingabe: $0.25 / MTok - Cache-Schreiben: $0.30 / MTok - Cache-Lesen: $0.03 / MTok - Ausgabe: $1.25 / MTok

Kundenerfolg: Notion

Einer der frühen Anwender von Prompt-Caching ist Notion. Durch die Integration dieser Technologie in ihre AI-Funktionen konnte Notion die internen Abläufe optimieren und eine reaktionsschnellere Benutzererfahrung bieten. Dies führte zu einer schnelleren und kostengünstigeren Leistung der Notion AI.

Fazit

Prompt-Caching stellt einen bedeutenden Fortschritt in der Nutzung von LLMs dar. Durch die Reduzierung von Kosten und Latenzzeiten ermöglicht es Entwicklern, effizientere und kostengünstigere Anwendungen zu schaffen. Mit der fortschreitenden Entwicklung und Integration dieser Technologie könnten wir bald eine breite Anwendung in verschiedenen Bereichen erleben.

Bibliographie

1. https://www.anthropic.com/news/prompt-caching
2. https://docs.anthropic.com/en/docs/build-with-claude/prompt-engineering/overview
3. https://www.forbes.com/sites/lanceeliot/2024/06/12/speeding-up-the-response-time-of-your-prompts-can-be-accomplished-via-these-clever-prompt-engineering-techniques/
4. https://www.vellum.ai/blog/rag-vs-long-context
5. https://www.reddit.com/r/MachineLearning/comments/1busp41/d_is_rag_just_glorified_prompt_engineering/
6. https://www.linkedin.com/posts/pavlosmitsoulis_efficient-prompt-caching-via-embedding-similarity-activity-7175400615982833664-G7_m
7. https://www.pondhouse-data.com/blog/how-to-save-on-llm-costs
8. https://python.langchain.com/v0.2/docs/integrations/llm_caching/
9. https://newsletter.towardsai.net/p/tai-111-what-does-deepseeks-10x-cheaper
10. https://cloud.google.com/vertex-ai/generative-ai/docs/partner-models/use-claude