ChatGPT integriert sich in macOS-Anwendungen für verbesserte Effizienz

ChatGPT erweitert seine Fähigkeiten auf macOS: Direkte Integration mit Apps für effizienteres Arbeiten

OpenAI hat eine neue Funktion für die ChatGPT Desktop-App auf macOS veröffentlicht, die eine direkte Interaktion mit verschiedenen Anwendungen ermöglicht. Der Fokus liegt zunächst auf Programmier- und Notiz-Apps, wobei die Kommunikation sowohl per Text als auch per Spracheingabe erfolgen kann. Diese Integration verspricht einen effizienteren Workflow, insbesondere für Entwickler.

Vereinfachter Zugriff auf Code und Kontext

Bisher mussten Nutzer Codeabschnitte manuell kopieren und in ChatGPT einfügen, um Unterstützung bei der Programmierung zu erhalten. Mit der neuen Funktion "Work with Apps" entfällt dieser Schritt. ChatGPT kann nun direkt auf den Code in Anwendungen wie VS Code, Xcode, TextEdit, Terminal und iTerm2 zugreifen und ihn als Kontext für die Bearbeitung von Anfragen verwenden. So können Entwickler beispielsweise ChatGPT bitten, Fehler im Code zu finden, fehlende Funktionen zu ergänzen oder Code-Dokumentationen zu erstellen, ohne den Kontext wechseln zu müssen.

Erste Schritte Richtung KI-Agenten

Obwohl die aktuelle Implementierung noch keine vollständige Automatisierung von Aufgaben erlaubt – ChatGPT kann beispielsweise noch keinen Code direkt in die Anwendungen schreiben – sieht OpenAI darin einen wichtigen Schritt in Richtung der Entwicklung von KI-Agenten. Die Fähigkeit, den Kontext anderer Anwendungen zu verstehen und zu nutzen, ist entscheidend für die Entwicklung von Agenten, die komplexe Aufgaben selbstständig ausführen können.

Funktionsweise und technische Details

Die Integration nutzt die macOS Accessibility API, um Text aus den Anwendungen auszulesen und an ChatGPT zu übermitteln. Für einige Anwendungen, wie beispielsweise VS Code, ist die Installation einer Erweiterung erforderlich. Da die Accessibility API primär auf Text basiert, kann ChatGPT derzeit noch keine visuellen Elemente wie Bilder oder Videos verarbeiten.

Je nach Anwendung werden die letzten 200 Zeilen Code oder der gesamte Code im aktiven Fenster an ChatGPT übertragen. Nutzer können Codeabschnitte markieren, um den Fokus von ChatGPT zu lenken, der umgebende Text wird jedoch ebenfalls berücksichtigt. Es bleibt abzuwarten, wie sich dies auf die Nutzung von Tokens auswirkt.

Ausblick und zukünftige Entwicklungen

OpenAI plant, die Funktionalität von "Work with Apps" auf weitere Anwendungen auszuweiten, insbesondere auf textbasierte Apps, die für Schreibaufgaben verwendet werden. Es ist noch unklar, wie OpenAI die Integration mit Anwendungen handhaben wird, die nicht mit der macOS Accessibility API kompatibel sind. Alternative Ansätze, wie die Analyse von Screenshots, werden von anderen Unternehmen erprobt, sind aber derzeit noch nicht ausgereift.

Die Veröffentlichung dieser Funktion kurz vor der angekündigten ChatGPT-Integration in macOS im Dezember unterstreicht die Bedeutung dieses Betriebssystems für OpenAI. Ein Zeitrahmen für die Verfügbarkeit der Funktion unter Windows ist noch nicht bekannt.

Weitere Entwicklungen im Bereich KI-Agenten

Die Entwicklung von "Work with Apps" steht im Kontext der aktuellen Entwicklungen im Bereich der KI-Agenten. Es wird spekuliert, dass OpenAI an einem universellen KI-Agenten mit dem Codenamen "Operator" arbeitet, der Anfang 2025 veröffentlicht werden könnte. Dieser Agent soll in der Lage sein, komplexe Aufgaben auf dem Computer selbstständig auszuführen und würde mit ähnlichen Projekten von Google und Anthropic konkurrieren.

Bibliographie:

1. https://help.openai.com/en/articles/10119604-work-with-apps-on-macos
2. https://twitter.com/jeremyphoward/status/1857267379841139040
3. https://www.reddit.com/r/apple/comments/1grcgmp/chatgpt_for_macos_now_works_with_thirdparty_apps/
4. https://help.openai.com/en/articles/9275200-using-the-chatgpt-macos-app
5. https://techcrunch.com/2024/11/14/chatgpt-can-now-read-some-of-your-macs-desktop-apps/
6. https://www.linkedin.com/posts/rowancheung_breaking-chatgpt-can-now-use-your-apps-activity-7262911834444214272-0nQ9
7. https://x.com/rowancheung/status/1857145062892896292
8. https://www.theverge.com/2024/11/14/24296745/chatgpts-mac-app-will-be-able-to-read-your-code