Peekaboo

• KI-gesteuerte Desktop-Automatisierung — Sie möchten einen Agenten, der den macOS-Bildschirm beobachtet, UI-Elemente identifiziert und in Ihrem Namen Aktionen ausführt (Klicken, Tippen, Ziehen).
• Skriptgesteuerte UI-Workflows — Sie benötigen wiederholbare .peekaboo.json-Skripte, die Apps starten, Formulare ausfüllen, Menüs navigieren und Fenster verwalten, ohne nativen Swift/AppleScript-Code schreiben zu müssen.
• Screenshot- und visuelle Analyse-Pipelines — Sie benötigen programmgesteuerte Bildschirmaufnahmen (gesamter Bildschirm, bestimmtes Fenster, Menüleistenbereich) mit optionaler LLM-gestützter Bildanalyse.
• Testen von macOS-GUI-Apps — Sie möchten UI-Interaktionen über die Befehlszeile steuern und den Zustand anhand annotierter Snapshots überprüfen.

• Nicht-macOS-Plattformen — Peekaboo ist ausschließlich für Darwin konzipiert; es läuft weder unter Linux noch unter Windows.
• Rein webbasierte Automatisierung — wenn Ihr Ziel ein Browser ohne Beteiligung einer nativen macOS-Benutzeroberfläche ist, ist ein dediziertes Browser-Automatisierungswerkzeug (z. B. Playwright) besser geeignet.
• Headless-/Serverumgebungen — Bildschirmaufnahme- und Bedienungshilfen-Berechtigungen erfordern eine angemeldete macOS-Benutzersitzung mit einem Display.

Der Befehl see erstellt einen Schnappschuss und überlagert das Bildschirm- oder Fensterbild mit beschrifteten Element-IDs. Diese IDs (z. B. B1, T2) können dann direkt an click, drag, type und andere Interaktionsbefehle übergeben werden, wodurch die Zielauswahl zuverlässig wird, ohne Pixelkoordinaten fest einzuprogrammieren.

Peekaboo deckt alle grundlegenden Eingabeoperationen ab: click, drag, swipe, scroll, move, hotkey, press, type und paste. Befehle akzeptieren Element-IDs, Fenster-Targeting-Parameter oder direkte Koordinaten und unterstützen menschenähnliche Timing-Profile sowie Verzögerungen.

Apps starten, beenden, ausblenden und wechseln; Fenster schließen, minimieren, maximieren, verschieben und in der Größe anpassen; Spaces wechseln; Anwendungsmenüs per Pfad anklicken (z. B. Format > Schrift > Schriften einblenden); mit dem Dock und den Menüextras in der Statusleiste interagieren – alles in einem einzigen Tool.

Erfassen Sie vollständige Bildschirme, bestimmte Fenster oder Menüleistenbereiche in PNG/JPG in Retina-Auflösung. Der Befehl capture live zeichnet bewegungsgestütztes Video mit konfigurierbaren Bildwiederholraten für aktive/inaktive Phasen, Änderungshervorhebung und regionaler Zielauswahl auf.

Jeder Befehl unterstützt --json/-j für maschinenlesbare Ausgabe, was es einfach macht, Ergebnisse in andere Tools oder Agenten weiterzuleiten. Der Befehl run führt .peekaboo.json-Skriptdateien für wiederholbare mehrstufige Workflows aus.

Befehle teilen einen Snapshot-Cache, sodass mehrere Interaktionsschritte denselben erfassten Zustand wiederverwenden, ohne redundante Bildschirmaufnahmen durchzuführen. Der Befehl bridge und das Flag --bridge-socket ermöglichen die Konnektivitätsprüfung für Remote- und Agent-Setups.

Ein Agent ruft peekaboo see --annotate auf, um einen beschrifteten Screenshot zu erhalten, liest die JSON-Elementzuordnung aus und gibt anschließend click-, type- und hotkey-Befehle aus, um Formulare auszufüllen, Dialoge zu navigieren und Aktionen zu bestätigen – alles ohne einen Menschen an der Tastatur.

Verwende peekaboo see, um Eingabefelder anhand ihrer annotierten ID zu finden, dann click und type, um Anmeldedaten einzugeben, press tab, um weiterzuspringen, und hotkey cmd,return, um das Formular abzusenden – reproduzierbar über App-Neustarts hinweg.

Plane peekaboo image --app Safari --window-title "Dashboard" --analyze "Summarize KPIs", um ein Fenster aufzunehmen und an ein LLM zu senden, das eine schriftliche Zusammenfassung erstellt – so entstehen regelmäßige automatisierte Berichte ganz ohne manuelle Screenshots.

Schreibe ein .peekaboo.json-Skript, das mehrere Apps startet, ihre Fenster auf bestimmte Größen und Positionen anordnet, Spaces wechselt und URLs öffnet – und führe es dann mit peekaboo run aus, um ein vollständiges Workspace-Layout jederzeit reproduzieren zu können.