Peekaboo

• AI-gestuurde bureaubladautomatisering — u wilt een agent die het macOS-scherm observeert, UI-elementen identificeert en namens u acties uitvoert (klikken, typen, slepen).
• Gescripte UI-workflows — u hebt herhaalbare .peekaboo.json-scripts nodig waarmee apps worden gestart, formulieren worden ingevuld, menu's worden doorlopen en vensters worden beheerd zonder native Swift/AppleScript te schrijven.
• Schermopname- en visuele analysepijplijnen — u hebt programmatische schermopname nodig (volledig scherm, specifiek venster, menubalkgebied) met optionele LLM-gestuurde beeldanalyse.
• macOS GUI-apps testen — u wilt UI-interacties aansturen vanaf de opdrachtregel en de toestand verifiëren via geannoteerde momentopnamen.

• Niet-macOS-platforms — Peekaboo is alleen voor Darwin; het werkt niet op Linux of Windows.
• Uitsluitend webautomatisering — als je doel een browser is zonder betrokkenheid van een native macOS-interface, is een specifieke browserautomatiseringstool (bijv. Playwright) een betere keuze.
• Headless/serveromgevingen — Schermopname- en toegankelijkheidsmachtigingen vereisen een ingelogde macOS-gebruikerssessie met een beeldscherm.

Het commando see maakt een momentopname en plaatst gelabelde element-ID's over de scherm- of vensterafbeelding heen. Deze ID's (bijv. B1, T2) kunnen vervolgens rechtstreeks worden doorgegeven aan click, drag, type en andere interactieopdrachten, waardoor het targeten betrouwbaar is zonder dat pixelcoördinaten hardgecodeerd hoeven te worden.

Peekaboo dekt elk invoerprimitief: click, drag, swipe, scroll, move, hotkey, press, type en paste. Opdrachten accepteren element-ID's, venstergerichte parameters of onbewerkte coördinaten, en ondersteunen mensachtige timingprofielen en vertragingen.

Start, sluit af, verberg en wissel van apps; sluit, minimaliseer, maximaliseer, verplaats en vergroot/verklein vensters; wissel van Spaces; klik op applicatiemenu's via een pad (bijv. Opmaak > Lettertype > Toon lettertypen); werk met het Dock en statusbalkextras — allemaal vanuit één tool.

Maak opnames van volledige schermen, specifieke vensters of menubalkgebieden in PNG/JPG op retinaresolutie. Met het commando capture live wordt bewegingsbewuste video opgenomen met instelbare actieve/inactieve framerates, wijzigingsmarkering en regiodoelgericht opnemen.

Elke opdracht ondersteunt --json/-j voor machine-leesbare uitvoer, waardoor het eenvoudig is om resultaten door te sturen naar andere tools of agents. De opdracht run voert .peekaboo.json-scriptbestanden uit voor herhaalbare workflows met meerdere stappen.

Opdrachten delen een snapshot-cache zodat meerdere interactiestappen dezelfde vastgelegde toestand hergebruiken zonder overbodige schermopnames. Het commando bridge en de vlag --bridge-socket maken connectiviteitsinspectie mogelijk voor externe/agent-configuraties.

Een agent roept peekaboo see --annotate aan om een geannoteerde schermafbeelding te verkrijgen, leest de JSON-elementenkaart en verstuurt vervolgens click-, type- en hotkey-opdrachten om formulieren in te vullen, dialoogvensters te navigeren en acties te bevestigen — allemaal zonder dat er een mens aan het toetsenbord zit.

Gebruik peekaboo see om invoervelden te vinden via geannoteerde ID, vervolgens click en type om inloggegevens in te voeren, press tab om verder te gaan, en hotkey cmd,return om te verzenden — reproduceerbaar na het herstarten van de app.

Plan peekaboo image --app Safari --window-title "Dashboard" --analyze "Summarize KPIs" in om een venster vast te leggen en naar een LLM te sturen voor een schriftelijke samenvatting, zodat er regelmatig geautomatiseerde rapporten worden gegenereerd zonder handmatige screenshots.

Schrijf een .peekaboo.json-script dat meerdere apps start, hun vensters op specifieke afmetingen en posities plaatst, van Space wisselt en URL's opent — voer het daarna uit met peekaboo run om een volledige werkruimte-indeling op aanvraag te reproduceren.