Peekaboo

• Automazione del desktop guidata dall'AI — vuoi un agente che osservi lo schermo macOS, identifichi gli elementi dell'interfaccia utente ed esegua azioni (clic, digitazione, trascinamento) per tuo conto.
• Flussi di lavoro UI con script — hai bisogno di script .peekaboo.json ripetibili che avviano app, compilano moduli, navigano nei menu e gestiscono le finestre senza scrivere codice Swift/AppleScript nativo.
• Pipeline di acquisizione screenshot e analisi visiva — hai bisogno di acquisizione programmatica dello schermo (schermo intero, finestra specifica, area della barra dei menu) con analisi delle immagini opzionale basata su LLM.
• Test di app GUI macOS — vuoi gestire le interazioni dell'interfaccia utente dalla riga di comando e verificare lo stato tramite snapshot annotati.

• Piattaforme non-macOS — Peekaboo è esclusivo per Darwin; non funzionerà su Linux o Windows.
• Automazione solo web — se il tuo obiettivo è un browser senza coinvolgimento dell'interfaccia utente nativa di macOS, uno strumento dedicato all'automazione del browser (ad es., Playwright) è più adatto.
• Ambienti headless / server — Le autorizzazioni per Registrazione schermo e Accessibilità richiedono una sessione utente macOS con accesso effettuato e un display.

Il comando see acquisisce uno snapshot e sovrappone gli ID degli elementi etichettati sull'immagine dello schermo o della finestra. Questi ID (ad es. B1, T2) possono poi essere passati direttamente ai comandi click, drag, type e ad altri comandi di interazione, rendendo il targeting affidabile senza dover specificare coordinate pixel hardcoded.

Peekaboo copre ogni primitiva di input: click, drag, swipe, scroll, move, hotkey, press, type e paste. I comandi accettano ID elemento, parametri di targeting della finestra o coordinate grezze, e supportano profili di temporizzazione e ritardi simili a quelli umani.

Avvia, chiudi, nascondi e passa da un'app all'altra; chiudi, riduci a icona, ingrandisci, sposta e ridimensiona le finestre; cambia Spazio; fai clic sui menu delle applicazioni tramite percorso (es. Formato > Font > Mostra font); interagisci con il Dock e con i menu extra della barra di stato — tutto da un unico strumento.

Cattura schermate intere, finestre specifiche o aree della barra dei menu in formato PNG/JPG a risoluzione retina. Il comando capture live registra video con rilevamento del movimento, con frequenze di fotogrammi configurabili per stati attivo/inattivo, evidenziazione delle modifiche e targeting per regione.

Ogni comando supporta --json/-j per un output leggibile dalle macchine, rendendo semplice reindirizzare i risultati verso altri strumenti o agenti. Il comando run esegue file di script .peekaboo.json per flussi di lavoro multi-step ripetibili.

I comandi condividono una cache degli snapshot, in modo che più passaggi di interazione riutilizzino lo stesso stato acquisito senza acquisizioni dello schermo ridondanti. Il comando bridge e il flag --bridge-socket abilitano l'ispezione della connettività per configurazioni remote/agent.

Un agente chiama peekaboo see --annotate per ottenere uno screenshot annotato, legge la mappa degli elementi JSON, quindi invia comandi click, type e hotkey per compilare moduli, navigare nelle finestre di dialogo e confermare azioni — il tutto senza un essere umano alla tastiera.

Usa peekaboo see per individuare i campi di input tramite ID annotato, poi click e type per inserire le credenziali, press tab per avanzare e hotkey cmd,return per inviare — riproducibile anche dopo il riavvio dell'app.

Pianifica peekaboo image --app Safari --window-title "Dashboard" --analyze "Summarize KPIs" per acquisire una finestra e inviarla a un LLM per un riepilogo scritto, producendo report automatizzati regolari senza alcuno screenshot manuale.

Scrivi uno script .peekaboo.json che avvia più app, dispone le loro finestre in posizioni e dimensioni specifiche, cambia Spazi, e apre URL — poi eseguilo con peekaboo run per riprodurre un layout di lavoro completo su richiesta.