Peekaboo

• Automatisation du bureau pilotée par l'IA — vous souhaitez qu'un agent observe l'écran macOS, identifie les éléments d'interface et effectue des actions (clic, saisie, glisser-déposer) en votre nom.
• Workflows d'interface scriptés — vous avez besoin de scripts .peekaboo.json reproductibles qui lancent des applications, remplissent des formulaires, naviguent dans les menus et gèrent les fenêtres sans écrire de code Swift/AppleScript natif.
• Pipelines de capture d'écran et d'analyse visuelle — vous avez besoin d'une capture d'écran programmatique (plein écran, fenêtre spécifique, région de la barre de menus) avec une analyse d'image optionnelle alimentée par un LLM.
• Test d'applications GUI macOS — vous souhaitez piloter les interactions d'interface depuis la ligne de commande et vérifier l'état via des instantanés annotés.

• Plateformes non macOS — Peekaboo est exclusivement Darwin ; il ne fonctionne pas sur Linux ou Windows.
• Automatisation web uniquement — si votre cible est un navigateur sans interaction avec l'interface native macOS, un outil d'automatisation de navigateur dédié (par ex., Playwright) est plus adapté.
• Environnements sans interface / serveur — les autorisations d'enregistrement d'écran et d'accessibilité nécessitent une session utilisateur macOS connectée avec un écran.

La commande see capture un instantané et superpose des identifiants d'éléments étiquetés sur l'image de l'écran ou de la fenêtre. Ces identifiants (par exemple, B1, T2) peuvent ensuite être passés directement aux commandes click, drag, type et autres commandes d'interaction, rendant le ciblage fiable sans avoir à coder en dur les coordonnées en pixels.

Peekaboo couvre tous les primitives d'entrée : click, drag, swipe, scroll, move, hotkey, press, type et paste. Les commandes acceptent des identifiants d'éléments, des paramètres de ciblage de fenêtre ou des coordonnées brutes, et prennent en charge des profils de timing et des délais imitant le comportement humain.

Lancez, quittez, masquez et basculez entre les applications ; fermez, minimisez, agrandissez, déplacez et redimensionnez les fenêtres ; changez d'espace ; cliquez sur les menus d'application par chemin (par ex., Format > Police > Afficher les polices) ; interagissez avec le Dock et les extras de la barre d'état — le tout depuis un seul outil.

Capturez des écrans entiers, des fenêtres spécifiques ou des zones de la barre de menus en PNG/JPG à résolution retina. La commande capture live enregistre des vidéos avec détection de mouvement, des fréquences d'images configurables selon l'activité ou l'inactivité, la mise en évidence des changements et le ciblage de zones précises.

Chaque commande prend en charge --json/-j pour une sortie lisible par machine, ce qui facilite la transmission des résultats vers d'autres outils ou agents. La commande run exécute des fichiers de script .peekaboo.json pour des flux de travail reproductibles en plusieurs étapes.

Les commandes partagent un cache de snapshots afin que plusieurs étapes d'interaction réutilisent le même état capturé sans captures d'écran redondantes. La commande bridge et le drapeau --bridge-socket permettent l'inspection de la connectivité pour les configurations distantes ou en mode agent.

Un agent appelle peekaboo see --annotate pour obtenir une capture d'écran annotée, lit la carte JSON des éléments, puis émet des commandes click, type et hotkey pour remplir des formulaires, naviguer dans des boîtes de dialogue et confirmer des actions — le tout sans intervention humaine au clavier.

Utilisez peekaboo see pour localiser les champs de saisie par ID annoté, puis click et type pour entrer les identifiants, press tab pour avancer, et hotkey cmd,return pour soumettre — reproductible après chaque redémarrage de l'application.

Planifiez peekaboo image --app Safari --window-title "Dashboard" --analyze "Summarize KPIs" pour capturer une fenêtre et l'envoyer à un LLM afin d'obtenir un résumé écrit, produisant ainsi des rapports automatisés réguliers sans aucune capture d'écran manuelle.

Écrivez un script .peekaboo.json qui lance plusieurs applications, arrange leurs fenêtres selon des dimensions et positions précises, change d'espace, et ouvre des URLs — puis exécutez-le avec peekaboo run pour reproduire à la demande une disposition complète de l'espace de travail.