Peekaboo

• Automatización de escritorio impulsada por IA — deseas que un agente observe la pantalla de macOS, identifique elementos de la interfaz y realice acciones (clic, escritura, arrastre) en tu nombre.
• Flujos de trabajo de interfaz de usuario con scripts — necesitas scripts .peekaboo.json repetibles que lancen aplicaciones, rellenen formularios, naveguen por menús y gestionen ventanas sin escribir Swift/AppleScript nativo.
• Pipelines de captura de pantalla y análisis visual — necesitas captura de pantalla programática (pantalla completa, ventana específica, región de la barra de menús) con análisis de imágenes opcional impulsado por LLM.
• Pruebas de aplicaciones GUI de macOS — deseas controlar las interacciones de la interfaz de usuario desde la línea de comandos y verificar el estado mediante instantáneas anotadas.

• Plataformas que no son macOS — Peekaboo es exclusivo de Darwin; no se ejecuta en Linux ni en Windows.
• Automatización solo web — si tu objetivo es un navegador sin intervención de la interfaz nativa de macOS, una herramienta de automatización de navegador dedicada (por ejemplo, Playwright) es más adecuada.
• Entornos sin interfaz gráfica / de servidor — los permisos de Grabación de pantalla y Accesibilidad requieren una sesión de usuario de macOS con sesión iniciada y con una pantalla activa.

El comando see captura una instantánea y superpone IDs de elementos etiquetados sobre la imagen de la pantalla o ventana. Estos IDs (por ejemplo, B1, T2) pueden pasarse directamente a click, drag, type y otros comandos de interacción, lo que hace que el objetivo sea fiable sin necesidad de codificar coordenadas de píxeles.

Peekaboo cubre todos los primitivos de entrada: click, drag, swipe, scroll, move, hotkey, press, type y paste. Los comandos aceptan IDs de elementos, parámetros de selección de ventana o coordenadas brutas, y admiten perfiles de temporización similares a los humanos y retrasos personalizados.

Abre, cierra, oculta y cambia entre aplicaciones; cierra, minimiza, maximiza, mueve y redimensiona ventanas; cambia de Space; haz clic en los menús de aplicaciones por ruta (p. ej., Formato > Fuente > Mostrar tipografías); interactúa con el Dock y los extras del menú de la barra de estado — todo desde una sola herramienta.

Captura pantallas completas, ventanas específicas o regiones de la barra de menús en PNG/JPG a resolución retina. El comando capture live graba vídeo con detección de movimiento, frecuencias de fotogramas configurables para estados activo/inactivo, resaltado de cambios y selección de región.

Cada comando admite --json/-j para una salida legible por máquina, lo que facilita canalizar los resultados hacia otras herramientas o agentes. El comando run ejecuta archivos de script .peekaboo.json para flujos de trabajo de varios pasos repetibles.

Los comandos comparten una caché de instantáneas para que múltiples pasos de interacción reutilicen el mismo estado capturado sin capturas de pantalla redundantes. El comando bridge y el indicador --bridge-socket permiten la inspección de conectividad para configuraciones remotas o de agente.

Un agente llama a peekaboo see --annotate para obtener una captura de pantalla etiquetada, lee el mapa de elementos JSON y luego emite comandos click, type y hotkey para rellenar formularios, navegar por cuadros de diálogo y confirmar acciones, todo sin necesidad de que haya una persona en el teclado.

Usa peekaboo see para localizar campos de entrada mediante ID anotado, luego click y type para ingresar credenciales, press tab para avanzar y hotkey cmd,return para enviar — reproducible tras reinicios de la aplicación.

Programa peekaboo image --app Safari --window-title "Dashboard" --analyze "Summarize KPIs" para capturar una ventana y enviarla a un LLM para obtener un resumen escrito, generando informes automatizados de forma periódica sin necesidad de capturas de pantalla manuales.

Escribe un script .peekaboo.json que lance múltiples aplicaciones, organice sus ventanas en límites y posiciones específicos, cambie de Espacios y abra URLs — luego ejecútalo con peekaboo run para reproducir un diseño completo de espacio de trabajo cuando lo necesites.