Peekaboo

• Automação de desktop com IA — você quer um agente que observe a tela do macOS, identifique elementos de UI e execute ações (clicar, digitar, arrastar) em seu nome.
• Fluxos de trabalho de UI com scripts — você precisa de scripts .peekaboo.json repetíveis que iniciam aplicativos, preenchem formulários, navegam por menus e gerenciam janelas sem escrever Swift/AppleScript nativo.
• Pipelines de captura de tela e análise visual — você precisa de captura de tela programática (tela inteira, janela específica, região da barra de menus) com análise de imagem opcional por LLM.
• Testes de aplicativos GUI no macOS — você quer conduzir interações de UI pela linha de comando e verificar o estado por meio de snapshots anotados.

• Plataformas não macOS — Peekaboo é exclusivo para Darwin; não funcionará no Linux ou Windows.
• Automação exclusivamente web — se o seu alvo é um navegador sem envolvimento com a interface nativa do macOS, uma ferramenta dedicada de automação de navegador (por exemplo, Playwright) é mais adequada.
• Ambientes headless / servidor — as permissões de Gravação de Tela e Acessibilidade exigem uma sessão de usuário macOS conectada com um monitor ativo.

O comando see captura um instantâneo e sobrepõe IDs de elementos rotulados sobre a imagem da tela ou janela. Esses IDs (por exemplo, B1, T2) podem então ser passados diretamente para os comandos click, drag, type e outros comandos de interação, tornando o direcionamento confiável sem a necessidade de codificar coordenadas de pixel.

O Peekaboo cobre todos os primitivos de entrada: click, drag, swipe, scroll, move, hotkey, press, type e paste. Os comandos aceitam IDs de elementos, parâmetros de direcionamento de janela ou coordenadas brutas, e oferecem suporte a perfis de temporização e atrasos semelhantes aos humanos.

Abra, feche, oculte e alterne entre aplicativos; feche, minimize, maximize, mova e redimensione janelas; alterne entre Spaces; clique em menus de aplicativos por caminho (ex.: Formatar > Fonte > Mostrar Fontes); interaja com o Dock e os itens extras da barra de status — tudo em uma única ferramenta.

Capture telas inteiras, janelas específicas ou regiões da barra de menus em PNG/JPG com resolução retina. O comando capture live grava vídeo com detecção de movimento, taxas de quadros configuráveis para períodos ativos/ociosos, realce de alterações e seleção de região.

Todo comando suporta --json/-j para saída legível por máquina, tornando simples redirecionar os resultados para outras ferramentas ou agentes. O comando run executa arquivos de script .peekaboo.json para fluxos de trabalho de múltiplas etapas repetíveis.

Os comandos compartilham um cache de snapshots para que várias etapas de interação reutilizem o mesmo estado capturado sem capturas de tela redundantes. O comando bridge e o sinalizador --bridge-socket habilitam a inspeção de conectividade para configurações remotas/de agente.

Um agente chama peekaboo see --annotate para obter uma captura de tela anotada, lê o mapa de elementos JSON e, em seguida, emite comandos click, type e hotkey para preencher formulários, navegar em diálogos e confirmar ações — tudo sem um humano no teclado.

Use peekaboo see para localizar campos de entrada pelo ID anotado, depois click e type para inserir credenciais, press tab para avançar e hotkey cmd,return para enviar — reproduzível entre reinicializações do aplicativo.

Agende peekaboo image --app Safari --window-title "Dashboard" --analyze "Summarize KPIs" para capturar uma janela e enviá-la a um LLM para um resumo escrito, produzindo relatórios automatizados regulares sem nenhuma captura de tela manual.

Escreva um script .peekaboo.json que inicialize vários aplicativos, organize suas janelas em posições e dimensões específicas, alterne entre Spaces, e abra URLs — depois execute-o com peekaboo run para reproduzir um layout completo de área de trabalho sempre que precisar.