Peekaboo

• AI驱动的桌面自动化 — 您希望让智能代理观察 macOS 屏幕、识别 UI 元素，并代表您执行操作（点击、输入、拖拽）。
• 脚本化 UI 工作流 — 您需要可重复执行的 .peekaboo.json 脚本，用于启动应用、填写表单、导航菜单以及管理窗口，而无需编写原生 Swift/AppleScript。
• 截图与视觉分析流水线 — 您需要以编程方式进行屏幕捕获（全屏、特定窗口、菜单栏区域），并可选配 LLM 驱动的图像分析功能。
• 测试 macOS GUI 应用 — 您希望通过命令行驱动 UI 交互，并通过带注释的快照来验证状态。

• 非 macOS 平台 — Peekaboo 仅支持 Darwin 系统；它无法在 Linux 或 Windows 上运行。
• 纯 Web 自动化 — 如果您的目标是浏览器且不涉及任何 macOS 原生 UI，专用的浏览器自动化工具（例如 Playwright）更为合适。
• 无头/服务器环境 — 屏幕录制和辅助功能权限需要已登录的 macOS 用户会话以及显示器。

see 命令会捕获快照，并将带标签的元素 ID 叠加显示在屏幕或窗口图像上。这些 ID（例如 B1、T2）可以直接传递给 click、drag、type 及其他交互命令，从而无需硬编码像素坐标即可实现可靠的目标定位。

Peekaboo 涵盖所有输入原语：click、drag、swipe、scroll、move、hotkey、press、type 和 paste。命令支持元素 ID、窗口定位参数或原始坐标，并支持模拟人类行为的时序配置和延迟设置。

启动、退出、隐藏和切换应用；关闭、最小化、最大化、移动和调整窗口大小；切换 Spaces；通过路径点击应用菜单（例如 格式 > 字体 > 显示字体）；与 Dock 及状态栏菜单项交互——所有操作尽在一个工具中完成。

以视网膜分辨率捕获完整屏幕、特定窗口或菜单栏区域，支持 PNG/JPG 格式。capture live 命令可录制具备动态感知能力的视频，支持配置活动/空闲帧率、变化区域高亮显示以及区域定向采集。

每个命令都支持 --json/-j 参数以获得机器可读的输出，方便将结果通过管道传递给其他工具或代理。run 命令可执行 .peekaboo.json 脚本文件，用于可重复运行的多步骤工作流。

命令共享快照缓存，使多个交互步骤能够复用相同的已捕获状态，无需重复截取屏幕。bridge 命令和 --bridge-socket 标志可为远程/代理环境启用连接性检查。

智能体调用 peekaboo see --annotate 获取带标注的截图，读取 JSON 元素映射，然后发出 click、type 和 hotkey 命令来填写表单、导航对话框并确认操作——全程无需人工操作键盘。

使用 peekaboo see 通过标注 ID 定位输入字段，然后使用 click 和 type 输入凭据，使用 press tab 前进到下一个字段，并使用 hotkey cmd,return 提交表单——在应用重启后仍可重复执行。

计划运行 peekaboo image --app Safari --window-title "Dashboard" --analyze "Summarize KPIs" 以捕获窗口并将其发送至大语言模型生成文字摘要，从而无需任何手动截图即可定期自动生成报告。

编写一个 .peekaboo.json 脚本，用于启动多个应用、将其窗口排列到指定的边界与位置、切换 Space，并打开 URL——然后通过 peekaboo run 运行该脚本，随时还原完整的工作区布局。