Peekaboo

• AI 驅動的桌面自動化 — 您希望代理程式觀察 macOS 螢幕、識別 UI 元素，並代表您執行操作（點擊、輸入、拖曳）。
• 腳本化 UI 工作流程 — 您需要可重複執行的 .peekaboo.json 腳本，用於啟動應用程式、填寫表單、瀏覽選單及管理視窗，無需撰寫原生 Swift/AppleScript。
• 截圖與視覺分析流程 — 您需要以程式方式擷取畫面（全螢幕、特定視窗、選單列區域），並可選擇性地搭配 LLM 驅動的圖像分析。
• 測試 macOS GUI 應用程式 — 您希望從命令列驅動 UI 互動，並透過標註快照驗證狀態。

• 非 macOS 平台 — Peekaboo 僅支援 Darwin；無法在 Linux 或 Windows 上執行。
• 純網頁自動化 — 若目標是瀏覽器且不涉及任何原生 macOS UI，專用的瀏覽器自動化工具（例如 Playwright）會是更合適的選擇。
• 無頭／伺服器環境 — 螢幕錄製與輔助使用權限需要已登入的 macOS 使用者工作階段，並且必須連接顯示器。

see 指令會擷取畫面快照，並將標記了元素 ID 的標籤疊加顯示在螢幕或視窗影像上。這些 ID（例如 B1、T2）可直接傳遞給 click、drag、type 及其他互動指令，讓目標定位更加可靠，無需硬式編碼像素座標。

Peekaboo 涵蓋所有輸入基本操作：click、drag、swipe、scroll、move、hotkey、press、type 以及 paste。指令可接受元素 ID、視窗定位參數或原始座標，並支援擬人化的時序配置與延遲設定。

啟動、結束、隱藏及切換應用程式；關閉、最小化、最大化、移動及調整視窗大小；切換 Spaces；透過路徑點擊應用程式選單（例如：Format > Font > Show Fonts）；與 Dock 及狀態列選單項目互動——全部集中於一個工具。

以視網膜解析度擷取完整螢幕、特定視窗或選單列區域，格式支援 PNG/JPG。capture live 指令可錄製具備動態感知的影片，並提供可自訂的活動/閒置幀率、變更區域高亮顯示，以及目標區域設定等功能。

每個指令都支援 --json/-j 選項以輸出機器可讀格式，讓您能輕鬆將結果透過管道傳送至其他工具或代理程式。run 指令可執行 .peekaboo.json 腳本檔案，適用於可重複執行的多步驟工作流程。

指令共享快照快取，讓多個互動步驟能重複使用相同的擷取狀態，無需重複截圖。bridge 指令與 --bridge-socket 旗標可為遠端／代理環境啟用連線狀態檢查功能。

代理程式呼叫 peekaboo see --annotate 取得帶有標註的螢幕截圖，讀取 JSON 元素對應表，接著發出 click、type 和 hotkey 指令來填寫表單、操作對話框並確認動作——全程無需人工操作鍵盤。

使用 peekaboo see 透過標註 ID 定位輸入欄位，再以 click 和 type 輸入憑證，press tab 切換至下一欄位，並以 hotkey cmd,return 提交表單 — 可在應用程式重新啟動後重複執行。

排程執行 peekaboo image --app Safari --window-title "Dashboard" --analyze "Summarize KPIs" 以擷取視窗畫面，並將其傳送至 LLM 進行文字摘要，無需手動截圖即可定期自動產生報告。

撰寫一個 .peekaboo.json 腳本，用於啟動多個應用程式、將其視窗排列至指定的範圍與位置、切換 Spaces，並開啟 URL——然後使用 peekaboo run 執行，隨時重現完整的工作區配置。