Peekaboo

• AIによるデスクトップ自動化 — エージェントにmacOSの画面を観察させ、UI要素を識別し、代わりにアクション（クリック、入力、ドラッグ）を実行させたい場合。
• スクリプト化されたUIワークフロー — アプリの起動、フォームの入力、メニューのナビゲーション、ウィンドウの管理をネイティブのSwift/AppleScriptを書かずに行える、再利用可能な .peekaboo.json スクリプトが必要な場合。
• スクリーンショットおよびビジュアル分析パイプライン — オプションのLLMによる画像分析を備えた、プログラムによる画面キャプチャ（全画面、特定のウィンドウ、メニューバー領域）が必要な場合。
• macOS GUIアプリのテスト — コマンドラインからUIの操作を実行し、注釈付きスナップショットで状態を検証したい場合。

• macOS以外のプラットフォーム — PeekabooはDarwin専用です。LinuxやWindowsでは動作しません。
• Webのみの自動化 — ネイティブのmacOS UIを使用しないブラウザが対象の場合、専用のブラウザ自動化ツール（例：Playwright）の方が適しています。
• ヘッドレス／サーバー環境 — 画面収録およびアクセシビリティの権限には、ディスプレイが接続されたmacOSのログイン済みユーザーセッションが必要です。

see コマンドはスナップショットを取得し、画面またはウィンドウ画像の上にラベル付き要素IDを重ねて表示します。これらのID（例：B1、T2）は、click、drag、type などの操作コマンドに直接渡すことができ、ピクセル座標をハードコードすることなく、信頼性の高いターゲティングが可能になります。

Peekabooはあらゆる入力プリミティブをカバーしています：click、drag、swipe、scroll、move、hotkey、press、type、paste。コマンドは要素ID、ウィンドウターゲティングパラメーター、または生の座標を受け付け、人間らしいタイミングプロファイルと遅延をサポートしています。

アプリの起動・終了・非表示・切り替え、ウィンドウの閉じる・最小化・最大化・移動・リサイズ、Spacesの切り替え、パス指定によるアプリケーションメニューのクリック（例：フォーマット > フォント > フォントを表示）、Dockやステータスバーのメニューエクストラとのやりとりなど — すべてひとつのツールから操作できます。

フルスクリーン、特定のウィンドウ、またはメニューバー領域をRetina解像度でPNG/JPG形式でキャプチャします。capture live コマンドは、設定可能なアクティブ/アイドルフレームレート、変化部分のハイライト表示、および領域指定に対応した、動き検知ビデオを録画します。

すべてのコマンドは、機械可読な出力のために --json/-j をサポートしており、結果を他のツールやエージェントにパイプするのが簡単です。run コマンドは、繰り返し可能なマルチステップのワークフローのために .peekaboo.json スクリプトファイルを実行します。

コマンドはスナップショットキャッシュを共有するため、複数のインタラクションステップが冗長なスクリーンキャプチャを行わずに同じキャプチャ済み状態を再利用できます。bridge コマンドと --bridge-socket フラグにより、リモート／エージェント環境での接続性の検査が可能になります。

エージェントは peekaboo see --annotate を呼び出してラベル付きスクリーンショットを取得し、JSON要素マップを読み取った上で、click、type、hotkey コマンドを発行してフォームへの入力、ダイアログの操作、アクションの確認を行います — これらすべてを人間がキーボードを触ることなく実現します。

peekaboo see を使用して注釈付きIDで入力フィールドを特定し、click と type で認証情報を入力、press tab で次へ進み、hotkey cmd,return で送信します — アプリの再起動後も再現可能です。

peekaboo image --app Safari --window-title "Dashboard" --analyze "Summarize KPIs" をスケジュール実行することで、ウィンドウをキャプチャしてLLMに送信し、文章によるサマリーを生成できます。手動スクリーンショットなしで、定期的な自動レポートを作成できます。

複数のアプリを起動し、ウィンドウを特定のサイズと位置に配置し、Spacesを切り替え、URLを開く .peekaboo.json スクリプトを作成しましょう。その後、peekaboo run で実行することで、完全なワークスペースレイアウトをいつでも再現できます。