Peekaboo

• AI 기반 데스크톱 자동화 — macOS 화면을 관찰하고, UI 요소를 식별하며, 사용자를 대신해 작업(클릭, 입력, 드래그)을 수행하는 에이전트가 필요한 경우.
• 스크립트 기반 UI 워크플로 — 네이티브 Swift/AppleScript를 작성하지 않고도 앱 실행, 폼 입력, 메뉴 탐색, 창 관리를 수행하는 반복 가능한 .peekaboo.json 스크립트가 필요한 경우.
• 스크린샷 및 시각적 분석 파이프라인 — 선택적 LLM 기반 이미지 분석과 함께 프로그래밍 방식의 화면 캡처(전체 화면, 특정 창, 메뉴 바 영역)가 필요한 경우.
• macOS GUI 앱 테스트 — 커맨드 라인에서 UI 인터랙션을 실행하고, 주석이 달린 스냅샷을 통해 상태를 검증하고 싶은 경우.

• macOS 이외의 플랫폼 — Peekaboo는 Darwin 전용입니다. Linux 또는 Windows에서는 실행되지 않습니다.
• 웹 전용 자동화 — 대상이 macOS 네이티브 UI와 관련 없는 브라우저인 경우, 전용 브라우저 자동화 도구(예: Playwright)가 더 적합합니다.
• 헤드리스 / 서버 환경 — 화면 녹화 및 손쉬운 사용 권한은 디스플레이가 연결된 macOS 사용자 로그인 세션이 필요합니다.

see 명령은 스냅샷을 캡처하고 화면 또는 창 이미지 위에 레이블이 붙은 요소 ID를 오버레이합니다. 이 ID(예: B1, T2)는 click, drag, type 및 기타 상호작용 명령에 직접 전달할 수 있으며, 픽셀 좌표를 하드코딩하지 않고도 안정적인 타겟팅이 가능합니다.

Peekaboo는 모든 입력 기본 요소를 지원합니다: click, drag, swipe, scroll, move, hotkey, press, type, paste. 명령어는 요소 ID, 창 대상 지정 매개변수 또는 원시 좌표를 허용하며, 인간과 유사한 타이밍 프로필 및 지연을 지원합니다.

앱 실행, 종료, 숨기기 및 전환; 윈도우 닫기, 최소화, 최대화, 이동 및 크기 조정; Spaces 전환; 경로로 애플리케이션 메뉴 클릭 (예: Format > Font > Show Fonts); Dock 및 상태 표시줄 메뉴 항목과 상호작용 — 모두 하나의 도구에서 사용 가능합니다.

전체 화면, 특정 창 또는 메뉴 바 영역을 레티나 해상도로 PNG/JPG 형식으로 캡처합니다. capture live 명령은 설정 가능한 활성/유휴 프레임 속도, 변경 사항 하이라이트 및 영역 지정 기능을 갖춘 동작 감지 동영상을 녹화합니다.

모든 명령어는 머신 판독 가능한 출력을 위해 --json/-j 옵션을 지원하며, 결과를 다른 도구나 에이전트로 파이프하는 것을 간편하게 만들어 줍니다. run 명령어는 반복 가능한 다단계 워크플로우를 위해 .peekaboo.json 스크립트 파일을 실행합니다.

명령어들은 스냅샷 캐시를 공유하므로 여러 상호작용 단계에서 불필요한 화면 캡처 없이 동일한 캡처 상태를 재사용합니다. bridge 명령어와 --bridge-socket 플래그는 원격/에이전트 설정에 대한 연결 검사를 가능하게 합니다.

에이전트는 peekaboo see --annotate를 호출하여 레이블이 표시된 스크린샷을 가져오고, JSON 요소 맵을 읽은 다음, click, type, hotkey 명령을 실행하여 양식을 작성하고, 대화 상자를 탐색하며, 작업을 확인합니다 — 이 모든 것이 사람이 키보드를 조작하지 않아도 이루어집니다.

peekaboo see를 사용하여 주석이 달린 ID로 입력 필드를 찾은 다음, click 및 type으로 자격 증명을 입력하고, press tab으로 다음 단계로 이동하며, hotkey cmd,return으로 제출하세요 — 앱을 재시작해도 동일하게 재현할 수 있습니다.

peekaboo image --app Safari --window-title "Dashboard" --analyze "Summarize KPIs"를 예약 실행하여 창을 캡처하고 LLM에 전송해 서면 요약을 생성하면, 수동 스크린샷 없이 정기적인 자동화 보고서를 만들 수 있습니다.

여러 앱을 실행하고, 창을 특정 경계 및 위치로 배치하고, Spaces를 전환하고, URL을 여는 .peekaboo.json 스크립트를 작성한 다음 peekaboo run으로 실행하여 전체 워크스페이스 레이아웃을 필요할 때마다 재현하세요.