Peekaboo

• Автоматизация рабочего стола на основе ИИ — вы хотите, чтобы агент наблюдал за экраном macOS, определял элементы интерфейса и выполнял действия от вашего имени (клик, ввод текста, перетаскивание).
• Сценарные рабочие процессы пользовательского интерфейса — вам нужны воспроизводимые скрипты .peekaboo.json, которые запускают приложения, заполняют формы, перемещаются по меню и управляют окнами без написания кода на Swift/AppleScript.
• Конвейеры захвата экрана и визуального анализа — вам требуется программный захват экрана (весь экран, конкретное окно, область строки меню) с опциональным анализом изображений на основе LLM.
• Тестирование GUI-приложений macOS — вы хотите управлять взаимодействиями с интерфейсом из командной строки и проверять состояние с помощью аннотированных снимков экрана.

• Платформы, отличные от macOS — Peekaboo работает только на Darwin; он не запускается на Linux или Windows.
• Автоматизация только в браузере — если вашей целью является браузер без задействования нативного интерфейса macOS, лучше подойдёт специализированный инструмент для автоматизации браузера (например, Playwright).
• Среды без графического интерфейса / серверные среды — разрешения на запись экрана и доступ к специальным возможностям требуют активной пользовательской сессии macOS с подключённым дисплеем.

Команда see делает снимок экрана и накладывает подписанные идентификаторы элементов на изображение экрана или окна. Эти идентификаторы (например, B1, T2) можно передавать напрямую в команды click, drag, type и другие команды взаимодействия, что обеспечивает надёжное указание цели без жёсткой привязки к пиксельным координатам.

Peekaboo охватывает все примитивы ввода: click, drag, swipe, scroll, move, hotkey, press, type и paste. Команды принимают идентификаторы элементов, параметры выбора окна или необработанные координаты, а также поддерживают профили тайминга и задержки, имитирующие действия человека.

Запускайте, завершайте, скрывайте и переключайте приложения; закрывайте, сворачивайте, разворачивайте, перемещайте и изменяйте размер окон; переключайтесь между Spaces; нажимайте пункты меню приложений по пути (например, Формат > Шрифт > Показать шрифты); взаимодействуйте с Dock и дополнительными элементами строки меню — всё из одного инструмента.

Захватывайте полные экраны, отдельные окна или области строки меню в формате PNG/JPG с разрешением Retina. Команда capture live записывает видео с определением движения, настраиваемой частотой кадров для активных и неактивных состояний, выделением изменений и выбором целевой области.

Каждая команда поддерживает флаги --json/-j для вывода данных в машиночитаемом формате, что упрощает передачу результатов в другие инструменты или агенты. Команда run выполняет файлы скриптов .peekaboo.json для повторяемых многошаговых рабочих процессов.

Команды совместно используют кэш снимков экрана, благодаря чему несколько шагов взаимодействия повторно используют одно и то же захваченное состояние без избыточных снимков экрана. Команда bridge и флаг --bridge-socket обеспечивают проверку подключения для удалённых настроек и настроек на основе агентов.

Агент вызывает peekaboo see --annotate, чтобы получить размеченный скриншот, считывает JSON-карту элементов, затем выполняет команды click, type и hotkey для заполнения форм, навигации по диалоговым окнам и подтверждения действий — всё это без участия человека за клавиатурой.

Используйте peekaboo see для поиска полей ввода по аннотированному ID, затем click и type для ввода учётных данных, press tab для перехода к следующему полю и hotkey cmd,return для отправки — воспроизводимо после перезапуска приложения.

Запланируйте выполнение peekaboo image --app Safari --window-title "Dashboard" --analyze "Summarize KPIs", чтобы захватить окно и отправить его в LLM для получения текстового резюме — это позволит создавать регулярные автоматизированные отчёты без каких-либо ручных снимков экрана.

Напишите скрипт .peekaboo.json, который запускает несколько приложений, располагает их окна в заданных границах и позициях, переключает Spaces и открывает URL-адреса — затем запустите его с помощью peekaboo run, чтобы воспроизводить полную раскладку рабочего пространства по требованию.