Peekaboo

• AI-driven skrivbordsautomation — du vill ha en agent som observerar macOS-skärmen, identifierar UI-element och utför åtgärder (klicka, skriva, dra) åt dig.
• Skriptade UI-arbetsflöden — du behöver upprepningsbara .peekaboo.json-skript som startar appar, fyller i formulär, navigerar menyer och hanterar fönster utan att skriva native Swift/AppleScript.
• Skärmdumps- och visuella analyspipelines — du behöver programmatisk skärminspelning (helskärm, specifikt fönster, menyradsregion) med valfri LLM-driven bildanalys.
• Testning av macOS GUI-appar — du vill styra UI-interaktioner från kommandoraden och verifiera tillstånd via kommenterade ögonblicksbilder.

• Plattformar som inte är macOS — Peekaboo är endast för Darwin; det fungerar inte på Linux eller Windows.
• Webbaserad automation — om ditt mål är en webbläsare utan inblandning av ett inbyggt macOS-gränssnitt är ett dedikerat webbläsarautomationsverktyg (t.ex. Playwright) ett bättre alternativ.
• Headless-/servermiljöer — Behörigheter för skärminspelning och tillgänglighet kräver en inloggad macOS-användarsession med en skärm.

Kommandot see tar en ögonblicksbild och lägger märkta element-ID:n som ett lager ovanpå skärm- eller fönsterbilden. Dessa ID:n (t.ex. B1, T2) kan sedan skickas direkt till click, drag, type och andra interaktionskommandon, vilket gör målsättningen tillförlitlig utan att hårdkoda pixelkoordinater.

Peekaboo täcker alla grundläggande interaktionstyper: click, drag, swipe, scroll, move, hotkey, press, type och paste. Kommandon accepterar element-ID:n, fönsterinriktningsparametrar eller råa koordinater, och stöder mänskliga timingprofiler och fördröjningar.

Starta, avsluta, dölj och växla appar; stäng, minimera, maximera, flytta och ändra storlek på fönster; växla Spaces; klicka på programmenyer via sökväg (t.ex. Format > Teckensnitt > Visa teckensnitt); interagera med Dock och statusradens menyextras — allt från ett och samma verktyg.

Fånga hela skärmar, specifika fönster eller menyradens regioner i PNG/JPG med retina-upplösning. Kommandot capture live spelar in rörelsekänslig video med konfigurerbara bildhastigheter för aktiva/inaktiva lägen, förändringshighlighting och regionsinriktning.

Varje kommando stöder --json/-j för maskinläsbar utdata, vilket gör det enkelt att skicka resultat vidare till andra verktyg eller agenter. Kommandot run kör .peekaboo.json-skriptfiler för repeterbara arbetsflöden med flera steg.

Kommandon delar en snapshot-cache så att flera interaktionssteg återanvänder samma hämtade tillstånd utan redundanta skärmdumpar. Kommandot bridge och flaggan --bridge-socket möjliggör anslutningsgranskning för fjärr- och agentmiljöer.

En agent anropar peekaboo see --annotate för att få en märkt skärmbild, läser JSON-elementkartan och skickar sedan kommandon som click, type och hotkey för att fylla i formulär, navigera i dialogrutor och bekräfta åtgärder — helt utan en människa vid tangentbordet.

Använd peekaboo see för att hitta inmatningsfält via annoterade ID:n, sedan click och type för att ange inloggningsuppgifter, press tab för att gå vidare, och hotkey cmd,return för att skicka — reproducerbart över omstarter av appen.

Schemalägg peekaboo image --app Safari --window-title "Dashboard" --analyze "Summarize KPIs" för att fånga ett fönster och skicka det till en LLM för en skriftlig sammanfattning, vilket ger regelbundna automatiserade rapporter utan några manuella skärmbilder.

Skriv ett .peekaboo.json-skript som startar flera appar, arrangerar deras fönster till specifika storlekar och positioner, byter Space, och öppnar URL:er — kör det sedan med peekaboo run för att återskapa en fullständig arbetsytelayout på begäran.