Peekaboo

• Tekoälypohjainen työpöytäautomaatio — haluat agentin, joka tarkkailee macOS-näyttöä, tunnistaa käyttöliittymäelementit ja suorittaa toimintoja (napsautus, kirjoitus, vetäminen) puolestasi.
• Skriptatut käyttöliittymätyönkulut — tarvitset toistettavia .peekaboo.json-skriptejä, jotka käynnistävät sovelluksia, täyttävät lomakkeita, navigoivat valikoissa ja hallitsevat ikkunoita ilman natiivi Swift/AppleScript-koodausta.
• Kuvakaappaus- ja visuaalisen analyysin putkilinjat — tarvitset ohjelmallisen näytönkaappauksen (koko näyttö, tietty ikkuna, valikkopalkki-alue) valinnaisella LLM-pohjaisella kuva-analyysillä.
• macOS GUI -sovellusten testaus — haluat ohjata käyttöliittymävuorovaikutuksia komentorivin kautta ja varmistaa tilan merkittyjen tilannekuvien avulla.

• Muut kuin macOS-alustat — Peekaboo on tarkoitettu vain Darwinille; se ei toimi Linuxilla tai Windowsilla.
• Pelkkä verkkoautomaatio — jos kohteesi on selain ilman natiivia macOS-käyttöliittymää, omistettu selainautomatisointityökalu (esim. Playwright) sopii paremmin.
• Headless- tai palvelinympäristöt — Näytön tallennus- ja esteettömyysoikeudet vaativat kirjautuneen macOS-käyttäjäistunnon, jossa on näyttö.

Komento see ottaa tilannekuvan ja lisää elementtien tunnisteet näytön tai ikkunan kuvaan. Näitä tunnisteita (esim. B1, T2) voidaan sitten välittää suoraan komennoille click, drag, type ja muille vuorovaikutuskomennoille, mikä tekee kohdistamisesta luotettavaa ilman pikselikoordinaattien kovakoodausta.

Peekaboo kattaa kaikki syötteen perustoiminnot: click, drag, swipe, scroll, move, hotkey, press, type ja paste. Komennot hyväksyvät elementtitunnuksia, ikkunan kohdistusparametreja tai raakakoordinaatteja, ja tukevat ihmismäisiä ajoitusprofiileja sekä viiveitä.

Käynnistä, sulje, piilota ja vaihda sovelluksia; sulje, pienennä, suurenna, siirrä ja muuta ikkunoiden kokoa; vaihda Spacesia; napsauta sovelluksen valikoita polun mukaan (esim. Muoto > Fontti > Näytä fontit); käytä Dockia ja tilapalkin valikkolisäkkeitä — kaikki yhdestä työkalusta.

Kaappaa koko näyttöjä, tiettyjä ikkunoita tai valikkopalkin alueita PNG/JPG-muodossa retinaresoluutiolla. capture live -komento tallentaa liikettä tunnistavaa videota, jossa on määritettävät aktiivi- ja lepotilakuvanopeudet, muutosten korostus sekä alueen kohdistus.

Jokainen komento tukee --json/-j-valitsinta koneluettavaa tulostusta varten, mikä tekee tulosten putkittamisesta muihin työkaluihin tai agentteihin suoraviivaista. run-komento suorittaa .peekaboo.json-skriptitiedostoja toistettavia monivaiheisia työnkulkuja varten.

Komennot jakavat tilannekuvan välimuistin, joten useat vuorovaikutusvaiheet käyttävät samaa tallennettua tilaa ilman tarpeettomia kuvakaappauksia. bridge-komento ja --bridge-socket-lippu mahdollistavat yhteyden tarkastelun etä- ja agenttikokoonpanoissa.

Agentti kutsuu komentoa peekaboo see --annotate saadakseen merkityn kuvakaappauksen, lukee JSON-elementtikartan ja antaa sitten click-, type- ja hotkey-komentoja lomakkeiden täyttämiseen, valintaikkunoissa navigointiin ja toimintojen vahvistamiseen — kaikki ilman ihmistä näppäimistöllä.

Käytä peekaboo see -komentoa syötekenttien paikallistamiseen annotoidun tunnisteen avulla, sitten click ja type -komentoja tunnistetietojen syöttämiseen, press tab -komentoa etenemiseen sekä hotkey cmd,return -komentoa lähettämiseen — toistettavissa sovelluksen uudelleenkäynnistysten jälkeen.

Ajasta peekaboo image --app Safari --window-title "Dashboard" --analyze "Summarize KPIs" ottamaan ikkunasta kuvakaappaus ja lähettämään se suurelle kielimallille kirjallista yhteenvetoa varten – näin saat säännölliset automatisoidut raportit ilman manuaalisia kuvakaappauksia.

Kirjoita .peekaboo.json-skripti, joka käynnistää useita sovelluksia, järjestää niiden ikkunat tiettyihin rajoihin ja sijainteihin, vaihtaa Spaceja ja avaa URL-osoitteita — suorita se sitten komennolla peekaboo run toistaaksesi koko työtila-asettelun tarvittaessa.