Pikselinprecisioon työpöytäautomaatio hiirellä, näppäimistöllä, näytönkaappauksella, ikkunanhallinnalla ja leikepöydän ohjauksella.
npx clawhub@latest install desktop-controlDesktop Control on kattava työpöytäautomaatio-taito, joka antaa tekoälyagenteille tarkan, ohjelmallisen hallinnan koko työpöytäympäristösi yli. Se kattaa hiiren liikkeet (mukaan lukien pehmeät Bezier-käyräreitit), näppäimistösyötteen säädettävillä nopeuksilla, ruudunkaappauksen ja kuvantunnistuksen, ikkunanhallinnan sekä leikepöytätoiminnot. PyAutoGUI:n ja OpenCV:n pohjalle rakennettu taito sisältää turvallisuusmekanismeja, kuten turvallisen kulman ja hyväksyntätilan, joiden avulla automaatio pysyy hallinnassasi.
npx clawhub@latest install desktop-controlNapsauta Asenna-painiketta sivun yläosassa yhdellä napsauksella tapahtuvaa asennusta varten
Siirrä kursori absoluuttisiin näyttökoordinaatteihin tai suhteellisiin siirtymiin, valinnaisilla sujuvilla Bezier-käyrillä, jotka jäljittelevät luonnollista ihmisen liikettä. Tukee vasen-, oikea- ja keskipainikkeen napsautuksia, kaksois- ja kolmoisnapsautuksia, vedä ja pudota -toimintoa sekä sekä pysty- että vaakasuuntaista vieritystä.
Kirjoita tekstiä millä tahansa nopeudella hetkellisestä ihmismäiseen WPM-nopeuteen, suorita monen näppäimen pikanäppäimiä (Ctrl+C, Win+R jne.), paina erikois- ja funktionäppäimiä sekä pidä manuaalisesti alhaalla tai vapauta muokkausnäppäimiä monimutkaisia vuorovaikutuksia varten, kuten useiden tiedostojen valitseminen.
Kaappaa koko näyttö tai mikä tahansa suorakulmainen alue ja tallenna tulos PNG-tiedostona. Voit halutessasi käyttää OpenCV:tä mallikuvan paikallistamiseen missä tahansa kohdassa näyttöä määritettävällä luottamuskynnyksellä, mikä mahdollistaa elementtien tunnistamisen ilman kiintokoordinaatteja.
Listaa kaikki avoimet ikkunat, aktivoi mikä tahansa ikkuna osittaisen otsikkohakuosuman perusteella, hae tällä hetkellä aktiivisena oleva ikkuna sekä lue ikkunan sijainti, koko ja otsikko — mikä tekee useiden sovellusten välisten työnkulkujen hallinnasta suoraviivaista.
Vikaturvatila keskeyttää automaation, kun hiiri saavuttaa minkä tahansa näytön kulman. Hyväksyntätila pyytää käyttäjän vahvistuksen ennen jokaista toimintoa. Rajojen tarkistus estää näytön ulkopuoliset toiminnot, ja kaikki toiminnot kirjataan lokiin tarkastusta varten.
Kirjoita tekstiä leikepöydälle ohjelmallisesti tai lue sen nykyinen sisältö, mikä mahdollistaa saumattoman tiedonsiirron sovellusten välillä ilman näppäinoikoteiden simulointia.
Agentti aktivoi kohdesovelluksen ikkunan, napsauttaa jokaista lomakekenttää järjestyksessä, kirjoittaa sopivat arvot ihmismäisellä nopeudella ja lähettää lomakkeen — jäljitellen käyttäjää, joka täyttää monimutkaisen verkko- tai työpöytälomakkeen ilman sovelluksen ohjelmointirajapintaa.
Kun sovellustoiminto on käynnistetty, kaappaa tietty näyttöalue ja tallenna se aikaleimattuna PNG-tiedostona, minkä jälkeen käytä kuvantunnistusta vahvistaaksesi, että odotettu painike tai valintaikkuna on näkyvissä ennen kuin jatkat.
Pidä Ctrl-näppäintä pohjassa ja napsauta useita tiedostoja tiedostohallinnassa valitaksesi ne, vedä sitten valinta kohdekansioon — kaikki skriptattu yhdeksi toistettavaksi automaatiosekvensniksi.
Aktivoi lähdejärjestelmä, valitse ja kopioi tiedot näppäinoikoteillä, vaihda kohdejärjestelmään ikkunan aktivoinnin kautta ja liitä tiedot — automatisoi työnkulun, joka muuten vaatisi manuaalista kopioimista ja liittämistä ohjelmien välillä.
pyautogui, pillow, pygetwindow ovat pakollisia. opencv-python on valinnainen, mutta tarvitaan kuvantunnistukseen (find_on_screen).npx clawhub@latest install desktop-controlKirjaudu sisään kirjoittaaksesi arvostelun
Ei arvosteluja vielä. Ole ensimmäinen jakamaan kokemuksesi!