Desktop Control

• Automatizando fluxos de trabalho repetitivos de GUI — preencher formulários, navegar em menus ou processar arquivos em lote em aplicações que não possuem uma API.
• Criando scripts de teste para desktop — simulando entradas do usuário e capturando screenshots para verificar o estado da aplicação.
• Orquestrando pipelines com múltiplos aplicativos — alternando entre janelas, copiando dados de um aplicativo e colando em outro.
• Monitoramento e captura de tela — tirando screenshots programados ou de regiões específicas, detectando elementos na tela via reconhecimento de imagem ou lendo cores de pixels para detecção de estado.

• Ambientes headless ou de servidor — esta skill requer um monitor visível; ela não funcionará em máquinas sem uma sessão de desktop.
• Aplicativos que bloqueiam entrada simulada — certos jogos, aplicativos protegidos por DRM e telas de login seguras rejeitam ativamente eventos sintéticos de mouse/teclado.
• Automação de alta frequência e baixa latência — se você precisa de precisão abaixo de milissegundos ou está automatizando milhares de ações por segundo, uma API nativa do SO ou uma plataforma de RPA dedicada será mais confiável.

Mova o cursor para coordenadas absolutas na tela ou deslocamentos relativos, com caminhos opcionais em curva de Bézier suave que imitam o movimento humano natural. Suporta cliques com botão esquerdo, direito e do meio, cliques duplos/triplos, arrastar e soltar, e rolagem vertical e horizontal.

Digite texto em qualquer velocidade, desde instantânea até WPM semelhante ao humano, execute hotkeys com múltiplas teclas (Ctrl+C, Win+R, etc.), pressione teclas especiais e de função, e mantenha ou solte manualmente as teclas modificadoras para interações complexas como seleção de múltiplos arquivos.

Capture a tela inteira ou qualquer região retangular e salve o resultado como PNG. Opcionalmente, utilize o OpenCV para localizar uma imagem de template em qualquer parte da tela com um limiar de confiança configurável, permitindo a detecção de elementos sem coordenadas fixas no código.

Liste todas as janelas abertas, ative qualquer janela por correspondência parcial de título, recupere a janela atualmente em foco e leia a posição, o tamanho e o título da janela — tornando simples a orquestração de fluxos de trabalho com múltiplas aplicações.

Um modo à prova de falhas interrompe a automação quando o mouse atinge qualquer canto da tela. Um modo de aprovação solicita a confirmação do usuário antes de cada ação. A verificação de limites impede operações fora da tela, e todas as ações são registradas para auditoria.

Escreva texto na área de transferência de forma programática ou leia seu conteúdo atual, permitindo a transferência de dados entre aplicações de forma fluida sem simular atalhos de teclado.

Um agente ativa a janela de um aplicativo de destino, clica em cada campo do formulário em sequência, digita os valores apropriados em uma velocidade semelhante à humana e envia o formulário — replicando um usuário preenchendo um formulário complexo da web ou desktop sem qualquer acesso à API do aplicativo.

Após acionar uma ação em um aplicativo, capture uma região específica da tela para salvar como PNG com registro de data e hora e, em seguida, use o reconhecimento de imagem para confirmar que o botão ou diálogo esperado está visível antes de prosseguir.

Segure Ctrl e clique em vários arquivos em um gerenciador de arquivos para selecioná-los, depois arraste a seleção para uma pasta de destino — tudo automatizado como uma única sequência reproduzível com o Desktop Control.

Ative um aplicativo de origem, selecione e copie dados usando atalhos de teclado, alterne para um aplicativo de destino por meio da ativação de janela e cole — automatizando um fluxo de trabalho que, de outra forma, exigiria copiar e colar manualmente entre programas.