Desktop Control

• Automatisierung sich wiederholender GUI-Workflows – Formulare ausfüllen, Menüs navigieren oder Dateien stapelweise in Anwendungen verarbeiten, die keine API besitzen.
• Erstellen von Desktop-Testskripten – Benutzereingaben simulieren und Screenshots aufnehmen, um den Anwendungszustand zu überprüfen.
• Orchestrierung von Multi-App-Pipelines – zwischen Fenstern wechseln, Daten aus einer App kopieren und in eine andere einfügen.
• Bildschirmüberwachung und -aufnahme – zeitgesteuerte oder bereichsspezifische Screenshots erstellen, Bildschirmelemente per Bilderkennung erkennen oder Pixelfarben zur Zustandserkennung auslesen.

• Headless- oder Server-Umgebungen — diese Fähigkeit erfordert eine sichtbare Anzeige; sie funktioniert nicht auf Geräten ohne Desktop-Sitzung.
• Anwendungen, die simulierte Eingaben blockieren — bestimmte Spiele, DRM-geschützte Apps und sichere Anmeldebildschirme lehnen synthetische Maus-/Tastaturereignisse aktiv ab.
• Hochfrequente Automatisierung mit geringer Latenz — wenn Sie Präzision im Submillisekunden-Bereich benötigen oder Tausende von Aktionen pro Sekunde automatisieren, ist eine native OS-API oder eine dedizierte RPA-Plattform zuverlässiger.

Bewege den Cursor zu absoluten Bildschirmkoordinaten oder relativen Versätzen, mit optionalen sanften Bézierkurven-Pfaden, die natürliche menschliche Bewegungen nachahmen. Unterstützt Links-, Rechts- und Mittelklicks, Doppel-/Dreifachklicks, Drag-and-Drop sowie vertikales und horizontales Scrollen.

Gib Text mit beliebiger Geschwindigkeit ein – von sofort bis hin zu menschenähnlichen WPM –, führe Mehr-Tasten-Hotkeys aus (Strg+C, Win+R usw.), drücke Sonder- und Funktionstasten und halte Modifikatortasten für komplexe Interaktionen wie die Auswahl mehrerer Dateien manuell gedrückt oder lasse sie los.

Nimmt den gesamten Bildschirm oder einen beliebigen rechteckigen Bereich auf und speichert das Ergebnis als PNG. Optional kann OpenCV verwendet werden, um ein Vorlagenbild an beliebiger Stelle auf dem Bildschirm mit einem konfigurierbaren Konfidenzschwellenwert zu lokalisieren – dies ermöglicht die Elementerkennung ohne fest kodierte Koordinaten.

Alle geöffneten Fenster auflisten, beliebige Fenster per teilweiser Titelübereinstimmung aktivieren, das aktuell fokussierte Fenster abrufen sowie Position, Größe und Titel von Fenstern auslesen – so lassen sich Multi-Anwendungs-Workflows mühelos orchestrieren.

Ein Ausfallsicherheitsmodus bricht die Automatisierung ab, wenn die Maus eine beliebige Bildschirmecke erreicht. Ein Genehmigungsmodus fordert vor jeder Aktion eine Benutzerbestätigung an. Eine Bereichsprüfung verhindert Operationen außerhalb des Bildschirms, und alle Aktionen werden zur Überprüfung protokolliert.

Text programmgesteuert in die Zwischenablage schreiben oder deren aktuellen Inhalt lesen, um eine nahtlose Datenübertragung zwischen Anwendungen zu ermöglichen – ohne Tastatürkürzel simulieren zu müssen.

Ein Agent aktiviert ein Zielanwendungsfenster, klickt der Reihe nach in jedes Formularfeld, gibt die entsprechenden Werte mit menschenähnlicher Geschwindigkeit ein und sendet das Formular ab – dabei repliziert er einen Benutzer, der ein komplexes Web- oder Desktop-Formular ausfüllt, ohne auf eine App-API zugreifen zu müssen.

Nachdem eine Anwendungsaktion ausgelöst wurde, wird ein bestimmter Bildschirmbereich erfasst und als PNG mit Zeitstempel gespeichert. Anschließend wird mithilfe von Bilderkennung überprüft, ob die erwartete Schaltfläche oder der erwartete Dialog sichtbar ist, bevor der Vorgang fortgesetzt wird.

Halte Ctrl gedrückt und klicke im Dateimanager auf mehrere Dateien, um sie auszuwählen, und ziehe die Auswahl dann in einen Zielordner – alles als eine einzige, reproduzierbare Automatisierungssequenz mit Desktop Control geskriptet.

Aktiviere eine Quellanwendung, wähle Daten aus und kopiere sie mit Tastaturkürzeln, wechsle über die Fensteraktivierung zu einer Zielanwendung und füge sie ein – so automatisierst du einen Arbeitsablauf, der sonst manuelles Kopieren und Einfügen zwischen Programmen erfordert.