Openclaw Qa Testing

• Sie müssen eine vollständige qa-lab-Suite im Mock- oder Live-Frontier-Modus ausführen oder erneut ausführen und Pass/Fail-Zählungen, Watch-URLs und Artefaktpfade zurückerhalten.
• Sie möchten Matrix-Lane-Sharding (fast, transport, media, e2ee-smoke usw.) ausführen oder geplante vs. manuell ausgelöste Profile aktivieren.
• Sie müssen Charakter-/Persona-Evals über mehrere Live-Modelle hinweg ausführen (qa character-eval) mit bewerteten Judge-Berichten und vollständigen Transkripten.
• Sie debuggen ein fehlgeschlagenes Szenario und benötigen den Agenten, um die Grundursache zu identifizieren (Harness vs. Produkt), eine Lösung anzuwenden und die Lane erneut auszuführen.
• Sie möchten QA-Szenarien unter qa/scenarios/ hinzufügen oder erweitern und sie in extensions/qa-lab/src/suite.ts einbinden.

• Diese Skill ist auf das OpenClaw-Repository beschränkt; es handelt sich nicht um eine universell einsetzbare Testautomatisierungs-Skill für beliebige Codebasen.
• Wenn Sie externe Observability-Collector (Opik, Langfuse) anstelle einer lokalen OTLP-Smoke-Validierung benötigen, konfiguriert diese Skill diese Dienste nicht.
• Wenn Ihre QA-Zugangsdaten vollständig unbekannt sind und nicht in den erwarteten 1Password-Vaults (OpenClaw, Private) gespeichert sind, kann die Skill diese nicht erraten oder wiederherstellen — wenden Sie sich zunächst an Ihren Maintainer.

Wählt automatisch den korrekten Lane aus (mock-openai für die Entwicklung, live-frontier für die echte Validierung) und führt pnpm openclaw qa suite mit den richtigen Modellreferenzen und Ausgabeverzeichnissen aus. Gibt für jeden Durchlauf eine qa-suite-summary.json und einen qa-suite-report.md aus.

Unterstützt den vollständigen Satz an Matrix-Profilen — fast, transport, media, e2ee-smoke, e2ee-deep, e2ee-cli — über pnpm openclaw qa matrix. Verarbeitet fail-fast-Flags und Umgebungsüberschreibungen wie OPENCLAW_QA_MATRIX_NO_REPLY_WINDOW_MS für CI/Release-Ausführungen.

Führt qa character-eval über eine konfigurierbare Auswahl von Kandidatenmodellen (OpenAI, Anthropic, Google, Moonshot, ZAI) mit integrierter Thinking-Level- und Fast-Mode-Syntax aus. Erstellt einen priorisierten Bewertungsbericht mit Laufstatistiken, Laufzeiten und vollständigen Transkripten — ohne rohe Richter-Antworten.

Führt pnpm qa:otel:smoke aus, um einen lokalen OTLP/HTTP-Trace-Empfänger zu starten, das Szenario otel-trace-smoke über den qa-channel auszuführen und exportierte Trace-Namen sowie Datenschutzverträge zu überprüfen – keine externen Collector-Zugangsdaten erforderlich.

Weiß, wo Telegram- und Convex-QA-Geheimnisse in 1Password gespeichert sind (OpenClaw- und Private-Tresore) und welche Umgebungsvariablen jede Lane benötigt. Unterstützt sowohl den direkten Telegram-Umgebungsvariablen-Modus als auch das Convex-Round-Robin-Credential-Leasing für die npm-Telegram-Docker-Lane.

Unterstützt codex-cli/<codex-model>-Modellreferenzen für QA-Suiten und manuelle Tests, wobei CODEX_HOME in Live-Ausführungen beibehalten wird, während HOME und OPENCLAW_HOME in einer Sandbox isoliert werden. Bereinigt CODEX_HOME bei Mock-Ausführungen automatisch.

Löst das fast Matrix-Profil mit --fail-fast aus, um release-kritische Transport-Contracts vor einem Deploy zu validieren. Die Skill Openclaw Qa Testing wählt das richtige Profil, führt die Suite aus und meldet Bestanden/Fehlgeschlagen-Zählungen sowie Artefaktpfade.

Wenn ein Szenario im Live-Frontier-Lane fehlschlägt, liest die Skill die Suite-Ausgabe, ermittelt, ob die Ursache im Produkt oder im Harness liegt, wendet die Korrektur an und führt den gesamten Lane erneut aus – dabei werden die Watch-URL und die aktualisierten Artefakte angezeigt.

Führe qa character-eval über acht Kandidatenmodelle mit hohen/sehr hohen Denkstufen aus, um zu überprüfen, ob Stil, Persona und Atmosphäre bei echten Aufgaben (Chat, Workspace-Bearbeitungen) erhalten bleiben. Der Bewertungsbericht bewertet die Kandidaten, ohne die rohen Antworten des Bewerters preiszugeben.

Die Skill führt durch die Erstellung einer neuen Szenario-Markdown-Datei unter qa/scenarios/, stimmt die Starterwartungen in qa/scenarios/index.md ab und verknüpft ausführbare Abdeckung in extensions/qa-lab/src/suite.ts mit End-to-End-Assertions.