Openclaw Qa Testing

• フルの qa-lab スイートをモックまたはライブフロンティアモードで実行または再実行し、合否カウント、ウォッチURL、アーティファクトパスを取得する必要がある場合。
• マトリックスレーンシャーディング（fast、transport、media、e2ee-smoke など）を実行したり、スケジュール実行と手動ディスパッチのプロファイルをトリガーしたりしたい場合。
• 複数のライブモデルに対してキャラクター／ペルソナ評価（qa character-eval）を実行し、ランク付きジャッジレポートと完全なトランスクリプトを必要とする場合。
• 失敗しているシナリオをデバッグしていて、エージェントに根本原因（ハーネスか製品か）を特定させ、修正を適用してレーンを再実行させる必要がある場合。
• qa/scenarios/ 配下にQAシナリオを追加または拡張し、extensions/qa-lab/src/suite.ts に組み込みたい場合。

• このスキルはOpenClawリポジトリを対象としており、任意のコードベースに対する汎用テスト自動化スキルではありません。
• ローカルOTLPスモークバリデーションではなく、外部オブザーバビリティコレクター（Opik、Langfuse）が必要な場合、このスキルはそれらのサービスを設定しません。
• QA認証情報が完全に不明であり、想定される1Passwordボールト（OpenClaw、Private）に保存されていない場合、Openclaw Qa Testingはそれらを推測または復元することができません — まずメンテナーにエスカレーションしてください。

正しいレーン（開発用は mock-openai、実際の検証用は live-frontier）を自動的に選択し、適切なモデル参照と出力ディレクトリを指定して pnpm openclaw qa suite を実行します。実行ごとに qa-suite-summary.json と qa-suite-report.md を出力します。

pnpm openclaw qa matrix を使用して、マトリックスプロファイルの全セット — fast、transport、media、e2ee-smoke、e2ee-deep、e2ee-cli — をサポートします。CI/リリース実行向けに fail-fast フラグおよび OPENCLAW_QA_MATRIX_NO_REPLY_WINDOW_MS のような環境変数のオーバーライドを処理します。

設定可能な候補モデルセット（OpenAI、Anthropic、Google、Moonshot、ZAI）全体に対して、インラインの思考レベルおよびファストモード構文を使用しながら qa character-eval を実行します。生のジャッジ返答を含まず、実行統計、所要時間、完全なトランスクリプトを備えたランク付きジャッジレポートを生成します。

pnpm qa:otel:smoke を実行して、ローカルの OTLP/HTTP トレースレシーバーを起動し、qa-channel を通じて otel-trace-smoke シナリオを実行し、エクスポートされたトレース名およびプライバシー契約を検証します — 外部コレクターの認証情報は不要です。

TelegramおよびConvex QAのシークレットが1Password（OpenClawおよびPrivateボールト）のどこに保存されているか、また各レーンに必要な環境変数を把握しています。npm Telegram Dockerレーンに対して、Telegramの直接環境変数モードとConvexのラウンドロビン認証情報リースの両方をサポートしています。

QAスイートおよび手動プローブ向けに codex-cli/<codex-model> モデル参照をサポートし、HOME および OPENCLAW_HOME をサンドボックス化しながら、ライブ実行時に CODEX_HOME を保持します。モック実行時には CODEX_HOME を自動的にスクラブします。

デプロイ前にリリースに重要なトランスポートコントラクトを検証するため、--fail-fast オプションを付けて fast マトリクスプロファイルをトリガーします。Openclaw Qa Testing は適切なプロファイルを選択し、スイートを実行して、合否件数とアーティファクトのパスを報告します。

live-frontierレーンでシナリオが失敗した場合、Openclaw Qa Testingはスイートの出力を読み取り、根本原因がプロダクト側にあるのかハーネス側にあるのかを特定し、修正を適用したうえでレーン全体を再実行します。その後、ウォッチURLと更新されたアーティファクトを表示します。

高/超高思考レベルで8つの候補モデルに対してqa character-evalを実行し、実際のタスクターン（チャット、ワークスペース編集）においてスタイル、ペルソナ、雰囲気が維持されることを確認します。ジャッジレポートは、生のジャッジ返答を漏らすことなく候補をランク付けします。

このスキルは、qa/scenarios/ 配下に新しいシナリオのマークダウンファイルを作成し、qa/scenarios/index.md のキックオフ期待値を整合させ、エンドツーエンドのアサーションを含む実行可能なカバレッジを extensions/qa-lab/src/suite.ts に組み込む手順をガイドします。