Openclaw Qa Testing

• qa-lab 전체 스위트를 모의(mock) 또는 라이브 프론티어(live-frontier) 모드로 실행하거나 재실행하고, 통과/실패 횟수, 감시 URL 및 아티팩트 경로를 반환받아야 할 때.
• 매트릭스 레인 샤딩(fast, transport, media, e2ee-smoke 등)을 실행하거나 예약된 실행 프로필과 수동 디스패치 프로필을 트리거하려고 할 때.
• 여러 라이브 모델에서 캐릭터/페르소나 평가(qa character-eval)를 실행하고 순위가 매겨진 판정 보고서 및 전체 트랜스크립트를 얻어야 할 때.
• 실패한 시나리오를 디버깅하면서 에이전트가 근본 원인(하네스 vs. 제품)을 파악하고 수정 사항을 적용한 후 레인을 재실행해야 할 때.
• qa/scenarios/ 하위에 QA 시나리오를 추가하거나 확장하고, 이를 extensions/qa-lab/src/suite.ts에 연결하려고 할 때.

• 이 스킬은 OpenClaw 레포지토리에 한정되어 있으며, 임의의 코드베이스를 위한 범용 테스트 자동화 스킬이 아닙니다.
• 로컬 OTLP 스모크 검증 대신 외부 관찰 가능성 수집기(Opik, Langfuse)가 필요한 경우, 이 스킬은 해당 서비스를 구성하지 않습니다.
• QA 자격 증명이 완전히 알 수 없는 상태이거나 예상되는 1Password 볼트(OpenClaw, Private)에 저장되어 있지 않은 경우, 스킬은 이를 추측하거나 복구할 수 없습니다 — 먼저 담당 유지 관리자에게 에스컬레이션하세요.

올바른 레인(mock-openai는 개발용, live-frontier는 실제 검증용)을 자동으로 선택하고, 적절한 모델 참조 및 출력 디렉토리와 함께 pnpm openclaw qa suite를 실행합니다. 매 실행마다 qa-suite-summary.json과 qa-suite-report.md를 출력합니다.

pnpm openclaw qa matrix를 통해 fast, transport, media, e2ee-smoke, e2ee-deep, e2ee-cli 등 전체 매트릭스 프로파일 세트를 지원합니다. CI/릴리스 실행을 위해 fail-fast 플래그 및 OPENCLAW_QA_MATRIX_NO_REPLY_WINDOW_MS와 같은 환경 재정의를 처리합니다.

구성 가능한 후보 모델 세트(OpenAI, Anthropic, Google, Moonshot, ZAI)에서 인라인 사고 수준 및 고속 모드 구문을 사용하여 qa character-eval을 실행합니다. 원시 판정 응답 없이 실행 통계, 소요 시간, 전체 대화 기록이 포함된 순위별 판정 보고서를 생성합니다.

pnpm qa:otel:smoke를 실행하여 로컬 OTLP/HTTP 트레이스 수신기를 구동하고, qa-channel을 통해 otel-trace-smoke 시나리오를 실행한 후, 내보낸 트레이스 이름과 개인정보 보호 계약을 검증합니다 — 외부 수집기 자격 증명이 필요하지 않습니다.

Telegram 및 Convex QA 시크릿이 1Password(OpenClaw 및 Private 볼트)의 어디에 있는지, 그리고 각 레인에 필요한 환경 변수가 무엇인지 파악하고 있습니다. npm Telegram Docker 레인을 위한 직접 Telegram 환경 모드와 Convex 라운드로빈 자격 증명 임대를 모두 지원합니다.

QA 스위트 및 수동 프로브를 위해 codex-cli/<codex-model> 모델 참조를 지원하며, 라이브 실행 시 HOME 및 OPENCLAW_HOME을 샌드박스 처리하는 동안 CODEX_HOME을 유지합니다. 모의 실행 시 CODEX_HOME을 자동으로 정리합니다.

배포 전에 릴리스에 중요한 전송 계약을 검증하기 위해 --fail-fast 옵션과 함께 fast 매트릭스 프로파일을 트리거합니다. Openclaw Qa Testing 스킬은 적절한 프로파일을 선택하고, 테스트 스위트를 실행한 후, 통과/실패 횟수와 아티팩트 경로를 보고합니다.

라이브-프론티어 레인에서 시나리오가 실패하면, Openclaw Qa Testing 스킬이 스위트 출력을 읽고 근본 원인이 제품에 있는지 하네스에 있는지 파악한 후 수정을 적용하고 전체 레인을 재실행하여 — 워치 URL과 업데이트된 아티팩트를 표시합니다.

높음/매우 높음 사고 수준으로 8개의 후보 모델에 걸쳐 qa character-eval을 실행하여 실제 작업 턴(채팅, 워크스페이스 편집) 하에서 스타일, 페르소나, 분위기가 유지되는지 확인합니다. 심사 보고서는 원시 심사 응답을 노출하지 않고 후보 순위를 매깁니다.

이 스킬은 qa/scenarios/ 하위에 새로운 시나리오 마크다운 파일을 작성하는 과정을 안내하고, qa/scenarios/index.md의 시작 기대값을 조정하며, extensions/qa-lab/src/suite.ts에 엔드투엔드 어설션을 포함한 실행 가능한 커버리지를 연결합니다.