Openclaw Qa Testing

• Sinun täytyy suorittaa tai suorittaa uudelleen täydellinen qa-lab-sarja mock- tai live-frontier-tilassa ja saada takaisin läpäisy/epäonnistumislukumäärät, watch-URL:t ja artefaktipolut.
• Haluat suorittaa matriisikaistan pirstomisen (fast, transport, media, e2ee-smoke jne.) tai käynnistää ajoitettuja tai manuaalisen käynnistyksen profiileja.
• Sinun täytyy suorittaa merkki-/personaarvioinnit useissa live-malleissa (qa character-eval) sijoitettujen tuomarirapottien ja täydellisten transkriptioiden kera.
• Olet virheenkorjauksessa epäonnistuneessa skenaariossa ja tarvitset agentin tunnistamaan perussyyn (harness vs. tuote), soveltamaan korjausta ja suorittamaan kaistan uudelleen.
• Haluat lisätä tai laajentaa QA-skenaarioita hakemiston qa/scenarios/ alle ja kytkeä ne extensions/qa-lab/src/suite.ts-tiedostoon.

• Tämä taito on rajattu OpenClaw-repositorioon; se ei ole yleiskäyttöinen testiautomaatiataito mielivaltaisille koodikannoille.
• Jos tarvitset ulkoisia havainnointikeräimiä (Opik, Langfuse) paikallisen OTLP-savutestauksen sijaan, tämä taito ei määritä kyseisiä palveluita.
• Jos QA-tunnuksesi ovat täysin tuntemattomia eikä niitä ole tallennettu odotetuille 1Password-holveille (OpenClaw, Private), taito ei voi arvata tai palauttaa niitä — ota ensin yhteyttä ylläpitäjääsi.

Valitsee automaattisesti oikean kaistan (mock-openai kehitystä varten, live-frontier oikeaa validointia varten) ja suorittaa pnpm openclaw qa suite -komennon oikeilla malliviitteillä ja tuloshakemistoilla. Tuottaa jokaiselle ajolle qa-suite-summary.json- ja qa-suite-report.md-tiedostot.

Tukee koko matriisiprofiilien joukkoa — fast, transport, media, e2ee-smoke, e2ee-deep, e2ee-cli — komennon pnpm openclaw qa matrix kautta. Käsittelee fail-fast-liput sekä ympäristön ohitukset, kuten OPENCLAW_QA_MATRIX_NO_REPLY_WINDOW_MS, CI/julkaisuajoja varten.

Suorittaa qa character-eval -komennon konfiguroitavissa olevassa joukossa ehdokasmalleja (OpenAI, Anthropic, Google, Moonshot, ZAI) sisäisellä ajattelutaso- ja nopeatilasyntaksilla. Tuottaa järjestetyn tuomariraportin, joka sisältää ajostatistiikan, kestot ja täydelliset transkriptit — ilman raakoja tuomarivastauksia.

Suorittaa komennon pnpm qa:otel:smoke käynnistääkseen paikallisen OTLP/HTTP-jäljitysvastaanottimen, ajaa otel-trace-smoke-skenaarion qa-kanavan kautta ja varmistaa vietyjen jäljitysnimien sekä tietosuojasopimusten oikeellisuuden — ei vaadi ulkoisia kerääjätunnistetietoja.

Tietää, missä Telegramin ja Convex QA:n salaisuudet sijaitsevat 1Passwordissa (OpenClaw- ja Private-holveissa) sekä mitä ympäristömuuttujia kukin kaista tarvitsee. Tukee sekä suoraa Telegram-ympäristömuuttujamodia että Convex-pyöreävuoroista tunnisteen vuokrausta npm Telegram Docker -kaistalle.

Tukee codex-cli/<codex-model>-malliviittauksia laadunvarmistuspaketeille ja manuaalisille testauksille, säilyttäen CODEX_HOME-muuttujan reaaliaikaisissa ajoissa samalla kun HOME ja OPENCLAW_HOME hiekkalaatikoidaan. Poistaa CODEX_HOME-muuttujan automaattisesti mock-ajoissa.

Käynnistä fast-matriisiprofiili --fail-fast-valitsimella vahvistaaksesi julkaisun kannalta kriittiset kuljetussopimukset ennen käyttöönottoa. Openclaw Qa Testing valitsee oikean profiilin, suorittaa testikokonaisuuden ja raportoi hyväksyttyjen/hylättyjen testien määrät sekä artefaktien polut.

Kun live-frontier-kaistalla oleva skenaario epäonnistuu, Openclaw Qa Testing lukee suite-tulosteen, tunnistaa onko juurisyy tuotteessa vai testikehyksessä, soveltaa korjausta ja ajaa koko kaistan uudelleen — tuoden esiin watch-URL:n ja päivitetyt artefaktit.

Suorita qa character-eval kahdeksan ehdokasmallin kanssa käyttäen high/xhigh-ajattelutasoja varmistaaksesi, että tyyli, persoona ja tunnelma säilyvät oikeiden tehtävävuorojen aikana (chat, työtila-muokkaukset). Tuomarin raportti asettaa ehdokkaat paremmuusjärjestykseen paljastamatta tuomarin raakoja vastauksia.

Taito ohjaa uuden skenaario-markdown-tiedoston luomisessa hakemistoon qa/scenarios/, yhdenmukaistaa qa/scenarios/index.md-käynnistysodotukset ja kytkee suoritettavan testikattavuuden tiedostoon extensions/qa-lab/src/suite.ts päästä päähän -assertioiden kera.