auto-qa

Files (9)

• SKILL.md
• _meta.json
• state_snapshot_20260220.md · references/
• generic_visual_template.json · scenarios/
• mvp_smoke.json · scenarios/
• registry.json · scenarios/
• wehub_visual_demo.json · scenarios/
• wehub_visual_release.json · scenarios/
• run_autoqa.py · scripts/

SKILL.md (first lines)

# Auto QA (OpenClaw Browser)

用于一期 MVP：

- 自动执行网页关键路径
- 自动采集失败证据（截图、console、network、trace）
- 自动输出 CTO 可读报告与修复任务包
- 自动重试、断点续跑、健康检查与失败分类（环境/产品）

## 实际组件构成（一期 MVP）

1. `场景定义组件`

- 位置：`demo/scenarios/*.json`
- 作用：声明测试步骤、断言条件、期望结果。
- 输入：业务路径（P0 场景）。
- 输出：可执行步骤序列（供执行编排器读取）。

2. `执行编排器`

- 位置：`src/skills/auto-qa/scripts/run_autoqa.py`
- 作用：读取场景并调用 `openclaw browser` 执行动作。
- 输入：场景 JSON、浏览器 profile、run_id。
- 输出：步骤结果、证据文件、汇总报告与修复提示包。

3. `浏览器执行器（OpenClaw 内置能力）`

- 位置：OpenClaw CLI `openclaw browser ...`
- 作用：点击、输入、等待、快照、截图、日志与 trace。
- 输入：编排器下发的步骤参数。
- 输出：结构化 JSON 结果和调试数据。

4. `证据归档组件`

- 位置：`demo/artifacts/run-<run_id>/`
- 作用：按 run 归档步骤明细、截图、console、network、trace。
- 输入：执行过程中的实时证据。
- 输出：可追溯的失败证据包。

5. `报告生成组件`

- 位置：`demo/reports/run-<run_id>/report.json`、`demo/reports/run-<run_id>/report.html`
- 作用：给出通过率、阻断项、Go/No-Go 判定。
- 输入：步骤结果 + 证据统计。
- 输出：机器可读（JSON）与演示可读（HTML）报告。

6. `修复任务包生成组件`

- 位置：`demo/reports/run-<run_id>/fix_plan.json`、`next_window_prompt.md`、`standby_prompt.txt`
- 作用：将"测试失败证据"转成"可直接执行的修复任务"。
- 输入：失败步骤、console、network、trace 路径。
- 输出：根因假设、检查方向、修改方向、验收标准、下一窗口提示词。

7. `稳定性增强组件`

- 位置：`src/skills/auto-qa/scripts/run_autoqa.py`
- 作用：减少"主画面外运行"时的抖动风险，提升演示稳定度。
- 能力：
  - 步骤自动重试（默认每步 1 次重试）
  - 断点续跑（从失败步骤继续）
  - 健康检查（off/on-failure/each-step）
  - 失败分类（environment/product/unknown）

8. `门禁断言组件`

- 位置：`src/skills/auto-qa/scripts/run_autoqa.py`
- 作用：将采证数据升级为发布门禁判定，防止"假 GO"。
- 默认规则：
  - console `error` -> 违规（critical）
  - 同域 network `4xx` -> 违规（critical）
  - 同域 network `5xx` -> 违规（blocker）
- 报告输出：
  - `gateViolations`
  - `gateViolationCountsBySeverity`
  - `riskLevel`
  - `releaseDecision`（GO / CONDITIONAL_GO / NO_GO）
  - `reviewStatus`（consistent / needs_inspection）
  - `reviewConclusion`（复核一致 / 复核需进一步检验）
  - `reviewFindings`（需进一步检验时的具体项）

9. `Trace 对齐组件`

- 位置：`demo/reports/run-<run_id>/step_trace_map.json`
- 作用：把步骤时间窗与 trace 时间线自动对齐，便于"步骤 -> 证据"快速追溯。
- 输出：每个步骤对应的 trace 事件计数、帧计数、console/API/network 样本。

10. `报告通知组件`

- 位置：`src/skills/auto-qa/scripts/run_autoqa.py`（运行参数触发）
- 作用：自动截取 `report.html` 全页图并发送到聊天频道。
- 规则：
  - 传入 `--notify-channel` 时触发。
  - 未传 `--notify-target` 时，自动从 `openclaw status --json` 最近会话推断目标（当前频道优先）。

## 一期范围（防跑偏）

- 仅网页 P0 场景（3-5 条关键路径）
- 证据四件套：`screenshot + console + network + trace`
- 交付最小集合：
  - `report.json`
  - `report.html`
  - `fix_plan.json`
  - `next_window_prompt.md`
  - `standby_prompt.txt`

## 目录约定

```text
demo/
  scenarios/
    mvp_smoke.json
    _generated/          ← agent 智能生成的临时 scenario 存放目录
  artifacts/
    run-<run_id>/
      steps.json
      console.json
      network.json
      health_checks.json
      trace.zip

From LeoYeAI/openclaw-master-skills, MIT.

More from LeoYeAI/openclaw-master-skills