benchmark-checklist

Files (4)

• LICENSE
• SKILL.md
• openai.yaml · agents/
• sources.md · references/

SKILL.md (first lines)

# Benchmark Checklist · 性能结果核验

用运行证据核验一个具体性能主张，可独立使用，无需 conductor、setup、Lody 或多模型。来源与适配见 [来源说明](references/sources.md)。

## 先明确测什么

记录准备报告的句子、指标和单位、输入工作量、完成边界。读取实际测量脚本，查清计时起止、计数对象和遗漏；不要只凭代码猜测。

正式比较按下列七项核验，每侧至少五次、交错运行。**用户明确只要粗估时可单次运行**，但仍须检查第 4、7 项，标明单次；异常时继续排查。选型永远不能当粗估。

只读观察系统负载、核心数和资源占用，记录噪声；不擅自终止用户进程或修改全局、生产配置。`uptime`、`nproc`、`top`、`pidstat`、`perf`、`strace` 只是工具例子，按实际 OS、权限和已有工具选择等效方法。缺能力则说明证据缺口，不因此全局安装、提权、访问生产或制造流量。必要的测量脚本修正仅限已授权范围，保留原始脚本、输出及修改记录。

## 七项核验

1. **瓶颈在哪里？** 单独运行 profiling，将热点映射到源码；带 profiler 或 tracer 的耗时不纳入正式比较。结合 CPU、I/O、系统调用等证据定位限制因素，同时检查负载生成器是否先饱和。数值未变也要查明瓶颈，不能直接断言改动无用。
2. **比较公平吗？** 两侧采用合理生产设置：release 构建、生产参数、批处理、事务、连接池及符合实际的缓存状态；版本条件可比，目标工作量相同、输入可比。默认设置造成的逐行提交、debug 构建或缺失索引等，应在授权范围内调优后重测。无法调优就不选赢家；选型时缩小宣传措辞不能掩盖不公平。只在一侧加入的人工等待、测试开销或额外工作也属于条件差异：可报告本次观测耗时及原因，但主结论仍用“无法确认”，不能将它写成方案本身更快或更慢。
3. **超过上限了吗？** 核对单位，将字节吞吐与磁盘、网络带宽对照，将每次操作成本和操作速率与核心数对照。超出上限时排查缓存、空操作或测量错误。耗时下降率为 `(T_old-T_new)/T_old`，等工作量吞吐提升率为 `T_old/T_new-1`：消除占总耗时 10% 的部分，最多减少 10% 耗时，对应约 11.1% 吞吐提升，两者不能混用。
4. **错误和结果正确吗？** 计数失败、非成功响应、超时与重试，缺计数则在授权内补齐。检查内容、行数、校验和或适用的正确性判据；进程退出 0、文件存在不足以证明正确。快速拒绝和慢速重试都可能扭曲数字。
5. **能复现吗？** 每侧至少五次，按 A、B、A、B 交错运行；记录热身、缓存和系统噪声策略。保留原始数据，报告中位数、范围和次数。差距被波动覆盖时不宣称改善；接近时采用 harness 支持且适用的统计方法，或报告无法确认，不凭少量样本虚构显著性。
6. **用户能感受到吗？** 微结果须与真实数据规模、并发下的用户端到端路径测量对照，报告该部分占整体耗时的比例。单模块变快不能外推整体提升。
7. **工作真的完成了吗？** 确认目标工作在计时区间内完成：请求到达服务端、行已写入、字节已读取、结果被使用。检查生成器已消费、异步已等待，结果没有被优化器丢弃；超时或提前结束不算完成目标工作量。测量脚本应在所声明的返回或完成边界立即取结束时间，再写日志和证据；轮询、校验或落盘开销若计入指标，须明确列入指标定义，不能称为纯处理或返回耗时。

## 交付结论

先给出 **变快 / 变慢 / 无可测差异 / 无法确认** 之一，再附数字与单位、次数及波动、瓶颈、正确性与错误计数、实际工作量证据和明确缺口。原始运行数据与 profiling 证据附路径，报告中的主数字保持简洁。

正式差异主张无法定位瓶颈、任一侧未调优、正确性或实际工作无法确认时，结论用“无法确认”，不强行选赢家。无可测差异只说明本次条件下差距未超出波动，不证明完全等效。单次粗估标注限制，不用于选型。

本技能只核验单个性能主张，不组织完整 AI 测评实验，不依赖其他 SKILL。不启动 Perf/Hillclimb 自动优化循环，不自动提交、推送、开 PR 或发送消息。

From sunny0826/agent-conductor-skill, MIT.

More from sunny0826/agent-conductor-skill