json-auditor

Files (1)

• SKILL.md

SKILL.md (first lines)

# JSON 审校器 — 全流程自动化

## 已知坑 & 修复

| 坑 | 表现 | 修复 |
|----|------|------|
| **解析截断** | 解析末尾被砍（"根据"、"$x< $"）、$\odo$ 公式不完整 | `max_tokens` 从 32000 提至 64000 |
| **图片路径** | docx2tex 输出的 .docx.tmp/word/media/ 路径含特殊字符 | 保持原样复制，不修改路径 |
| **表格摊平** | tabular 被 LLM 转为纯文本 `n=1: A:40` | 改 prompt 保留 LaTeX tabular，或在 prompt 中加规则 |

## 三步审计流水线

```
第1步: 机械修复 (auto-fix)    第2步: 结构校验 (validate)    第3步: 内容审校 (LLM review)
─────────────────────────    ───────────────────────    ──────────────────────────
$$ 转 $                      题号连续                    答案是否正确
\ding → Unicode              选项≥2                     解析是否完整
纯文本分数 → \dfrac          stem非空                    题型分类对不对
\square → □                  answer非空                 has_image 是否准确
图片推到独立行                总分=sum(score)             知识点标签合理吗
小序号前加 \n\n              选择题答案在选项内           公式是否完整
```

## 使用命令

```bash
cd extraction_tool

# 第1步: 机械修复（自动，不改内容）
python validate_and_fix.py -d output_llm/json_final/ --fix

# 第2步: 结构审校（只读报告）
python audit_json.py -d output_llm/json_final/

# 第3步: 内容审校（LLM抽查，每份抽3-5题）
python audit_content.py -d output_llm/json_final/ -n 3

# 第4步: 生成可视化审校页（抽查用）
python gen_review_html.py -f output_llm/json_final/XXX.json
```

## 自动修复规则（validate_and_fix.py）

以下问题**自动修复，不询问**：

| # | 规则 | 示例 |
|---|------|------|
| 1 | `$$` → `$`（无换行时） | `$${\because}$$` → `${\because}$` |
| 2 | `\ding{N}` → Unicode | `\ding{172}` → `①` |
| 3 | `\frac` → `\dfrac` | 全局替换 |
| 4 | 纯文本分数 `a/b` | → `$\dfrac{a}{b}$` |
| 5 | `\square` → `□` | |
| 6 | `......` → `\cdots\cdots` | |
| 7 | `\over` → `\dfrac` | |
| 8 | `\(...\)` → `$...$` | |
| 9 | `\[...\]` → `$$...$$` | |
| 10 | `{{IMG}}` 推到独立行 | `。{{IMG}}` → `。\n\n{{IMG}}` |
| 11 | `(1)` `(2)` 前加 `\n\n` | 小序号分家 |
| 12 | `\dot{` → `\overset{\bullet}{n}` | |

## 结构校验规则（audit_json.py，只读）

以下问题**报告但不修改**：

| # | 检查项 | 严重度 |
|---|--------|--------|
| 1 | 题号连续无跳号 | 🔴 ERROR |
| 2 | stem 非空 | 🔴 ERROR |
| 3 | answer 非空 | 🔴 ERROR（解析版不应有） |
| 4 | 选择题 options ≥ 2 | 🔴 ERROR |
| 5 | 选择题答案在 A/B/C/D 内 | 🟡 WARN |
| 6 | 填空题答案 < 200 字符 | 🟡 WARN |
| 7 | 总分 = sum(每题score) | 🟡 WARN |
| 8 | 同卷选择题选项数一致 | 🟡 WARN |
| 9 | 无题目文本重复（前50字） | 🟢 INFO |
| 10 | 知识点至少1个 | 🟢 INFO |

## 内容审校规则（audit_content.py，LLM执行）

每份试卷随机抽 3-5 题，LLM 逐项判断：

```
检查维度（融合数学教研视角）：

1. 答案正确性
   - MC: 选项字母是否对应正确选项
   - FB: 数值/表达式是否正确
   - SA: 解题过程是否有逻辑漏洞

2. 解析完整性
   - 是否从已知条件出发
   - 推导步骤是否连贯（无跳步）
   - 最终结论是否与答案一致

3. 题型分类
   - subject_type 是否匹配实际题目形式
   - 填空改解答的标记是否合理
   - 小学特殊题型映射是否正确：
     - 口算题 → entry_type 应为 填空(自动批改)（展示为口算题，录入按填空题）
     - 估算题 → entry_type 应为 填空(自动批改)（展示为估算题，录入按填空题）
     - 操作题 → entry_type 应为 解答（展示为操作题，录入按解答题）
     - 连线题 → entry_type 应为 解答（展示为连线题，录入按解答题）

4. 公式质量
   - $...$ 是否完整闭合
   - \dfrac vs \frac 是否统一
   - Unicode 上标/下标是否归一化

5. has_image 准确性
   - 题干含「如图」→ has_image=true
   - 纯文本题 → has_image=false

6. 知识点标签
   - 主要知识点是否标注（kp_name 非空）
   - 标签是否与该题的核心求解目标匹配
   （参考 math-classifier: 不是看题里出现什么数，是看要你做什么）
   - kp_name 必须与知识树 CSV 中的名称精确匹配（不用子串包含）
   - kp_path 必须是合法 JSON 数组（如 ["中考","函数","二次函数图象与性质"]）
   - 标注结果需通过 backfill_kp_to_json.py 回写到 json_final/ 才能在前端生效

From dingxiaodongtech/math-exam-platform, MIT.

More from dingxiaodongtech/math-exam-platform