batch-paper-pdf-to-markdown

Files (8)

• SKILL.md
• batch_workflow.md · references/
• error_handling.md · references/
• output_schema.md · references/
• paddleocr_context.md · references/
• lib.py · scripts/
• pdf_to_markdown.py · scripts/
• requirements.txt · scripts/

SKILL.md (first lines)

# 批量论文 PDF 转 Markdown

## 适用场景

当用户需要把一个或多个**本地论文 PDF** 转成可编辑 Markdown，并保留版面中的图片资源时，使用本 Skill。

适用于以下场景：

- 批量将论文导入知识库或笔记系统
- 为后续摘要、问答或标签整理做预处理
- 在保留图片引用的前提下，把 PDF 内容转成可编辑文本
- 将版面复杂、包含图片和结构化内容的学术论文先转成更适合编辑、检索和复用的中间格式

本 Skill 基于 PaddleOCR 文档解析能力完成 PDF 内容提取和图片整理，并在脚本侧补充整篇文档输出、图片资源落盘、相对路径改写、覆盖保护、超时控制和错误返回约束，减少手工摘录、手工改路径和重复整理成本。

## 不适用场景与边界

- 不处理远程 URL、网页、DOCX、PPT、图片文件或压缩包；用户需先提供本地 `.pdf` 文件。
- 不做论文摘要、翻译、主题分类、引用格式解析、BibTeX 生成或文献综述。
- 不保证复刻 PDF 原版排版；目标是生成可编辑 Markdown 和可引用的本地图片资源。
- 不替用户申请、保存或提交 PaddleOCR token；密钥只能通过运行环境变量提供。
- 不在输出已存在时自动覆盖；只有用户明确允许覆盖时才使用 `--force`。
- 单次运行总时间上限为 300 秒；大批量论文应拆成多批处理。

## 输入要求

- 输入三选一：
  - `--file-path`：单个本地 PDF 文件
  - `--input-dir`：包含 PDF 的本地目录，可配合 `--recursive`
  - `--file-list`：逐行列出 PDF 路径的 UTF-8 文本文件，空行和 `#` 开头的注释行会被忽略
- 当前目录应为本 Skill 目录，或命令中的 `scripts/pdf_to_markdown.py` 路径应写成可执行的相对/绝对路径。
- 运行环境需有 Python 3、`httpx` 和可用的 PaddleOCR 文档解析接口。
- 已配置以下环境变量：
  - `PADDLEOCR_DOC_PARSING_API_URL`
  - `PADDLEOCR_ACCESS_TOKEN`
  - 可选：`PADDLEOCR_DOC_PARSING_TIMEOUT`

不要把 token、`.env` 或其他密钥文件放进 Skill 目录或仓库提交内容。

## 执行步骤

1. 先确认输入路径存在，PDF 输出可以写回原目录，并确认是否允许覆盖已有结果。
2. 如缺少依赖，先在当前 Skill 目录下执行 `python -m pip install -r scripts/requirements.txt`。
3. 对批量任务先执行 `--dry-run`，确认将处理的 PDF 列表和目标输出路径。
4. 根据输入类型选择正式命令：
   - 单个 PDF：使用 `--file-path`
   - 目录批量：使用 `--input-dir`，需要包含子目录时追加 `--recursive`
   - 路径清单：使用 `--file-list`
5. 以可轮询的异步方式等待脚本完成，总超时时间不得超过 300 秒；预计超过时先拆批。
6. 如果目标 `paper.md` 或 `paper/` 已存在，只有在明确允许覆盖时才追加 `--force`。
7. 批量任务默认遇到首个错误即失败停止；如果用户明确希望尽量处理完其余 PDF，追加 `--continue-on-error`。
8. 如果脚本非零退出，直接返回原始报错和 JSON 摘要，不要改用其他 OCR 或手工解析流程。

## 输出要求

- 对每个 PDF，在同目录生成一个同名 Markdown 文件，例如 `paper.md`
- 对每个 PDF，在同目录生成一个同名图片目录，例如 `paper/`
- Markdown 中的图片引用应改写为相对路径，例如 `paper/imgs/example.jpg`
- 脚本输出 JSON 摘要，单文件和批量结果都需要明确：
  - Markdown 路径
  - 图片目录路径
  - 图片数量
  - 页数
- 批量任务还需要明确总数、成功数、失败数和失败明细
- 失败时直接暴露脚本返回的错误信息，不能静默忽略

## 质量自查

任务完成后检查：

- JSON 摘要中的 `ok`、`total`、`succeeded`、`failed` 与实际处理结果一致。
- 每条成功记录都包含 `source_pdf`、`markdown_path`、`image_dir`、`image_count`、`pages`。
- `markdown_path` 指向的 Markdown 文件存在且非空。
- `image_dir` 指向的目录存在；如 `image_count > 0`，目录下应有对应图片文件。
- 若存在失败项，输出中必须列出失败 PDF 路径和错误原因。

## 命令示例

单个 PDF：

```bash
python scripts/pdf_to_markdown.py --file-path "/absolute/path/to/paper.pdf"
```

覆盖已有结果：

```bash
python scripts/pdf_to_markdown.py --file-path "/absolute/path/to/paper.pdf" --force
```

批量预检，不调用 OCR：

```bash
python scripts/pdf_to_markdown.py --input-dir "/absolute/path/to/papers" --dry-run
```

目录批量：

```bash
python scripts/pdf_to_markdown.py --input-dir "/absolute/path/to/papers"
```

递归解析目录中的 PDF，并尽量继续处理其余文件：

```bash
python scripts/pdf_to_markdown.py --input-dir "/absolute/path/to/papers" --recursive --continue-on-error
```

按路径清单批量解析：

```bash
python scripts/pdf_to_markdown.py --file-list "/absolute/path/to/papers.txt"
```

## 参考资料

- `references/output_schema.md`：PaddleOCR 返回结构中本 Skill 实际依赖的字段说明
- `references/batch_workflow.md`：批量输入模式、覆盖策略和结果检查说明
- `references/error_handling.md`：常见失败类型、脚本行为和用户反馈要求

From AgenticAIPlan/AgenticAISkills, MIT.

More from AgenticAIPlan/AgenticAISkills