llm-data-research

Files (6)

• SKILL.md
• companies.md · references/
• cron_prompt.md · references/
• keywords.md · references/
• generate_excel.py · scripts/
• generate_report.js · scripts/

SKILL.md (first lines)

# 大模型数据动态定期洞察 Skill

本 Skill 自动执行完整的大模型数据市场调研流程，涵盖数据采集、Excel 整理、合作线索关联、市场洞察报告输出、定时任务设置、**Word 报告生成**共六个步骤。

**新增核心能力**：监控头部厂商和外部数商的**招募动态**（数据标注任务招募、专家招募画像），通过招募信号反推：
- 头部大厂下一代模型的发力方向（招募什么样的专家 → 在训练哪个能力方向）
- 外部数商（Talents AI、一面千识等）的生产能力和专家储备质量
- 海外大厂（OpenAI、Google、Meta 等）的数据战略动向

---

## 环境前置检查

在开始前确认以下环境就绪：

```bash
# 1. 确认 CDP Proxy 运行（web-access skill 依赖）
curl -s http://localhost:3456/targets | python3.11 -c "import json,sys; t=json.load(sys.stdin); print(f'CDP就绪，{len(t)}个Tab')"

# 2. 确认 Python 版本（openpyxl 安装在 python3.11）
python3.11 -c "import openpyxl; print('openpyxl', openpyxl.__version__)"
```

若 CDP Proxy 未启动，运行：`node ~/.claude/skills/web-access/scripts/check-deps.mjs`

**关键约束**：
- 所有浏览器操作**必须在主线程用 Bash 直接执行**，不得启动子 Agent 执行网络操作（子 Agent 无法继承工具权限）
- Excel 生成使用 `python3.11`（不是 python3 或 python）
- 小红书详情页需登录才能看正文，搜索结果列表页关闭弹窗后可读取卡片信息

### 工具受限时的降级策略

如果 Bash/Write 工具被拒绝，**不要停止，切换到「知识合成 + 内联输出」模式继续执行所有6步**：

1. 继续完成所有6步，文件输出改为内联 Markdown 输出，并在每步开头注明：`> ⚠️ 工具受限：以下为内联输出，建议手动保存`
2. Step 1：列出将执行的具体搜索关键词，从训练知识中综合近期信息（明确标注「来源：训练知识，截止至 XXXX 年」）
3. Step 2 Excel：输出各 Sheet 的列名 + 至少5条真实数据行（Markdown 表格格式）
4. Step 4 报告：完整输出所有8节内容，各节有实质分析，不留空节
5. Step 6 Word：输出完整 `/tmp/llm_report_data.json` JSON 内容（代码块包裹），提示用户可手动运行 `node scripts/generate_report.js --data /tmp/llm_report_data.json`

**用户真正需要的是分析质量**，不只是文件存在。在工具受限时，高质量的内联分析报告比「无法执行」更有价值。

---

## Step 1：多平台信息采集

### 1.1 小红书采集

小红书有反爬机制，必须通过 CDP 操作：

```bash
# 打开搜索页
XHS_ID=$(curl -s "http://localhost:3456/new?url=https://www.xiaohongshu.com/search_result?keyword=大模型专家标注招募" | python3.11 -c "import json,sys; print(json.load(sys.stdin)['targetId'])")
sleep 4

# 关闭登录弹窗（弹窗选择器）
curl -s -X POST "http://localhost:3456/click?target=$XHS_ID" -d '.close-icon' > /dev/null
sleep 1

# 提取搜索结果卡片
curl -s -X POST "http://localhost:3456/eval?target=$XHS_ID" -d '
JSON.stringify(Array.from(document.querySelectorAll("section.note-item, [class*=\"note-item\"]")).map(el => {
  const title = el.querySelector("a[class*=\"title\"] span, [class*=\"title\"] span")?.innerText?.trim() || "";
  const author = el.querySelector("[class*=\"author\"] span")?.innerText?.trim() || "";
  const time_text = el.innerText?.match(/\d{4}-\d{2}-\d{2}|\d+天前|\d+小时前|[0-9]{2}-[0-9]{2}/)?.[0] || "";
  const href = el.querySelector("a[href*=\"explore\"]")?.href || "";
  return {title, author, time_text, url: href};
}).filter(x=>x.title).slice(0,20))
'
```

**搜索关键词**（依次搜索，每次导航到新关键词）：

招募监控类（优先采集）：
1. `大模型专家标注招募`
2. `AI数据标注兼职招募`
3. `Talents AI 招募`
4. `一面千识 标注任务`
5. `数据标注专家 画像`

市场动态类：
6. `大模型数据服务`
7. `大模型训练数据`

每组关键词提取 15-20 条卡片信息（标题、作者、时间、URL）。对于招募类帖子，**重点提取**：发布主体、任务类型描述、专家要求（学历/专业/经验）、薪酬信号。

### 1.2 微信公众号采集

微信公众号是头部厂商和数商发布招募任务的重要渠道，使用 [Access_wechat_article](https://github.com/yeximm/Access_wechat_article) 工具或通过搜狗微信搜索（CDP方式）采集：

```bash
# 方式一：通过搜狗微信搜索（推荐，无需额外工具）
WX_ID=$(curl -s "http://localhost:3456/new?url=https://weixin.sogou.com/weixin?type=2&query=大模型专家标注招募&ie=utf8&s_from=input" \
  | python3.11 -c "import json,sys; print(json.load(sys.stdin)['targetId'])")
sleep 4

# 提取搜索结果
curl -s -X POST "http://localhost:3456/eval?target=$WX_ID" -d '
JSON.stringify(Array.from(document.querySelectorAll(".news-box .txt-box")).slice(0,15).map(el => {
  const title = el.querySelector("h3 a")?.innerText?.trim() || "";
  const href  = el.querySelector("h3 a")?.href || "";
  const account = el.querySelector(".account")?.innerText?.trim() || "";
  const time_text = el.querySelector(".s2")?.innerText?.trim() || "";
  const summary = el.querySelector("p")?.innerText?.trim() || "";
  return {title, account, time_text, summary, url: href};
}).filter(x=>x.title))
'
```

**微信公众号搜索关键词**（依次执行，每次修改 URL 中的 query 参数）：
1. `大模型专家标注招募`
2. `Talents AI 招募 数据标注`
3. `一面千识 标注任务招募`
4. `数据标注 专家 招募 大模型 2025`
5. `AI数据 兼职 专家 画像 招募`
6. `字节/百度/阿里 数据标注 招募`（分别搜索三次）
7. `OpenAI data annotation contractor`（可尝试）

对于高价值文章（招募主体明确 + 任务描述详细），通过 CDP 打开详情页读取正文，提取：招募主体、任务类型、人员画像要求、发布时间。

From AgenticAIPlan/AgenticAISkills, MIT.

More from AgenticAIPlan/AgenticAISkills