which-model

Files (15)

• CHANGELOG.md
• README.md
• SKILL.md
• WHICHMODEL_any-picture-format.md
• config.yaml
• CONTENT_ORGANIZATION.md · references/
• SCENARIO_ANALYSIS.md · references/
• SEARCH_STRATEGY.md · references/
• WHICHMODEL_template.md · references/
• analyze_skill.py · scripts/
• generate_whichmodel.py · scripts/
• research_models.py · scripts/
• score_sources.py · scripts/
• test_target_vendors.py · scripts/
• test_whichmodel.sh · scripts/

SKILL.md (first lines)

# Which Model - 模型选择最佳实践调研工具

## 目标

当用户需要调研某个 skill 的模型选择最佳实践时使用：分析目标技能的源代码与工作流 → 通过联网搜索（Tavily/SearXNG/DuckDuckGo）收集官方文档与社区经验 → 总结出哪些场景该用什么模型/参数 → 生成 WHICHMODEL 小节插入目标技能的 README.md。

## 流程

### 输入

#### 角色

你是一位专精 AI 模型应用与性能优化的技术研究员，擅长：
- **证据收集**：从官方文档、技术博客、社区讨论中提取可靠信息
- **模式识别**：识别不同任务类型与模型性能之间的关联模式
- **知识综合**：将分散的建议整合成结构化的最佳实践指南
- **清晰表达**：用简洁准确的语言传达技术建议

#### 触发条件

- 用户要求调研某个 skill 的模型选择最佳实践
- 用户要求生成 WHICHMODEL 文档
- 用户询问"某某 skill 应该用什么模型"

#### 你需要确认的输入

1. `{目标技能名称}`（必需）
2. `{目标厂商列表}`（可选，默认：Anthropic、OpenAI）
   - 支持的厂商：Anthropic、OpenAI、Google、Meta、Mistral、DeepSeek
   - 检索词会自动包含这些厂商的模型名（如 Claude、GPT-4、Gemini 等）
   - 可在 `config.yaml` 的 `research.target_vendors` 中配置默认值
3. `{目标 README.md 路径}`（可选，默认自动查找）

### 执行步骤

#### 工作流（5 步）

##### 0) 准备与守则
- **最高原则**：基于真实证据，拒绝猜测
- **记录时间戳**：所有输出包含生成时间，便于追踪时效性
- **验证目标技能**：确认技能目录存在且包含有效的 SKILL.md

**混合模式设计**：
- **AI 自主规划部分**：检索策略、场景识别、内容组织由 AI 根据指南自主判断
- **硬编码稳定性部分**：来源可信度评分、营销倾向检测使用硬编码公式

**必读参考资料**（首次执行前快速阅读）：
1. [references/SEARCH_STRATEGY.md](references/SEARCH_STRATEGY.md) - 检索策略指南（AI 自主规划）
2. [references/SCENARIO_ANALYSIS.md](references/SCENARIO_ANALYSIS.md) - 场景分析指南（AI 自主规划）
3. [references/CONTENT_ORGANIZATION.md](references/CONTENT_ORGANIZATION.md) - 内容组织指南（AI 自主规划）

**硬编码配置**（scripts 自动应用）：
- 来源可信度权重：定义在 `config.yaml` 的 `source_credibility.domain_weights`
- 营销倾向检测：定义在 `config.yaml` 的 `bias_detection.marketing_words`
- 综合评分公式：定义在 `config.yaml` 的 `scoring.formula`

##### 1) 静态分析：AI 理解目标技能（无硬编码规则）

**AI 直接阅读并理解 SKILL.md**，基于语义理解（而非关键词匹配）识别任务特征：

1. **理解技能的核心目标**
   - 阅读技能描述，理解其用途和价值主张
   - 理解工作流步骤的语义含义
   - 从触发条件、示例、输出规范中推断隐含需求

2. **识别任务特征**（AI 基于理解自由判断）
   ```
   分析示例（仅供 AI 参考，非硬规则）：

   输入：systematic-literature-review/SKILL.md

   AI 理解：
   - "AI 自定检索词 → 去重 → 逐篇阅读并评分 → 资深专家写作"
     → 这是一个多步骤的学术写作流程
     → 任务类型：文本生成、数据处理、多步骤推理、学术写作
   - "6 个工作流步骤 + 资深领域专家风格"
     → 复杂的工作流 + 高质量要求
     → 复杂度：high
   - "阅读大量文献并生成综述"
     → 需要处理大量输入并保持连贯性
     → 上下文需求：long
   - "质量优先：AI 不得偷懒或短视"
     → 明确的质量要求
     → 性能优先级：质量优先
   - "输出 LaTeX + PDF + Word"
     → 输出要求：latex, pdf, docx

   初步模型建议：
   - 长文本生成 + 高复杂度 + 质量优先
     → Claude Opus 4.5（主任务）
     → 理由：需要最强推理能力和连贯性
   - 数据处理（评分、选文）
     → Claude Sonnet 4.5（子任务）
     → 理由：结构化任务，性价比高
   ```

3. **生成分析结果**
   - AI 直接生成 `skill_analysis.json`
   - 包含 `task_features`、`model_recommendations`、`_reasoning`（分析过程）

**关键原则**：
- ✅ 基于语义理解，无硬编码规则
- ✅ AI 自由判断任务类型和复杂度
- ✅ 记录分析过程，便于追溯
- ❌ 不使用关键词匹配
- ❌ 不使用固定阈值判断

##### 2) 模型调研：证据收集 + 硬编码评分

**AI 自主规划检索策略**（参考 [references/SEARCH_STRATEGY.md](references/SEARCH_STRATEGY.md)）：
- 基于任务特征生成检索词
- 必须包含：任务特定查询、社区反馈查询、缺点查询、对比查询
- 避免营销陷阱（如"best practices"）
- 即使单厂商，也要包含跨厂商对比查询（避免回音室）

**执行联网搜索**（按优先级尝试）：
1. **Tavily**（深度搜索，获取最新信息）
2. **SearXNG**（多源聚合，覆盖面广）
3. **DuckDuckGo**（备选方案）

From huangwb8/skills, MIT.

More from huangwb8/skills