dataset-quality-and-linkability-diagnostic

Files (4)

• SKILL.md
• router_card.json
• dataset_quality_linkability_diagnostic_wrapper.py · scripts/
• test_dataset_quality_linkability_diagnostic.sh · scripts/

SKILL.md (first lines)

# dataset-quality-and-linkability-diagnostic

## 一、定位

`dataset-quality-and-linkability-diagnostic` 是电话网络数据分析体系中的**数据质量与可分析能力诊断 skill**。

它不负责发现风险对象，也不负责生成业务研判结论，更不能把“数据不支持某类分析”解释成“现实中一定不存在该类关系”。它的作用是先判断一个已经处理好的电话网络图数据集是否具备后续分析条件，尤其用于回答：

- 这个数据集是否已经形成标准图结构？
- 是否存在 `user_nodes.csv`、`call_edges.csv`、`edges_phone_imei.parquet/csv`？
- 号码节点、通话边、设备边是否可用？
- 是否支持时间序列分析、共享设备分析、单号分析、群体分析、团伙分析等下游 skill？
- 如果是多省份/多来源数据，是否能做跨省同实体联动分析？
- 哪些 skill 可以用，哪些不能用，原因是什么？

该 skill 适合放在两个位置：

1. `dataset-onboarding-graph-preprocess` 建图完成之后，用于验证新数据是否可被后续 skill 使用。
2. 对现有 `unified` 或其他 processed 数据集做体检，防止前端误调用不适合的数据分析能力。

---

## 二、输入数据要求

本 skill 面向**已经预处理成标准图结构的数据集**，默认读取：

```text
<dataset_root>/processed/<dataset>/user_nodes.csv
<dataset_root>/processed/<dataset>/call_edges.csv
<dataset_root>/processed/graph_views/<dataset>/edges_phone_imei.parquet
```

如果设备边不是 parquet，也支持：

```text
<dataset_root>/processed/graph_views/<dataset>/edges_phone_imei.csv
```

如果用户上传的是原始 CSV / Excel / JSON 明细表，不应直接使用本 skill，应先调用：

```text
dataset-onboarding-graph-preprocess
```

将其转换成标准图结构。

---

## 三、必须调用的脚本

前端或命令行必须运行：

```bash
python3 dataset_quality_linkability_diagnostic_wrapper.py
```

不要临时重写脚本。不要用 `dataset-overview-analysis`、`condition-based-screening` 或其他 skill 代替本 skill。

---

## 四、核心参数

| 参数 | 含义 | 默认值 |
|---|---|---|
| `--dataset-root` | 电话网络数据根目录 | `/workspace/imiss-deer-flow-main/datasets/phone-network` |
| `--dataset` | 要诊断的数据集名称 | `unified` |
| `--province-a` | 跨省可联动性诊断中的省份 A | 自动选择或用户指定 |
| `--province-b` | 跨省可联动性诊断中的省份 B | 自动选择或用户指定 |
| `--top-k` | 样例输出数量 | `10` |
| `--artifact-mode` | 附件展示模式：`full` / `essential` / `markdown_only` | `essential` |

---

## 五、输出内容

运行后会输出：

1. Markdown 诊断报告
2. summary JSON
3. capability matrix CSV
4. quality checks CSV
5. linkability diagnostics CSV

核心报告包括：

- 数据构成：节点、通话边、设备边、省份、时间字段等；
- 标准图结构是否可用；
- 数据质量检查；
- 下游 skill 能力矩阵；
- 跨省/跨来源实体可联动性诊断；
- 不支持分析时的原因和修复建议。

---

## 六、能力矩阵说明

本 skill 会给下游 skill 输出 `supported / partial / not_supported / not_applicable` 判断。

常见判断逻辑：

- 有用户节点 + 通话边/设备边：支持单号、TopN、群体、证据包等分析；
- 有设备边：支持共享设备分析；
- 有通话时间字段：支持时间序列异常分析；
- 有省份字段且至少两个省份：支持地域对比；
- 存在跨省 ID 相等证据：才支持跨省联动分析；
- 如果跨省 ID 格式明显不同且没有交集，只能说明当前脱敏数据前提不支持可靠跨省同实体分析，不应推断为真实世界没有跨省联动。

---

## 七、跨省可联动性诊断规则

如果数据中存在两个及以上省份，本 skill 会检查：

- `user_id` 跨省交集；
- `imei` 跨省交集；
- `dst_counterparty_id` 跨省交集；
- 可由 ID 相等识别出的跨省直接通话；
- 各省 `user_id / imei / dst_counterparty_id` 的长度和格式是否一致。

From bettercallfan/deerflow, MIT.

More from bettercallfan/deerflow