openakita/skills@apify-scraper

Files (2)

• SKILL.md
• openai.yaml · agents/

SKILL.md (first lines)

# Apify Scraper — 网页数据抓取

## When to Use

- 用户需要从网站抓取结构化数据（商品信息、社交媒体帖子、搜索结果等）
- 需要批量获取社交媒体平台数据（Instagram、TikTok、YouTube 等）
- 需要抓取 Google 搜索结果、地图信息、评价数据
- 需要定期监控网页变化
- 需要将非结构化网页内容转换为 JSON/CSV
- 需要从电商平台提取商品和价格信息

---

## Prerequisites

### 必需配置

| 配置项 | 说明 |
|--------|------|
| `APIFY_TOKEN` | Apify API Token，在 https://console.apify.com/account/integrations 获取 |

将 Token 添加到 `.env` 文件：

```
APIFY_TOKEN=apify_api_xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
```

### 必需依赖

| 依赖 | 用途 | 安装方式 |
|------|------|---------|
| `httpx` | HTTP API 调用 | `pip install httpx` |

### 可选依赖

| 依赖 | 用途 | 安装方式 |
|------|------|---------|
| `apify-client` | Apify Python SDK | `pip install apify-client` |
| `pandas` | 数据处理与导出 | `pip install pandas` |

### 验证配置

```bash
curl -s "https://api.apify.com/v2/user/me?token=$APIFY_TOKEN" | python -m json.tool
```

---

## Instructions

### Apify Actor 快速概览

Apify 平台上有数千个 Actor（即预构建的爬虫/自动化程序）。本技能聚焦 55+ 个经过验证的、面向 AI 数据提取优化的 Actor。

### 平台 Actor 速查表

#### 社交媒体

| 平台 | Actor | Actor ID | 主要功能 |
|------|-------|----------|---------|
| Instagram | Profile Scraper | `apify/instagram-profile-scraper` | 用户资料、帖子、粉丝数 |
| Instagram | Hashtag Scraper | `apify/instagram-hashtag-scraper` | 标签下的帖子 |
| Instagram | Comment Scraper | `apify/instagram-comment-scraper` | 帖子评论 |
| TikTok | Scraper | `clockworks/free-tiktok-scraper` | 视频、用户、标签 |
| YouTube | Scraper | `bernardo/youtube-scraper` | 视频信息、评论 |
| YouTube | Channel Scraper | `streamers/youtube-channel-scraper` | 频道数据 |
| Facebook | Posts Scraper | `apify/facebook-posts-scraper` | 页面帖子 |
| Facebook | Comments Scraper | `apify/facebook-comments-scraper` | 帖子评论 |
| Twitter/X | Scraper | `apidojo/tweet-scraper` | 推文搜索 |
| LinkedIn | Profile Scraper | `anchor/linkedin-profile-scraper` | 用户资料 |

#### 搜索引擎

| 平台 | Actor | Actor ID | 主要功能 |
|------|-------|----------|---------|
| Google | Search Results | `apify/google-search-scraper` | SERP 结果 |
| Google | Maps | `compass/crawler-google-places` | 商家信息、评价 |
| Google | Trends | `emastra/google-trends-scraper` | 搜索趋势 |
| Google | News | `lhotanova/google-news-scraper` | 新闻搜索 |
| Google | Shopping | `epctex/google-shopping-scraper` | 商品价格 |
| Bing | Search | `nicefellow/bing-search-scraper` | Bing 搜索结果 |

#### 电商平台

| 平台 | Actor | Actor ID | 主要功能 |
|------|-------|----------|---------|
| Amazon | Product Scraper | `junglee/amazon-scraper` | 商品详情、评价 |
| Amazon | Review Scraper | `junglee/amazon-reviews-scraper` | 商品评论 |
| eBay | Scraper | `drobnikj/ebay-scraper` | 商品搜索 |
| AliExpress | Scraper | `epctex/aliexpress-scraper` | 商品数据 |

#### 通用工具

| 功能 | Actor | Actor ID | 主要功能 |
|------|-------|----------|---------|
| 网页抓取 | Web Scraper | `apify/web-scraper` | 通用网页数据提取 |
| 网页截图 | Screenshot | `apify/screenshot-url` | 网页截图 |
| 链接提取 | Link Extractor | `apify/link-extractor` | 页面链接收集 |
| RSS 解析 | RSS Feed | `drobnikj/rss-feed-reader` | RSS 源数据 |
| AI 提取 | GPT Scraper | `drobnikj/gpt-scraper` | AI 驱动智能提取 |

### Actor 自动选择策略

Agent 根据用户需求自动选择最合适的 Actor：

1. **解析用户意图** — 从用户描述中识别目标平台和数据类型
2. **匹配 Actor** — 根据平台和功能匹配上方表格
3. **若无精确匹配** — 使用通用 Web Scraper 或 GPT Scraper
4. **确认方案** — 向用户确认将使用的 Actor 和预计数据量

---

## Workflows

### Workflow 1: 社交媒体数据抓取

**步骤 1 — 确认需求**

| 参数 | 说明 | 示例 |

From openakita/openakita, MIT.

More from openakita/openakita