article-extractor

Files (2)

• SKILL.md
• extract.py

SKILL.md (first lines)

# Article Extractor Skill

뉴스 URL → 깨끗한 본문 + 메타데이터 추출.

## 사용법

```bash
python3 ${CLAUDE_SKILL_DIR}/extract.py <URL> [--output /path/to/output.json]
```

## 왜 이 skill 이 중요한가

LLM 은 **광고/메뉴가 섞인 원본 HTML 을 주면 엉뚱한 걸 요약** 한다. 
본문만 깨끗하게 뽑아주는 것이 환각 저감의 가장 큰 지렛대다 (정확도 향상의 50%+ 기여).

## 추출 전략 (우선순위)

### 1. 네이버 뉴스 특화 (`n.news.naver.com`)
- CSS 셀렉터 `#dic_area` 로 본문
- `.media_end_head_title` 로 제목
- `.media_end_head_info_datestamp_time` 로 발행일
- 가장 정확, 가장 빠름

### 2. Trafilatura (범용)
- 대부분의 뉴스 사이트에 대해 F1 0.945 (Scrapinghub 2024 벤치마크)
- 한국어 포함 다국어 지원
- 메타데이터 동시 추출 (저자, 날짜)

### 3. Jina Reader API 폴백
- 위 둘이 실패하면 `https://r.jina.ai/<URL>` 호출
- 무료 티어로 사용 가능
- JS 렌더링 필요한 사이트도 처리

## 출력 스키마

```json
{
  "url": "...",
  "fetched_at": "2026-04-20T09:30:00+09:00",
  "title": "...",
  "author": null,
  "published_date": "2026-04-19",
  "source_name": "연합뉴스",
  "language": "ko",
  "full_text": "...",
  "paragraphs": [
    {"idx": 1, "text": "..."},
    {"idx": 2, "text": "..."}
  ],
  "word_count": 847,
  "extraction_method": "naver_selector | trafilatura | jina_reader"
}
```

## 실패 처리

- HTTP 4xx/5xx → `{"error": "http_error", "status": N}` 반환 + exit code 1
- 본문 < 500자 → `{"error": "too_short", "length": N}` (광고성/삭제된 기사 의심)
- 인코딩 실패 → `{"error": "encoding"}`
- Paywall 감지 → `{"error": "paywall"}`

## 설치 의존성

처음 1회만:
```bash
pip install trafilatura requests chardet --break-system-packages
```

Jina Reader 는 API 키 없이 무료 사용 (레이트리밋 있음).

From Wendy-Nam/wendy-pr-intelligence, MIT.

More from Wendy-Nam/wendy-pr-intelligence