harness-shadow

Files (1)

• SKILL.md

SKILL.md (first lines)

# /harness-shadow — Counterfactual Lift 측정 프로토콜

> **존재 이유**: "Harness가 baseline Claude 대비 추가 가치를 내는가?" 를 경험적으로 증명.
> Baseline이 이미 80% 잡는다면 Harness는 15~20% lift만 추가 → 비용 정당화 어려움.
> Baseline이 40% 잡는다면 Harness가 90% 잡을 때 큰 가치.
> **이 측정 없이는 Harness ROI 주장이 공허**.

## ⛔ Guard — HARNESS_MODE 확인 (최우선)

> 이 스킬의 모든 단계보다 **먼저** 실행. SSoT: `~/.claude/skills/_harness-guard.md` — `HARNESS_MODE` 가 미설정/빈값/`off` 면 즉시 중단(안내 출력 후 이후 단계 실행 금지), `suggest`/`auto` 면 정상 진행.

---

## 실행 전제

이 스킬은 **정상 `/harness-workflow` 완료 전**에 호출해야 한다. 시나리오:
1. 사용자가 PROJ-999 시작 → 5번째마다 shadow 지정
2. `/harness-shadow PROJ-999` 먼저 실행 → baseline 리뷰 수집
3. 그 후 `/harness-workflow` 또는 `/harness-review` 정상 실행
4. 두 결과를 비교하는 메타 파일 생성

**절대 금지**: baseline과 Harness를 **동일 세션에서** 연달아 돌리는 것. Context contamination. 세션을 분리하거나 `/clear` 후 실행해야 함.

## 절차

### Step 1. 사전 조건 확인

```bash
# 현재 HARNESS_MODE 확인
grep HARNESS_MODE .claude/settings.local.json

# 이미 aggregate-verdict.md가 있는가?
ls .claude/runtime/aggregate-verdict.md 2>/dev/null
```

- 이미 aggregate-verdict.md가 있으면: "⚠️ 이미 Harness 리뷰가 완료됨. Shadow는 Harness 이전에 실행해야 함. 새 이슈를 택하거나 /clear 후 재시도."
- 없으면: Step 2로

### Step 2. HARNESS_MODE 임시 override

이 스킬 내에서는 environment 변수를 세션에 전달하지 않고, **메인 세션이 harness 스킬을 절대 호출하지 않는 것**으로 시뮬레이트한다.

사용자에게 명시 안내:
```
════════════════════════════════════════
  Shadow Run Mode Active

  다음 단계에서는 /harness-plan, /harness-review를
  절대 호출하지 마세요. Baseline Claude만으로 리뷰합니다.

  사용 가능: /jira-plan, /jira-execute, 그리고 baseline 방식의 테스트·커밋 직접 수행
            (구 /jira-test·/jira-commit 은 2026-07-20 폐기 — harness-workflow gate 단계로 흡수)
  금지: /harness-plan, /harness-review, /harness-gate
════════════════════════════════════════
```

### Step 3. Baseline 리뷰 수집

메인 세션이 `git diff`와 dev-guide.md만 보고 자체적으로 리뷰 수행 (에이전트 위임 없이):

1. Goal 파악 (dev-guide의 Acceptance Criteria 기반)
2. `git diff` 확인
3. Blocker / Advisory 후보를 메인 세션이 직접 판단 (에이전트 호출 금지)
4. 판단 이유는 dev-guide와 CLAUDE.md의 Key Rules만 기반으로

### Step 4. Baseline Verdict 작성

`.claude/runtime/baseline-verdict.md`로 저장 (**aggregate-verdict.md와 동일 스키마**):

```markdown
# Baseline Verdict — PROJ-XXX Phase N (Shadow Run)

<!-- Metadata -->
- **Issue**: PROJ-XXX
- **Phase**: N
- **Mode**: baseline (HARNESS_MODE=off emulated)
- **Ran At**: YYYY-MM-DDTHH:MM:SSZ
- **Duration**: Xm Ys
- **Tokens (approx)**: ~Xk (baseline은 보통 Harness 대비 30~50% 토큰)
- **Reviewer**: main session (no project agents)
- **Shadow Pair**: aggregate-verdict-shadow.md (대응 Harness run)

<!-- Body: Blockers/Advisories (baseline이 찾은 것) -->
## Blockers
| ID | 위치 | 요지 |
|---|---|---|
| B-BL1 | ... | ... |

## Advisories
| ID | 요지 |
|---|---|
| B-A1 | ... |
```

### Step 5. 사용자 안내: Harness run 실행

```
════════════════════════════════════════
  Baseline 완료. 이제 Harness full-run을 실행:

  권장: 새 세션에서 /harness-workflow PROJ-XXX
  (같은 세션에서 돌리면 baseline에서 본 내용이 Harness 추론을 오염시킴)

  두 verdict가 모두 준비되면:
    → /harness-shadow compare PROJ-XXX
════════════════════════════════════════
```

### Step 6. Compare 모드 (두 verdict 준비 후)

`/harness-shadow compare PROJ-XXX` 호출 시:

1. baseline-verdict.md 읽기
2. aggregate-verdict.md 읽기 (archive에서라도)
3. Blocker/Advisory를 diff하여 분류:
   - **Both**: 둘 다 찾음 (Harness 필요 없음 영역)
   - **Harness only**: Harness만 찾음 (positive lift)
   - **Baseline only**: Baseline만 찾음 (Harness의 miss)
4. 비교 파일 `.claude/runtime/shadow-comparison-PROJ-XXX.md` 작성:

From bigbulgogiburger/claude_jira_harness, MIT.

More from bigbulgogiburger/claude_jira_harness