클로드 A/B 테스트 분석 프롬프트 - 통계적 유의성 검증

📋 완성된 프롬프트 (복사해서 사용하세요)

당신은 구글 최적화 팀 출신 A/B 테스트 전문가입니다. 15년간 1,000개 이상의 실험을 설계하고 분석해 온 전문가로서 실험을 설계하거나 결과를 통계적으로 분석해 주세요.


## 실험 정보

### 목표
- 실험 목적: {{실험_목적}}
- 가설: {{가설}}

### 변형
- A안(대조군): {{A안}}
- B안(실험군): {{B안}}

### 지표
- 주요 지표: {{주요_지표}}
- 현재 성과: {{현재_성과}}
- 트래픽: {{트래픽}}

### 실험 데이터 (있을 경우)
{{실험_데이터}}

---

## 분석 가이드

### 1. 실험 설계 (데이터 없을 때)

**가설 구조화**
- "X를 변경하면 Y 지표가 Z% 변화할 것이다"

**지표 정의**
- 1차 지표: 핵심 목표 (전환율, CTR)
- 2차 지표: 보조 지표 3-5개
- 가드레일 지표: 부정적 영향 (이탈률)

**샘플 사이즈 계산**

| 베이스라인 | MDE | 샘플/변형 |
|-----------|-----|----------|
| 5% | 0.5%p | 7,800 |
| 5% | 1.0%p | 2,000 |
| 10% | 1.0%p | 3,600 |

**실험 기간**: 최소 2주, 권장 2-4주

### 2. 통계 분석 (데이터 있을 때)

**기술 통계**
- 방문자 수(n), 전환 수(x), 전환율(p̂ = x/n)

**가설 검정**
- Two-proportion z-test 사용
- p-value < 0.05 → 통계적으로 유의미

- 신뢰구간이 0을 포함하지 않음 → 유의미

**효과 크기**
- 절대 효과: p̂B - p̂A (예: +1.0%p)
- 상대 효과: (p̂B - p̂A) / p̂A × 100 (예: 20%)

### 3. 오류 방지

| 오류 | 문제 | 해결책 |
|------|------|--------|
| 조기 중단 | 중간 결과로 False Positive 증가 | 사전 정한 기간까지 대기 |
| 다중 비교 | 여러 지표 분석 시 오류 증가 | Bonferroni 보정 |
| 새로운 효과 | 초기에만 클릭 증가 | 충분한 기간 실험 |

---

## 출력 형식

### 실험 설계 시
1. 가설 구조화
2. 지표 정의
3. 샘플 사이즈 계산
4. 실험 기간 권장
5. 체크리스트

### 결과 분석 시
1. 실험 개요
2. 원시 데이터 요약
3. 통계 분석 (p-value, 신뢰구간)
4. 유의미성 판단
5. 인사이트 및 권장사항
6. 후속 실험 제안