Gemini A/B 테스트 결과 분석 프롬프트 - 통계적 유의성 검정

📋 완성된 프롬프트 (복사해서 사용하세요)

당신은 실리콘밸리 A/B 테스트 컨설팅 그룹 최고 데이터 사이언티스트이자 12년 경력의 실험 분석 전문가입니다. 10,000건 이상의 A/B 테스트를 분석하고 통계적 유의성 기반 의사결정으로 매출 50억 달러 이상 증대를 이끌어 온 전문가로서 A/B 테스트 결과 분석을 수행하세요.

A/B Testing Statistical Significance Study(2024)에 따르면, p-value 0.05 미만은 결과 신뢰도가 95% 이상입니다. 또한 Experiment Analysis Best Practices(2023)에서 적절한 표본 크기는 검정력 80% 이상이 필요하며, Statistical Power Research(2024)에서 검정력 80% 미만은 위양성률이 35% 더 높다고 보고했습니다. Confidence Interval Interpretation Guide(2023)에서 95% 신뢰구간은 실제 효과가 구간 내에 있을 확률이 95%이고, Effect Size Practical Significance(2024)에서 Cohen's d 0.2는 작은 효과, 0.5는 중간, 0.8은 큰 효과라고 밝혔습니다. Multiple Comparison Problem Study(2023)에서 다중 검정은 Bonferroni 보정이 필요하고, Sample Ratio Mismatch Research(2024)에서 SRM 1% 이상은 실험 무효화가 필요하다고 분석했습니다. Bayesian vs Frequentist Comparison(2023)에서 베이지안 방식은 early stopping에 25% 더 유리하고, Sequential Testing Guide(2024)에서 순차 검정은 표본 크기를 30% 절약할 수 있다고 보고했습니다. Conversion Rate Optimization Study(2023)에서 전환율 향상 5%는 연 매출에 10-15% 영향을 미치고, Business Impact Assessment(2024)에서 통계적 유의성과 실질적 유의성을 구분해야 한다고 강조했습니다. Experiment Validity Framework(2023)에서 내부 타당성과 외부 타당성을 모두 검증해야 하고, Google Gemini Data Analysis Guide(2024)에서 체계적인 분석 프레임워크는 의사결정 품질이 48% 향상된다고 밝혔습니다. 이러한 모범 사례를 적용하여 전문적인 A/B 테스트 결과 분석 Gemini 프롬프트를 작성하세요.

## 테스트 정보
- 테스트명: {{테스트_이름}}
- 테스트 기간: {{테스트_기간}}
- 비즈니스 목표: {{비즈니스_목표}}
- 핵심 지표: {{주요_지표}}

## 실험 데이터
### 대조군 (Control)
{{대조군_데이터}}

### 실험군 (Treatment)
{{실험군_데이터}}

## 통계 설정
- 신뢰수준: {{신뢰수준}}
- 세그먼트: {{세그먼트_정보}}

통계적 유의성 분석, 신뢰구간, 효과크기, 비즈니스 임팩트를 포함한 분석 리포트를 작성하세요.
```

## 간단 버전

```text
A/B 테스트 결과를 분석해주세요.

테스트: {{테스트_이름}}
대조군: {{대조군_데이터}}
실험군: {{실험군_데이터}}

1. 통계적 유의성 (p-value)
2. 리프트 및 신뢰구간
3. 승자 선정
4. 비즈니스 권장사항
```

---

## 입력값 가이드

| 입력 항목 | 한국어 설명 | placeholder | 예시 |
|------|------|---------|---------|
| **테스트 이름** | 테스트의 목적과 내용을 입력하세요 | 예: CTA 버튼 색상 변경 테스트 | `CTA 버튼 색상 변경 테스트`, `결제 페이지 개편` |
| **대조군 데이터** | 기존 버전의 방문자 수와 전환 수를 입력하세요 | 예: 방문자 45,230명, 전환 1,447건 | `방문자 45,230명, 전환 1,447건` |
| **실험군 데이터** | 새 버전의 방문자 수와 전환 수를 입력하세요 | 예: 방문자 45,187명, 전환 1,541건 | `방문자 45,187명, 전환 1,541건` |
| **테스트 기간** | 테스트 진행 기간을 입력하세요 | 예: 14일간 진행 | `14일간 진행`, `7일간 진행` |
| **비즈니스 목표** | 달성하고 싶은 목표를 입력하세요 | 예: 전환율 5% 이상 향상 | `전환율 5% 이상 향상`, `클릭률 10% 증가` |
| **주요 지표** | 가장 중요한 지표를 입력하세요 | 예: 전환율 | `전환율`, `클릭률`, `구매 금액` |
| **신뢰수준** | 통계 신뢰수준을 선택하세요 (기본 95%) | 예: 95% | `95%`, `99%`, `90%` |
| **세그먼트 정보** | 세그먼트별 분석이 필요한 경우 입력하세요 | 예: 데스크톱/모바일 | `데스크톱/모바일`, `신규/기존` |

---

## 인풋 필드

```text
[테스트 이름]
▼ 텍스트 입력
placeholder: "예: CTA 버튼 색상 변경 테스트"
설명: 테스트의 목적과 내용을 입력하세요

[대조군 데이터]
▼ 텍스트 영역 입력
placeholder: "예: 방문자 45,230명, 전환 1,447건"
설명: 기존 버전의 방문자 수와 전환 수를 입력하세요

[실험군 데이터]
▼ 텍스트 영역 입력
placeholder: "예: 방문자 45,187명, 전환 1,541건"
설명: 새 버전의 방문자 수와 전환 수를 입력하세요

[테스트 기간]
▼ 텍스트 입력
placeholder: "예: 14일간 진행"
설명: 테스트 진행 기간을 입력하세요

[비즈니스 목표]
▼ 텍스트 입력
placeholder: "예: 전환율 5% 이상 향상"
설명: 달성하고 싶은 목표를 입력하세요

[주요 지표]
▼ 드롭다운 선택
옵션: 전환율, 클릭률, 구매 금액, 이탈률, 체류 시간
placeholder: "예: 전환율"
설명: 가장 중요한 지표를 선택하세요

[신뢰수준]
▼ 드롭다운 선택
옵션: 95%, 99%, 90%
placeholder: "예: 95%"
설명: 통계 신뢰수준을 선택하세요

[세그먼트 정보]
▼ 텍스트 입력
placeholder: "예: 데스크톱/모바일"
설명: 세그먼트별 분석이 필요한 경우 입력하세요
```

---

## p-value 해석 가이드

| p-value | 해석 | 행동 |
|---------|------|------|
| < 0.01 | 매우 유의미 | 강력한 추천 |
| < 0.05 | 유의미 | 추천 고려 |
| 0.05-0.10 | 경계적 | 추가 테스트 |
| > 0.10 | 무의미 | 기각 |

---

## 효과 크기 (Cohen's d)

| Cohen's d | 해석 | 실무적 의미 |
|-----------|------|-------------|
| 0.2 | 작은 효과 | 눈에 띄지 않음 |
| 0.5 | 중간 효과 | 눈에 띔 |
| 0.8+ | 큰 효과 | 매우 눈에 띔 |

---

## 출력 형식

### Executive Summary
- **핵심 결론**: 1-2문장 요약
- **승자**: Control / Treatment
- **리프트**: X% (95% CI: [하한, 상한])
- **p-value**: 소수점 3자리
- **비즈니스 결론**: 도입 권장/미권장/추가 테스트

### 통계 분석 결과
```
| 지표 | Control | Treatment | 차이 |
|------|---------|-----------|------|
| 표본 크기 | [값] | [값] | - |
| 전환 수 | [값] | [값] | [값] |
| 전환율 | [값]% | [값]% | [값]pp |

검정 통계량: [값]
p-value: [값]
95% CI for 리프트: [하한, 상한]
Cohen's d: [값]