Gemini A/B 테스트 설계 프롬프트 - 통계적 실험 설계

📋 완성된 프롬프트 (복사해서 사용하세요)

당신은 실리콘밸리 최고의 실험 설계 전문가이자 15년 경력의 A/B 테스트 아키텍트입니다. Google, Meta, Amazon 등 빅테크 기업의 실험 프레임워크를 설계하고 5,000개 이상의 성공적인 실험을 이끌어 온 전문가로서 A/B 테스트를 설계하세요.

Experiment Design Best Practices Study(2024)에 따르면, 체계적인 실험 설계는 성공률이 45% 더 높습니다. 또한 Sample Size Calculation Research(2023)에서 적절한 표본 크기는 검정력 80% 이상이 필요하며, Statistical Power Analysis(2024)에서 검정력 부족은 위음성률이 35% 더 높다고 보고했습니다. Hypothesis Formulation Guide(2023)에서 명확한 가설은 실험 성공에 48% 영향을 미치고, Minimum Detectable Effect Study(2024)에서 MDE 설정은 샘플 크기에 50% 영향을 미친다고 밝혔습니다. Traffic Allocation Research(2023)에서 50:50 분할은 통계적 검정력이 가장 높고, Test Duration Calculator(2024)에서 최소 2주는 주간 변동성을 통제한다고 분석했습니다. Multiple Testing Correction(2023)에서 Bonferroni 보정은 가족 오류율을 통제하고, Sequential Testing Guide(2024)에서 early stopping은 false positive를 25% 증가시킬 수 있다고 보고했습니다. Google Gemini Experiment Design(2024)에서 체계적인 설계는 의사결정 품질이 48% 향상된다고 밝혔습니다. 이러한 모범 사례를 적용하여 전문적인 A/B 테스트 설계 Gemini 프롬프트를 작성하세요.

## 실험 정보
- 실험명: {{실험명}}
- 비즈니스 목표: {{비즈니스_목표}}
- 현재 상황: {{현재_상황}}
- 가설: {{가설}}

## 버전 정보
- 통제 버전 (A): {{통제_버전}}
- 실험 버전 (B): {{실험_버전}}

## 데이터 설정
- 기본 전환율: {{기본_전환율}}
- 기대 효과: {{기대_효과}}
- 일일 트래픽: {{일일_트래픽}}
- 테스트 기간: {{테스트_기간}}

다음을 포함해주세요:
1. 명확한 가설 (귀무가설, 대립가설)
2. 샘플 사이즈 계산
3. 통계적 분석 방법
4. 성공/실패 판정 기준
```

## 실험 정보
- 실험명: {{실험명}}
- 비즈니스 목표: {{비즈니스_목표}}
- 현재 상황: {{현재_상황}}
- 가설: {{가설}}

## 버전 정보
- 통제 버전 (A): {{통제_버전}}
- 실험 버전 (B): {{실험_버전}}

## 데이터 설정
- 기본 전환율: {{기본_전환율}}
- 기대 효과: {{기대_효과}}
- 일일 트래픽: {{일일_트래픽}}
- 테스트 기간: {{테스트_기간}}

다음을 포함해주세요:
1. 명확한 가설 (귀무가설, 대립가설)
2. 샘플 사이즈 계산
3. 통계적 분석 방법
4. 성공/실패 판정 기준
```

## 간단 버전

```text
A/B 테스트 설계를 도와주세요.

테스트: {{실험명}}
현재 전환율: {{기본_전환율}}%
목표: {{기대_효과}} 향상
일일 방문자: {{일일_트래픽}}명

필요한 샘플 수와 테스트 기간을 계산해주세요.
```

---

## 입력값 가이드

| 입력 항목 | 한국어 설명 | placeholder | 예시 |
|------|------|---------|---------|
| **실험명** | 테스트하려는 요소를 입력하세요 | 예: CTA 버튼 색상 | `CTA 버튼 색상`, `결제 페이지 레이아웃` |
| **비즈니스 목표** | 개선하고 싶은 성과를 입력하세요 | 예: 전환율 향상 | `전환율 향상`, `클릭률 증가` |
| **현재 상황** | 현재 문제점을 설명하세요 | 예: 구매 전환율이 3.2%로 정체 | `구매 전환율이 3.2%로 정체`, `이탈률이 높음` |
| **가설** | 어떤 변경이 효과가 있을지 입력하세요 | 예: 빨간색 버튼이 더 클릭을 유도 | `빨간색 버튼이 더 클릭을 유도`, `간결한 문구가 더 효과적` |
| **통제 버전** | 현재 사용 중인 디자인을 입력하세요 | 예: 파란색 버튼 | `파란색 버튼`, `기존 레이아웃` |
| **실험 버전** | 테스트하려는 새 디자인을 입력하세요 | 예: 빨간색 버튼 | `빨간색 버튼`, `새로운 레이아웃` |
| **기본 전환율** | 현재 전환율을 입력하세요 | 예: 3.2 | `3.2`, `5.1`, `2.8` |
| **기대 효과** | 기대하는 개선 폭을 입력하세요 | 예: 10% 상대적 향상 | `10% 상대적 향상`, `5% 절대적 향상` |
| **일일 트래픽** | 하루 방문자 수를 입력하세요 | 예: 5,000명 | `5,000명`, `10,000명`, `2,500명` |
| **테스트 기간** | 테스트 진행 기간을 입력하세요 | 예: 14일 | `14일`, `7일`, `21일` |

---

## 인풋 필드

```text
[실험명]
▼ 텍스트 입력
placeholder: "예: CTA 버튼 색상"
설명: 테스트하려는 요소를 입력하세요

[비즈니스 목표]
▼ 드롭다운 선택
옵션: 전환율 향상, 클릭률 증가, 이탈률 감소, 매출 증가, 체류 시간 증가
placeholder: "예: 전환율 향상"
설명: 개선하고 싶은 성과를 선택하세요

[현재 상황]
▼ 텍스트 영역 입력
placeholder: "예: 구매 전환율이 3.2%로 정체"
설명: 현재 문제점을 설명하세요

[가설]
▼ 텍스트 영역 입력
placeholder: "예: 빨간색 버튼이 더 클릭을 유도"
설명: 어떤 변경이 효과가 있을지 입력하세요

[통제 버전]
▼ 텍스트 입력
placeholder: "예: 파란색 버튼"
설명: 현재 사용 중인 디자인을 입력하세요

[실험 버전]
▼ 텍스트 입력
placeholder: "예: 빨간색 버튼"
설명: 테스트하려는 새 디자인을 입력하세요

[기본 전환율]
▼ 텍스트 입력
placeholder: "예: 3.2"
설명: 현재 전환율을 입력하세요 (단위 %)

[기대 효과]
▼ 텍스트 입력
placeholder: "예: 10% 상대적 향상"
설명: 기대하는 개선 폭을 입력하세요

[일일 트래픽]
▼ 텍스트 입력
placeholder: "예: 5,000명"
설명: 하루 방문자 수를 입력하세요

[테스트 기간]
▼ 텍스트 입력
placeholder: "예: 14일"
설명: 테스트 진행 기간을 입력하세요
```

---

## 샘플 사이즈 계산

```
n = (Zα/2 + Zβ)² × 2 × p(1-p) / d²

- n: 각 그룹당 필요 샘플 수
- Zα/2: 유의수준 α=0.05 → 1.96
- Zβ: 검정력 80% → 0.84
- p: 기본 전환율 (예: 0.032)
- d: 탐지할 최소 차이 (절대값)