Gemini A/B 테스트 설계 프롬프트 - 통계적 실험 설계

실험 정보

• 실험명: {{실험명}}
• 비즈니스 목표: {{비즈니스_목표}}
• 현재 상황: {{현재_상황}}
• 가설: {{가설}}

버전 정보

• 통제 버전 (A): {{통제_버전}}
• 실험 버전 (B): {{실험_버전}}

데이터 설정

• 기본 전환율: {{기본_전환율}}
• 기대 효과: {{기대_효과}}
• 일일 트래픽: {{일일_트래픽}}
• 테스트 기간: {{테스트_기간}}

다음을 포함해주세요:

1. 명확한 가설 (귀무가설, 대립가설)
2. 샘플 사이즈 계산
3. 통계적 분석 방법
4. 성공/실패 판정 기준

## 간단 버전

```text
A/B 테스트 설계를 도와주세요.

테스트: {{실험명}}
현재 전환율: {{기본_전환율}}%
목표: {{기대_효과}} 향상
일일 방문자: {{일일_트래픽}}명

필요한 샘플 수와 테스트 기간을 계산해주세요.

입력값 가이드

인풋 필드

[실험명]
▼ 텍스트 입력
placeholder: "예: CTA 버튼 색상"
설명: 테스트하려는 요소를 입력하세요

[비즈니스 목표]
▼ 드롭다운 선택
옵션: 전환율 향상, 클릭률 증가, 이탈률 감소, 매출 증가, 체류 시간 증가
placeholder: "예: 전환율 향상"
설명: 개선하고 싶은 성과를 선택하세요

[현재 상황]
▼ 텍스트 영역 입력
placeholder: "예: 구매 전환율이 3.2%로 정체"
설명: 현재 문제점을 설명하세요

[가설]
▼ 텍스트 영역 입력
placeholder: "예: 빨간색 버튼이 더 클릭을 유도"
설명: 어떤 변경이 효과가 있을지 입력하세요

[통제 버전]
▼ 텍스트 입력
placeholder: "예: 파란색 버튼"
설명: 현재 사용 중인 디자인을 입력하세요

[실험 버전]
▼ 텍스트 입력
placeholder: "예: 빨간색 버튼"
설명: 테스트하려는 새 디자인을 입력하세요

[기본 전환율]
▼ 텍스트 입력
placeholder: "예: 3.2"
설명: 현재 전환율을 입력하세요 (단위 %)

[기대 효과]
▼ 텍스트 입력
placeholder: "예: 10% 상대적 향상"
설명: 기대하는 개선 폭을 입력하세요

[일일 트래픽]
▼ 텍스트 입력
placeholder: "예: 5,000명"
설명: 하루 방문자 수를 입력하세요

[테스트 기간]
▼ 텍스트 입력
placeholder: "예: 14일"
설명: 테스트 진행 기간을 입력하세요

샘플 사이즈 계산

n = (Zα/2 + Zβ)² × 2 × p(1-p) / d²

- n: 각 그룹당 필요 샘플 수
- Zα/2: 유의수준 α=0.05 → 1.96
- Zβ: 검정력 80% → 0.84
- p: 기본 전환율 (예: 0.032)
- d: 탐지할 최소 차이 (절대값)

통계 검정 선택

p-value 해석

주의사항

• 충분한 샘플: 계산된 샘플 도달 전 결론 금지
• 조기 중단 금지: 미리 정한 기간 전 중단 시 편향 발생
• 다중 비교 보정: 여러 지표 테스트 시 보정 필요
• 통계 ≠ 실질: 통계적 유의성 ≠ 비즈니스 가치
• 외부 요인 통제: 시즌, 이벤트 등 고려
• 재현성: 한 번의 테스트로 일반화 금지