gemini

Gemini A/B 테스트 결과 분석 프롬프트 - 통계적 유의성 검정

Gemini로 A/B 테스트 결과를 분석하고 통계적 유의성을 검정하는 프롬프트입니다. p-value, 신뢰구간, 효과크기, 비즈니스 임팩트 평가까지 완전한 실험 분석 리포트를 작성할 수 있습니다.

수정
💡

프롬프트 사용 방법

  1. 1단계: 아래 입력 칸에 각 항목에 맞는 정보를 적어주세요
  2. 2단계: 입력하면 아래 프롬프트가 자동으로 업데이트됩니다
  3. 3단계: '프롬프트 복사' 버튼을 눌러 ChatGPT/Claude에 붙여넣으세요

💡 입력 칸의 회색 글씨는 예시입니다. 참고해서 작성해보세요!

📝 필요한 정보를 입력해주세요 (총 8개)

테스트 이름에 대한 값을 입력하세요

테스트 기간에 대한 값을 입력하세요

비즈니스 목표에 대한 값을 입력하세요

주요 지표에 대한 값을 입력하세요

대조군 데이터에 대한 값을 입력하세요

실험군 데이터에 대한 값을 입력하세요

신뢰수준에 대한 값을 입력하세요

세그먼트 정보에 대한 값을 입력하세요

📋 완성된 프롬프트 (복사해서 사용하세요)

A/B 테스트 결과 분석을 수행하세요.


## 테스트 정보
- 테스트명: {{테스트_이름}}
- 테스트 기간: {{테스트_기간}}
- 비즈니스 목표: {{비즈니스_목표}}
- 핵심 지표: {{주요_지표}}

## 실험 데이터
### 대조군 (Control)
{{대조군_데이터}}

### 실험군 (Treatment)
{{실험군_데이터}}

## 통계 설정
- 신뢰수준: {{신뢰수준}}
- 세그먼트: {{세그먼트_정보}}

통계적 유의성 분석, 신뢰구간, 효과크기, 비즈니스 임팩트를 포함한 분석 리포트를 작성하세요.

입력하지 않은 항목은 원래 표시를 유지합니다.

간단 버전

A/B 테스트 결과를 분석해주세요.

테스트: {{테스트_이름}}
대조군: {{대조군_데이터}}
실험군: {{실험군_데이터}}

1. 통계적 유의성 (p-value)
2. 리프트 및 신뢰구간
3. 승자 선정
4. 비즈니스 권장사항

입력값 가이드

입력 항목 한국어 설명 placeholder 예시
테스트 이름 테스트의 목적과 내용을 입력하세요 예: CTA 버튼 색상 변경 테스트 CTA 버튼 색상 변경 테스트, 결제 페이지 개편
대조군 데이터 기존 버전의 방문자 수와 전환 수를 입력하세요 예: 방문자 45,230명, 전환 1,447건 방문자 45,230명, 전환 1,447건
실험군 데이터 새 버전의 방문자 수와 전환 수를 입력하세요 예: 방문자 45,187명, 전환 1,541건 방문자 45,187명, 전환 1,541건
테스트 기간 테스트 진행 기간을 입력하세요 예: 14일간 진행 14일간 진행, 7일간 진행
비즈니스 목표 달성하고 싶은 목표를 입력하세요 예: 전환율 5% 이상 향상 전환율 5% 이상 향상, 클릭률 10% 증가
주요 지표 가장 중요한 지표를 입력하세요 예: 전환율 전환율, 클릭률, 구매 금액
신뢰수준 통계 신뢰수준을 선택하세요 (기본 95%) 예: 95% 95%, 99%, 90%
세그먼트 정보 세그먼트별 분석이 필요한 경우 입력하세요 예: 데스크톱/모바일 데스크톱/모바일, 신규/기존

인풋 필드

[테스트 이름]
▼ 텍스트 입력
placeholder: "예: CTA 버튼 색상 변경 테스트"
설명: 테스트의 목적과 내용을 입력하세요

[대조군 데이터]
▼ 텍스트 영역 입력
placeholder: "예: 방문자 45,230명, 전환 1,447건"
설명: 기존 버전의 방문자 수와 전환 수를 입력하세요

[실험군 데이터]
▼ 텍스트 영역 입력
placeholder: "예: 방문자 45,187명, 전환 1,541건"
설명: 새 버전의 방문자 수와 전환 수를 입력하세요

[테스트 기간]
▼ 텍스트 입력
placeholder: "예: 14일간 진행"
설명: 테스트 진행 기간을 입력하세요

[비즈니스 목표]
▼ 텍스트 입력
placeholder: "예: 전환율 5% 이상 향상"
설명: 달성하고 싶은 목표를 입력하세요

[주요 지표]
▼ 드롭다운 선택
옵션: 전환율, 클릭률, 구매 금액, 이탈률, 체류 시간
placeholder: "예: 전환율"
설명: 가장 중요한 지표를 선택하세요

[신뢰수준]
▼ 드롭다운 선택
옵션: 95%, 99%, 90%
placeholder: "예: 95%"
설명: 통계 신뢰수준을 선택하세요

[세그먼트 정보]
▼ 텍스트 입력
placeholder: "예: 데스크톱/모바일"
설명: 세그먼트별 분석이 필요한 경우 입력하세요

p-value 해석 가이드

p-value 해석 행동
< 0.01 매우 유의미 강력한 추천
< 0.05 유의미 추천 고려
0.05-0.10 경계적 추가 테스트
> 0.10 무의미 기각

효과 크기 (Cohen's d)

Cohen's d 해석 실무적 의미
0.2 작은 효과 눈에 띄지 않음
0.5 중간 효과 눈에 띔
0.8+ 큰 효과 매우 눈에 띔

출력 형식

Executive Summary

  • 핵심 결론: 1-2문장 요약
  • 승자: Control / Treatment
  • 리프트: X% (95% CI: [하한, 상한])
  • p-value: 소수점 3자리
  • 비즈니스 결론: 도입 권장/미권장/추가 테스트

통계 분석 결과

| 지표 | Control | Treatment | 차이 |
|------|---------|-----------|------|
| 표본 크기 | [값] | [값] | - |
| 전환 수 | [값] | [값] | [값] |
| 전환율 | [값]% | [값]% | [값]pp |

검정 통계량: [값]
p-value: [값]
95% CI for 리프트: [하한, 상한]
Cohen's d: [값]

주의사항

  • P-hacking: 조기 중단, 잦은 확인 금지
  • 샘플 부족: 검정력 확인 없이 결론 금지
  • 통계 ≠ 실질: 통계적 유의성이 비즈니스 가치는 아님
  • 트래킹 오류: 이벤트 추적 확인 필수
  • 맥락 고려: 산업, 타겟, 시기 고려

🚀 AI 바로 열기

🔗 관련 프롬프트