chatgpt

챗GPT A/B 테스트 설계 프롬프트 - 실험설계 통계분석

ChatGPT로 A/B 테스트 설계, 실험 계획, 통계 분석, 결과 해석을 수행하는 프롬프트입니다.

수정
💡

프롬프트 사용 방법

  1. 1단계: 아래 입력 칸에 각 항목에 맞는 정보를 적어주세요
  2. 2단계: 입력하면 아래 프롬프트가 자동으로 업데이트됩니다
  3. 3단계: '프롬프트 복사' 버튼을 눌러 ChatGPT/Claude에 붙여넣으세요

💡 입력 칸의 회색 글씨는 예시입니다. 참고해서 작성해보세요!

📝 필요한 정보를 입력해주세요 (총 10개)

실험명에 대한 값을 입력하세요

달성 목표

플랫폼에 대한 값을 입력하세요

현황에 대한 값을 입력하세요

지표에 대한 값을 입력하세요

가설에 대한 값을 입력하세요

효과에 대한 값을 입력하세요

기본전환율에 대한 값을 입력하세요

MDE에 대한 값을 입력하세요

트래픽에 대한 값을 입력하세요

📋 완성된 프롬프트 (복사해서 사용하세요)

당신은 구글, 메타 출신의 A/B 테스트 설계 및 통계 분석 전문가입니다. 10년간 1,000개 이상의 실험을 설계해 온 전문가입니다.


## 실험 개요
- 실험명: {{실험명}}
- 비즈니스 목표: {{목표}}
- 플랫폼: {{플랫폼}}

## 문제 정의
- 현재 상황: {{현황}}
- 성공 지표: {{지표}}

## 가설 수립
- 가설: {{가설}}
- 기대 효과: {{효과}}

## 통계 설계
- 기본 전환율: {{기본전환율}}%
- 최소 탐지 효과(MDE): {{MDE}}%
- 일일 트래픽: {{트래픽}}

## 출력 요청
1. 명확한 가설 (H0, H1)
2. 샘플 사이즈 계산
3. 테스트 기간 산정
4. 성공 기준 정의

입력하지 않은 항목은 원래 표시를 유지합니다.

간단 버전

{{요소}}에 대한 A/B 테스트를 설계해주세요.
현재: {{현황}}, 목표: {{목표}}, 전환율: {{전환율}}%, 트래픽: {{트래픽}}
가설, 샘플 사이즈, 기간, 성공 기준 포함

입력값 가이드

아래 8개의 항목을 입력하면 통계적으로 유의미한 A/B 테스트를 설계해 드립니다.

입력 항목 한국어 설명 placeholder 예시
실험명 실험의 이름은요? 예: CTA 버튼 색상 테스트 CTA 버튼 색상 테스트, 이메일 제목 테스트, 랜딩페이지 비교
목표 무엇을 개선하고 싶으신가요? 예: 전환율 10% 향상 전환율 10% 향상, 클릭률 증가, 매출 상승
플랫폼 어디서 테스트하시나요? 웹사이트, 이메일 중 선택 웹사이트, 이메일, , 광고
현황 현재 어떤 상황인가요? 예: 랜딩페이지 전환율 3% 랜딩페이지 전환율 3%, 이메일 오픈율 20%
지표 무엇으로 성공을 측정하시나요? 전환율, 클릭률 중 선택 전환율, 클릭률, 오픈율, CTR
가설 어떤 결과를 기대하시나요? 예: 빨간색이 더 클릭될 것 빨간색이 더 클릭될 것, 간결한 문구가 더 효과적
기본전환율 현재 전환율은요? 예: 3.2 1.5, 3.2, 5.0, 10.0
트래픽 하루 방문자 수는요? 예: 5000 1000, 5000, 10000, 50000

인풋 필드

[실험명]
▼ 텍스트 입력
placeholder: "예: CTA 버튼 색상 테스트"
설명: 실험의 이름은요?

[목표]
▼ 텍스트 입력
placeholder: "예: 전환율 10% 향상"
설명: 무엇을 개선하고 싶으신가요?

[플랫폼]
▼ 라디오 버튼 선택
옵션: ☐ 웹사이트  ☐ 이메일  ☐ 앱  ☐ 광고
설명: 어디서 테스트하시나요?

[현황]
▼ 텍스트 영역 입력
placeholder: "예: 랜딩페이지 전환율 3%"
설명: 현재 어떤 상황인가요?

[지표]
▼ 라디오 버튼 선택
옵션: ☐ 전환율  ☐ 클릭률  ☐ 오픈율  ☐ CTR
설명: 무엇으로 성공을 측정하시나요?

[가설]
▼ 텍스트 영역 입력
placeholder: "예: 빨간색이 더 클릭될 것"
설명: 어떤 결과를 기대하시나요?

[기본전환율]
▼ 텍스트 입력
placeholder: "예: 3.2"
설명: 현재 전환율은요? (숫자만 입력)

[트래픽]
▼ 텍스트 입력
placeholder: "예: 5000"
설명: 하루 방문자 수는요?

A/B 테스트 유형

유형 테스트 요소 예시
랜딩페이지 헤드라인, CTA, 이미지 버튼 색상, 문구 변경
이메일 제목, 발송 시간 오픈률, 클릭률 측정
광고 소재, 문구 CTR, CPA 비교

통계적 개념

개념 설명 일반값
유의수준 (α) 제1종 오류 허용 확률 0.05 (5%)
검정력 (1-β) 실제 효과를 감지할 확률 0.80 (80%)
MDE 탐지 가능한 최소 효과 5-20%
P-value 우연일 확률 < 0.05 = 유의미

샘플 사이즈 계산

기본 전환율 MDE 10% MDE 20%
1% 380,000 95,000
3% 125,000 31,000
5% 73,000 18,000
10% 35,000 9,000

각 그룹당 필요 샘플 수 (α=0.05, power=0.80)


의사결정 프레임워크

결과 통계적 유의성 실질적 유의성 결정
명확한 승리 즉시 구현
효과 없음 - 기존 유지
작은 승리 비용 고려
불확실 - 더 긴 테스트

주의사항

  • 한 번에 하나만: 여러 요소 동시 변경 금지
  • 충분한 샘플: 미리 계산된 사이즈 준수
  • 실질적 유의성: 통계적 유의미 ≠ 비즈니스 의미

자주 묻는 질문 (FAQ)

Q: A/B 테스트는 얼마나 오래 진행해야 하나요?

A: 샘플 사이즈와 비즈니스 사이클에 따라 다릅니다:

  • 최소 기간: 통계적 유의성 달성까지 (보통 7-14일)
  • 주간 패턴: 1주 이상 진행하여 요일별 편차 제거
  • 샘플 사이즈: 사전 계산된 N수 달성 시 종료
  • 조기 종료 금지: 유의미한 결과가 나와도 최소 기간은 채워야 함
  • : "7일 규칙" - 최소 1주일은 진행하여 일별/주간 편차를 반영하세요

Q: 다변량 테스트(Multivariate Test)와 A/B 테스트의 차이는?

A: 동시에 여러 요소를 테스트하는 방식입니다:

  • A/B 테스트: 단일 변수 변경 (예: 버튼 색상만)
  • 다변량 테스트: 여러 변수 조합 (예: 색상 + 문구 + 위치)
  • 장점: 더 많은 인사이트, 단시간 확보
  • 단점: 필요 샘플 수 급증, 분석 복잡
  • : 경험이 쌓이면 다변량 테스트로 전환하세요

Q: 테스트 결과가 애매할 때 어떻게 해야 하나요?

A: 추가 분석 또 의사결정이 필요합니다:

  • 샘플 확장: 트래픽을 늘려 더 많은 데이터 수집
  • MDE 조정: 더 큰 효과를 탐지하도록 기준 완화
  • 심층 분석: 세그먼트별 차이 분석
  • 정성적 결정: 비즈니스 임팩트 고려하여 판단
  • : "애매한 결과"도 의사결정에 중요한 데이터입니다

Q: A/A 테스트와 A/B 테스트를 함께 진행할 수 있나요?

A: 가능하지만 주의가 필요합니다:

  • 트래픽 분할: 전체 트래픽을 각 테스트에 분배
  • 샘플 사이즈: 각 테스트에 충분한 N 필요
  • 분석 독립성: 각 테스트를 별도로 분석
  • 리스크: 테스트 간섭, 분석 복잡도 증가
  • : 중요한 테스트는 집중하는 것이 좋습니다. 한 번에 하나의 주요 테스트에 집중하세요

🚀 AI 바로 열기

🔗 관련 프롬프트