“버튼 색을 바꾸면 전환율이 오를 것이다”는 검증할 수 있지만 약한 가설입니다. 무엇을 관찰했고, 왜 특정 사용자의 행동이 달라질 것인지 설명해야 결과가 다음 의사결정에 남습니다.
가설 문장 구조
[근거가 있는 관찰] 때문에 [대상 사용자]가 [장애/동기]를 겪고 있다. [변경]을 하면 [행동 메커니즘]을 통해 [주요 지표]가 [방향]으로 변할 것이다. [보호 지표]가 악화되면 성공으로 보지 않는다.
예를 들어 “모바일 결제 단계에서 배송비를 처음 본 사용자의 이탈이 높다”는 관찰이 있다면, 배송비 안내 시점을 앞당기는 테스트를 설계할 수 있습니다. 이 상황은 가설 구조를 설명하기 위한 합성 예제이며, 실제 테스트에서는 기준 전환율과 노출 시점을 직접 측정해야 합니다.
우선순위 기준
| 기준 | 질문 |
|---|---|
| 예상 영향 | 중요한 퍼널 단계와 충분한 사용자에게 닿는가 |
| 근거 강도 | 행동 데이터, 조사와 재현 가능한 관찰이 있는가 |
| 학습 가치 | 실패해도 중요한 불확실성을 줄이는가 |
| 실행 비용 | 개발·디자인·운영 시간이 얼마나 필요한가 |
| 위험 | 브랜드, 매출, 개인정보 또는 사용자 경험을 해칠 수 있는가 |
점수를 더한 숫자만 따르지 않습니다. 법적 위험과 측정 불가능성은 별도의 제외 조건으로 둡니다.
관찰: [데이터로 확인된 현상]
대상 사용자: [세그먼트]
사업 목표: [목표]
변경 가능한 범위: [범위]
제약과 금지 사항: [제약]
원인이 서로 다른 가설 5개를 제안하라. 각 가설을 관찰→변경→행동 메커니즘→주 지표→보호 지표 형식으로 쓰고, 필요한 추가 데이터와 반증 조건을 표시하라. 예상 영향, 근거 강도, 학습 가치, 실행 비용, 위험을 1~5점으로 임시 평가하되 데이터가 없는 점수는 ‘확인 필요’로 표시하라.
시작 전에 정할 것
- 하나의 주요 성공 지표
- 악화되면 중단할 보호 지표
- 분석할 핵심 세그먼트
- 최소 실행 기간과 표본 판단 방법
- 데이터 이상·치명적 손상 시 중단 조건
- 결과를 확인할 책임자와 날짜
테스트 도중 좋은 구간만 골라 조기 종료하거나 여러 지표 중 오른 것만 성공으로 부르면 판단이 왜곡됩니다. 통계 설계는 트래픽, 기본 전환율과 허용 가능한 효과 크기에 맞춰 분석 담당자와 정합니다.
[인터뷰 답변 필요] 기억에 남는 A/B 테스트에서 처음 세운 가설, 실제 결과, 예상과 달랐던 이유와 이후 의사결정 원칙을 익명화해 추가합니다.
보안·윤리 주의
동의 없이 개인별 민감 정보를 이용해 차별적 경험을 만들지 않습니다. 사용자를 속이는 문구, 해지를 어렵게 하는 화면처럼 단기 지표와 장기 신뢰가 충돌하는 실험은 진행하지 않습니다.