2007년 12월, 2008년 대선을 준비하던 오바마 캠프는 첫 화면의 사진과 가입 버튼 문구만 바꿔 가입률을 8.26%에서 11.6%로 올렸습니다(시로커의 글). 그런데 이 사례를 읽고 “사진을 바꾸면 40% 오른다”는 숫자만 기억하면 내 사업에는 아무것도 옮길 수 없습니다. 옮길 수 있는 것은 숫자가 아니라 사례를 나눠 읽는 방법입니다.
첫 글에서는 단계별 전환율로 내 퍼널의 막힌 곳을 찾았고 지난 글에서는 그 단계를 구매 퍼널과 AARRR 중 어떤 틀로 나눌지 골랐습니다. 이번에는 두 가지를 남의 사례에 대 봅니다. 공개된 실험 하나를 질문 세 개로 쪼개 읽고 거기서 내 퍼널에 가져올 질문을 뽑습니다.
- 사례를 읽는 세 칸: 막힌 단계·바꾼 것·바뀐 숫자
- 질문 1: 오바마 캠프 가입 페이지는 어느 단계였나
- 질문 2: 무엇을, 어떤 방식으로 바꿨나
- 질문 3: 숫자는 어떻게 바뀌었고, 어디까지가 측정인가
- 이 사례에서 뽑는 패턴 세 가지
- 내 퍼널에 옮길 때 묻는 질문 다섯 가지
- 다음 글에서 이어 갈 내용
- 자주 묻는 질문
1. 사례를 읽는 세 칸: 막힌 단계·바꾼 것·바뀐 숫자
퍼널 개선 사례는 대개 “무엇을 했더니 몇 % 올랐다”는 한 문장으로 퍼집니다. 이 한 문장을 아래 세 칸으로 나눠 다시 적으면 사례가 내 일에 쓸 수 있는 모양으로 바뀝니다.
| 칸 | 적을 내용 | 이 칸이 비면 생기는 일 | |
|---|---|---|---|
| 막힌 단계 | 퍼널의 어느 단계에서 어느 단계로 넘어가는 곳인가, 바꾸기 전 전환율은 얼마였나 | 내 퍼널의 어느 자리에 대 볼지 알 수 없음 | |
| 바꾼 것 | 화면·문구·순서 중 무엇을 바꿨나, 무엇과 비교했나 | 따라 하려 해도 무엇을 바꿔야 할지 모름 | |
| 바뀐 숫자 | 어떤 숫자가 얼마에서 얼마로 바뀌었나, 그 숫자는 측정인가 추정인가 | 결과를 얼마나 믿을지 판단할 수 없음 |
세 번째 칸의 “측정인가 추정인가”가 이 글에서 가장 중요한 연습입니다. 사례에 나오는 큰 숫자, 특히 돈으로 바꾼 숫자는 실험에서 잰 값이 아니라 가정을 몇 개 쌓아 계산한 값인 경우가 많기 때문입니다. 아래 사례에서 그 구분을 직접 해 봅니다.
2. 질문 1: 오바마 캠프 가입 페이지는 어느 단계였나
분해할 사례는 2008년 미국 대선 오바마 캠프가 웹사이트 첫 화면으로 한 실험입니다. 캠프의 데이터 분석 책임자였던 댄 시로커(Dan Siroker)가 2010년 11월 29일 직접 쓴 글 「Obama’s $60 million dollar experiment」가 1차 자료입니다. 이 글은 시로커가 뒤에 세운 실험 도구 회사 옵티마이즐리(Optimizely)의 블로그에 실려 있습니다. 실험 도구를 파는 회사의 글이라는 점은 읽을 때 기억해 둘 만합니다. 여기서는 선거나 후보에 대한 평가 없이 실험 방법과 숫자만 봅니다.
시로커의 글에 따르면 실험 대상은 사이트에 들어오면 처음 보이는 스플래시 페이지였습니다. 큰 사진이나 영상이 있는 칸과 가입 버튼이 있는 화면이고 이 화면의 성공 기준은 가입률(방문자 가운데 이메일을 남기고 가입한 비율)이었습니다.
첫째 칸을 채워 봅니다.
- 어느 단계인가: 방문 → 가입. 사이트에 들어온 사람이 처음으로 연락처를 남기는 지점입니다.
- 바꾸기 전 전환율: 원래 화면의 가입률은 8.26%였습니다. 들어온 사람 100명 가운데 약 8명만 가입하고 나머지는 그냥 나갔다는 뜻입니다.
지난 글의 두 틀에 대 보면 이 지점의 성격이 더 분명해집니다. 구매 퍼널로 보면 캠프가 바라는 “행동”이 가입이므로 퍼널의 맨 끝 단계입니다. AARRR로 보면 여러 경로로 들어온 사람(획득)이 처음 의미 있는 행동을 하는 활성화와의 경계에 있습니다. 어느 틀로 보든 이 화면은 모든 방문자가 반드시 거치는 첫 관문이라는 점이 같습니다. 원문이 교훈 첫 줄에 “모든 방문자는 기회”라고 적은 이유도 여기에 있습니다.
원문은 이 화면을 고르기 전에 어떤 진단을 거쳤는지는 따로 적지 않습니다. 그래서 “왜 하필 여기였나”는 원문에서 확인할 수 없고 사례를 읽는 우리가 “모두가 지나가는 단계이고 전환율이 한 자릿수였다”는 두 사실로 짐작할 수 있을 뿐입니다. 사례를 읽을 때 이렇게 원문이 말한 것과 내가 짐작한 것을 나눠 두는 습관이 셋째 칸을 채울 때 그대로 쓰입니다.
3. 질문 2: 무엇을, 어떤 방식으로 바꿨나
둘째 칸입니다. 시로커의 글에 따르면 캠프는 화면에서 두 부분을 바꿨습니다.
- 위쪽 미디어 칸: 사진 3개와 영상 3개, 모두 6가지
- 가입 버튼: 문구가 다른 버튼 4가지
버튼 4가지와 미디어 6가지를 모두 짝지으면 4 × 6 = 24가지 화면이 나옵니다. 캠프는 이 24가지를 한꺼번에 방문자에게 나눠 보여 줬습니다. 실험 기간에 스플래시 페이지를 본 방문자는 모두 310,382명이었고 원문은 화면 하나당 대략 13,000명씩 돌아갔다고 적었습니다.
이 방식은 지난 글까지 나온 “원래 화면 하나와 바꾼 화면 하나”를 비교하는 실험보다 한 단계 넓습니다. 바꾸고 싶은 요소가 두 가지 이상일 때 요소마다 후보를 정하고 가능한 조합을 모두 시험하는 방법이라 보통 다변량 실험이라고 부릅니다. 장점은 어떤 버튼과 어떤 사진의 짝이 가장 좋은지 한 번에 볼 수 있다는 점입니다. 대신 조합이 늘수록 조합 하나가 나눠 갖는 방문자가 줄어듭니다. 이 사례는 방문자가 30만 명이 넘었기 때문에 24가지로 나눠도 조합마다 1만 명 넘게 볼 수 있었습니다.
결과도 둘째 칸에 함께 적어 둡니다.
| 항목 | 원문 내용 | |
|---|---|---|
| 가장 좋았던 조합 | 11번 조합: 「Learn More(더 알아보기)」 버튼 + 「Family(가족)」 사진 | |
| 사진과 영상 | 영상 3개가 모두 사진 3개보다 결과가 나빴음 | |
| 실험 전 팀의 짐작 | 캠프 사람들은 특정 영상을 가장 좋아했고 실험이 없었다면 그 영상을 썼을 것이라고 원문은 적음 |
셋째 줄이 이 사례에서 특히 배울 만한 부분입니다. 회의실에서 가장 인기 있던 안이 실제 방문자 앞에서는 사진보다 못했습니다. 원문이 꼽은 두 번째 교훈도 “가정을 의심하라”입니다. 둘째 칸을 채울 때는 무엇을 바꿨는지와 함께 바꾸기 전에 팀이 무엇을 정답이라고 믿었는지도 적어 두면 실험이 무엇을 뒤집었는지가 보입니다.
4. 질문 3: 숫자는 어떻게 바뀌었고, 어디까지가 측정인가
셋째 칸입니다. 원문에 나오는 숫자를 하나씩 꺼내 종류를 나눠 보겠습니다.
| 숫자 | 원문 내용 | 종류 | |
|---|---|---|---|
| 8.26% → 11.6% | 원래 화면과 가장 좋았던 화면의 가입률 | 측정(실험 기간 310,382명) | |
| 40.6% | 가입률이 오른 비율 | 위 두 숫자로 계산한 값 | |
| 약 1,000만 명 | 캠페인 전체 기간에 가입한 사람 수 | 캠프 기록 | |
| 약 712만 명 | 실험을 하지 않았다면 가입했을 사람 수 | 추정(40.6% 효과가 캠페인 끝까지 비슷하게 이어졌다고 가정) | |
| 288만 명 | 위 두 숫자의 차이, 더 모인 이메일 주소 | 추정 | |
| 28만 8,000명 | 이메일을 받은 사람의 약 10%가 자원봉사자가 된다는 평소 비율을 곱한 값 | 추정(경험치 가정) | |
| 6천만 달러 | 스플래시 페이지로 가입한 이메일 하나당 캠페인 기간 평균 21달러를 기부했다는 기록을 곱한 값 | 추정(평균을 새로 모인 사람에게도 그대로 적용) |
원문 제목에 들어간 “6천만 달러”는 표의 맨 아래 줄입니다. 원문은 곱셈을 따로 보여 주지 않지만 288만 × 21달러를 계산해 보면 6,048만 달러로 6천만 달러에 가깝습니다. 이 숫자가 나오려면 최소한 두 가지를 믿어야 합니다. 실험에서 본 40.6% 효과가 캠페인이 끝날 때까지 비슷하게 유지됐다는 것, 그리고 이 화면 덕분에 더 들어온 사람도 기존 가입자처럼 평균 21달러를 냈다는 것입니다. 둘 중 하나라도 어긋나면 6천만 달러는 달라집니다.
반면 8.26%와 11.6%는 같은 기간에 방문자를 나눠 보여 주고 잰 숫자입니다. 셋째 칸에는 이렇게 적으면 됩니다.
- 측정: 가입률 8.26% → 11.6%(방문자 310,382명, 24개 화면)
- 추정: 이메일 288만 개, 자원봉사자 28만 8,000명, 기부 6천만 달러(효과 유지·평균 기부액 적용 가정)
하나 더 해 볼 것이 있습니다. 원문의 두 가입률로 직접 나눠 보면 11.6 ÷ 8.26 ≈ 1.404로 약 40.4%가 나옵니다. 원문이 적은 40.6%와 0.2%포인트 차이입니다. 원문의 가입률이 소수점 아래를 줄여 적은 값이라면 생길 수 있는 정도의 차이로 보이고 사례의 결론을 바꿀 크기는 아닙니다. 그래도 사례의 숫자를 한 번은 직접 계산해 보는 습관이 있으면 계산이 맞지 않는 사례를 걸러 낼 수 있습니다.
5. 이 사례에서 뽑는 패턴 세 가지
세 칸을 다 채우면 이 사례가 따른 방식이 보입니다. 다른 퍼널 개선 사례를 읽을 때도 이 세 가지가 갖춰졌는지 먼저 확인하면 좋습니다.
- 막힌 단계 하나에 집중했다. 캠프는 사이트 전체를 고치지 않고 모든 방문자가 지나가는 첫 화면, 방문 → 가입 한 단계만 바꿨습니다. 그래서 결과가 어느 단계의 변화인지 분명합니다.
- 원래 화면을 비교 대상으로 남겼다. 24개 화면 가운데에는 원래 화면이 있었고 개선 폭은 원래 화면의 8.26%를 기준으로 계산됐습니다. 비교 대상이 없는 “바꿨더니 올랐다”는 그 기간에 다른 이유로 오른 것인지 가릴 수 없습니다.
- 결과는 그 단계의 전환율로 쟀고 돈은 따로 추정했다. 실험이 직접 보여 준 것은 가입률뿐입니다. 기부액은 가입률 변화에 가정을 얹어 계산한 별도의 숫자입니다. 둘을 같은 무게로 읽지 않는 것이 핵심입니다.
반대로 읽으면 점검표가 됩니다. 어느 단계인지 말하지 않는 사례, 비교 대상이 없는 사례, 돈으로 바꾼 숫자만 있고 그 단계 전환율이 없는 사례는 숫자를 믿기 전에 원문을 더 찾아봐야 합니다.
6. 내 퍼널에 옮길 때 묻는 질문 다섯 가지
사례를 다 읽었다면 이제 내 퍼널 차례입니다. 첫 글에서 만든 단계별 전환율 표를 옆에 두고 아래 질문에 차례로 답해 봅니다.
| 질문 | 오바마 캠프 사례의 답 | 내 퍼널에서 확인할 것 | |
|---|---|---|---|
| ① 사례의 단계는 내 퍼널의 어디에 해당하나? | 방문 → 가입(첫 화면) | 내 퍼널에서 모든 사람이 지나가는 첫 관문이 어디인가 | |
| ② 그 단계의 지금 전환율은 얼마인가? | 8.26% | 첫 글의 표에서 같은 자리 전환율을 찾아 적기 | |
| ③ 원래 화면을 남겨 둔 채 비교할 수 있나? | 원래 화면을 24개 중 하나로 포함 | 바꾼 화면만 띄우지 않고 원래 화면과 같은 기간에 나눠 보여 줄 수 있는가 | |
| ④ 결과를 어느 단계의 전환율로 잴 것인가? | 가입률 | 바꾼 단계 바로 다음으로 넘어간 비율 하나를 미리 정하기 | |
| ⑤ 방문자 수에 비해 시험할 안이 너무 많지 않나? | 30만 명을 24개로 나눔 | 방문자가 적다면 조합을 늘리지 말고 원래 안과 새 안 둘만 비교하기 |
가장 먼저 답할 질문은 ①입니다. 사례의 단계와 내 퍼널의 단계가 다르면 사례에서 바꾼 것을 그대로 가져와도 효과를 기대하기 어렵습니다. 가입이 막힌 서비스가 아니라 결제가 막힌 쇼핑몰이라면 사진과 버튼보다 결제 단계의 정보를 먼저 봐야 할 수 있습니다.
④는 실험을 시작하기 전에 정해 둡니다. 결과를 본 뒤에 “가입률은 그대로지만 머문 시간이 늘었다”처럼 잴 숫자를 바꾸면 무엇을 시험했는지 흐려집니다. 그리고 결과를 돈으로 바꿔 보고하고 싶다면 4번 절처럼 어떤 가정을 곱했는지를 숫자 옆에 함께 적습니다.
다른 사례를 읽을 때도 이 표의 가운데 열만 새 사례로 바꿔 채우면 됩니다. 가운데 열을 채우지 못하는 사례는 그만큼 내 퍼널로 옮기기 어려운 사례입니다.
7. 다음 글에서 이어 갈 내용
①번 질문에 답하려다 보면 “우리 퍼널에서 가입은 정확히 어떤 행동인가”, “활성화는 무엇으로 셀까” 같은 질문에 막히기 쉽습니다. 다음 글에서는 단계마다 사람의 행동, 기록되는 숫자, 분모를 적는 퍼널 단계 정의표를 빈 양식부터 만들어 봅니다.
8. 자주 묻는 질문
Q. 사례의 숫자를 우리 목표로 써도 되나요?
권하지 않습니다. 이 사례의 40.6%는 특정 시기, 특정 화면, 특정 방문자에게서 나온 결과입니다. 목표는 내 퍼널의 지금 전환율(질문 ②)에서 출발해 정하고 사례는 “무엇을 바꿔 볼까”의 후보를 얻는 데 씁니다.
Q. 실험 없이 그냥 고치면 안 되나요?
고칠 수는 있지만 결과를 해석하기 어렵습니다. 고친 뒤 숫자가 올라도 계절, 광고, 다른 변화 때문인지 가릴 수 없습니다. 이 사례에서도 팀이 가장 좋아한 영상은 실제로는 사진보다 못했습니다. 원래 화면을 남겨 두고 같은 기간에 비교하면 이런 짐작을 숫자로 확인할 수 있습니다.
Q. 작은 쇼핑몰도 A/B 테스트를 할 수 있나요?
할 수 있지만 방식은 줄여야 합니다. 방문자가 적으면 조합을 나눌수록 조합 하나에 돌아가는 사람이 너무 적어집니다. 바꿀 것 하나만 정해 원래 안과 새 안 둘을 비교하고 숫자가 충분히 쌓일 때까지 기간을 길게 잡는 편이 현실적입니다.
정리
퍼널 개선 사례는 결과 숫자보다 나눠 읽는 방법이 쓸모 있습니다. 사례를 막힌 단계·바꾼 것·바뀐 숫자 세 칸에 나눠 적으면 내 일에 옮길 수 있는 모양이 됩니다. 오바마 캠프 사례에서 막힌 단계는 모든 방문자가 지나가는 첫 화면의 방문 → 가입이었고 바꾸기 전 가입률은 8.26%였습니다. 캠프는 버튼 4가지와 사진·영상 6가지를 짝지은 24개 화면을 한꺼번에 시험했고 팀이 좋아한 영상보다 사진이 나았습니다. 바뀐 숫자 가운데 가입률 8.26% → 11.6%는 측정이고 6천만 달러는 효과 유지와 평균 기부액이라는 가정을 곱한 추정입니다. 이 사례에서 뽑은 패턴은 단계 하나에 집중하기, 원래 화면을 비교 대상으로 남기기, 결과는 그 단계 전환율로 재고 돈은 따로 추정하기 세 가지입니다. 내 퍼널에 옮길 때는 같은 자리, 지금 전환율, 비교 대상, 잴 숫자, 방문자 수 다섯 가지를 묻습니다. 단계를 정확히 정의하는 표는 다음 글에서 만듭니다. 오늘은 최근에 본 퍼널 개선 사례 하나를 골라 세 칸에 나눠 적어 보세요. 셋째 칸에서 측정과 추정이 나뉘는 순간 그 사례를 얼마나 믿어야 할지가 보입니다.