들어가며
A/B 테스트란?
한 Harvard Business Review의 아티클에서는 A/B 테스트를 아래와 같이 정의하고 있습니다.
A/B testing is a way to compare two versions of something to figure out which performs better.
- Amy Gallo, A Refresher on A/B Testing -
말 그대로 A 버전과 B 버전 둘 중에 어떤 것이 더 좋은 성과를 내는지 비교하는 실험입니다.
저는 이 A/B 테스트를 과거 메타 광고를 집행하면서 처음 접했습니다. 마케터들은 다양한 광고 캠페인을 집행하면서 소재부터 광고 타겟까지 어떤 방식이 가장 좋은 성과를 얻을 수 있을지 광고에 태워 테스트하고 결과를 분석하는 과정을 반복하는데요, 메타 광고 관리자에서는 타겟, 문구, 이미지 등 특정 요소를 기준으로 A 광고와 B 광고 중 어떤 것이 더 좋은 효율을 보이는지 테스트를 할 수 있는 기능을 제공하고 있습니다.
A/B 테스트를 공부해보자.
메타 광고 관리자를 사용할 때는 어떤 변수를 기준으로 테스트를 할지 선택하고, A 버전의 광고와 B 버전의 광고를 업로드하면 클릭 몇 번으로 아주 쉽게 A/B 테스트를 진행할 수 있습니다.
하지만 이러한 플랫폼 내에서가 아닌, 제가 분석가로서 직접 우리 서비스의 어떤 기능에 대해 A/B 테스트를 진행한다면 어떤 것들을 고려해야 할지, 실제로 실무에서는 어떤 과정을 거쳐 테스트를 진행하고 의사결정에 반영하는지 궁금증이 생겼습니다👀
마침 원티드에서 제공하는 데이터 분석 프리온보딩 세션을 들을 수 있는 기회가 생겼고, 원티드 데이터 분석가 분이 공유해주신 이야기와 그로스해킹 책, 다양한 아티클을 통해 이론적으로 공부한 A/B 테스트에 대한 내용을 정리해보고자 합니다💡
조만간 새로운 회사에 들어가 이론을 직접 실무에 적용해볼 수 있는 기회가 오면 좋겠네요🤭
A/B 테스트 프로세스
1단계 : 목표 설정과 아이디에이션
실험 목표 설정
모든 데이터 분석의 시작이 그렇듯, A/B 테스트 역시 실험 목표를 설정하는 것부터 시작해야 합니다. 이 실험을 통해서 확인하고자 하는 것이 무엇인지 먼저 명확히 하는 것이 중요합니다.
목표 설정 단계에서, AARRR 혹은 서비스의 주요 지표로 퍼널을 구성해서 어떤 단계에 집중해야 하는지 살펴보는 것이 필요합니다.
퍼널별로 전환율이 가장 하락하는 시점을 개선하는 것을 목표로 하고, 유저 여정에서 어떤 부분이 불편함을 주고 있는지 들여다보고 이를 A/B 테스트로 반영해보는 것도 방법이 될 수 있겠죠!
아이디에이션과 우선 순위 결정
실험의 목표를 설정했다면, 어떤 방법으로 해당 목표를 달성할지 아이디에이션을 해야겠죠.
A/B 테스트하면 가장 대표적으로 버튼 색을 변경한다던지, 랜딩 페이지 문구의 일부를 변경한다던지 하는 사례들이 떠오르는데요,
큰 규모의 회사들은 이와 같은 작은 수정사항도 큰 지표의 변화를 관찰할 수 있겠지만 작은 스타트업에게는 그다지 큰 의미가 없을 수 있다고 합니다.
작은 규모일수록, 너무 사소한 변경사항보다도 크게 크게 테스트해보는 것을 권장한다고 합니다!
수많은 아이디어 속에서, 시간과 인적 리소스를 고려하여 객관적으로 우선순위를 결정하는 것이 중요한데요,
가장 대표적으로 사용되는 방법은 ICE 스코어입니다.
Impact : 테스트가 성공한다면 비즈니스에 얼마나 영향을 주는가?
Confidence : 이 테스트의 성공 가능성에 대한 확신이 얼만큼 되는가?
Ease : 테스트를 진행하는데 얼마나 쉽게, 적은 리소스가 필요한가?
➡ 각 항목을 10점 만점으로 평가해 평균을 낸다.
단, 각 항목 점수에 대해 제대로 관리하지 않으면 Ease 항목에 큰 영향을 받을 수 있으니 주의가 필요합니다.
리소스가 적고 비교적 간단하게 진행할 수 있는 테스트 위주로만 진행하게 될 수 있는 것이죠!
2단계 : 실험 가설 설립
여러 아이디어를 기반으로 다음 가설과 같은 실험을 시행하기로 결정을 했다고 합시다.
쿠폰 코드를 결제 페이지에 추가한다면, 매출이 하락할 것이다.
지표 설정
이 가설을 고도화 하는 과정에서 가장 중요한 것은 지표를 구체적으로 설정하는 것입니다.
- 매출 : 전체 매출 vs 유저당 매출
- 대상 유저 : 사이트를 방문한 모든 유저 vs 결제 페이지를 방문한 유저
이와 같이 실험 결과를 명확하게 확인할 수 있도록 실험 전 가설을 구체적으로 설정하는 것이 중요합니다.
여기서는 결제 페이지 단계에서 쿠폰 코드를 작성하는 기능 추가에 대한 실험이므로, 전체 유저에 대한 전체 매출을 확인하는 것보다 아래와 같이 가설을 구체화하는 것이 보다 합리적일 것 같네요!
쿠폰 코드를 결제 페이지에 추가한다면, 결제창에 방문한 유저에 대한 유저당 매출이 하락할 것이다.
가드레일 지표
가드레일 지표란, 실험으로 인해 부정적인 영향을 받을 수 있는 주요 지표를 말한다.
A라는 지표를 개선시키기 위한 실험을 진행했는데, 예상치 못하게 서비스의 핵심 지표인 B가 영향을 받아 하락할 수 있을 것입니다.
성공지표의 개선에만 집중하다가 중요한 또 다른 주요 지표의 성과를 저해시키는 일이 생기지 않도록, 실험 설계 단계에서 미리 가드레일 지표를 설정하기를 권장하고 있습니다.
또한, 성공지표의 성과는 상승했지만 가드레일 지표의 성과가 하락한 경우를 대비해 미리 팀 내, 혹은 전사적으로 어느 정도까지의 성과 저하를 감안할 것인지 합의하는 것이 좋습니다.
예를 들어, 실험 결과 매출이 150% 상승했는데 이탈률도 덩달아 3% 상승했다면, 이 결과를 어떻게 판단해야 할까요?
사전에 가드레일 지표를 설정해 어느 정도의 지표 변화를 감안하기로 합의해두었다면 훨씬 더 의사결정하기에 용이할 것입니다.
또한 이 때 현재 비즈니스 단계에서 어떤 지표가 우선순위에 있는지도 반드시 고려해서 결정해야겠지요!
오늘은 A/B 테스트를 실행하기 전, 목표를 설정하고 이에 따른 가설을 수립하는 과정에 대해 살펴보았습니다.
다음 편에서는 본격적으로 실험을 설계하고, 수행한 후 결과를 분석하는 단계에 대해 알아보겠습니다!🙌
참고 자료
'데이터분석' 카테고리의 다른 글
| A/B 테스트, 어떻게 하는 걸까? (2) (0) | 2023.04.10 |
|---|