공부기록

A/B 테스트, 어떻게 하는 걸까? (2)

들어가며 지난 포스팅에서 A/B 테스트를 시작하기 전 실험의 목표와 가설을 수립하는 과정에 대해 정리해보았습니다. 이번 2편에서는 본격적으로 실험을 설계하고 운영한 뒤, 결과를 분석하는 단계에 대해 살펴보겠습니다🙌 A/B 테스트 프로세스 3단계 : 실험 설계 실험 설계 단계에서는 분석가가 실험 설계자로서 결정하고 판단해야 하는 것들이 몇 가지 있습니다. 1. 표본을 어떻게 추출할 것인가? 가장 대표적인 표본 추출 방법은 무작위 추출입니다. 말 그대로 전체 샘플에 번호를 부여해서 임의로 n개를 추출하는 것이죠. 그 외 추출 방법은 계통 추출법, 층화 추출법 등이 있습니다. 2. 모집단의 대상은 어디까지로 할 것인가? 만약 글로벌 서비스라면, 한국 유저만 대상으로 할 것인지, 해외 국가를 대상으로 할 것인지..

A/B 테스트, 어떻게 하는 걸까? (1)

들어가며 A/B 테스트란? 한 Harvard Business Review의 아티클에서는 A/B 테스트를 아래와 같이 정의하고 있습니다. A/B testing is a way to compare two versions of something to figure out which performs better. - Amy Gallo, A Refresher on A/B Testing - 말 그대로 A 버전과 B 버전 둘 중에 어떤 것이 더 좋은 성과를 내는지 비교하는 실험입니다. 저는 이 A/B 테스트를 과거 메타 광고를 집행하면서 처음 접했습니다. 마케터들은 다양한 광고 캠페인을 집행하면서 소재부터 광고 타겟까지 어떤 방식이 가장 좋은 성과를 얻을 수 있을지 광고에 태워 테스트하고 결과를 분석하는 과정을 반복하..