[그로스 마케팅] A/B 테스트, 그냥 막 시작하면 안 됩니다!

2024.04.20 23:07

그로스비

많은 IT기업에서 마케팅 또는 서비스 개선에 관련된 의사결정을 위해 A/B 테스트를 활용하고 있습니다. 보통 A안과 B안 중에 어떤 화면의 클릭률이 높은지 파악하여 서비스의 UI를 개선하는 데에도 많이 활용되지만, 마케팅 관점에서 어떤 혜택과 메시지를 어떤 고객에게 제공했을 때 가장 좋은 성과를 낼 수 있을지 결정하는 데에도 A/B 테스트가 효과적인 방법이 될 수 있습니다. 오늘은 A/B 테스트를 진행하고 분석하는 과정에서 주의해야 할 점들에 대해서 살펴보겠습니다.

A/B 테스트를 진행하기 전에 반드시 고민해야 하는 것들

A/B 테스트를 시작하기 전에 꼭 해야 하는 질문들은 다음과 같습니다.

A/B 테스트를 통해서 우리 서비스의 어떤 문제를 해결하고 싶은가?
서비스의 문제를 해결하고 마케팅 성과를 개선할 수 있는 다양한 아이디어에 대해 구체적이고 검증 가능한 가설을 세워봤는가?
A/B 테스트 결과를 분석하는 기준이 되는 핵심 성과 지표는 무엇으로 할 것인가?
A/B 테스트의 결과에 따라서 어떤 액션을 취할 것인지 생각해봤는가?
어떤 타깃 고객을 대상으로 실험을 진행할 것인가?
실험은 며칠 동안 진행할 것인가?

A/B 테스트는 크게 문제 의식 -> 가설 수립 -> 핵심 성과 지표 설정 -> A/B 테스트 설계 -> 실행 -> 결과 분석 -> 다음 액션 아이템 도출의 단계로 이루어집니다. 여기서 중요한 것은 A/B 테스트를 통해서 우리 서비스의 어떤 문제를 해결하고자 하는지, 문제 해결을 위해서 어떤 아이디어를 검증할 것인지, 그 결과로 마케팅 성과 개선에 도움이 되는 실제적인 액션을 도출할 수 있는지 고민하는 것입니다.

위의 내용은 <모던 그로스 마케팅> 책에서 발췌한 여성 의류 쇼핑몰에서 진행하는 가상의 A/B 테스트 사례입니다. 이 사례에서는 '최근 진행중인 S/S 기획전을 홍보하는 앱 푸시 메시지의 클릭율이 낮다'는 것을 핵심 문제로 정의하고 이를 해결하기 위한 방법으로 A/B 테스트를 활용하고 있습니다. 여기서는 이번 시즌 기획전의 앱 푸시 클릭율을 높이기 위해서 '연령대에 맞게 기획전의 인기 상품을 추천하는 메시지를 발송하는 방법이 효과적인지' 가설을 검증하려고 합니다. 핵심 성과 지표는 '앱 푸시 클릭율(CTR, Click-Through Rate)'으로 설정하는 것이 합리적이겠네요.

성과 지표는 A/B 테스트를 진행한 후에 생각해도 되지 않나?라고 생각하는 분들도 있을 것 같습니다. 하지만 어떤 성과 지표를 사용하는지에 따라서 실험의 결과를 판단하는 기준과 추후 취해야 할 액션이 달라지기 때문에 우리가 해결하고자 하는 문제, 개선하고 싶은 문제에 맞게 성과 지표를 미리 정의하는 것은 매우 중요한 일입니다. 예를 들어, 신규 고객의 첫 구매 전환을 유도하는 캠페인의 성과를 A/B 테스트를 통해 검증하고 싶은 경우에는 핵심 성과 지표를 '첫 구매 전환율(CVR)'로 정의하는 것이 좋습니다.

가설과 핵심 지표를 정의했다면 그에 맞게 테스트 그룹과 컨트롤 그룹으로 나누어 실험을 설계합니다. 테스트 그룹은 우리가 검증하고자 하는 아이디어, 즉 연령별로 맞춤화된 상품을 추천하는 앱 푸시를 받는 그룹이 되고, 컨트롤 그룹은 연령 구분 없이 똑같은 푸시 메시지를 받는 그룹이 됩니다. 여기서 중요한 점은 컨트롤 그룹을 올바르게 정의해야 캠페인의 성과를 정확하게 측정할 수 있다는 것입니다.

여기서 고려해야 하는 것이 테스트 그룹과 컨트롤 그룹에 속한 고객의 특성이 골고루 섞였는지 확인하는 '바이어스 체크(bias check)'입니다. 우리가 테스트하고자 하는 변수(앱 푸시 메시지의 내용)을 제외한 다른 변수에 대해서는 테스트 그룹과 컨트롤 그룹 간에 차이가 없도록 그룹을 나누고 타깃을 추출하는 것이 중요합니다. 만약 둘 중에 한 그룹에 과거 구매 빈도가 높은 고객이 편향되어 있거나, 신규 고객이 특정 그룹에만 몰려있다면 A/B 테스트의 결과가 왜곡될 가능성이 높아지기 때문입니다. 따라서 우리가 실험하고자 하는 변수를 제외하고 실험 결과 지표에 영향을 줄 수 있는 나머지 변수들을 통제하고, 이를 고려하여 표본을 추출하는 것이 중요합니다. 여기서 고려할 수 있는 통제 변수로는 앱 푸시 수신 동의율, 첫 구매 여부, 최근 구매 시점, 객단가, 구매 빈도 등 다양한 변수가 있습니다. 서비스의 특성에 맞게 고객의 데이터를 분석하고 이를 바탕으로 고객의 특성이 골고루 섞이도록 그룹을 나누는 것이 필요합니다.

A/B 테스트의 결과를 분석하려면?

A/B 테스트 결과를 분석하기 위해서는 단순히 지표의 숫자만 가지고 비교하는 것이 아니라, 그룹 간의 차이가 통계적으로 유의미한지 확인하는 것이 반드시 필요합니다. 통계적 유의성을 검증하는 방법을 이해하기 위해서는 기초 통계학에서 다루는 가설 검정과 통계량, p-value에 대한 이해가 필요한데요, 간단하게 통계적 유의성을 확인할 수 있는 사이트를 참고해서 검증할 수 있는 방법도 있습니다.

https://evolytics.com/resources/calculators/abtesting-statistical-significance/

위 링크에 들어가면 각 그룹의 샘플 사이즈와 구매 전환율(또는 클릭율 등)을 입력하면 통계적으로 유의한 차이인지 확인할 수 있습니다.

다음과 같이 테스트 그룹에서 1000명, 컨트롤 그룹에서 1000명을 대상으로 실험을 진행하고 그 결과로 나온 전환율이 각각 30%, 10%인 경우, 위와 같이 입력하여 통계적으로 유의한 차이인지 검증할 수 있습니다. 이처럼 A/B 테스트를 진행하기 전에 기초적인 통계적 가설 검정의 원리에 대해서 공부해보시면 정확하게 실험을 설계하고 데이터 기반의 의사결정을 내리는 데에 도움이 될 것입니다.