안녕하세요?

마케팅초보인데 선배분들에게 질문드립니다.

이번에 캠페인을 통해 구글, 페이스북, 네이버 등 각 매체에 대한

클릭, 가입전환, 유료전환 등에 대한 데이터를 확보했는데요.

한창 분석을 하다가

어떤 것은 클릭률은 높은데, cpc가 비싸고 가입전환률이 낮다거나

클릭률도 낮고 cpc도 싼데 가입전환율이 낮고 가입전환비용이 높다거나 등등

여러가지 변수 때문에 클릭, 가입, 유료전환 각 단계에서 분석을해서

어떤 키워드, 타겟팅방법, 콘텐츠를 버리고 선택해서 가져가야할지

의사결정을 하는데 모수문제로 어려움을 겪다가 p-value검증을 통한 귀무가설 기각을 통해서

이 문제를 해결해보고자 하는데요. 

그 이유는 정말 유의미한 데이터의 판단을 위해서는 어느정도 충분한 모수가 모여줘야 하는데

문제는 아무리 마케팅 캠페인을 여러번 진행한다 한들 얼마만큼 데이터가 쌓여야

유의미한 데이터인지 스스로 판단할 수 없기 때문이죠.

제가 아는바에 따르면 p-value는 통계에서 모분포의 평균에 얼마나 가깝냐를 따지는 것인데요.

보통 95%로 해서 p-value가 5%보다 적게 계산되면 귀무가설을 기각하고 유의미한 결과로 받아들이고

이를 넘어가면 아주 통상적으로 나올 수 있는 통계 수치이므로 귀무가설을 받아들여서 유의미한 결과로 받아들이지 않고 좀더 지켜봐야한다는 결론을 내리게 되잖아요?

여기에서 문제는 귀무가설을 어떤 걸 기준으로 해야 할지 모르겠다는 겁니다.

저 같은 경우에는 예를 들어 이렇게 3가지의 키워드를 운영했다고 가정해보겠습니다.

그렇다고한다면 이제 A, B, C 키워드에 대한 효율성을 분석해봐야겠죠.

클릭률만 본다고 했을 때 저 표에서는 당연히 키워드 C가 가장 좋은 키워드라고 볼 수 도 있겠지만

그렇다고해서 다음 캠페인에서도 모든 조건이 동일하다는 가정하에 똑같은 효율을 낸다고

보기에는 어렵습니다. 왜냐하면 앞서 이야기한 모수의 충분함을 우리는 모르기 때문인데요.

만약 키워드 C에 돈을 더 투자해서 노출수와 클릭수가 올라가면 오히려 클릭률이 낮아질 수도 있기 때문이죠. 

그래서 p-value를 이용하여 저 통계치가 나올 확률을 계산해서 통계의 유의성을 알고 싶은건데요.

문제는 이때 귀무가설을 무엇으로 세우느냐입니다.

저는 총합에 나온 데이터를 귀무가설로 놓고 이 데이터와 각 키워드에 대한 p-value값을 구하게 되면

각 키워드의 노출수와 클릭수가 충분한 모수인지를 판단할 수 있게 될것이라고 봤는데요.

이 과정에서 오류가 없는지, 귀무가설을 총합으로 하면 안되는지에 대해서 문의드리고 싶습니다.

즉 저는 

귀무가설은 "총합"의 데이터

대립가설은 "각 키워드에 대한 데이터"

로 놓고 각 키워드에 대한 데이터가 정말 유의한지를 판단하여 귀무가설인 총합 데이터를 기각하고 싶은 것입니다. 고수님들의 답변 부탁드려요!!!!!!!