Tip:
Highlight text to annotate it
X
동영상 #5: 애드워즈 캠페인 실험: 실험 결과 및 통계적 유의미에 대해 알아보기
애드워즈 캠페인 실험 설정에서 3단계는 실험을 실행하고 결과를 모니터링하는 단계입니다.
본 강의에서는 실험 중 나타날 수 있는 결과를
어떻게 이해해야 하는지에 대해 알려 드리겠습니다.
캠페인 실험이 진행됨에 따라 대조군 및 실험군에
캠페인, 광고그룹 및 키워드 수준 데이터가 집계됩니다.
대조 행과 실험 행이 표시되지 않은 경우에는 '분류 기준'을 클릭하고
'실험'을 클릭하면 표시됩니다.
결과가 축적됨에 따라 인터페이스에 비교하고 있는 통계에 차이가 있는지를 알려주는
다양한 유형의 통계적 유의미성 표시가
나타납니다.
통계적으로 유의미하다고 표시되면 차이가 우연히 발생했을 가능성이 매우 작다는 뜻입니다.
통계가 유의미한 정도로 변하지 않았다는 것은 실험 변경사항의 영향이
없는 것 같다는 뜻입니다.
위아래를 모두 가리키는 회색 화살표는 통계가 유의미한 정도로 변하지 않았음을 나타냅니다.
이 표시가 있으면 차이가 관찰되었어도 실험에서 흔히 볼 수 있는 미세한 오차 정도일 가능성이 큽니다.
위를 가리키는 화살표는 데이터가 통계적으로 유의미한 만큼 증가하였음을 의미합니다.
이 경우 실험 변경사항을 전체 입찰에 적용하면
이 항목이 증가할 것이라고 예상할 수 있습니다.
아래를 가리키는 화살표는 데이터가 통계적으로 유의미한 만큼 감소하였음을 의미합니다.
이 경우 실험 변경사항을 전체 입찰에 적용하면
이 항목이 감소할 것이라고 예상할 수 있습니다.
화살표가 통계적 유의미 여부를 나타낸다면 화살표 개수(총 3개)는 실험 결과가 우연이 아니라
실험 변경사항 때문이라는 것을 어느 정도 신뢰할 수 있는지를 보여줍니다.
위쪽 또는 아래쪽 화살표가 1개라는 것은 데이터가 증가 또는 감소했음을 신뢰할 수 있는 정도가 95%라는 뜻입니다.
즉, 실험 변경사항을 모두 적용할 경우
해당 데이터가 화살표 방향으로 변하지도 않고
다른 변화도 일으키지도 않을 가능성은 5%에 불과합니다.
위쪽 또는 아래쪽 화살표가 2개라는 것은 데이터가 증가 또는 감소했음을 신뢰할 수 있는 정도가 99%라는 뜻입니다.
즉, 실험 변경사항을 모두 적용할 경우
해당 데이터가 화살표 방향으로 변하지도 않고
다른 변화도 일으키지 않을 가능성은 1%뿐입니다.
위쪽 또는 아래쪽 화살표가 3개라는 것은 데이터가 증가 또는 감소했음을 신뢰할 수 있는 정도가 99.9%라는 뜻입니다.
즉, 실험 변경사항을 모두 적용할 경우
데이터가 화살표 방향으로 변하지도 않고
다른 변화도 일으키지 않을 가능성은 0.1%뿐입니다.
50대50이 아닌 다른 비율(예: 70대30 또는 20대80)로 실험군/대조군 실험을 실행하는 경우에는 두 집단에서
발생한 통계를 1:1로 비교할 수 없습니다.
예를 들어, 90대10의 비율로 실험을 진행하는 경우
실험에서 다른 요소를 변경하지 않았다면
실험군에서 100회의 노출이 있을 때마다 대조군에서 900회의 노출이 발생할 것입니다.
따라서, 대조군에서 900회의 노출이 발생하고 실험군에서 400회의 노출이 발생했다면
노출수에서 통계적으로 유의미한 정도의 증가가 있었다고 해석할 수 있습니다.
왜냐하면 표면상으로는 900이 400보다 더 크지만
400이 변경사항을 적용하지 않을 때의 100보다 훨씬 더 크기 때문에
변경사항이 통계적으로 유의미한 증가를 유발했다고 해석할 수 있는 것입니다.
50대50 실험은 변경사항에 따른 영향이 없을 경우 절대치가 같게 되므로 비교하기가 훨씬 더 쉽고
대다수의 캠페인에서는 50대50 이외의 비율을 사용할 경우에도 성공적으로 결론에 도달할 만큼
충분히 많은 트래픽이 발생하지 않습니다. 따라서
실험 변경사항이 모든 입찰에 적용될 경우 데이터의 변동률이 어떤 의미를 갖는지 판단할 수 있을 만큼
준비가 되지 않은 경우에는 50대50 실험을
이용하시기 바랍니다.