페이스북 광고 AB테스트 세팅하는 법 구조, 비용, 기간, 설계하고 설정하기(지면 테스트)

페이스북 광고 AB테스트 세팅하는 법

메타(인스타그램&페이스북) 광고를 하다 보면 AB테스트를 진행하게 된다. 단순하게 같은 목표, 같은 광고 타겟의 캠페인 안에서 소재A와 소재B를 테스트할 수도 있지만 페이스북 광고에 AB테스트 기능을 활용하면 더 확실한 테스트를 진행할 수 있다. 

이 글은 ab테스 기능을 한 번도 사용해보지 않은 분들을 위해 최대한 자세하게! 설명해보고자 한다.

 

1.테스트하고 싶은 가설 세우기

아무리 작은 테스트일지라도 마케터가 검증하고 싶은 가설이 무엇인지를 세우는 것이 제일 먼저다. 가장 쉽게 접근해볼 수 있는 테스트로 '콜투액션 테스트' '광고 인트로 테스트' '타겟(오디언스) 테스트' '카피 테스트' 등이 있을 수 있다. 콜투액션 테스트는 프로모션을 강조하거나, 앱 설치 등과 같은 명확한 콜투액션을 강조한 버전을 비교해볼 수도 있고, 광고 인트로 테스트를 통해 광고의 핵심인 초반 5초를 어떻게 후킹하는 것이 효과적인지를 검증해 광고 제작의 방향성을 설정해볼 수도 있다. 타겟 오디언스 테스트의 경우 같은 유저 인터뷰일지라도 유저의 직업을 강조하는 것, 혹은 유저가 처한 상황을 강조하는 것으로 메시지를 달리 하면서 그것에 반응하는 타겟을 비교해볼수도 있다. 

 

예를 들어 직장에서 영어를 사용하는 직장인 유저를 인터뷰한다고 가정하면, 유저가 직장에서 영어를 통해 얻게되는 성취감, 혹은 승진의 기회 등을 어필한다면 이 소재는 영어를 잘 못하지만 꼭 필요한 직장인에게 반응할 것이라는 가설을 세워볼 수 있다. 반면 이 유저가 처한 상황(토익 시험 900점을 받았지만 영어 스피킹은 하나도 못하는 상황)을 내세운다면 이 메시지는 조금 더 영어에 관심이 있는 broad한 타겟에게 반응할 것이라는 가설을 세워볼 수 있다.

 

<지면 테스트를 위한 가설 세우기 예시> 

 

테스트가 필요한 상황(Context) 정리하기:

이번에 내가 진행한 테스트는 인스타그램 지면 확장에 대한 테스트였다. 한 달에 어느 정도의 볼륨을 사용하는 마케터라면 어느 순간 지면에 대한 고민을 하게 된다. 일정 기간 광고를 돌리다 보면 페이스북/인스타그램/구글 지면 안에서 오버랩이 발생하기 때문이다. 물론 소재 리프레쉬를 통해 광고 피로도를 해결할 수 있지만, 근본적으로는 새로운 타겟을 만날 수 있는 새로운 지면으로의 확장이 필수인 것이다. 메타/구글 외의 다른 채널을 발굴하는 것도 필수겠지만, 인스타그램 채널 안에서도 스토리와 피드 지면에만 광고비가 소진되거나, 구글 광고의 경우 유튜브 지면에 광고가 몰리는 상황이 발생한 경우 메타/구글 안에서도 새로운 지면을 발굴해 볼 수 있다.

 

그래서, 나는 이번 테스트는 메타 담당자 분과 함께 새로운 지면 확장을 위한 테스트를 진행하게 되었다. 테스트의 구체적인 내용은 밝히지는 못하지만, 여기서 중요한 것은 테스트의 내용보다 테스트의 구조를 짜고 진행할 수 있는 능력, 그리고 그것으로부터 다음 마케팅 방향성을 세울 수 있는 능력이므로 그렇게 아쉬워하지 않아도 될 것 같다.

 

테스트를 진행할 단서가 될 데이터 찾기

직관적으로 지면에 대한 확장이 필요하다고 느꼈다고 해서, 무작정 AB테스트를 시작할 순 없다.

정말 지면에 대한 확장이 필요한 것인지, 확장을 한다면 어떤 근거를 갖고, 어떤 지면으로 확장할 것인지에 대한 검토가 필요하다. 절대 감에 의지하면 안된다. 광고 관리자를 쥐잡듯이 뒤지고 또는 구글, 메타 광고 담당자를 통해 근거가 되는 자료들을 수집한다. 

 

페이스북 테스트 설계하기

나의 경우 분석 데이터를 노출 위치 기준으로 두었을때 지면별로 효율을 분석했고, 피드, 둘러보기 탐색 탭에 예산이 집중되어 있다는 점과 그 중에서도 하나의 지면에 특화된 소재들이 CTR이 다른 지면, 다른 소재 대비 월등히 높다는 걸 알게 되었다. 그리고 그 특정 지면의 소재가 구매와 같은 뒷단의 액션보다는 클릭/페이지뷰/앱 설치와 같은 비교적 앞단의 액션에 효과적이라는 근거를 찾을 수 있었다. 

 

가설을 정리하자면 "&& 지면에 노출되는 소재는 전환율이 더 좋을 것이다" 였다.

2.테스트에 사용할 소재 만들기

&&지면에 노출이 잘 된다는 것은 소재가 &&지면에 특화되었다는 것이다. 특화된 부분이 소재의 사이즈일 수도 있고, 특정 지면을 사용하는 유저의 니즈에 잘 맞았을 수도 있다. 인스타그램도 스토리/검색탭/릴스/피드 각 지면마다 소비되는 컨텐츠의 성격이 다르지 않은가.

 

그래서 "&&지면에 노출되는 소재가 전환율이 더 좋을 것이다" 라는 가설을 "&&지면에 특화된 소재가 전환율이 더 좋을 것이다"라는 가설로 발전시켜 &&지면에 특화된 소재의 성격이 무엇인지를 분석하고, 메타의 어드바이저를 받아 &&지면을 위한 테스트 소재를 약 4개 정도 제작할 수 있었다.

3.테스트를 위한 캠페인/광고 세트 구조 짜기

물론 여기서, 그냥 인사이트를 끝내고 특정 지면에 집중해도 되지만 테스트를 위한 예산이 있거나, 테스트로 돌리는 이 캠페인이 어느 정도 전환에도 도움이 될 것 같다는 판단이 서면 별도의 테스트 캠페인을 만들어 AB테스트를 돌려본다. 고등학교때 배운 것처럼 실험에서 가장 중요한 것은 변수와 통제요건인데 마케팅을 위한 AB테스트에서도 마찬가지이다. 

 

만약 내가 테스트를 하고자 하는 소재에 노출 지면의 차이 외에 프로모션이 더해졌거나, 갑자기 연예인이 등장한다면 나중에 결과가 나오더라도 어떤 요인때문에 그 결과가 나오게 됐는지 판단이 어렵게 된다. 그래서 이 단계에서는 테스트를 위한 캠페인의 구조를 어떻게 짜는 것이 최대한 클리어한 결과를 얻을 수 있는지 고민하게 된다. 

 

 

캠페인 B가 새로운 지면을 테스트하기 위한 변수가 들어있는 캠페인이고 캠페인 A는 대조군 캠페인이다. 이 테스트의 경우 지면 테스트였기 때문에 캠페인 B 안에서도 지면별로 광고 세트를 나눠주었다. B캠페인을 별도의 구분 없이 그냥 하나의 광고 세트에서 모든 지면으로 돌리게 될 경우 우리가 타겟팅하는 지면으로의 노출이 안될 수 있기 때문이다. (어느 정도 노출이 되어야 이벤트가 발생하고, 테스트를 할 수 있으므로..)

 

그래서 B캠페인 안에서도 테스트하고 싶은 지면을 제외한 모든 지면(세트a)과 테스트하고 싶은 특정 지면(세트b)를 나누어 설계했고, 그 안에 들어가는 광고 소재 역시 새로운 지면에 들어갈 소재는 지면에 특화된 소재로 따로 제작해서 캠페인B의 세트b에만 넣어주었다.

 

4.페이스북 광고 관리자에서 등록하기 

나의 경우 앱 광고에 대한 테스트였기 때문에 Android와 iOS를 따로 셋업했다. 페이스북에서 테스트를 하기 위해서는 테스트를 위한 캠페인이 각각 존재해야한다. 1개의 캠페인 아래 광고 세트로 변수를 분리해서 테스트를 하기 보다, 그냥 각각의 변수가 하나의 캠페인이 되는 것이다.

 

4-1)테스트에 필요한 캠페인/광고세트 정리하고 이름 붙이기

결국 Android를 위한 캠페인A와 캠페인B iOS를 위한 캠페인A와 캠페인B가 존재해야하기 때문에 테스트를 위한 캠페인은 총 4개가 되는 셈이다. 이걸 캠페인 이름으로 분류해보자면 AOS_campaignA, AOS_campaignB, iOS_campaignA, iOS_campaignB 가된다. 그리고 각각 campaignA에는 광고 세트가 하나, campaignB에는 광고 세트가 두개이므로 광고 세트의 총 개수는 6개가 된다!

 

[4개의 캠페인, 6개의 광고 세트 예시]

AOS_캠페인 A,

ㄴ광고 세트a(기존 소재) 

 

AOS_캠페인 B,

ㄴ세트a(기존 소재/테스트 지면 제외) 

ㄴ세트b(테스트 소재/테스트 지면)

 

iOS_캠페인 A,

ㄴ광고 세트a(기존 소재) 

 

iOS_캠페인 B,

ㄴ세트a(기존 소재/테스트 지면 제외) 

ㄴ세트b(테스트 소재/테스트 지면)

 

4-2)광고 세팅하기

각 캠페인에 맞게 평상시 광고를 셋업하듯이 일단 셋업한다. 주의할 점은 두 가지! 

1.캠페인 세팅 단계에서 캠페인 예산 최적화/AB테스트를 on으로 바꿔준다.

 

2.보다 정확한 테스트를 위해 테스트 일정과 광고 세트에서 세팅하는 광고 게재 일정이 일치하도록 한다.테스트는 최소 2주 이상하는 것이 좋고, 원활한 머신 러닝을 위해 예산은 하루에 캠페인에서 목표로하는 전환이 10개 이상은 나오도록 설정했다. (예를 들어 구매가 목표이고, 구매당 단가가 3만원이라면 적어도 하루 예산이 30만원)

4-2)AB테스트 세팅하기

캠페인>광고세트>광고 소재까지 세팅이 끝나면 이제 AB테스트를 세팅한다. 

 

1.테스트를 위한 4개의 캠페인 중 하나를 선택하고, 캠페인 셋업단에서 AB테스트 만들기를 선택한다.

2.이미 캠페인 셋업을 했으므로 '다른 기존 광고 선택'을 선택한다. 

4-3.기존 캠페인 선택 후 캠페인 검색으로 캠페인 찾기. 

여기서 안드로이드와 iOS는 기여 설정이 다르기 때문에 각각 테스트를 설정한다. 

결국 테스트도 And/iOS 이렇게 두개가 생기는 셈이다.

 

테스트1

ㄴAOS_캠페인 A,

ㄴㄴ광고 세트a(기존 소재) 

 

ㄴAOS_캠페인 B,

ㄴㄴ세트a(기존 소재/테스트 지면 제외) 

ㄴㄴ세트b(테스트 소재/테스트 지면)

 

테스트2

ㄴiOS_캠페인 A,

ㄴㄴ광고 세트a(기존 소재) 

 

ㄴiOS_캠페인 B,

ㄴㄴ세트a(기존 소재/테스트 지면 제외) 

ㄴㄴ세트b(테스트 소재/테스트 지면)

 

4-4)테스트 지표와, 광고 세트에 등록한 광고 게재일정과 같도록 테스트 일정을 입력하면 끝!

 

5.테스트 결과 확인하기

테스트가 시작되면 캠페인 이름 앞에 모래시계 모양의 아이콘이 생겨난다. 이제 머신러닝느님에게 모든 걸 맡기고 지켜본다. 테스트 기간 동안 결과를 확인할 수 있지만, 결과는 언제든 바뀔 수 있고 결과적으로 유의미한 결과가 없이 테스트가 끝날 수 도 있기 때문에 그냥 마음을 내려놓는 것이 좋다.

좌측 탭에 실험 페이지로 들어가면 현재 진행 중인 테스트를 모두 볼 수 있다. 

그리고 테스트 기간이 종료되고, 좋은 결과가 나온다면 이렇게 기분 좋은 화면을 만나게 된다.

위 결과는 실제로 내가 위에서 설계한 지면 테스트에 대한 결과이고, 이 결과 덕분에 메타 오프라인 라운드 테이블에서 발표할 수 있는 기회도 얻을 수 있게 되었다! 

 

마케터에게 AB테스트는 필수라던데.. 막상 하려고 하면 어디서부터 시작해야할지, 성공지표는 어떻게 정하고 테스트 설계는 어떻게 해야하는지 막막했던 기억이 있다. 하지만 수백번의 AB테스트를 해본 결과 배운 것은 그냥 ab테스트는 자잘하게 끈질기게 많이 하는 놈이 이기는 게임이라는 것이다. 이렇게 기분 좋은 결과가 나오는 경우는 10번의 테스트 중에 한 두번 나올까 말까다. 

 

내 가설이 맞기를 바라는 마음에 처음에는 나도 무조건 B안이 이기기를 바라고 b안 이겨라!를 외쳤는데 사실 그럴 필요도 없는 것 같다. B안이 이기면 새로운 힌트를 찾아서 좋은 것이고 a안이 이기더라도 그동안 잘해왔다는 걸로 해석하고 다음 실험을 찾아나서면 되는 것이기 때문이다. 

 

AB테스트는 그걸 설계하는 과정, 소재를 준비하는 과정, 테스트를 기다리는 과정, 그리고 테스트 결과를 받아들이고 넥스트 액션 아이템을 수립하는 것까지 적어도 한 달 이상이 걸리는 긴 호흡의 싸움이다. 하지만, 긴 인내 끝에 얻게되는 '인사이트'라는 열매는 마케터가 일하며 받을 수 있는 가장 달콤한 보상이 아닐까 생각된다.

 

오늘도 도대체 내 광고는 무엇이 문제일까, 어떤 실험을 해야 임팩트를 낼 수 있을지 고민하는 마케터분들에게 건투를 빈다.