A/B 테스팅: 작동 방식 및 필요한 이유

데이터는 어디에나 있습니다. 개인이든, 소규모 회사이든, 다국적 기업이든 관계없이 고객을 수용하고 수익을 개선하는 데 필요한 고객 데이터를 비롯한 많은 데이터를 처리해야 합니다.

마케터는 이익을 늘리기 위해 다양한 기술을 사용합니다. 이해할 만하게도 모든 기술이 작동하는 것은 아니거나 모두가 똑같이 효과적이지 않을 수 있습니다.

직감이나 감정에 따라 캠페인을 만들 수 없습니다. 숫자가 필요하지만 항상 명확하지 않을 수 있습니다. 이것이 기업이 올바른 경로를 선택하는 데 도움이 되는 고유한 방법인 A/B 테스트가 필요한 이유입니다.

이 기사에서는 A/B 테스팅에 대해 이야기하고 그 이점을 강조하면서 최고의 A/B 테스팅 소프트웨어를 강조할 것입니다.

시작하자:

A/B 테스팅이란?

A/B 테스팅은 더 나은 결과를 제공하는 것을 찾기 위해 동일한 것을 달성하는 데 사용되는 두 가지 옵션을 비교하는 방법으로 정의할 수 있습니다.

우리는 거의 매일 A/B 테스팅을 사용하며 그 기술은 100년이 넘었다고 합니다. 그러나 이제는 온라인 마케팅의 도입으로 대중화되고 있습니다. 마케터는 A/B 테스트를 사용하여 두 가지 마케팅 방법을 비교하여 최고의 투자 수익을 제공하는 방법을 찾습니다. 그러나 이것이 A/B 테스트의 유일한 사용은 아닙니다.

생물학자이자 통계학자인 Ronald Fisher는 1920년대에 무작위 대조 실험을 했습니다. 그는 기본적인 수학과 원리를 알아냈고 이 아이디어를 과학으로 전환했습니다.
Fisher는 비료를 바꾸거나 더 많은 비료를 사용하면 어떻게 되는지와 같은 기본적인 질문에 대한 답을 찾기 위해 여러 농업 실험을 했습니다.

그가 소개한 원칙은 사실로 밝혀졌고 과학자들은 공식적으로 1950년대 초 의학 분야에서 임상 실험을 시작했습니다.

마케터들은 1960년대 후반에 이 기술을 채택했습니다. 그들은 직접 캠페인을 평가하기를 원합니다. 예를 들어 개인화된 편지나 엽서가 더 많은 판매를 제공하는 경우.

그러나 A/B 테스트는 그 당시와 같지 않았습니다. 1990년대 중반에 현재의 형태가 되었습니다. 동일한 개념을 사용하지만 가상 환경과 실시간으로 이동했습니다.

A/B 테스팅의 이점은 무엇입니까?

이제 A/B 테스트 정의를 알았으므로 AB 테스트의 주요 이점을 살펴볼 차례입니다.

비용 절감

A/B 테스트를 통해 기업은 더 나은 수익을 제공하는 프로세스를 식별하여 비용을 절감할 수 있습니다. 두 가지 마케팅 캠페인이 유사한 수익을 제공하지는 않을 것이며, 하나는 항상 다른 것보다 더 낫습니다.

A/B 테스트 데이터 과학의 도움으로 기업은 더 나은 수익을 제공하는 옵션을 찾고 더 낮은 수익을 제공하는 프로세스를 제거하고 더 많은 비용을 지불하는 곳에 돈을 쓸 수 있습니다.

이익 증가

AB 테스트 정의에서 강조 표시된 것처럼 전환을 개선하고 비즈니스가 더 많은 사람들에게 도달할 수 있도록 하여 수익을 늘리는 데 도움이 됩니다. 기업의 약 60%는 전환 개선에 도움이 된다고 생각합니다.

이 외에도 A/B 테스트 결과는 이탈률을 개선하고 참여도를 높일 수 있습니다. 이러한 요소는 비즈니스 성장에 중요합니다. 하루가 끝나면 비즈니스는 비용 절감과 판매 증가로 인해 더 많은 돈을 벌기 시작합니다.

문제 식별에 도움

많은 마케팅 캠페인이 작은 오류로 인해 실패합니다. 최고의 AB 테스트 도구는 이러한 오류를 인식하여 비즈니스를 원활하게 운영할 수 있습니다.

그것은 가난한 UX 디자인과 같은 많은 문제를 식별하는 데 도움이 될 수 있습니다. 이것은 더 나은 디자인이 전환율을 최대 400%까지 높일 수 있기 때문에 중요합니다.

콘텐츠 개선

모두가 말하지만 콘텐츠는 여전히 지배적입니다. 그러나 문제는 서면 콘텐츠, 시각적 콘텐츠 등 선택할 수 있는 옵션이 많다는 것입니다.

신뢰할 수 있는 A/B 테스트 데이터 분석이 없으면 무엇이 작동하고 무엇이 작동하지 않을지 항상 확신할 수 없습니다.

비즈니스 이미지에 적합

A/B 테스트는 매우 대중적이며 70% 이상의 회사에서 한 달에 최소 2번의 테스트를 실행합니다. 웹사이트에 대한 A/B 테스트를 통해 기업은 고객에게 나쁜 인상을 남기는 프로세스나 단계를 제거할 수 있습니다.

결과적으로 이미지가 향상되고 호감도가 높아집니다.

더 쉽게 분석

기업의 약 77%는 웹사이트(랜딩 페이지 포함)에서 A/B 테스트를 실행하여 디자인, 글꼴 및 기타 이러한 문제를 식별합니다.

이는 구매자가 장바구니를 중단하는 원인을 강조하여 장바구니 포기를 줄이는 데 도움이 됩니다. 열악한 레이아웃, 숨겨진 비용 등 다양한 이유가 있을 수 있습니다.

A/B 테스팅을 통해 기업은 실제 원인을 찾고 이에 대한 작업을 수행할 수 있습니다.

더 많은 참여

기업은 참여하는 팔로워와 구매자를 찾고 있으므로 기업의 59%가 이메일에 대해 A/B 테스트를 실행하는 것은 놀라운 일이 아닙니다. 기업이 어떤 종류의 콘텐츠가 더 효과적인지 식별하여 더 집중할 수 있도록 도와줍니다.

A/B 테스트는 어떻게 작동합니까?

A/B 테스트는 복잡한 현상처럼 들릴 수 있지만 실제로는 매우 간단합니다. 첫 번째 단계는 테스트하려는 대상과 이유를 결정하는 것입니다.

사이트에서 '지금 구매' 버튼의 크기를 테스트하여 크기를 변경하면 얼마나 많은 사람들이 '구매'하는지 확인하려고 한다고 가정해 보겠습니다. 테스트할 대상이 명확해지면 성능을 평가하는 방법에 대해 확신할 필요가 있습니다.

예를 들어, 얼마나 많은 사람들이 버튼을 클릭했는지는 버튼의 크기가 인식에 미치는 영향을 잘 알 수 있습니다.

최종 구매자 수를 사용하여 판단할 수도 있지만 방문자가 다른 이유로 구매를 포기할 수도 있기 때문에 공정한 선택이 아닐 수 있습니다.

다음 단계에서는 사용자를 두 세트로 나누어야 합니다. 특정 인구 통계의 사용이 변경 사항에 반응하는 방식을 연구하려는 경우가 아니면 집합은 무작위여야 합니다.

다음으로 버튼 크기는 다르지만 유사한 두 페이지를 만듭니다. 이제 분석을 보고 어떤 페이지에서 더 많은 클릭이 발생하는지 확인하세요.

클릭 여부는 버튼의 크기, 텍스트 색상, 사용 중인 장치와 같은 여러 요인에 따라 달라집니다. 명확성을 위해 사용자를 특정 그룹(예: 모바일 사용자 및 데스크톱 사용자)으로 나눌 수 있습니다.

동일한 버튼이 모바일 사용자에게는 다르게 나타날 수 있고 데스크톱 사용자에게는 다르게 나타날 수 있기 때문입니다. 이렇게 하면 특정 사용자에게 어떤 버튼을 제공할지 알 수 있습니다.

Number Sense: How to Use Big Data to Your Advantage 를 포함한 여러 책의 저자인 Kaiser Fung은 "A/B 테스트는 가장 기본적인 종류의 무작위 통제 실험으로 간주될 수 있습니다."라고 말합니다.

"가장 단순한 형태에는 두 가지 치료법이 있으며 하나는 다른 하나를 제어하는 ​​역할을 합니다."라고 그는 덧붙입니다. 결과가 정확하고 배경 잡음으로 인한 것이 아니도록 샘플 크기를 올바르게 추정해야 합니다.

일부 다른 변수가 결과에 영향을 줄 수 있습니다. 예를 들어, 모바일 사용자는 버튼 클릭을 싫어하거나 버튼이 웹사이트의 데스크톱 버전에서 올바르게 배치되지 않을 수 있습니다.

무작위화를 사용하면 한 세트에 다른 세트보다 더 많은 모바일 사용자가 포함될 수 있으며, 이로 인해 버튼의 크기에 관계없이 한 세트의 비율이 더 낮거나 더 높을 수 있습니다.

이러한 편향을 피하는 가장 좋은 방법은 방문자를 데스크톱 및 모바일 사용자로 나눈 다음 무작위로 특정 세트에 할당하는 것입니다. 이 트릭을 차단이라고 합니다.

A/B 테스트 및 결과: 해석 방법

이것은 기본적인 예였습니다. 실제 세계에서는 크기뿐만 아니라 텍스트, 위치, 버튼 색상 등의 다른 요소도 확인합니다.

A/B 테스트 분석가는 서로 다른 요소를 비교하기 위해 순차적 테스트를 실행하는 것으로 알려져 있습니다. 먼저 버튼의 크기(작거나 큰)를 테스트한 다음 색상(빨간색 또는 파란색)으로 이동한 다음 위치(상단 또는 하단) 등으로 이동합니다.

이렇게 하면 완벽한 페이지 버전에 도달하는 데 도움이 됩니다. 여러 요인을 한 번에 변경하면 동작의 변화를 일으키는 원인(예: 클릭 수)을 파악하기 어려울 수 있으므로 이는 중요합니다.
그러나 이제 복잡한 테스트를 처리할 수 있는 A/B 테스트 도구가 있습니다.

"A/B 테스트를 통해 우리는 많은 수의 독립적인 동시 테스트를 실행하려는 경향이 있습니다. 대부분 테스트할 수 있는 가능한 조합의 수에 마음이 흔들리기 때문입니다."라고 Fung은 말합니다.

“수학을 사용하면 이러한 치료법의 특정 하위 집합만 현명하게 선택하고 실행할 수 있습니다. 그러면 데이터에서 나머지를 유추할 수 있습니다.”라고 그는 제안합니다.

이 트릭을 "다변수" 테스트라고 합니다. A/B 테스트의 한 형태입니다. A/B 테스트 뿐만 아니라 A/B/C 테스트 등을 실행하는 것을 의미합니다.

A/B 테스트 및 결과: 해석 방법

대부분의 마케터와 분석 전문가는 다양한 분할 테스트 도구를 사용하여 이러한 테스트를 수행합니다. 많은 AB 테스트 소프트웨어를 찾을 수 있지만 모두가 귀하에게 적합한 것은 아닙니다.

결과를 해석하려면 A/B 테스트를 수행하는 방법을 알아야 합니다. 올바른 도구는 테스트하려는 항목에 따라 다릅니다.

예를 들어 Adoric은 A/B 테스트를 포함한 다양한 작업을 처리할 수 있습니다.

Adoric은 캠페인을 실행, 관리 및 분석하여 최상의 캠페인을 식별하고 리소스를 올바른 방식으로 사용할 수 있도록 도와주는 완벽한 소프트웨어입니다.

A/B 테스트의 주요 목적은 전환율을 높이는 것입니다. 글꼴 크기, 텍스트, 이미지 사용 등 다양한 요소를 변경하여 변경할 수 있습니다. 웹사이트 디자인 요소 및 기타 기능을 테스트하는 데 사용할 수도 있습니다.

Adoric은 올바르게 사용하면 11%의 전환율을 제공할 수 있는 마케팅 도구인 팝업에 주로 집중합니다. 당사 소프트웨어는 다양한 팝업 디자인과 옵션을 비교하여 올바른 것을 선택하는 데 도움이 될 수 있습니다.

Adoric은 P&G, PMI 및 Toyota와 같은 이름으로 사용됩니다. 당신이 사랑하는 브랜드가 신뢰하는 이름을 신뢰하십시오.

숫자를 제공할 뿐만 아니라 숫자가 의미하는 바를 설명하는 소프트웨어를 찾아야 합니다. 그렇지 않으면 결과를 해석하기 위해 A/B 테스터나 통계 전문가를 고용해야 합니다.

유료 및 무료 분할 테스트 소프트웨어가 모두 있습니다. 그러나 더 자세하고 사용하기 쉽기 때문에 유료 버전을 사용하는 것이 좋습니다. 이러한 소프트웨어는 일반적으로 전환율 또는 보고서를 표시합니다.

귀하의 일반 페이지를 본 사용자를 위한 것

테스트 페이지를 본 사용자를 위한 기타

보고서는 일반적으로 몇 가지 요소를 강조합니다. 클릭 수와 같은 중요한 수치 간의 차이점을 찾으십시오.

다음 정보도 볼 수 있습니다.

• 제어: 15%(+/- 2.2%)
• 변동 18%(+/- 1.9%)

이는 방문자 또는 독자의 약 18%가 새 제목으로 이메일을 열었음을 의미합니다. 이 수치는 오차 범위가 2.3%입니다.

이것은 실제 비율이 16.1%에서 19.9% ​​사이라는 것을 의미하지는 않습니다.

"실제 해석은 A/B 테스트를 여러 번 실행한 경우 범위의 95%가 실제 전환율을 캡처한다는 것입니다. 즉, 전환율은 시간의 5%(또는 설정한 통계적 유의성 수준)”라고 Fung은 설명합니다.

이것이 이해하기 너무 어렵다면 당신이 유일한 사람이 아니라는 것을 알아두십시오. 이해하고 사용하기 쉽도록 이 정보를 깔끔한 방식으로 표시할 수 있는 소프트웨어를 사용하십시오.

이 결과를 바탕으로 더 많은 사람들이 이메일을 열게 하는 새로운 방법이 더 효과적이라고 말할 수 있습니다. 그러나 오차 범위로 인해 얼마나 많은 사람들이 이메일을 열 것인지를 정확히 보장할 수는 없지만 숫자를 기준으로 현재 열려 있는 비율보다 높을 것입니다.

A/B 테스팅: 피해야 할 실수

다음은 가장 일반적인 A/B 테스트 실수입니다. 다음을 피하십시오.

너무 빨리 테스트 종료

실험자의 약 57%는 원래 가설이 입증된 것처럼 보이면 A/B 테스트를 종료한다고 믿어집니다. p-hacking으로 알려진 이는 '선택적 보고'로 간주되어 좋지 않은 결과를 초래할 수 있는 인플레이션 편향의 한 형태입니다.
결과를 실시간으로 볼 수 있더라도 각 테스트가 코스를 실행하도록 하는 것이 중요합니다.

괜찮은 샘플이 없음

이 VentureBeat 기사에 따르면 A/B 테스트는 중요한 샘플에 도달하기 위해 약 25,000명의 방문자가 필요합니다.

슬프게도, 대부분의 마케터는 전체 모집단의 진정한 표현이 아닌 더 작은 표본 크기를 사용하므로 결과는 '신뢰할 수 없습니다'.

약간의 재시험

재시험을 선택하는 회사는 거의 없습니다. 대부분은 한 번 테스트하고 그것을 믿습니다. 연구에 따르면 위양성의 위험 때문에 한 번으로는 충분하지 않을 수 있습니다.

또한 상황이 바뀔 수 있으므로 몇 달에 한 번씩 시도해야 합니다. 예를 들어, 버튼의 다른 색상이나 크기를 좋아할 수 있는 새로운 방문자를 얻을 수 있습니다.

다시 테스트하지 않고는 올바른 옵션을 찾을 수 없습니다.

너무 많은 측정항목 계산

복잡한 테스트는 유용하지만 항상 효율적인 것은 아닙니다. 한 번에 너무 많은 측정항목을 보면 "가상 상관관계"가 발생할 수 있습니다.

소프트웨어가 너무 많은 메트릭을 제공하더라도 어떤 것에 집중해야 하는지 알아야 합니다. 이렇게 하면 무작위 변동을 피하고 중요한 수치에 집중할 수 있습니다.

A/B 테스팅: 자주 묻는 질문

대기업은 A/B 테스트를 사용합니까?
네, 그렇습니다. Google은 2000년에 페이지당 올바른 수의 결과를 확인하기 위해 첫 번째 테스트를 실행했습니다. 이 회사는 여전히 A/B 테스트를 적극적으로 사용하며 2011년에 7,000개 이상의 테스트를 실행했습니다.

Booking.com, Facebook 및 Amazon과 같은 다른 유명 기업도 정기적으로 통제 실험을 수행합니다. 게다가 정치에서도 사용된다.

Obama 캠페인은 A/B 마케팅에 기여한 개선된 의사 결정으로 인해 추가로 7,500만 달러를 모금했습니다. 또한 기부 전환율이 약 79% 증가했습니다.

A/B 테스트는 얼마나 오래 지속되나요?
테스트하려는 항목에 따라 한 시간에서 일주일까지 지속될 수 있습니다.

예를 들어, 구독 모델을 테스트하는 회사는 적어도 한 달 동안 그것을 시도해야 합니다.

반면에 이메일 마케팅 테스트는 50% 이상의 사람들이 업무 관련 이메일을 약 24시간 만에 읽기 때문에 24-48시간 안에 결과를 알려줍니다.

누가 A/B 테스팅을 필요로 합니까?
모든 온라인 마케팅 담당자 또는 온라인 비즈니스는 올바른 마케팅 기법을 식별하기 위해 A/B 테스트가 필요합니다.

최종 구매자의 결정에 영향을 줄 수 있는 모든 요소를 ​​비교하는 데 사용됩니다. SEO, 이메일 마케팅, 웹 개발 등에 사용되는 것을 볼 수 있습니다.

A/B 테스팅: 결론

간단히 말해서 A/B 테스트는 두 가지 옵션을 비교하고 더 나은 결과를 제공하는 옵션을 찾는 데 사용됩니다. 어떤 것도 혼동하지 않도록 하십시오. 친숙한 A/B 테스트 소프트웨어를 찾고 있고 수익이 증가하는 것을 보고 있다면 Adoric을 사용해 보십시오.

무료로 Adoric을 사용해 보세요