모범 사례: 광고 수익화 A/B 테스트

모든 비즈니스 전략에서 A/B 테스트는 수익 극대화 및 사업적 성장을 위한 중요 구성 요소입니다.  ironSource의 A/B 테스트 툴을 이용하면 다양한 광고 구현을 테스트 해볼 수 있으며, 사용자가 광고를 어떻게 사용하는지 파악하고 최고의 전략을 선택할 수 있습니다.

A/B 테스트는 복잡할 수 있으며 제대로 수행되지 않으면 잘못된 결론을 내릴 위험이 있습니다. 최적의 A/B 테스트에 대한 모범 사례를 참고하여 정확한 결과 분석을 통한 최선의 판단을 내리세요.

  1. 한번에 하나의 변수를 테스트 하기: 광고 전략을 최적화하면 테스트해보고 싶은 기능이 여러 개 있을 수 있습니다. 어떤 변경 요소의 유효성을 효과적으로 확인하기 위해서는 하나의 변수를 분리하여 그 영향을 측정하는 것입니다. 예를 들어 비디오 배치의 보상금을 변경하면서, 동시에 새로운 네트워크를 라이브하면 안됩니다. 두개 이상의 변수를 모두 테스트 해 볼 수는 있으나, 한 테스트당 하나의 변수만 둘 것을 명심하십시요.
  2. 제어 그룹을 변경하지 마세요: 테스트할 변수를 식별했으면 현재 설정을 기준으로 비교하고 결과를 측정하기 위해 제어그룹(A그룹)은 그대로 두고 그룹 B에서만 변경하세요. 즉, 그룹 A의 설정은 현재 광고 적용 하에 이미 되어 있는 설정 그대로 두어야 합니다.
  3. 목표를 정확하게 설정하세요: 테스트를 시작하기 전에, 어떤 KPI를 개선하고 싶은지, 그리고 얼마나 개선해야 할지에 대해 생각해 보세요. 여러 KPI가 영향을 받을 수 있다면, 어떤 KPI에 가중치를 둘 것인지 결정하십시오. 이렇게 하면 결과를 효과적으로 검사하여 최상의 전략에 대해 객관적 정보에 입각한 결정을 내릴 수 있습니다.
  4. 점진적으로 테스트하세요: 간단한 변경 사항도 큰 영향을 미칠 수 있으므로 소수의 사용자(예: 10-20%)를 대상으로 테스트를 시작하여 잠재적인 부정적 결과가 비즈니스에 큰 영향을 미치지 않도록 하는 것이 중요합니다. 소수의 사용자 그룹에서 좋은 결과가 있었다고 해도 모든 사용자에게 배포되었을때 동일한 결과를 얻지 못할 수도 있습니다. 때문에, 그룹 B의 트래픽 할당을 훨씬 더 크게 (예: 80-90 %) 업데이트하여 전체 출시와 유사한 환경을 설정하고 테스트 결과가 유효함을 확인하십시오.
  5. 충분한 시간을 가지세요: 각 테스트는 유용한 데이터를 생성하기에 충분한 시간이 필요합니다. 그렇지 않으면 결과가 믿을 만한지 알기 어렵습니다. 또한 그룹 B는 모든 신규 인스턴스 ID와 함께 테스트를 진행하게 되는데 이 신규 인스턴스 ID의 경우 데이터를 수집할 시간이 필요합니다. 각 테스트는 그룹 B의 인스턴스가 그룹 A와 공정하게 다뤄질 수 있기 까지 2~3일 간의 시간이 걸립니다. 테스트는 최소 1주일 이상 실시되어야 하며 2주 이상이 이상적입니다.
  6. 충분한 트래픽이 필요합니다: 테스트 그룹에 트래픽이 충분하지 않으면 데이터의 정확도와 신뢰도가 떨어집니다. 소량의 트래픽에만 노출 될 경우 퍼포먼스가 크게 변동 할 수 있습니다. 어림법칙으로 그룹 B는 총 일일 노출 수 1만 또는 현재 사용중인 각 인스턴스 당 일일 노출 수 1천번을 받아야합니다. 만일 충족되지 않으면 테스트 그룹 할당량을 늘리는 것이 좋습니다.
  7. 항상 테스트해야 합니다: 작은 변동사항들이 합쳐져 추가 매출을 올릴 수 있습니다. 최적화가 가능한 부분은 항상 있으므로 한 번의 테스트만으로 그치지 마십시오. 꾸준히 테스트를 하시길 추천드립니다!