수익화 A/B 테스트

소개

수익화 A/B 테스트는 무엇인가?

A/B 테스트는 사용자를 여러 그룹으로 나누고 각 그룹을 다른 구성에 노출시키는 테스트입니다. 이는 다양한 광고 수익화 전략을 테스트하고 데이터 분석을 통해 결과를 비교할 수 있으므로 어떤 전략이 더 효과적인지 이해하는 데 도움이 됩니다.

ironSource의 수익 창출 A/B 테스트는 어떻게 실행되나요?

ironSource A/B 테스트 툴을 사용하면 별도 개발 노력 없이 A와 B 그룹 간의 트래픽 할당을 정의하고 테스트하려는 변수에 따라 앱 구성을 설정할 수 있습니다. 테스트가 실행되면 각 사용자는 두 그룹 중 하나에 할당되며 각각의 그룹에 대해 정의한 구성에 노출됩니다. 사용자가 한번 특정 그룹에 속하면 해당 사용자는 테스트가 종료되거나 그룹 간의 트래픽 할당이 업데이트 될 때까지 동일한 그룹에 남아 있습니다. 테스트 결과에 따라 어떤 그룹의 퍼포먼스가 더 좋았는지 결론을 내면 선택한 그룹의 구성을 모든 사용자에게 적용하여 테스트를 종료 할 수 있습니다.

A/B 테스트 할 수 있는 것은 무엇입니까?

아이언소스의 툴을 이용하여 수 많은 테스트를 해볼 수 있습니다. 새로운 광고 유닛 추가, 광고 배치당 보상 (Placement level reward) 또는 캡핑/간격 (Capping/Pacing) 설정, 다양한 워터폴 최적화 전략 등에 대한 조정 등이 포함됩니다. 어떤 전략이 적합할 지에 대한 자세한 상담이 필요한 경우 여러분의 담당자 또는 아이언소스에 문의해주세요.

테스트 설정

1단계. A/B 테스트 페이지로 이동하여 ‘Create New Test’를 클릭하세요.

1

2단계. 테스트 이름과 간단한 설명을 설정하고 그룹 간 트래픽 분할을 선택하세요.

2

3단계. 그룹 B의 네트워크 구성을 설정하세요.

이 단계에서 앱의 구성된 인스턴스 각각에 대해 새로운 인스턴스 ID를 입력해야합니다. 인스턴스 ID를 통해 그룹 간 퍼포먼스를 비교하기 위한 수익이 측정 가능합니다.

3

참고: 특정 인스턴스를 복사하고 싶지 않으시다면, 해당 인스턴스를 비활성으로 표시함으로써 그룹 B 구성에서 제외 시킬 수 있습니다.

참고: ironSource의 인스턴스 ID는 그룹 B에 자동으로 생성됩니다.

4 단계. ‘Start A/B Test’를 클릭하고 그룹 B에서 원하는 앱 구성을 적용합니다.

테스트는 다음 날 00:00 UTC에 시작됩니다.4

테스트 시작이 예약되는 즉시 ironSource는 모든 광고배치 설정, 워터폴 우선순위 지정 등 A 그룹 (제어 그룹)에서 B 그룹 (테스트 그룹)까지의 모든 기존 앱 구성을 복제합니다.

참고: ironSource 플랫폼에서 멀티플 인스턴스를 지원하지 않는 네트워크 및 광고 유닛은 테스트 중  A버전(제어 그룹)에만 포함될 수 있습니다.

그룹 B가 만들어지면 테스트 할 변수에 따라 플랫폼 설정을 조정할 수 있습니다. 각 관련 플랫폼 페이지에 토글이 추가되어 그룹 A와 그룹 B 사이 선택할 수 있습니다. 각 변경 사항은 그 특정 플랫폼 페이지의 그룹에만 적용됩니다.

5

관련 플랫폼 페이지는 다음과 같습니다.

  • 광고 유닛과 배치
  • 서버 측 네트워크
  • SDK 네트워크
  • 미디에이션 관리
  • 세그먼트

5단계. 테스트를 종료하세요.

결과를 분석하여 어느 그룹이 더 좋은 성과를 보였는지 결론을 내린 후에는 “Continue with A” 또는 “Continue with B” 버튼을 클릭하여 더 나은 그룹을 선택하고 테스트를 종료할 수 있습니다. 테스트를 종료하면 애플리케이션 트래픽의 100%가 성과가 우수했던 설정이 적용됩니다.

6

참고: 테스트 종료는 취소할 수 없습니다.

참고: 테스트는 00:00 UTC에 따라 다음 날 종료됩니다.

테스트가 종료되면 이름, 시작 날짜 및 종료 날짜를 포함하여 히스토리 탭에 추가됩니다.

모니터링과 보고서

활성화 되어있는 A/B 테스트를 모니터링하거나 종료된 A/B 테스트의 결과를 검토하려면 A/B 테스트 개요 모듈 또는 아이언소스 플랫폼의 성과 및 유저 활동 레포트(Performance and User Activity reports)를 사용하세요.

A/B 테스트 개요:

A/B 테스트 개요 페이지에서 활성 A/B 테스트에 대해 다음 작업을 수행할 수 있습니다:

2

  • 테스트 편집: 테스트 도중 이름, 설명 및 트래픽 변동을 수정할 수 있습니다. 트래픽 변동은 00:00 UTC에 따라 다음 날에 적용됩니다.
  • 보고서 보기: 사전 필터링 된 앱, 테스트 시작일/종료일 선택 및 A/B별로 구분된 데이터에 따라 퍼포먼스 보고 페이지로 연결됩니다.
  • 테스트 종료: 테스트를 종료하면 우승한 그룹의 구성이 애플리케이션 트래픽의 100 %에 적용됩니다.

개요 페이지에는 마지막 트래픽 변동 변경부터 현재 날짜까지 그룹 A와 B 사이의 측정 항목 비교 차트도 표시됩니다.

3

앱 레벨 측정 항목:

  • 수익
  • DAU
  • ARPDAU
  • 1일차 잔존율
  • 7일차 잔존율

광고 유닛 레벨 측정 항목:

  • 수익
  • 노출
  • eCPM
  • 필 레이트
  • 노출/ DAU
  • 노출/DEU

보고 페이지에서 A/B 테스트

퍼포먼스 및 유저 활동 보고서에서 A/B 테스트를 분석할 수 있으며 모든 측정 항목이 지원됩니다. A/B로 구분된 보고서를 보려면 A/B 테스트를 실행했거나 현재 실행중인 애플리케이션을 하나 선택해야 합니다.

5

모든 ‘분류’ 옵션은 A/B 테스트 중에도 지원됩니다. 그룹 B의 중복된 인스턴스, 태그, 게재 위치 및 세그먼트 (테스트 생성 전에 이미 존재했던 인스턴스)는 연결되어 있습니다. 예를 들어 인스턴스별로 분류 할 때 중복된 각 인스턴스 이름에 대해 A그룹과 B그룹의 통합된 데이터가 표시된다는 점 참고하시길 바랍니다.

이제 모범 사례 가이드에서 효과적인 A/B 테스트를 실행하는 방법에 대한 주요 팁을 확인해보세요.