Successfully reported this slideshow.

ironSource A/Bテストツール利用ガイド

0

Share

Loading in …3
×
1 of 27
1 of 27

More Related Content

Related Books

Free with a 14 day trial from Scribd

See all

Related Audiobooks

Free with a 14 day trial from Scribd

See all

ironSource A/Bテストツール利用ガイド

  1. 1. A/Bテストツール利用ガイド
  2. 2. A/Bテストツールの概要
  3. 3. A/Bテストツールとは リスクをコントロールしながら、複雑 な収益化施策のA/Bテストを容易 に実施することができます。 追加開発不要で、全て ironSource 管理画面より、設定・実施・分析を 行うことができます。
  4. 4. A/Bテストツールの使用例 ウォーターフォール比較 ● マニュアル/オート比較 ● ネットワークごとの比較 ● インスタンス比較 ● 更新頻度 広告ユニット比較 ● プレースメントの配置 ● 報酬の内容・数量 ● ペーシング・キャップ ● 新規広告ユニットのテスト ● xボタンの設定比較 ● プレイアブル ● ブラックリスト運用 ユーザーセグメント比較 ● 課金セグメント ● 重課金セグメント ● レベル◯以上セグメント
  5. 5. A/Bテストツールの設定方法
  6. 6. A/Bテストツール 設定・運用フロー ● テストグループの作 成(グループB) ● テスト対象ユーザー の比率を決める ● テストグループのイ ンスタンス設定 ● テスト内容に応じ、 管理画面側でテスト グループの設定を変 更(例:ウォーター フォール、セグメント など) ● 効果検証。A/Bテスト 画面および、 Performanceレポー ト、User Activityレ ポートにてA/Bグ ループのパフォーマ ンスを確認 ● グループの選択。 A/Bテスト画面にて 最終的に効果の良 いグループを選択。
  7. 7. A/Bテスト - 設定 Step 1. 管理画面左側メニューより、 Monetize>Setup>A/Bを選択 し、A/Bテスト画面を開 き、”Create New Testをクリッ クして新規A/Bテストの作成を 開始します。 新規テストの作成
  8. 8. A/Bテスト - 設定 Step 2. A/Bテスト名、詳細を入力し、テ ストグループごとのトラフィック の配分比率を設定します。 テスト概要の設定
  9. 9. A/Bテスト - 設定 Step 3. GroupBにおけるアドネットワー クの設定を行います。 新規のインスタンスID (ZoneID,PlacementIDなど)を 設定する必要があります。 新規インスタンスを設定するこ とにより、レポートにて A/B別々 で計測することができます。 *特定のインスタンスを使用したくない場合は、 ”inactive”にすることにより、初 期化されないように設定可能です。 *ironSourceネットワークのインスタンス IDについては、自動的に作成されま す。 テストグループにおけるインスタンスの 設定
  10. 10. A/Bテスト - 設定 Step 4. ‘Start A/B Test’をクリックし、 A/Bテストを開始します。 A/Bテストは翌日のUTC 0:00 から開始されます。 A/Bテストの開始が選択される と、ironSource側で、プレースメ ント、ウォーターフォールなど既 存の全ての設定をBグループ (テストグループ)へ複製しま す。 Bグループの設定 *ironSourceプラットフォーム上でマルチインスタンスに対応していないアド ネットワークは、Aグループのみでの運用に限られ、 Bグループへ設定する ことはできません。
  11. 11. A/Bテスト - 設定 Bグループ作成後、テストした い項目に合わせて、設定の変 更を行うことができます。 A/Bを表すトグルスイッチが表 示されるようになります。設定 を変更したいグループへ切り替 えて、設定を変更します。 A/Bテストにて個別に設定変更が可能な項目 - Ad Units & Placement - Server Side Networks - SDK Networks - Mediation Management - Segments テストしたい内容に合わせ、各種設定 を行う
  12. 12. A/Bテスト - 設定 Step5. テストの終了 A/Bテスト後に継続したいグ ループが決まった場合、 A/Bテ スト画面から’Continue with A’ ・’Continue with B’のいずれか を選択します。 どちらかを選択すると、 A/Bテス トが終了し、100%のトラフィック に対して、選定したグループの 設定が適用されます。 *一度確定すると、元に戻すことはできません *確定後、翌日のUTC 0:00にA/Bテストが終了となります。 *終了したテストは、’History’タブにて確認することができるようになりま す。
  13. 13. A/Bテスト - 運用およ びレポーティング A/Bテスト Overviewタブ: Overviewページでは、以下の 設定を行うことができます。 ①Edit Test: A/Bテスト中でもテスト名、詳 細、ユーザーの配分比率など 変更することが可能です。 変更自体は翌日のUTC 0:00 に適用されます。 *一度確定すると、元に戻すことはできません *確定後、翌日のUTC 0:00にA/Bテストが終了となります。 *終了したテストは、’History’タブにて確認することができるようになります。 A/Bテストページ、もしくは Performance/User Activityのレポートページにてデータを確認す ることができます。 ①
  14. 14. A/Bテスト - 運用およ びレポーティング ②Show Reports: Performance Report画面へ遷 移。デフォルトでA/Bテスト対象 アプリの数値のみを表示。 ③テストの終了: テストを終了することにより、 100%のユーザーへ選択したグ ループの設定を適用します。 *一度確定すると、元に戻すことはできません *確定後、翌日のUTC 0:00にA/Bテストが終了となります。 *終了したテストは、’History’タブにて確認することができるようになりま す。 A/Bテストページ、もしくは Performance/User Activityのレポートページにてデータを確認す ることができます。 ② ③
  15. 15. A/Bテスト - 設定 Overviewタブにて、各種指標 の比較をすることも可能です。 数値はユーザー配分比率の最 終変更日から当日までのもの が表示されます。 各種指標の比較
  16. 16. A/Bテスト - 設定 アプリレベルの指標 : - Revenue - DAU - ARPDAU - Day1 Retention - Day7 Retention 各種指標の比較
  17. 17. A/Bテスト - 設定 広告ユニットレベルの指標 : - Revenue - Impressions - eCPM - Fill Rate - Impressions /DAU - Impressions /DEU 各種指標の比較
  18. 18. A/Bテスト - 設定 レポーティング画面の PerformanceとUser Activityレ ポートそれぞれにて、 A/Bグ ループの比較が可能です。 ①A/Bの比較レポートを表示す るには、A/Bテストを実施してい るアプリを選択し、 ②BreakdownにてA/Bを選択し ます。 レポーティング画面 ① ② *レポート画面では、インスタンス名ごとに数値が集計されます。したがって、 A/Bグループにて同じインスタンス名を設定している場合、他の Breakdown を選択するとA/Bグループの合計値が表示されます。
  19. 19. どんな事業戦略をとる上でも、 A/Bテストを実施し、収益を最大化し事業をスケールさせることは非常に重要です。 ironSourceのA/Bテストツールを使用することにより、異なる広告配信設定を効果的に検証し、最も効果のある戦 略を最小限のリスクで選択することが可能になります。 A/Bテストは場合によっては、非常に複雑な設定が必要になり、適切な設定や運用を行わないと、誤った判断を下 すことになりかねません。このガイドでは、より精度の高い結果と適切な判断を得られるように、 A/Bテストツールの ベストプラクティスについて取り上げています。 A/Bテスト - ベストプラクティス
  20. 20. A/Bテスト - ベストプラクティス 1. 指標はひとつずつテストする 広告収益戦略を最適化するにつれ、複数の機能や指標をテストしたくなるかと思います。変更箇所の影響 を効果的に検証するには、ひとつの指標ごとに計測し、検証していくしかありません。 たとえば、新規アドネットワークを追加すると同時に動画リワードプレースメントの報酬量を変更した場合、 得られた効果の原因がわからなくなってしまいます。この場合は、それぞれの変更点を個別に検証する必 要があります。 もちろん、複数の箇所を同時にテストすることは可能ですが、必ず各 KPIは独立して検証する必要がありま す。
  21. 21. A/Bテスト - ベストプラクティス 2. グループA(Control Group)には触れない テストを実施したい指標が定まったら、グループ A(既存の設定)は一切変えないようにしましょう。変更を加 えるのはグループB(Test Group)に限定することにより、グループ Aをより正確なベンチマークとすることが できます。 グループAに変更を加えてしまった場合、ベンチマークとしての役割が薄れ、正確な検証ができなくなってし まいます。
  22. 22. A/Bテスト - ベストプラクティス 3. ゴールを明確に テスト開始前に、改善したい指標と、それをどのくらい改善したいのか明確にしておく必要があります。仮 に、テストの結果複数の指標に影響が出た場合に、どちらの指標を優先するのかも事前に決めておく必要 があります。 例えば、テストにより ARPDAUが伸びたとしても、リテンションにネガティブな影響が出て結果的に ARPU(LTV)が下がってしまったとします。この場合 LTVを優先しておくことによって、円滑に適切な判断をす ることができます。誤って ARPDAUのみに固執してしまった場合、 A/Bテストの結果としては良くても、結果 的にアプリのパフォーマンスは落ちてしまいます。
  23. 23. A/Bテスト - ベストプラクティス 4. 段階的なテストを 例え小さな変更でも、非常に大きなインパクトを与えることがあります。 したがって、A/Bテストを始める際は、少ないユーザー比率 (10%~20%)から始めることにより、リスクを軽減 することができます。 また、少ないユーザー比率で非常に良いパフォーマンスが得られたからといって、全ユーザーから同じパ フォーマンスが得られない可能性もあります。したがって、テストグループのユーザー比率は 10%~20%から 始め、80%~90%まで段階的に増やしていくことによりリスクを抑えながら、より正確な検証を行うことができ ます。
  24. 24. A/Bテスト - ベストプラクティス 5. 十分なテスト期間を どんなテストでも、データが揃うまで相応の期間を要します。特にグループ B(テストグループ)は基本的に新 規インスタンスで開始することになりますので、各アドネットワークのアルゴリズムに応じて学習期間が必要 になります。 グループBのインスタンスの最適化が進むまで、 3~7日(使用するアドネットワークごとに異なる)。 A/Bテスト 自体は最低でも1週間の期間が必要で、理想としては 2週間かそれ以上の期間にて判断をすることを推奨し ています。
  25. 25. A/Bテスト - ベストプラクティス 6. 十分なトラフィックを もしグループB(テストグループ)が十分なトラフィック (DAU)が無い場合、データとしての信頼性は低下しま す。トラフィック量が少ない場合、パフォーマンスが大きく変動する可能性が高くなってしまいます。 ベンチマークとしては、以下のいずれかを推奨しています。 1. グループB全体で10,000imp/日 2. グループBの各インスタンスにて 1,000imp/日 もし上記のいずれにも当てはまらない場合は、グループ Bのユーザー比率を上げることを検討する必要が あります。
  26. 26. A/Bテスト - ベストプラクティス 6. 日常的にテストを A/Bテストに基づく効果的な設定変更で、容易に収益増大を実現することができます。 1回のテストで終わら せてしまうのではなく、常に A/Bテストを繰り返し、最適化を行っていきましょう!
  27. 27. Thank You

×