How to Start Firebase A/B Testing for Mobile Apps

1. Start to Firebase A/B Test
Around Firebase #1
sokume

2. 自己紹介
@sokume
名古屋のHR系ベンチャー企業(stmn)
モバイルアプリのエンジニア（主にAndroid）
GDG Nagoya オーガナイザー やってます。
今日はイベントの配信担当🎦

3. 今日の話
Firebase UseCase
https://firebase.google.com/use-cases/tapple

4. 今日の話
Firebase A/B テストの始め方とアプリへの設定について

5. A/Bテストって？
A/Bテスト（英: A/B testing）とは、
主にインターネットマーケティング で行われる、施策判断のための 試験の総称である。
ウィキペディア（Wikipedia）より引用
https://news.yahoo.co.jp/newshack/newshack/doshisha_uni.html

6. A/Bの利点は？
● 定量的な判断になる（1個人の判断ではない）
● 同時期に複数のパターンを比較できる
https://news.yahoo.co.jp/newshack/newshack/doshisha_uni.html

7. アプリの用意
Androidアプリで
ログインUIのあるものを用意。
LoginSampleApp

8. A/B テスト対象
Default Type1 Type2 Type3

9. Firebase へ Project の登録

10. Firebase へ Project の登録
・Firebase へProject Package の登録
・アプリへGoogleService.jsonの適応
・ライブラリの設定
手順通りすればある程度OK →

11. A/B テスト準備

12. A/B テスト準備

13. A/B テスト準備

14. A/B テスト準備
テスト対象にする条件を追加していきます。
例：
デバイス言語が日本語
利用している地域が日本
アプリのバージョンが特定のバージョン
デバイスの特定バージョン以上
https://firebase.google.com/docs/ab-testing/abtest-config#user_targeting

15. A/B テスト準備
テスト対象にするユーザー割合を設定します。
初回は最高でも10％が良いらしい。

16. A/B テスト準備
追跡条件を設定。
最優先パターンと他のパターンを設定します。
https://firebase.google.com/docs/ab-testing/abtest-config?hl=ja#goal_metrics

17. A/B テスト準備
基準とするベースラインと、別パターンの登録を実
施。
今回は以下の設定。
パラメータ：login_patten
ベースライン：default
別パターンA：type1
別パターンB：type2
別パターンC：type3

18. A/B テスト準備
各パターンの配布割合を設定

19. A/B テスト準備 - 完了

20. アプリの準備
Android アプリでRemote Configを取得し反映します。
ざっくりコード説明
最小Fetch間隔の設定。
デフォルトは12時間
Fetch処理
完了後にgetString(),getInt(),などで
設定された値を取得

21. テストデバイスで動作確認
https://firebase.google.com/docs/ab-testing/abtest-config?hl=ja#validate_your_experiment_on_a_test_device
A/B テストの画面から、テストデバ
イスを登録してテストパターンの確
認が行えます。

22. A/Bテスト実行中

23. A/Bテスト実行中
RemoteConfigを利用した場合、A/Bテストの検証期
間は、最低でも14日間必要。
自動的にテストデータが集まり、検証期間が進むこ
とで「リーダー」が決まります。

24. 検証-リーダーが決まった場合
「バリアントを展開」することで、配信割合が変更さ
れ、テストユーザーへ、リーダーとして選択されたパ
ターンの配信を実施します。

25. 検証-リーダーが決まらない場合
配信数を増やしていく事で、検証データを集めやすく
し、検証をすすめていきます。

26. まとめ
● A/Bテストの開始から検証までの流れでした。
● Androidデバイスだけでなく、iOSでも同じようにA/Bテストが実行で
きます😀
● A/Bテストでいろいろなパターンで施策の検証が行えるので、
自分以外の意見も参考にアプリ開発を行っていきましょう👍

27. さいごに
ありがとうございました😃
引き続き Around Firebase #1 をお楽しみください😃