GREE Tech Conference 2021 で発表された資料です。 https://techcon.gree.jp/2021/session/Session-11

1. REALITY株式会社 エンジニア 伊藤弘一郎
REALITY株式会社 エンジニア 高塚翔悟
アプリ起動時間高速化
~推測するな、計測せよ~

2. REALITY
2
アバター作成 ライブ配信 ギフト・コラボ
マルチプレイ
ゲーム
ライブ視聴

3. REALITY
3
2020
2018 2019
8月
視聴アプリ
「REALITY」リリース
1 0月
配信アプリ
「REALITY Avatar」リリース
3月
視聴/配信アプリ統合
現在の「REALITY」リリース
4月〜
配信コラボ/ガチャ
チャットなど機能拡張が進む
1 2月
新Live配信基盤
低遅延モード配信実装
6月
YouTube視聴やLiveゲームなど
Live機能類が拡充
11月
初の海外リリース
海外展開が加速。
2021
8月
ワールド機能のリリース
メタバース事業に参入

4. REALITY
4
Q1
Q2 Q3
Q4
Q1
Q2
Q4
2020
2021
アクティブ配信者数
国内
15%
海外
85%
ユーザ分布

5. REALITY
5
Q1
Q2 Q3
Q4
Q1
Q2
Q4
2020
2021
アクティブ配信者数
国内
15%
海外
85%
ユーザ分布
絶好調！？

6. 6
と言いたいところなんですが、
規模拡大などに起因しさまざまな問題が起きています

7. 7
品質改善プロジェクト(SRE)紹介
REALITY

8. 1. 障害原因の調査、改善、それを継続して行う仕組みづくり
1. スケーラブルなシステムの構築
サービスの成長に合わせた利用ツールや環境構築方法の選定
WebAPIの設計見直しによるリクエスト数の削減
1. 高速化
サーバのスループット改善
レスポンス速度向上
1. 自動化
定常運用業務の自動化（Web, Nativeアプリ, Libraryのリリース作業など）による作業コスト削減
同様にヒューマンエラーの抑止
1. その他テスト文化の普及推進、定期的な進捗確認
REALITY SRE
8

9. 半期に数件実施
エンジニアが企画・進行を担当し、仕様書作成や効果測定までを行う
品質改善プロジェクト
9
FY21上期終わりなき挑戦プロジェクト
- 配信中フリーズ改善
- アセットバンドルロード時間改善
- 音声の安定化
- 端末発熱改善
FY21下期品質改善プロジェクト
- エコーキャンセル
- エラーハンドリング改善
- 起動時間短縮
- 見かけ上のUX改善
FY22上期品質改善プロジェクト（WIP）
- 通信速度向上のためのProtobuf対応
- 不正ユーザ対策
- メタバースに向けたアバター描画軽量化
- US通信速度改善
改善Week（半期ごと3回）
- DevOps改善
- コードリファクタ

10. 品質改善プロジェクト
10
FY21上期終わりなき挑戦プロジェクト
- 配信中フリーズ改善
- アセットバンドルロード時間改善
- 音声の安定化
- 端末発熱改善
FY21下期品質改善プロジェクト
- エコーキャンセル
- エラーハンドリング改善
- 起動時間短縮
- 見かけ上のUX改善
FY22上期品質改善プロジェクト（WIP）
- 通信速度向上のためのProtobuf対応
- 不正ユーザ対策
- メタバースに向けたアバター描画軽量化
- US通信速度改善
改善Week（半期ごと3回）
- DevOps改善
- コードリファクタ
半期に数件実施
エンジニアが企画・進行を担当し、仕様書作成や効果測定までを行う

11. 半期に数件実施
エンジニアがPMを担当し、エンジニアが仕様書作成や効果測定までを行う
品質改善プロジェクト
11
FY21上期終わりなき挑戦プロジェクト
- 配信中フリーズ改善
- アセットバンドルロード時間改善
- 音声の安定化
- 端末発熱改善
FY21下期品質改善プロジェクト
- エコーキャンセル
- エラーハンドリング改善
- 起動時間短縮
- 見かけ上のUX改善
FY22上期品質改善プロジェクト（WIP）
- 通信速度向上のためのProtobuf対応
- 不正ユーザ対策
- メタバースに向けたアバター描画軽量化
- US通信速度改善
改善Week（半期ごと3回）
- DevOps改善
- コードリファクタ

12. 品質改善プロジェクト
12
FY21上期終わりなき挑戦プロジェクト
- 配信中フリーズ改善
- アセットバンドルロード時間改善
- 音声の安定化
- 端末発熱改善
FY21下期品質改善プロジェクト
- エコーキャンセル
- エラーハンドリング改善
- 見かけ上のUX改善
FY22上期品質改善プロジェクト（WIP）
- 通信速度向上のためのProtobuf対応
- 不正ユーザ対策
- メタバースに向けたアバター描画軽量化
- US通信速度改善
改善Week（半期ごと3回）
- DevOps改善
- コードリファクタ
半期に数件実施
エンジニアがPMを担当し、エンジニアが仕様書作成や効果測定までを行う
- 起動時間短縮

13. 13
起動時間短縮プロジェクト
REALITY

14. 「ランチャーアイコンタップからコンテンツ表示までの時間」と定義
アプリの起動時間はUX/ユーザの離脱率に影響
起動時間とは
14
何秒かかった？

15. プロジェクトの進行
15
1. 計測
アプリ起動処理の全体像の把握
問題箇所に目星を付け、対応項目別に優先度整理する
2. 実装
3. リリース後の計測・運用
それぞれの項目別に調査・改善する
本番環境で実際に改善されているか確認する
継続的に監視できる基盤を整える

16. プロジェクトの進行
16
1. 計測
アプリ起動処理の全体像の把握
問題箇所に目星を付け、対応項目別に優先度整理する
2. 実装
3. リリース後の計測・運用
それぞれの項目別に調査・改善する
本番環境で実際に改善されているか確認する
継続的に監視できる基盤を整える

17. REALITYはNativeアプリにUnityを
ライブラリとして含む構成
-> 「Unityライブラリ初期化がボ
トルネックかな？」
プロジェクト開始前の見立て
17
推測
Native Unity
iOS アプリ起動時に初期化
-> 起動処理のボトルネックと推測
Android Unity画面起動時に初期化
-> なんらか起動処理の遅延に影響と推測
※Unityライブラリ初期化について

18. 1. アプリ起動シーケンスの調査
• ボトルネックに目星を付ける
• 改善可能な箇所の精査
1. 本番環境での起動処理周りの実態調査
• [Client] Firebase : Performance Monitoring
• [Server] GCP : Stackdriver Trace
計測
18

19. XCode：Instruments (Time Profiler, Signposts)
iOSの起動シーケンスを確認
19
認証API
ログインAPI
Unity初期化
配信一覧取得
アプリ起動処理の全体像の把握：iOS
認証API
ログインAPI
Unity初期化
配信一覧取得

20. 20
アプリ起動処理
library(dlib)初期化等
重い。。。
認証API
ログインAPI
Unity初期化
配信一覧取得
XCode：Instruments (Time Profiler, Signposts)
iOSの起動シーケンスを確認
アプリ起動処理の全体像の把握：iOS
認証API
ログインAPI
Unity初期化
配信一覧取得 重い？妥当？
要調査
遅い

21. Android Studio：CPU Profiler
Androidの起動シーケンスを確認
21
アプリ起動処理の全体像の把握：Android

22. 22
😅 < あれ、ボトルネックじゃなくない？
Android Studio：CPU Profiler
Androidの起動シーケンスを確認
アプリ起動処理の全体像の把握：Android

23. 「Unityライブラリ初期化がボトルネックかな？」
調査・計測から
23

24. 「Unityライブラリ初期化がボトルネックかな？」
「アプリ起動処理・配信一覧画面初期化処理の高速化がコスパ良」
調査・計測から
24

25. Firebase：Performance Monitoring
• Clientのパフォーマンス計測に利用
• Client処理の区間トレースが可能。DashBoard化してくれる。
25
アプリ起動処理の全体像の把握：ユーザ環境での計測

26. Firebase：Performance Monitoring
• 開発者の手元環境ではなく、実際のユーザ環境での起動時間を認識する
• ネットワークリクエストの応答時間を国/デバイス別に確認できる
26
アプリ起動処理の全体像の把握：ユーザ環境での計測
ログインAPIの例：
ユーザ環境において
日本とブラジルで300 msec以上差を確認

27. Firebase：Performance Monitoring
• 開発者の手元環境ではなく、実際のユーザ環境での起動時間を認識する
• ネットワークリクエストの応答時間を国/デバイス別に確認できる
27
アプリ起動処理の全体像の把握：ユーザ環境での計測
全世界 日本
iOS 6.2 秒 5.2 秒
Android 6.5 秒 4.2 秒
ユーザ環境における起動時間の中央値(2021/03)
😅 < めっちゃ遅い

28. GCP：Cloud Trace
• GCPの分散トレーシングシステム
• ボトルネックの検出
• レイテンシ分布の可視化
28
改善前配信一覧取得APIのトレース
• 処理のタイムシーケンスを可視化
• ボトルネックの可視化
並列化
できない？
不必要な処理が多い
アプリ起動処理の全体像の把握：サーバ処理

29. 1. [client] アプリの起動処理改善
Android最適化 : App Startup導入、キャッシュ改善など
iOS最適化：謎のblankを削除、library初期化処理改善など
1. [server] 配信一覧取得API高速化
並列処理、ボトルネック改善にて対応
1. [client] UnityLibrary初期化改善 (optional)
調査を行い、現実的な規模の改修で時間を短縮できれば改善を入れる
空シーン起動など
対応優先度を決定
29

30. プロジェクトの進行
30
1. 計測
アプリ起動処理の全体像の把握
問題箇所に目星を付け、対応項目別に優先度整理する
2. 実装
3. リリース後の計測・運用
それぞれの項目別に調査・改善する
本番環境で実際に改善されているか確認する
継続的に監視できる基盤を整える

31. 31
Android編
起動時間短縮

32. 32
Androidの起動処理改善のフロー
1.ボトルネックのあたりをつける
2.コードレベルで問題箇所を特定する
3.修正を入れる

33. 33
Androidの起動処理改善のフロー
1.ボトルネックのあたりをつける
2.コードレベルで問題箇所を特定する
3.修正を入れる

34. 34
起動処理のボトルネック検出手法
Jetpack Macro Benchmark
• テストを実行する形で起動時間を計測可能
• cold/warm/hot start の計測
• テスト結果をトレースファイルとして閲覧
• Android 10(API 29)以上で利用可能
logcat
• スタックトレースやシステムメッセージのログをダンプする
コマンドラインツール
• 起動処理のスタックトレースを細かく取れる

35. 35
Androidの起動処理計測の例
Application
onCreate
Activity
init
Activity
onCreate
その他
inflate views
etc
アカウント認証
ログイン処理
etc

36. 36
Androidの起動処理計測の例
Application
onCreate
Activity
init
Activity
onCreate
その他
inflate views
etc
アカウント認証
ログイン処理
etc
画面の生成
コンテンツ表示

37. 37
Androidの起動処理計測の例
Application
onCreate
Activity
init
Activity
onCreate
その他
inflate views
etc
アカウント認証
ログイン処理
etc
Displayed time
Fully Drawn time

38. ActivityTaskManagerでlogcatに起動時間を出力
38
logcatによる計測の例

39. ActivityTaskManagerでlogcatに起動時間を出力
39
logcatによる計測の例
I/ActivityTaskManager: Displayed ***************** + 4s80ms
Displayed timeに4.08 sかかっている

40. ActivityTaskManagerでlogcatに起動時間を出力
40
logcatによる計測の例
I/ActivityTaskManager: Fully drawn ************* + 5s529ms
Fully Drawn timeは5.529 s

41. ActivityTaskManagerでlogcatに起動時間を出力
41
logcatによる計測の例
つまりその他は 1.449s
みたいに計測できる
今回は前半部分を細かく計測していく

42. 42
認証API
ログインAPI
Unity初期化
配信一覧取得
XCode：Instruments (Time Profiler, Signposts)
iOSの起動シーケンスを確認
アプリ起動処理の全体像の把握：iOS
認証API
ログインAPI
Unity初期化
配信一覧取得
今回細かく見たいのはここ

43. 43
Androidの起動処理
Application
onCreate
Activity
init
Activity
onCreate
その他
inflate views
etc
アカウント認証
ログイン処理
etc
Displayed time
Fully Drawn time
ここのボトルネックを探す

44. 44
Androidの起動処理
Application
onCreate
Activity
init
Activity
onCreate
その他
inflate views
etc
アカウント認証
ログイン処理
etc
Displayed time
Fully Drawn time
より細かく調べていく

45. 45
Androidの起動処理
Application
onCreate
Activity
init
Activity
onCreate
その他
inflate views
etc
アカウント認証
ログイン処理
etc
Displayed time
Fully Drawn time
より細かく調べていく

46. 46
Androidの起動処理改善のフロー
1.アプリ起動処理の全体像を眺める
2.コードレベルで問題箇所を特定する
3.修正を入れる

47. 47
CPU Profilerでの特定
各スレッドを開くと時系列に沿った各メソッドの実行時間が確認
できる

48. 48
CPU Profilerでの特定
各スレッドを開くと時系列に沿った各メソッドの実行時間が確認
できる
気になる処理をポチると

49. 49
Frame Chartでさらに詳しく
左から実行時間の長い順に並ぶ

50. 50
Frame Chartでさらに詳しく
左から実行時間の長い順に並ぶ
ここに時間がかかってる

51. 51
Androidの起動処理改善のフロー
1.アプリ起動処理の全体像を眺める
2.コードレベルで問題箇所を特定する
3.コードに修正を入れる

52. 52
処理を短縮するには大まかに分けて3つ
• キャッシュを入れる
• 処理の並列化・平行化
• 不要な処理の削除（遅延）

53. 53
キャッシュを入れる
配信一覧のキャッシュ
配信一覧のコンテンツがロードされていない
間はキャッシュしたデータを表示して待機時
間をなくす

54. 54
並列化・並行化
AppStartupの導入
ContentProviderによるライブラリ初期化を最適化する

55. 55
不要な処理の削除（遅延）
起動時にやる必要がない処理や、そもそも不要な処理は削除した
り起動時以外のタイミングに移動
例
・不要なdelayが入っていたのを削除
・ローディング表示の修正
泥臭い地道な計測や処理の改善が必要。。。

56. 56
Server編
起動時間短縮

57. 配信一覧取得APIの特徴
• View初期化のためアプリ起動処理に使用
• レイテンシがUXに直結
配信一覧取得APIの高速化
57
認証API
ログインAPI
Unity初期化
配信一覧取得
1秒以上の遅延
認証API
ログインAPI
Unity初期化
配信一覧取得

58. 配信一覧取得APIの特徴
• View初期化のためアプリ起動処理に使用
• レイテンシがUXに直結
大まかな処理
• 最初の画面すべてのコンテンツを生成して返す
• フォロータブ
• おすすめタブ
• … etc (計7タブ)
• それぞれのタブをソートなど（パーソナライズ）
• 配信リスト
• 相互フォローリスト
• ゲームリスト
• … etc
配信一覧取得APIの高速化
58

59. GCP：Cloud Trace
• GCPの分散トレーシングシステム
• ボトルネックの検出
• レイテンシ分布の可視化
59
改善前配信一覧取得APIのトレース
• 処理のタイムシーケンスを可視化
• ボトルネックの可視化
並列化
できない？
不必要な処理が多い
配信一覧取得APIの高速化

60. 配信一覧取得APIの高速化
60
必要リソースのFetch
タブのコンテンツ生成
大量のFetchHogehogeが並ぶ
並列化すべき箇所が
並列化されていない

61. 配信一覧取得APIの高速化
61
余談：
REALITY APIサーバはGolang製
goroutineによる並列化を行う

62. 配信一覧取得APIの高速化
62
並列化
並列化

63. 配信一覧取得APIの高速化
さらに、配信一覧画面初期化には必要のない処理・情報を削減
画面初期化に必要な情報だけ返し、残りは遅延して取得させる
処理の削減

64. ログイン時APIリクエストを一つに統合
複数リクエストする際のオーバーヘッドを削減
ログインAPIと配信一覧取得APIを合体
64
認証API
ログインAPI
Unity初期化
配信一覧取得
統合
認証API
ログインAPI
Unity初期化
配信一覧取得

65. 処理の最適化
65
遅いリクエスト
Cloud Traceのレイテンシグラフでは遅いリクエストなど抽出可能
該当リクエストのTraceを参照して、改善する

66. 処理の最適化
66
Cloud Profiler
• GCPで利用可能なプロファイラ
• 関数単位でCPUTimeやHeapを確認可能

67. 処理の最適化
67
Cloud Profiler
不要なデータを大量に取得しており、jsonのdesirializeに時間が
かかっている。これも改善。（泥臭い案件）

68. もともと配信一覧アイコンは 1024×1024 のpngを使用
• 256×256 のwebpに変換し軽量化
• サイズを 96~99 % 程度カット
Clientのクラッシュ率低下、CDN費用削減の副次効果も
画像読み込み高速化
68
https://developers.google.com/speed/webp

69. 69
本番リリース
起動時間短縮

70. 70
改善前の起動時間
全世界 日本
iOS 6.2 秒 5.2 秒
Android 6.5 秒 4.2 秒
ユーザ環境における起動時間の中央値(2021/03)

71. 結果
71
※手元環境での実測（日本ユーザ環境 iOS:2.3 s, Android, 2.5s 程度）

72. プロジェクトの進行
72
1. 計測
アプリ起動処理の全体像の把握
問題箇所に目星を付け、対応項目別に優先度整理する
2. 実装
3. リリース後の計測・運用
それぞれの項目別に調査・改善する
本番環境で実際に改善されているか確認する
継続的に監視できる基盤を整える

73. 本番リリース後に大幅に起動時間を短縮したことを確認
Firebase Performance Monitoring
73

74. 本番リリース後に大幅に起動時間を短縮したことを確認
Firebase Performance Monitoring
74

75. 監視用のログ入れて何か効果あった？
75

76. 76
とある変更により、起動時間が悪化したことを検知
😅 < なんかめっちゃ悪化しとる
監視用のログ入れて何か効果あった？

77. 監視用のログ入れて何か効果あった？
77
とある変更により、起動時間が悪化したことを検知
😅 < なんかめっちゃ悪化しとる
即検知、即修正
効果は大いにあった

78. 監視用のログ入れて何か効果あった？
78
とある変更により、起動時間が悪化したことを検知
😅 < なんかめっちゃ悪化しとる
遅くしない運用を作る

79. ログを活用できていないのは、ログを取っていないのと同じ
• Slackに流す、アラートを設定する
遅くしないための運用
79

80. ログを活用できていないのは、ログを取っていないのと同じ
• 誰が見ても理解できるようにダッシュボード化する
• 定例mtgやリリースmtgなどで都度確認する
遅くしないための運用
80
Data Portal（BIツール）
Performance Monitoring
↓
BigQuery
↓
Data Portal
にデータをエクスポートして使用

81. まとめ
起動時間短縮は泥臭い作業の積み上げにより実現
• 並列化、キャッシュ、処理の削減（遅延）など
本プロジェクトでは、計測により
• 想定とは異なるボトルネックの存在確認
• 継続的に監視できる基盤を作成
計測・監視はパフォーマンス改善や不具合の早期検知をするためには必要
「問題が生じてからログを入れる」のではなく、常日頃から「監視できる
仕組みを作る」ことが望ましい
81
本事例では、
「品質改善プロジェクト」として
エンジニア主体で進行できたのが良
かったかな感

82. 余談
本プロジェクトをnote等で技術発信して、
ユーザから感触の良い評価を得られた
今回の事例の他にも
• 端末の発熱
• 配信中の入出力音声の音量測定
などREALITYユニークな計測事例もあり、
REALITYのnoteで掲載中
82
https://note.com/reality_eng

83. 絶賛エンジニア募集中！
83
meety
wantedly
REALITYの未来を作ってくれる人を募集中！
是非、ご応募ください！

84. 84