スマホのゲーム実況アプリとして成長を続けてきたMirrativアプリ。 機械学習の適用領域、リリース後の反応、今後の展開など含めて、単なる配信ツールではなく、コミュニティサービスとしてならではの仮説検証方法などを紹介します。

1. 機械学習を利用したゲーム
実況サービスMirrativなら
ではの画像認識手法
2019.09.10
Sumihiko Natsu
Mirrativ, Inc.
© 2018 Mirrativ, Inc.
STRICTLY CONFIDENTIAL

2. 自己紹介
●株式会社 Mirrativ CTO
●夏澄彦
●2015年 DeNA新卒入社
●入社とほぼ同じタイミングで社内でMirrativプロジェクト始動
●サーバ → Android/iOS → 全般
99

3. 99
2015年8月 DeNA社にてMirrativリリース
2018年2月 株式会社エモモ(株式会社ミラティブの前身)登記
2018年2月 DeNAからのMBOと10億円超の資金調達を発表
2018年4月 オフィス移転
2018年5月 株式会社ミラティブに社名を変更
2018年8月 バーチャルアバター「エモモ」リリース
2019年2月 総額35億円の資金調達を発表
2019年5月 スマホ1台でのバーチャルカラオケ「エモカラ」が登場
2019年7月 目黒へオフィス移転
沿革

5. Mirrativ＝わずか数タップでスマホ画面を生配信
＊ゲーム側での開発・SDK導入は不要 / 音声はマイクによる集音
2.タイトル等設定 3.配信開始1.起動
Mirrativスマホ1台だけでゲーム実況・ライブ配信を可能にする
コミュニケーションサービス (w/アバター)

6. サービスコンセプト＝友達の家でドラクエやってる感じ
ゲームを中心に置いた「コミュニケーション空間」

7. ■ 配信中のアプリ一覧や、自分
が好きなアプリを登録して、
絞り込むことが可能な「マイ
アプリ機能」が存在
■ 初めてのユーザや、新しい友
だちを増やしたいユーザにと
って、興味がある配信は自分
が知っている・遊んだことが
あるアプリの配信である
ともだちが出来るきっかけとしてアプリが重要

8. 配信ってどうやって動いている？
画面の動画データ
ServiceAppExtension
ReplayKit MediaProjection
エンコード エンコード
iOS Android
ゲームが動いている裏のバックグラウンドプロセス内で配信

9. ■ Mirrativからは実際にどのアプリがフォアグラウンドで動い
ているか分からない。。。
■ Android
● プロセスの全起動履歴が取得できるパーミッションが必要
■ iOS
● 配信直後の一回のみ取得可能
技術的課題
毎回配信者に手動で設定してもらっている。。。

10. ■ 初めて配信する際にアプリ
設定の意味・必要性が分か
らない
● アプリ設定してもらわない
と視聴者とのマッチングの
機会が減る。。。
■ 慣れてくるとアプリを切り
替えるたびに設定を変更す
るのがめんどくさくなる
● 1人あたりの配信時間の
平均：100分/day
手動でアプリ設定をしてもらう問題点

11. ■ 配信のキャプチャ画像を機械学習でクラス分類することで
ゲームの自動推定機能を開発
■ 最終的には配信者が一切操作せずとも自動で設定
■ まずは配信が多い上位20タイトルから展開
● 現状設定できるアプリは約2500件
目標：視聴者と配信者の間を適切なアプリ設定でマッチング

12. 1. 配信のキャプチャ画像と配信者が
現在手動で設定したアプリ設定を
紐付けて仮の教師データとする
2. 仮の教師データからスタッフが正
しいかどうかをラベリングし、正
解データを作成する
3. 正解データから深層学習を行い、
実際の配信のキャプチャ画像に適
用し、アプリを推定する
アプローチ

13. 内製のラベリングツール

14. プロトタイプ
推定結果と実際のアプリ設定が違う場合にSlackに画像つきで投稿

15. ■ インフラ（Google Compute Engine）
● 学習処理: GPUインスタンス
● 推定処理: CPUインスタンス
● メンテナンスのしやすさ
● 利用料金
■ モデルアルゴリズム
● MobileNet
● VGG16もプロトタイプとして採用したが、1枚あたりの
処理時間が重要
● 同時配信数が数千件〜数万件の場合でも、短時間で推定処理を
完了させたい
● VGG16: 0.2 sec, MobileNet: 0.065 sec
技術選定

16. ■ 対象
● アプリを設定していない & 推定できたうち2割
■ KPI
1. 視聴者数
● 適切なアプリ設定がされているので、入室者数が増えるはず
2. コメントユーザ数
● 入室者数が増えた結果、コメント数も上昇するはず
3. 翌日の配信継続率
● コミュニケーション体験が向上し、翌日も配信するモチベーションに
つながるはず
一部のユーザに対してABテストとしてリリース

17. 1. 視聴者数
Ø 20%上昇！！
2. コメントユーザ数
Ø 22%上昇！！
3. 翌日の配信継続率
Ø 2.1倍！！
* ランダムでアプリ設定をしても、このKPIが改善する可能性があるので、ゲーム
推定の精度が良いか悪いかとは切り分ける必要あり
深層学習の前に、手動で確認してもよかったが、手動でアプリ設定をするシステムを構築するのと、深層
学習のプロトタイプを作り始めるのどっちにしようか。。。やっちゃえ！！（←イマココ）
結果（リリース後5日間の平均）

18. 課題：誤検知
モデルの学習タイトル数を20から増やしていくことで克服予定
パズドラ パズドラレーダー
右のパズドラレーダーの配信をパズドラと判定。。。

19. ■ 主要タイトル20件の仮の教師データからスタッフがラベリ
ングツールを使って正解データを作ると60時間かかった
■ 100件、1000件と増えていくと、より画像からゲームを推
定する知識が求められる
● きっと指数関数。。。
課題：教師データのラベリングコスト

20. ■ スタッフがゲームを一定時間プレイし、その録画動画から
教師データを生成
1. スマホ画面からゲームを分類できる特殊能力者が不要
2. タイトル数を増やした時のコスト見積もりがしやすい
● 1タイトル30分もかければ十分なはず
● チュートリアル・インゲームで15分ずつ
今後の目標：低コストで全アプリの教師データを作成