Recommended
More Related Content
What's hot
What's hot (20)
Similar to 『逆転オセロニア』における運用効率化支援 〜デッキログのデータマイニング〜
Similar to 『逆転オセロニア』における運用効率化支援 〜デッキログのデータマイニング〜 (20)
More from DeNA
More from DeNA (20)
Recently uploaded
Recently uploaded (16)
『逆転オセロニア』における運用効率化支援 〜デッキログのデータマイニング〜
- 2. 講演者の紹介 田中 一樹 略歴 • 2017年新卒入社 • 電力最適化の研究 – 再生可能エネルギー，確率計画法 • 国内外のデータ分析コンペで複数回入賞 – Kaggle 3位（Kaggle Master），KDDCup 10位，… • AI研究開発エンジニア – 強化学習・機械学習を用いたゲームAI開発 • 最近では『速習 強化学習ー基礎理論とアルゴリズムー』（共著）を出版 • 『ゲーム体験を支える強化学習』というタイトルで後ほど解説します （YELLOW Stage，15:40~16:20 – 分析業務（本講演） 1 @ikki407
- 4. 講演の流れ 1. 概要 – 『逆転オセロニア』とは？ – デッキ分析に至った背景 – デッキ分析の目的とできること 2. 分析の詳細 – 全体の分析フロー – キャラクターの関係性の抽出 – デッキで鍵となるキャラクターの抽出 3. まとめ 3
- 5. 講演の流れ 1. 概要 – 『逆転オセロニア』とは？ – デッキ分析に至った背景 – デッキ分析の目的とできること 2. 分析の詳細 – 全体の分析フロー – キャラクターの関係性の抽出 – デッキで鍵となるキャラクターの抽出 3. まとめ 4
- 6. 『逆転オセロニア』とは • オセロとTCG（Trading Card Game） 要素のある戦略アプリゲーム – オセロがベースなのでルールが「誰でもわかる」 – 後半に「逆転」が巻き起こるゲームシステム • 2018年1月 1,800万ダウンロード突破 • 2018年2月 2周年！ 5
- 7. 『逆転オセロニア』: 基本ルール 6 • 6 × 6のオセロ盤面で交互にプレイ • キャラクターにはステータスが存在 – ヒットポイント（HP） – 攻撃力（ATK） – スキル/コンボスキル • 目標は相手のHPを0にすること
- 8. 『逆転オセロニア』: 対戦コンテンツ クエスト • 対CPU対戦 • PvE (Player vs. Environment) クラスマッチ • 対プレイヤー対戦 • PvP (Player vs. Player) 7 本講演で 扱うデータ
- 10. 『逆転オセロニア』: デッキ構築 • 16枚で構成 – 所持キャラクターから選択 – キャラクターは2,000体以上 – コスト上限が存在 • ランクに応じて上昇 – 同じキャラは基本1体まで 9 バランス良く組む ことが大事
- 11. 『逆転オセロニア』: デッキコンセプト • デッキ毎に戦術方針（デッキコンセプト）が存在 – キャラクターやスキルが増えるにつれて複雑化してきている 10 神デッキ • 特殊ダメージ型 • 回復型 魔デッキ • 毒攻撃型 • 呪い型 竜デッキ • 統一速攻 • チャージ竜 混合デッキ • 蘭陵王リーダー型 • バランス型
- 12. 講演の流れ 1. 概要 – 『逆転オセロニア』とは？ – デッキ分析に至った背景 – デッキ分析の目的とできること 2. 分析の詳細 – 全体の分析フロー – キャラクターの関係性の抽出 – デッキで鍵となるキャラクターの抽出 3. まとめ 11
- 13. 分析背景：ゲームサイクル 12 キャラ獲得 • 対戦 • イベント • ガチャ デッキ構築 対戦 • クラスマッチ • クエスト • イベント • プレイヤーはこのプロセスを繰り返してゲームを楽しむ – 一つでも「やりがい・面白さ」が成り立たないとゲーム循環が 停滞
- 14. 分析背景：ゲームサイクル 13 • デッキが固定化するとゲームシステムが壊れてしまう – 常に似通った対戦相手 – 単調な戦い（作業感が強い） – キャラクター獲得したいという気持ちが生まれない キャラ獲得 • 対戦 • イベント • ガチャ デッキ構築 対戦 • クラスマッチ • クエスト • イベント
- 15. 分析背景：ゲームサイクル 14 • デッキ環境を適切に把握し続けることが大事 – 今キャラクターはどうやって使われているのか？ – どのようなデッキコンセプトが存在するのか？ キャラ獲得 • 対戦 • イベント • ガチャ デッキ構築 対戦 • クラスマッチ • クエスト • イベント
- 18. まとめると 17
- 22. 講演の流れ 1. 概要 – 『逆転オセロニア』とは？ – デッキ分析に至った背景 – デッキ分析の目的とできること 2. 分析の詳細 – 全体の分析フロー – キャラクターの関係性の抽出 – デッキで鍵となるキャラクターの抽出 3. まとめ 21
- 24. デッキ分析の目的 23 データマイニングでデッキ環境を 自動的に抽出・可視化して運用効率化に繋げたい 単軸による分析だと 深い検証が難しい 複雑化してくると 考慮漏れが発生する 解決したいこと
- 27. デッキ分析でできること（その1） 26 ルール 支持度 信頼度 リフト 弁財天 → シーラーザード 5% 50% 2.0 麒麟→ シーラーザード 25% 40% 1.5 ウケモチ → シーラーザード 20% 45% 2.1 ラヴーシュカ → アルキメデス 5% 30% 2.0 デメテル → シーラーザード 55% 60% 2.3 … … … … キャラクターの関係性を大量に抽出できる 弁財天とシーラーザードを使っている確率5% デメテルを使うならばシーラザードを60%の確率で使う ※ 実際の分析結果ではなくイメージです
- 28. デッキ分析でできること（その1） 27 キャラクターの関係性を大量に抽出できる • 意図しているゲーム環境になっているか確かめられる – 例えば，キャラクターの組み合わせ，使用率，割合など • キャラクターの利用状況を把握してゲーム運用に反映できる – 今後追加するキャラクターの判断材料として使える
- 29. キャラクターパターン（5体） 支持度 エンデガ，ウンディーネ，アラク，ジークフリート，フギンとムニン 20% アルキメデス，フレデリカ，ブリュンヒルデ，シーラーザード，ハロウィン・ナンディ 15% ヴィクトリア，ジークフリート，アラク，オキクルミ，フェリタ＆プティ 15% 蘭陵王，ブレスドソーディアン，キムン・カムイ，オキクルミ，アラク 15% ローラン，アラク，ブレスドソーディアン，アラジン，フェリタ＆プティ 15% デッキ分析でできること（その2） 28 鍵となるキャラクターパターンを大量に抽出できる ゲーム内環境において特徴的な5体のキャラクターパターン 15%の割合でこの5体が使われている ※ 実際の分析結果ではなくイメージです
- 30. デッキ分析でできること（その2） 29 鍵となるキャラクターパターンを大量に抽出できる • 定常的にゲーム内のデッキ環境を把握できる – 例えば，デッキバランスや流行を追える • 環境の変化を検知できる – 似た編成が流行って面白みが薄れていないか？
- 31. 講演の流れ 1. 概要 – 『逆転オセロニア』とは？ – デッキ分析に至った背景 – デッキ分析の目的とできること 2. 分析の詳細 – 全体の分析フロー – キャラクターの関係性の抽出 – デッキで鍵となるキャラクターの抽出 3. まとめ 30
- 32. デッキ分析フロー（全体像） 対戦 ログ 対戦デッキ抽出 アソシエーション分析 クラスタリング 31 デ ッ キ 分析したい条件 でデッキを抽出 後の分析で使用 キャラクターの 関係性を抽出 キャラクターパター ンも同時に抽出 似たキャラクターパ ターンのグルーピング 多様な結果の獲得
- 33. デッキ分析フロー（全体像） 対戦 ログ 32 デ ッ キ 対戦デッキ抽出 アソシエーション分析 クラスタリング 分析したい条件 でデッキを抽出 後の分析で使用 キャラクターの 関係性を抽出 キャラクターパター ンも同時に抽出 似たキャラクターパ ターンのグルーピング 多様な結果の獲得
- 34. 対戦デッキの抽出 • 分析したいデッキの条件で抽出 – 時期，プレイヤーのレベル，属性 – 勝った/負けたデッキ 33 対戦ログ 分析デッキリスト 魔デッキ 抽出 使うデッキに よって分析結果 の解釈も変わる
- 35. デッキ分析フロー（全体像） 対戦 ログ 34 デ ッ キ 対戦デッキ抽出 アソシエーション分析 クラスタリング 分析したい条件 でデッキを抽出 後の分析で使用 キャラクターの 関係性を抽出 キャラクターパター ンも同時に抽出 似たキャラクターパ ターンのグルーピング 多様な結果の獲得
- 36. アソシエーション分析とは？ • 大規模データの中に存在する関係性を抽出する分析手法 – 関係性は”アソシエーションルール”と呼ばれる 35 大規模 デッキ ログ キャラAを使っていたら キャラBも使っている確率80% キャラX, Yを使っていたら キャラZも使っている確率30% ・・・ アソシエーションルール 例 アソシエーション分析
- 37. 得られたアソシエーションルール 36 ルール 支持度 信頼度 リフト 弁財天 → シーラーザード 5% 50% 2.0 麒麟 → シーラーザード 25% 40% 1.5 ウケモチ → シーラーザード 20% 45% 2.1 ラヴーシュカ → アルキメデス 5% 30% 2.0 デメテル → シーラーザード 55% 60% 2.3 … … … … … … … … … … … … • デッキログから抽出されたルール※ – キャラクター間の関係性を定量的に抽出できる – ルールには3つの指標が存在：支持度，信頼度，リフト ※ 実際の分析結果ではなくイメージです このような ルールが大量 に得られる 三つの指標からルールの 価値を判断する必要がある
- 38. アソシエーションルール：支持度 • 支持度はルール自体が発生する確率を表す – 値が大きいとよくあるルール 37※ 実際の分析結果ではなくイメージです ルール 支持度 信頼度 リフト 弁財天 → シーラーザード 5% 50% 2.0 麒麟 → シーラーザード 25% 40% 1.5 ウケモチ → シーラーザード 20% 45% 2.1 ラヴーシュカ → アルキメデス 5% 30% 2.0 デメテル → シーラーザード 55% 60% 2.3 一部のプレイヤーが使っているパターン みんなが使ってるパターン
- 39. アソシエーションルール：信頼度 • 信頼度(A→B)は条件Aだった時に結論Bが発生する確率 – 値が大きいと条件によって結論が生じやすくなる 38※ 実際の分析結果ではなくイメージです ルール 支持度 信頼度 リフト 弁財天 → シーラーザード 5% 50% 2.0 麒麟 → シーラーザード 25% 40% 1.5 ウケモチ → シーラーザード 20% 45% 2.1 ラヴーシュカ → アルキメデス 5% 30% 2.0 デメテル → シーラーザード 55% 60% 2.3 弁財天を使うならばシーラーザードも使う確率50% ルール中のキャラクターは回復戦略で使われやすく信頼度も高いので 意図通り似たタイプと使われていることが確認できる
- 40. アソシエーションルール：リフト • リフトはルールが有用かを表す指標 – 値が1より大きいとお互いの関係性の強いルール 39※ 実際の分析結果ではなくイメージです ルール 支持度 信頼度 リフト 弁財天 → シーラーザード 5% 50% 2.0 麒麟 → シーラーザード 25% 40% 1.5 ウケモチ → シーラーザード 20% 45% 2.1 ラヴーシュカ → アルキメデス 5% 30% 2.0 デメテル → シーラーザード 55% 60% 2.3 回復キャラクターだから使われるという背景が示唆できる 支持度が小さいため一部のプレイヤーには有用なルール
- 41. （参考）出てきた3つの指標 40 指標 値が大きいと… 例 支持度 （Support） よくあるルール 信頼度 （Confidence） 条件時に結論部が 生じやすい リフト （Lift） お互いの関係性が強い （1より大きい時） 蘭陵王 アズリエル このルール自体が 全デッキ中90% で使われている 蘭陵王を デッキで 使っている アズリエル を90%の 確率で使う と 蘭陵王 の使用 アズリエル の使用 はお互いに 依存関係が強く 有用なルール
- 42. 実際の活用例 1. さまざまなタイプのキャラクターに関する分析 – 人力では見つけられないデッキコンセプトの発見 – 見過ごされがちなキャラクターの使われ方の発見 2. リアルタイムな可視化 – 新たに追加したキャラクターの動きをすぐに把握 3. 社内BIツールとの連携 – 新たな示唆・仮説発見をみんなが行えるようにサポート 41
- 43. アソシエーション分析：まとめ • デッキログからキャラクターの関係性を可視化できた – 3つの分析指標の解釈方法について解説した – 使用率だけではわからないキャラクター利用の背景がわかった • 意図した環境になっているかチェックが可能になった – 運用効率化の材料に役立てることができる – 暗黙知を定量的に評価できる 42
- 44. デッキ分析フロー（全体像） 43 対戦 ログ デ ッ キ 対戦デッキ抽出 アソシエーション分析 クラスタリング 分析したい条件 でデッキを抽出 後の分析で使用 キャラクターの 関係性を抽出 キャラクターパター ンも同時に抽出 似たキャラクターパ ターンのグルーピング 多様な結果の獲得
- 45. キャラクターパターンの抽出とは？ 44 • デッキで使われるキャラクターの特徴的な組み合わせの発見 • デッキ環境全体の状況を俯瞰できる – 複雑化しているデッキコンセプトの把握 キャラクターパターン（5体） 支持度 エンデガ，ウンディーネ，アラク，ジークフリート，フギンとムニン 20% エンデガ，ジークフリート，アラク，フェリタ＆プティ，フギンとムニン 19% エンデガ，ウンディーネ，アラク，アンドロメダ，フギンとムニン 18% エンデガ，ウンディーネ，アラク，フェリタ＆プティ，フギンとムニン 17% エンデガ，アンドロメダ，アラク，フェリタ＆プティ，フギンとムニン 16% この5体を含むデッキが全デッキ中16%ある ※ 実際の分析結果ではなくイメージです アソシエーション 分析の過程で抽出
- 46. 鍵となるキャラクターパターンの抽出 45 キャラクターパターン（5体） 支持度 エンデガ，ウンディーネ，アラク，ジークフリート，フギンとムニン 20% エンデガ，ジークフリート，アラク，フェリタ＆プティ，フギンとムニン 19% エンデガ，ウンディーネ，アラク，アンドロメダ，フギンとムニン 18% エンデガ，ウンディーネ，アラク，フェリタ＆プティ，フギンとムニン 17% エンデガ，アンドロメダ，アラク，フェリタ＆プティ，フギンとムニン 16% ※ 実際の分析結果ではなくイメージです 似たパターンが多い… 頻出 パターン • 支持度（使用率）で選択すると似ているパターンが出やすい • 実用上は「様々な種類の」キャラクターパターンを抽出したい 大量に抽出されるから 人手で選別は不可能…
- 47. 鍵となるキャラクターパターンの抽出 46 キャラクターパターン（5体） 支持度 エンデガ，ウンディーネ，アラク，ジークフリート，フギンとムニン 20% エンデガ，ジークフリート，アラク，フェリタ＆プティ，フギンとムニン 19% エンデガ，ウンディーネ，アラク，アンドロメダ，フギンとムニン 18% エンデガ，ウンディーネ，アラク，フェリタ＆プティ，フギンとムニン 17% エンデガ，アンドロメダ，アラク，フェリタ＆プティ，フギンとムニン 16% … 15% … 14% … 13% … 12% … 11% … 10% … 9% ※ 実際の分析結果ではなくイメージです … 代表パターン 代表パターン 代表パターン クラスタリングを用いて 多様なキャラクターパターンを抽出 大量の結果の中から，特徴的なパターンをグルーピング タイプ1 タイプ2 タイプ3
- 48. クラスタリングとは • 似たデータ同士をグルーピングする手法 – そのグループをクラスタと呼ぶ – 代表的手法：k-means法，階層型クラスタリング 47 3 1 2 4 5 6 3 1 2 4 5 6
- 50. どのキャラクターパターンが似ているか？ キャラクターパターンA = { , , , , } キャラクターパターンB = { , , , , } キャラクターパターンC = { , , , , } 49 Aは…BとCのどちらに似ているか？？ Bの方が 似てそう?
- 51. どのキャラクターパターンが似ているか？ 50 Aは…BとCのどちらに似ているか？？ → Jaccard類似度を用いて測ることができる キャラクターパターンA = { , , , , } キャラクターパターンB = { , , , , } キャラクターパターンC = { , , , , }
- 52. （参考）Jaccard類似度 • キャラクターパターン同士の類似具合をJaccard類似度 で算出 • Jaccard類似度 – 集合AとBの類似具合を測る – 似たものは1，似てないものは0に近づく 51 重なりが多いほど似ている
- 53. どのキャラクターパターンが似ているか？ 52 Jaccard類似度 大きい方が似ている Aは…Bの方が似ている キャラクターパターンA = { , , , , } キャラクターパターンB = { , , , , } キャラクターパターンC = { , , , , }
- 55. クラスタリング結果：After 54 • 多様なキャラクターパターンを得ることができた – 似たものはグルーピングされたから • 具体的な特徴の定義はまだ人間がする必要がある キャラクターパターン（5体） エンデガ，ウンディーネ，アラク，ジークフリート，フギンとムニン アルキメデス，フレデリカ，ブリュンヒルデ，シーラーザード，ハロウィン・ナンディ ヴィクトリア，ジークフリート，アラク，オキクルミ，フェリタ＆プティ 蘭陵王，ブレスドソーディアン，キムン・カムイ，オキクルミ，アラク ローラン，アラク，ブレスドソーディアン，アラジン，フェリタ＆プティ フィニッシャー キャラ リーダー キャラ 回復 キャラ オーラ キャラ ※ 実際の分析結果ではなくイメージです
- 56. クラスタリング結果：After 55 • 多様なキャラクターパターンを得ることができた – 似たものはグルーピングされたから • 具体的な特徴の定義はまだ人間がする必要がある キャラクターパターン（5体） エンデガ，ウンディーネ，アラク，ジークフリート，フギンとムニン アルキメデス，フレデリカ，ブリュンヒルデ，シーラーザード，ハロウィン・ナンディ ヴィクトリア，ジークフリート，アラク，オキクルミ，フェリタ＆プティ 蘭陵王，ブレスドソーディアン，キムン・カムイ，オキクルミ，アラク ローラン，アラク，ブレスドソーディアン，アラジン，フェリタ＆プティ 蘭陵王リーダー ローランフィニッシュ 特殊ダメージ 回復 万能キャラクター ※ 実際の分析結果ではなくイメージです 色んなグループが 取れた！
- 57. 実際の活用例1：結果の可視化 • 継続的なモニタリングができる – バッチ集計による傾向チェックが容易 – 新規キャラクター追加に伴う環境変化のチェック 5612月 1月 2月 トレンドを一目 で確認できる 対戦使用率，デッキ編成率，勝率などのトレンド ※ 実際の分析結果ではなくイメージです
- 58. 実際の活用例2：変化点の検出 • 特殊な傾向を示したキャラクターパターンのキャッチ – 今まで見えなかった変化を可視化することで施策の振り返り における一つの判断軸になる – 例）前月から使用率が10％変化 57 ここで何かが起きた？ 12月 1月 2月 急上昇！ 急降下！ ※ 実際の分析結果ではなくイメージです
- 59. 実際の活用例3：パターン同士の対戦分析 • ゲーム内対戦の全容を把握できる – 勝率や対戦数を集計して偏りがないか確認し分析できる 58 先攻/後攻デッキ 定番キャラ 回復 特殊ダメージ 蘭陵王 ローラン 定番キャラ 50% 45％ 55% 50% 45％ 回復 60% 50% 40% 60% 95％ 特殊ダメージ 55% 40% 50% 45％ 45% 蘭陵王 20% 55% 50% 50% 55% ローラン 50% 90% 35% 70% 50% ※ 実際の分析結果ではなくイメージです キャラクターパターン同士の対戦表（勝率） 低いのはなぜ？ 対戦を分析しよう 特殊な戦術 が存在？
- 60. 実際の活用例4：同時使用キャラクターの発見 • 各パターンでどんなデッキが作られているか推測できる – 利用背景が明確になりデッキ環境の理解が進む 59※ 実際の分析結果ではなくイメージです 抽出したキャラクターパターン 一緒に使われやすいキャラクター達 アソシエーション 分析の結果を使用 大まかなデッキの 雰囲気がわかる
- 61. キャラクターパターン抽出：まとめ • クラスタリングを活用して実用的な結果を獲得できた – 単純な集計では似たパターンしか得られない – デッキで鍵となるキャラクターパターンを多様に抽出 • デッキ環境を効率的に把握できるようになった – デッキパターン毎の傾向を可視化できる – 異常な動きや変化点の素早い検出ができる – 対戦の全容を把握できる 60
- 62. （再掲）デッキ分析フロー 対戦 ログ 対戦デッキ抽出 アソシエーション分析 クラスタリング 61 デ ッ キ 分析したい条件 でデッキを抽出 後の分析で使用 キャラクターの 関係性を抽出 キャラクターパター ンも同時に抽出 似たキャラクターパ ターンのグルーピング 多様な結果の獲得
- 63. 講演の流れ 1. 概要 – 『逆転オセロニア』とは？ – デッキ分析に至った背景 – デッキ分析の目的とできること 2. 分析の詳細 – 全体の分析フロー – キャラクターの関係性の抽出 – デッキで鍵となるキャラクターの抽出 3. まとめ 62
- 64. 本講演のまとめ 63 アソシエーション分析を主軸としたデッキ分析を 運用効率化のユースケースを交えながらご紹介した キャラクター需要の可視化 • 様々な軸で使用方法を分析 したいから キャラクターパターンの抽出 • 複雑化してくると考慮漏れ が発生してくるから ルールの抽出 • 大規模データから関係性を 定量化できた クラスタリング活用で抽出 • 様々な種類の特徴的な パターンを可視化できた
- 65. ご紹介した活用事例 64 1. 意図した環境になっているか判断する分析方法 • キャラクターの組み合わせ，関係性，使用確率，… • 暗黙知を定量的に評価できる 2. デッキ環境全体の効率的な把握 • キャラクターパターンの勝率や編成率の動向を可視化できる • 異常や変化点を素早く検知できる ご紹介した分析手法は様々なアプリゲーム運用で役立つ可能性がある • 色んな角度からの分析ができて数値も解釈しやすい • デッキやパーティー編成のあるゲームには応用可能
- 66. 今後チャレンジしたいこと • ビッグデータと自然言語処理などの技術を用いたデッキコンセプト の自動タグ付け – “○○タイプ”のようなタグ付けも完全に機械化したい • ネットワーク解析を活用したキャラクターの繋がり分析 – 新キャラクターがどのキャラクターと使われそうか事前に把握したい – デッキ構築に影響を与えるカリスマ的キャラクターを発見したい • 分析以外のユースケースとしてのゲーム内機能の提供 65
- 67. ご清聴ありがとうございました