大規模ゲーム開発における build 高速化と安定化

大規模ゲーム開発における build 高速化と安定化

• 1.
  大規模ゲーム開発における build 高速化と安定化 ゲーム・エンターテインメント事業本部Japanリージョンゲーム事業部 田辺 哲(Tanabe Satoru) DeNA TechCon 2018
• 2.
  自己紹介 • 田辺 哲(Satoru Tanabe) • プロフィール • 前職は SIer で金融系システム開発に従事 • 2011 年に DeNA に入社し 、ngCore 立ち上げプロジェクトへの参画を経て、 Mobage Platform などの開発に従事。 • 現在は Unity で内製 3Dアクションバトルの開発に携わり、アクションバト ルの開発からバックエンドシステムの最適化まで幅広く取り組んでいる 1
• 3.
  アジェンダ • 大規模・複雑化するスマートフォンゲーム開発の課題 • Buildを高速化して課題を解決 (Unity・Jenkins) • サーバレスアーキテクチャが主流の中で、最適なデータマイグ レーションを • 大規模開発に適した git ワークフロー 2
• 4.
  大規模・複雑化する スマートフォンゲーム開発の課題 3
• 5.
  大規模・複雑化するスマートフォンゲーム開発の課題 • ライトからコアユーザーも遊べる複雑なゲームスキーム • グラフィックスも2D から 3D へより高品質へ • 複数の Game イベントを週替わりでリリース 4 コンテンツ・ Asset 大容量化 Build 時間が 膨大 毎日QAを 回せない 品質が悪い ↓ お客様に満足して ゲームをPlay してもらえない
• 6.
  Build 高速化は非常に価値がある 5
• 7.
  Build を高速化して課題を解決 6 次のようなアプローチで高速化した 1. Unityプロジェクトのリポジトリをキャッシュ 2. AssetBundle の差分 Build 3. 分散・並列 Build 4. その他 • スペックが高いマシンで build しているか • 対象ノードでウィルススキャンが実行されていないか 2、3 について Unity・Jenkins を中心に 実践を交えて紹介したい
• 8.
  最大のボトルネックは Unity AssetBundleBuild 差分 build で高速化しよう 7
• 9.
  Unity AssetBundle Build高速化方法 8 1. 一度 build した AssetBundle ファイル(.unity3d)と、同時に 生成される Manifest ファイルを git で管理する • e.g) foo_asset.unity3d foo_asset.unity3d.manifest • Unity 側で、Manifest ファイルを見て高速化してくれるため 2. Asset は更新すべきファイルだけ、差分で build する • UnityEditor.BuildPipeline.BuildAssetBundles() を Call するとコストが掛かる。AssetBundle 対象となる フォルダ単位で実ファイルのハッシュ値を計算し、更新すべきファイルだけ差分で build すべき 3. しかし、フォルダの差分を検出するのは単純ではない • → フォルダに含まれる Asset が、別のフォルダの共有 Asset に依存しているから 4. 共有 Asset も含めフォルダの差分を検出するにはどうすればよ いか、がポイントになる
• 10.
  EditorUtility.CollectDependencies() 使う事で、 共有 Assetも含めフォルダの差分を検出できる (Unity 公式 API) Unity AssetBundle で差分 Build する方法 9 ※ サンプルコード https://goo.gl/iJLBkH Asset が依存する全ての Asset ファイル フォルダ内の全ての実ファイル ハッシュ値が計算出来る AssetBundle 対象フォルダ配下の各種 Asset
• 11.
  Unity AssetBundle Build高速化の効果 No 処理内容 概算所要 時間(秒) 1 Full build 145 2 unity3d / unity3d.manifest ファイルを git 管理して再利用 54 3 AssetBundle 対象フォルダ単位でハッシュ値を計算し差分 build ※ハッシュ値は git 管理 7 4 No3 を 4 プロセスで並列実行 3 10 検証用の Asset (約 1900 ファイル) を使い、60 ファイルの AssetBundle build (unity3d を生成) を生成した際の効果測定 • Asset 一式 は実キャラクタを利用し、Prefab / Texture / FBX / ScriptableObject / Material / Animation 等が 含まれる • 測定PC ： Unity5.4.5 / Mac OSX / CPU:4GHz Intel Core i7 / メモリ 16GB / フラッシュストレージ 500GB • 前提として効果測定中 Asset に変更が無いものとする
• 12.
  Jenkins を活用した分散・並列 Build 11
• 13.
  Jenkins Master/Slave 全体構成 12 膨大な時間 が掛かるの で分散させる 時間が掛か る上、並列 実行すると 不整合が 開発A 開発B 開発C開発D
• 14.
  Jenkins - Platform毎に分散 Build 13 • Build Flow Plugin の parallel ブロックを使う事でノード毎に分 散・並列実行できる • 実行ノードの制御は NodeLabel Parameter Plugin を利用 • 下記は Job1 / Job2 を分散・並列 build しつつ完了を待ち合わせる例 • また、Node毎に同じJOBは同時に1つだけ実行するようにしたい 場合は、Throttle Concurrent Builds Plugin が使える • ノード毎に並列実行したいが、 同一JOBは同時に一つだけ実行 するように制御
• 15.
  Jenkins – 同一開発branch で排他制御 ① 14 • Master を扱う処理は、同一開発 branch で安易に分散・並列 build すると不整合が起きる • 開発ブランチ単位で排他制御しつつ並列実行、高速化が必要 • Groovy でコードを書いて排他制御できる
• 16.
  Jenkins – 同一 branchで排他制御 ② 15 実行中のJOBのパラメー タを確認して wait する ※ サンプルコード https://goo.gl/Ykw1jW
• 17.
  16 → データマイグレーションの最適化・徹底した自動化が必要 DeNA のゲーム開発はSakasho を使い サーバレスアーキテクチャが主流に
• 18.
  ４つのフェーズ でマイグレー ションを最適化、 自動化を徹底 17 手動で Merge、 コンフリクト解消 も大変 「マージ祭り」JOB導入 merge 作業を自動化、 人為的なコンフリクト 以外は自動的に解消 手動でデータ更新 不整合が起きる データMigration を徹底して自動化 (Gacha / Inventories / Achievement / Ranking/ LoginBonus....)
• 19.
  18 1. パラメータを設定する だけで使い回せるよう 共通化 2. コケたJOB から容易 に再実行（時にはス キップしたいJOB も ある） 3. cron で時間起動する マイグレーションを自動化する JOB インターフェース
• 20.
  大規模開発に適した git ワークフロー 19
• 21.
  大規模開発に適した git ワークフロー 1.エンジニア以外も全員 git を使う 2. エンジニアを介さずに、pull request を merge 出来るまで ワークフローを熟考する • 危険なデータが merge されない仕組みを考え抜く • Texture / Animation / FBX / 各種定義ファイル… 全ての Asset は Import する際に、チェックして所定の場所に配置 • キャラクタ、Map、クエスト などもパラメータから自動生成 • Master は Jenkins JOB でスプレッドシートから、自動pull request 3. 事故が起きたら、エンジニアが責任を持って振り返る覚悟でやる 20
• 22.
  まとめ • 大規模化するスマートフォンゲーム開発・運用も、絶えず 改善する事で安定化できる。 • 様々な改善策は毎日考え続けることで、ある日パッと良い 案が降ってくる。粘り強さが必要。 •スマートフォンゲームはまだまだ大規模化する。お客様へ さらなる Delight を届けるために、我々は走り続けなけれ ばならない。 21