Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

DeNA QA Night#2 Game QA part

2,713 views

Published on

DeNA QA Night #2の ゲームQAパートの資料です。

Published in: Engineering
  • Be the first to comment

  • Be the first to like this

DeNA QA Night#2 Game QA part

  1. 1. © DeNA Co., Ltd. DeNAゲームQA の 上流工程での品質改善 への取り組み DeNA QA Night #2 2019年3月6日(水) 山本 幸寛 システム本部 品質管理部 株式会社 ディー・エヌ・エー © DeNA Co., Ltd.
  2. 2. © DeNA Co., Ltd. 発表の概要 ■ ゲームQAで下記問題を抱えるタイトルがあった ⁃ 不具合が多発 ⁃ 開発、QA共にコストが増加 ■ 何故問題を抱えていたか ⁃ 並行での開発対応で、開発側リソース不足により 開発成果物のセルフレビューも実施できていなかった • ※開発成果物 = 仕様書、各種データ ■ 問題に対して何を行ったか ⁃ QAメンバーが開発に入り込み、検証が開始される前に 開発成果物のレビューを実施した ■ 上記対応を行った結果、一定の効果を確認できたため、 レビューの具体的な方法について、今回紹介させて頂きます 2
  3. 3. © DeNA Co., Ltd. 目次 ■ 背景 ■ 施策紹介 ■ 結果 ■ まとめ 3
  4. 4. © DeNA Co., Ltd. 目次 ■ 背景 ⁃ タイトルの状況 ⁃ 運用開発の流れ ⁃ 発生した不具合事例 ■ 施策紹介 ■ 結果 ■ まとめ 4
  5. 5. © DeNA Co., Ltd. タイトルの状況 ■ タイトルについて ⁃ スマートフォンのゲームアプリで運用中のタイトル  運用タイトルの開発について ⁃ ゲームにキャラクター・アイテム・ガチャ等のコンテンツを追加、 そのコンテンツを使用しイベントとして運用している • ガチャとは、ユーザーが課金やゲーム内通貨などを使用して、 抽選でゲーム内で使用できるキャラクターやアイテムを獲得できるシステム ⁃ 並行開発 • 1か月に多い時で8本のイベントが開催、開発1人1人が複数イベントを担当 • リアルイベントと連動していたりするので、リリースをずらす事は難しい 5 ハロウィン イベント開発 開発1名で並行対応 クリスマス イベント開発 お正月 イベント開発開発者
  6. 6. © DeNA Co., Ltd. タイトルの状況 ■ ゲーム内でクリスマスイベントを開催すると仮定して、 この先の説明を進めます ⁃ クリスマスイベントで制作するコンテンツ • クリスマス仕様の追加キャラクター • クリスマス仕様の衣装 • クリスマス仕様の衣装や追加キャラクターが獲得できるガチャ • クリスマス仕様のアイテム • クリスマス仕様のイベントクエスト 6
  7. 7. © DeNA Co., Ltd. 運用開発の流れ  開発:仕様書作成 ⁃ クリスマスの時期に、キャラクター、アイテム、 それを獲得できるガチャ、クリスマス用クエストの追加 • 上記内容を実施するために必要な情報を記載 7 ■イベント名 クリスマスイベント ■開催期間 2019/12/24 00:00 ~ 2019/12/25 23:59 ■追加キャラ 名前:サンタレディ 年齢:?? 性別:女 ■追加衣装 名前:サンタ衣装 効果:防御力50アップ ■追加アイテム 名前:クリスマスプレゼント 効果:HP50回復 ■追加ガチャ 名前:クリスマスガチャ ■追加クエスト 名前:クリスマスクエスト 追加する数:3
  8. 8. © DeNA Co., Ltd. 運用開発の流れ  開発:運用データの作成 ⁃ 仕様書を元に、スプレッドシートで管理された各データに 数値等の情報を記載 8 新規/既存 名前 年齢 性別 新規 サンタレディ ?? 女 既存 ナオキ 36 男 新規/既存 名前 説明文 効果 新規 サンタ衣装 装備すると見た目が変わる 防御力50アップ キャラクター アイテム
  9. 9. © DeNA Co., Ltd. 運用開発の流れ ■ 開発:作成されたデータをサーバーにアップ ⁃ QA:アップされたデータを実機を使ってダウンロードし、検証実施 ■ 開発:検証時に報告された不具合の修正対応 ⁃ 開発1人で並行して複数のイベント開発を行っているので、 不具合対応が多発すると、次イベントの開発に影響が出る • 並行での対応で開発側はタスクオーバーになりがちなので 前イベントから仕様書やデータをいったんコピペしての対応が増えている ⁃ 上記の結果… 9
  10. 10. © DeNA Co., Ltd. 発生した不具合事例 ■ 下記のような不具合が多発 ■ 上記のような不具合が多発したため、 開発側もQA側も対応コストが増加していった ■ 上記問題が発生していたが、開発だけで解決は困難な状況となっており、 QA側でも解決策を模索していた 10 不具合例② クリスマスなのに獲得アイテムが、 ハロウィンのかぼちゃランタンだった 前回からの書き換え漏れ 不具合例① 仕様書に記載された開催期間が 2019年ではなく、2018年になっている 前回からの書き換え漏れ
  11. 11. © DeNA Co., Ltd. 目次 ■ 背景 ■ 施策紹介 ⁃ 施策 ⁃ 施策の詳細 ⁃ インクリメンタルレビュー実施 ■ 結果 ■ まとめ 11
  12. 12. © DeNA Co., Ltd. 施策  問題発生の原因 ⁃ 開発側リソース不足による開発側でのレビュー未実施 ⁃ 開発成果物にケアレスミスが多く、結果検証期間での不具合が増加し 開発リソース不足でレビューができず、悪循環に陥っている  施策 ⁃ QAメンバーが開発に入り込んで、開発成果物のレビューを実施 • 仕様書、データの欠陥が減ることにより、検証コストの削減を期待できる ■ 前提 ⁃ 開発期間が短い • 1か月に多い時で8本のイベントが開催され、それぞれの開発期間が短い • リアルイベントとも連動していたりするので、リリースもずらせない ⁃ 不具合が多発している • 結果、開発成果物が完成してからのレビューでは、 レビューする期間が足りない & レビュー指摘箇所の修正期間が足りない 12
  13. 13. © DeNA Co., Ltd. 施策の詳細  インクリメンタルなレビューを実施  インクリメンタルなレビューとは ⁃ 全体が出来る前の、一部でも出来た時点からレビューを実施 仕様書の例 13 レビュー レビュー レビュー ■仕様書 ・開催期間 ・イベント全体概要 ・イベント内 コンテンツ概要 ・イベント内 コンテンツ詳細 ■仕様書 ・開催期間 ・イベント全体概要 ・イベント内 コンテンツ概要 ■仕様書 ・開催期間 ・イベント全体概要
  14. 14. © DeNA Co., Ltd. 施策の詳細  実施タイミング ⁃ 仕様書 • イベント全体の概要が出来たタイミング ⁃ データ • 複数あるデータのうち、なにか1つでも作成完了したタイミング  実施方法 ⁃ レビューするメンバーについて • メインレビュアー1名。全体の管理、レビューフォローで1名。合計2名。 ⁃ レビュー対応について • 仕様書とデータに応じた項目書を用意し、項目書にそってレビューを実施 14 項目書 仕様書 ・記述の不整合がないか ・開発ルールとの不整合がないか ・必要情報の記載が明確か ・現在の機能で実現可能か 等々… データ ・仕様書とデータの不整合がないか ・開発ルールとの不整合がないか ・明らかに不自然なデータが無いか 例)Lv1とLv20を比較した際に Lv20の方がパラメータが低い 等々…
  15. 15. © DeNA Co., Ltd. インクリメンタルレビュー実施 ■ 具体的なレビューの流れについて ⁃ イベント全体の概要や、開催期間が作成される • 影響範囲の大きい開催期間に問題が無いかを確認する ⁃ 全体に影響する部分を早期に確認し、 問題があれば指摘する事で開発に学習を促す • 例えば、開催期間に誤りがあれば、早期に指摘しておくことによって 以降指摘する事なく、開催期間は問題ない状態で作成される ⁃ 少ない指摘で効率よく不具合の発生を防ぐ事が出来る ⁃ 手戻りや仕様変更が入った場合、 後工程になればなるほど工数負担が増加する ⁃ インクリメンタルなレビューを実施し、早期に確認指摘する事で なるべく手戻りや仕様変更が発生した際の負担を軽減させる 15
  16. 16. © DeNA Co., Ltd. インクリメンタルレビュー実施 ■ 具体的なレビューの流れについて ⁃ イベント内コンテンツである追加アイテム、追加キャラ、 追加ガチャの概要が記載される • 追加されるキャラやアイテムの入手方法と、獲得先が一致しているかを確認 • ガチャやアイテムの期間は、既に指摘していれば、 このタイミングで指摘せずとも、正しい状態で記載されてくる 16
  17. 17. © DeNA Co., Ltd. インクリメンタルレビュー実施 ■ 具体的なレビューの流れについて ⁃ イベント内コンテンツであるクエストの詳細が記載される ⁃ クエスト数が一致しているか、獲得アイテムが一致しているか等を確認 ⁃ クエスト詳細部分の期間についても、既に指摘していれば、 このタイミングでは指摘せずとも、正しい状態で記載されてくる 17
  18. 18. © DeNA Co., Ltd. インクリメンタルレビュー実施 ■ 不具合事例に対して ※仕様書レビュー時に対応可能 ※データレビュー時に対応可能 ■ インクリメンタルレビューの利点 ⁃ 早期指摘により開発に学習を促せる ⁃ 早期指摘により、仕様変更が発生した場合の負担を軽減 ⁃ 特定のタイミングでの工数負荷の分散 ⁃ 開発のレビュー対応負荷の分散 ⁃ レビュー報告は平均40件。1日10件の4日で合計40件なら対応は可能 しかし、1日で一気に40件の対応は困難、最悪スケジュールが遅延する ⁃ レビュアーへの業務集中や、レビューが無い場合の待機時間の解消 ⁃ 少ない人員で効率よくレビュー業務を行うことが可能になる 18 不具合例② クリスマスなのに獲得アイテムが、 ハロウィンのかぼちゃランタンだった 前回からの書き換え漏れ 不具合例① 仕様書に記載された開催期間が 2019年ではなく、2018年になっている 前回からの書き換え漏れ
  19. 19. © DeNA Co., Ltd. 目次 ■ 背景 ■ 施策紹介 ■ 結果 ⁃ 結果の詳細 ■ まとめ 19
  20. 20. © DeNA Co., Ltd. 結果の詳細  検証期間に報告される不具合の約53%を削減 ⁃ 実施前にBTSとして使用しているJIRAの不具合種別のうち、 下記3つが不具合の大半を占めている為、フォーカスしていた • 仕様書記載ミス、データ記載ミス、検証期間中に仕様質問を行い 仕様通りとなった仕様通り(仕様質問はレビューで先行確認可能なため) ⁃ レビュー実施後、全体的に削減出来たが、削減できた件数が特に多かったのは フォーカスした不具合種別の不具合だった 20 不具合種別 起票数 レビュー実施前 起票数 レビュー実施後 起票数削減率 ★仕様書記載ミス 41 21 49% ★データ記載ミス 28 15 46% ★仕様通り 12 4 67% その他 11 3 73% 合計 92 43 53%
  21. 21. © DeNA Co., Ltd. 結果の詳細 ■ 不具合削減により、約4人日のQA側の工数削減 ⁃ レビュー対応前と対応後の起票数で比較 • 対応前 ⁃ 92件(対応前の起票数)×40分(起票+修正確認時間)=3680min • 対応後 ⁃ 43件(対応後の起票数)×40分(起票+修正確認時間)=1720min • 対応前と対応後の差分 ⁃ 1960min(32h)=約4人日 • 更なる期待効果 ⁃ 多い時で1か月に8イベント走るため、それぞれで効果が出せると イベントボリュームにもよるが、約28~30人日の工数削減を期待できる  検証時の不具合起票数と不具合対応工数を削減できた ⁃ これにより当初の問題である下記に対して一定効果があったと判断 • 不具合が多発している問題と、 開発側とQA側共に不具合対応コストが増加している問題 21
  22. 22. © DeNA Co., Ltd. 目次 ■ 背景 ■ 施策紹介 ■ 結果 ■ まとめ 22
  23. 23. © DeNA Co., Ltd. まとめ ■ 発生していた問題点 ⁃ 開発側リソース不足による開発側でのレビュー未実施の影響で 不具合が多発し、不具合対応コストが、開発、QA共に増加 ■ 施策 ⁃ QAメンバーが開発に入り込んで、開発成果物に対して インクリメンタルなレビューを実施 ■ 結果 ⁃ 取り組みによる下記効果を確認できた • 検証期間で報告される不具合数が約53%削減 • 不具合削減により、約4人日のQA側の工数を削減 • 1か月の全てのイベントに対応できれば更なる削減効果を見込める 23
  24. 24. © DeNA Co., Ltd. まとめ ■ 今後の展望について ⁃ 運用タイトルだけでなく新規リリースタイトルへの対応 ⁃ 現在1タイトルのみなので、対応タイトルの増加 ⁃ インクリメンタルなレビューについて • 検証期間で報告される、仕様書やデータのミス、仕様通りの不具合で、 レビュー時に指摘出来ていないものがある • 検証時に報告される不具合を収集し、原因を分析し、 原因に応じて項目をレビュー用の項目書に反映していく 24
  25. 25. © DeNA Co., Ltd. ご清聴ありがとうございました 25

×