CEDEC2015_スマホゲーム開発を支えろ！〜汗と涙のQAエンジニアリング〜

Copyright © GREE, Inc. All Rights Reserved.Copyright © GREE, Inc. All Rights Reserved.
スマホゲーム開発を支えろ！

~汗と涙のQAエンジニアリング~

 
2015.8.27 CEDEC2015
グリー株式会社 Quality Assurance部 
西脇春名佐藤将高

Copyright © GREE, Inc. All Rights Reserved.
本日の内容について
2
写真撮影可
• 資料はあとで公開します
• シャッター音など、周囲の方にご配慮下さい
講演内容のSNS投稿可
• ハッシュタグは #CEDEC2015

講演者プロフィール
佐藤将高 (@ma3tk)
出身: 福島県福島市
誕生: 1987年2月生まれ 28歳
ニックネーム: まさたん
略歴
2013年3月東京大学大学院情報理工学研究科卒業
2013年4月グリー株式会社入社 / SNSチーム / FE エンジニア
2014年2月 AIPチーム / フルスタックエンジニア
2015年2月 QA&LQAチーム / QAエンジニア
興味のあること
LAMP、TypeScript、JavaScript、Cocos2d-x、UI/UX
トレーニング、カラオケ、ボルダリング、ドライブ、ブログ執筆 3

講演者プロフィール
西脇春名(@haruna_nishi)
略歴
2013年4月グリー株式会社入社
プラットフォーム部 / サーバーサイドエンジニア
2014年9月 QA&LQAチーム / QAエンジニア
!
興味のあること
ムー的なもの
4

 
私たちはゲームの品質向上のために働く
QAエンジニアです 
5

アジェンダ
概要
QAの始まり
QAチームの
現在まで
新規プロダクト
対応
まとめ
私たちが考える
QAエンジニアリングとは
QAエンジニアと
開発エンジニアの違い
QAチームの始まり
新規プロダクトに
携わった際の汗と涙
課題とその解決
QAエンジニアが
取り組んできたこと
以前の開発状況と
現在の違い
本日のまとめ
6

私たちの考える
7

プロダクト開発の
生産性と品質向上に対し 
技術面から貢献すること
8

一般的に
9

10
QAエンジニアリング
テスト計画
テスト設計
単体テスト
テスト実行
CI環境構築
インスペクションコードレビュー
ウォークスルー
静的コード解析
脆弱性診断
ロードテスト
ストレステスト
レポート
マニュアルテスト
デバッグ

11
現場によって
QAエンジニアリングの定義が違う

12
つまり、現場によって
QAエンジニアの役割が違う
私たちが考える
QAエンジニアとゲーム開発エンジニアの
違いは？

QAエンジニアと開発エンジニアの違い
13
QAエンジニア
✦ 技術面からの品質向上
✦ エンジニアリングによる 
QAの効率化 
(マニュアルテストの自動化など)
ゲーム開発エンジニア
✦ ゲームコア機能の開発に専念
✦ 最低限のユニットテストを実施

14
QAエンジニア
QAの効率化 

15
「QAエンジニアのあり方」
それぞれの領域を明確にすることで 
お互いが担当分野に集中できる
QAエンジニア
QAの効率化 

QAチームの軌跡
16
初期 QAチーム発足

17
初期
∼現在
QAチーム発足
Case1
天と大地と
女神の魔法
Case2
パズクエ
Case3
LINE
タワーライジング

18
初期
∼現在
現在∼
QAチーム発足
Case1
天と大地と
女神の魔法
Case2
パズクエ
Case3
LINE
タワーライジング
新規プロダクト対応

19
初期
∼現在
現在∼
QAチーム発足
はじまりは2人

!
!
2013年 QAチーム誕生
(QAテスター1人、 QAエンジニアは1人)
20

現在のQAチーム
21

現在のQAチーム
22…QAエンジニア

 
!
ネイティブゲーム開発を全社的に行う最中に

ネイティブゲームの品質保証も始まった

23

24
Case1
天と大地と女神の魔法
QAエンジニアが2人だった頃
初期
∼現在
現在∼

天と大地と女神の魔法
25
• 4人マルチプレイリアルタイムストラテジー
• 開発期間1年以上ピーク時30人程の大規模開発

天と大地と女神の魔法のQA体制
26
(注1) ここでは、探索的テストや回帰テスト等をアジャイル開発の短い開発サイクルに合
わせて日々繰り返すテストと定義。
QAはQAテスターとエンジニア2人で担当
• アジャイルテスト(注1)
• リアルタイムサーバーの負荷テスト

27
天と大地と女神の魔法での汗と涙
前例がなく人によりQAエンジニアに期待するものが違う
• 単体テストを書くことを期待している人
• 面白さに対してのFBを期待している人

28
QAの人手もそもそも足りなかった
• エンジニアリングしている場合ではなかった
• テスト自動化や静的コード解析も本当はやりたかった

29
事実: 開発後半の段階で参加した、初QAだった

30
事実: 開発後半の段階で参加した、初QAだった
結果的に開発スピードを下げないように
QAテスターとして働いた…(涙)

天と大地と女神の魔法での課題と解決策
31
早期に対応しておけば解決できた
問題が多数あり結果として
QAを効率化できなかった
Problem
開発の早い段階でチームに入れば 
エンジニアリングで解決できるのでは？
Try

32
!
Case2
パズクエ
少しづつ体制が整ってきた頃、だが…
初期
∼現在
現在∼

パズクエ
33
• パズルタワーディフェンスRPG

パズクエでのQA体制
34
QAチームは開発中期に開発チームに参加
• Case1のProblemを踏まえて早い段階で参加
• QAテスター1人、QAエンジニア1人
• 脆弱性診断の際のセキュリティ部との窓口
• 実機上テストの自動化にも取り組みはじめた

35
パズクエでの汗と涙
途中でQAテスターがゲームプランナーに異動
• 結果としてQAエンジニアがテスト実施も担当
• テスト実施で手一杯
• 工数不足で自動化によるQAの効率化ができなかった

36
最終的にQAエンジニアとしての動きができなかった
• そもそもQAエンジニアとしてどう動くべきかも模索
• テスト自動化などによる品質向上ができなかった
• せいぜい数行の簡単なバグ修正をするレベル

37
最終的にQAエンジニアとしての動きができなかった
• そもそもQAエンジニアとしてどう動くべきかも模索
• テスト自動化などによる品質向上ができなかった
• せいぜい数行の簡単なバグ修正をするレベル
またしても人不足！(涙)

パズクエでの課題と解決策
38
自動化が頓挫したことで
反復作業も人の手で行うことに
Problem
QAエンジニアが技術面に
集中できる環境を作れば 
QAを効率化できるのでは？
Try

39
Case3
LINE タワーライジング
少しづつ体制が整ってきた頃
初期
∼現在
現在∼

LINE タワーライジング
40

LINE タワーライジングでのQA体制
41
パズクエ同様開発中期にチームに参加
• QAテスター2人、QAエンジニア1人
テスターを増やしリソース不足は解消された
• 仕様書、テストケースもしっかり作成・整理
• テスト/デバッグ/運用を支援するツールが充実
• 一時的にデータを書き換える機能
• ツール操作権限の管理機能

42
LINE タワーライジングでの汗と涙
QAエンジニアは開発チーム内に常駐せず、都度対応
• 依頼があればやる、というスタンスになっていた
• QA効率化には貢献したが自動化周りで貢献できず

43
ツールの新機能を開発してもなかなかレビューされない
• 大小関わらず機能はたくさん開発していた
• しかしその機能は取り込まれず改善できない
• 「もう少し前にその機能あれば便利でしたね」

44
ツールの新機能を開発してもなかなかレビューされない
• 大小関わらず機能はたくさん開発していた
• しかしその機能は取り込まれず改善できない
• 「もう少し前にその機能あれば便利でしたね」
もっと開発チームの近くに寄り添って
需要を汲み取れていれば…!!(涙)

LINE タワーライジングでの課題と解決策
45
チームに常駐していなかったため
ニーズが合わず貢献できなかった
Problem
開発チームの一員として参画すれば 
さらに品質向上に貢献し
需要に合った内容を提供できるのでは？
Try

46
ここまでのまとめ

QAチームが直面した3つの大きな課題
47
人
十分な数のテスターを確保できず
QAエンジニアとして動けない
関わり方
参画時期が遅く
品質の担保が難しい
チームに常駐していないため
改善スピードが遅い/ニーズに合わない

48
人
十分な数のテスターを確保できず
QAエンジニアとして動けない
関わり方
参画時期が遅く
品質の担保が難しい
チームに常駐していないため
改善スピードが遅い/ニーズに合わない

QAチームの問題とその解決状況
人関わり方
テスターテスター
(本当はエンジニア)
テスターテスター
(本当はエンジニア)
テスターテスターエンジニア
テスターテスターエンジニア
参画が遅かった
○参画は中期から
参画は中期だが 
常駐していない
◎初期から常駐して
信頼関係強化/需要把握
Case1
Case2
Case3
新規
プロダクト
49
不
足
不
足
解
消
解
消
問
題
解
消
問
題
解
消

50
人
十分な数のテスターを確保したので
QAエンジニアとして動ける
関わり方
開発初期からチームに参画
チームに常駐

51
人
十分な数のテスターを確保したので
QAエンジニアとして動ける
関わり方
開発初期からチームに参画
チームに常駐
ということは…

52
やっと
QAエンジニアとして
動ける環境が
整ったぞー！(涙)

53
新規開発プロダクト対応
現在∼将来
初期
∼現在
現在∼

新規開発プロダクト対応
54
プ
ロ
ト
タ
イ
プ
α β
ク
ロ
!
ズ
ド
βー
リ
リ
!
ス
ー
開発マイルストーン例
本開発チームに参加
• 現在QAエンジニアが在籍しているプロダクトは全て 
新規開発プロダクト
• 開発初期段階（α開発）から参加

新規開発プロダクトのQAチーム体制
55
現在は全員チームに入ってQAしている
• 各チームのやり方に合わせて品質を高めている
CI環境構築、保守、運用には課題がある
• 今までは開発エンジニアが行っていた
• メンテコストがかかっていた
• QAエンジニアが担当することで
チームはゲーム開発に集中できるようになる

QAエンジニアの存在でどう変わるのか
56
QAエンジニアが不在時の 
開発エンジニアの動きの例
ゲーム開発
テスト自動化
ゲーム開発
ゲーム開発
デバッグツール開発
過去

57
ゲーム開発
テスト自動化
ゲーム開発
ゲーム開発
過去
ゲーム開発に
直結しない
おろそかに
されやすい

58
ゲーム開発
テスト自動化
ゲーム開発
ゲーム開発
過去
ゲーム開発に
直結しない
おろそかに
されやすい
ゲーム開発が遅れがちになり、
品質も担保しにくくなる！

59
ゲーム開発
テスト自動化
ゲーム開発
ゲーム開発
現在
QAエンジニアが常駐しているチームの

60
ゲーム開発
テスト自動化
ゲーム開発
ゲーム開発
現在
QAエンジニア
が対応
QAエンジニア
が対応
QAエンジニアが常駐しているチームの

61
ゲーム開発
ゲーム開発
ゲーム開発
現在 QAエンジニアが常駐しているチームの例
開発エンジニア
テスト自動化
QAエンジニア
テスト自動化

62
ゲーム開発
ゲーム開発
ゲーム開発
現在
テスト自動化
ゲーム開発に
専念しやすくなる
QAエンジニアが常駐しているチームの例
開発エンジニア QAエンジニア

63
ゲーム開発
ゲーム開発
ゲーム開発
現在
テスト自動化
QA効率化や品質担保ができ 
ナレッジを貯蓄することで
横展開/リソース調整もしやすくなる
ゲーム開発に
専念しやすくなる
QAエンジニアが常駐しているチームの例
開発エンジニア QAエンジニア

QAエンジニアとしての成果
64
成果物
Case1
Case2
Case3
新規
プロダクト
チーム全体
QAエンジニアの動ける土台
QAエンジニアなりの課題抽出
開発管理者ツール
デバッグツール、CI環境構築など
品質指標の可視化

QAエンジニアとしての成果
65
成果物
Case1
Case2
Case3
新規
プロダクト
チーム全体
QAエンジニアの動ける土台
QAエンジニアなりの課題抽出
開発管理者ツール
デバッグツール、CI環境構築など
品質指標の可視化

対応例1 CI環境構築とUnity UnitTest実機上単体テスト
66
UniUnitTest (注1)
• シーンを再生して
単体テストを実行
• CLIからUnityの
バッチモードで実行可能
• 実機上でも
単体テストが可能
(注1) こちらでOSSとして公開中：https://github.com/gree/UniUnitTest

対応例2 プロダクト横断で品質指標を可視化
67
アプリクラッシュレポート
• アプリのクラッシュ数を
Webで一覧に
• 日々数値を追うことで
品質が落ちていないかを確認
• 今後はクラッシュ以外にも
バグトラッキングなども
行えるよう拡張予定 ※グラフはサンプルです

68
今後の展望と
本日のまとめ

今後の展望
69
QA効率化、品質向上にさらに貢献していく
• デバッグツール開発
• 負荷テストの巻き取り
• 静的コード解析の実施
• 品質指標可視化の拡充
• 多端末テストの自動化
…
取り組みたい活動が多数ある状況です

本日のまとめ
70
QAエンジニアがQAに加入するも汗と涙が続いた
• 開発初期からチームに参加することで解決
• チームに常駐することで解決 

解決後、QAエンジニアとして様々な取り組みを開始
• CI環境構築
• デバッグツール開発
• 品質指標可視化

開発/QAエンジニアの担当領域が明確になりメリットを享受
• 開発エンジニアはゲーム開発に集中
• QAエンジニアは品質向上とQA効率化に貢献

71
QAエンジニアの 
あり方とは

プロダクト開発の
生産性と品質向上に対し 
技術面から貢献すること
72

CEDEC2015_スマホゲーム開発を支えろ！〜汗と涙のQAエンジニアリング〜

CEDEC2015_スマホゲーム開発を支えろ！〜汗と涙のQAエンジニアリング〜

Recommended

More Related Content

What's hot

What's hot(20)

Similar to CEDEC2015_スマホゲーム開発を支えろ！〜汗と涙のQAエンジニアリング〜

Similar to CEDEC2015_スマホゲーム開発を支えろ！〜汗と涙のQAエンジニアリング〜(20)

More from gree_tech

More from gree_tech(20)

Recently uploaded

Recently uploaded(6)

CEDEC2015_スマホゲーム開発を支えろ！〜汗と涙のQAエンジニアリング〜