テスト管理ツール「CAT」
ゲームQAでの活用
GTMF 2016 TOKYO
2016/7/15
1
SHIFTについて
2
会社概要
SHIFTは、ソフトウェアの「品質保証」を支援する会社
社名 株式会社SHIFT
業務内容 ソフトウェアの品質保証支援、ソフトウェアテスト事業
設立 2005年9月7日
上場市場 東証マザーズ (証券コード:3697)※2014年11月上場
従業員数 (単体)906名 (連結)1,078名 ※契約社員含む(2016年2月末時点)
代表者 代表取締役社長 丹下 大 (Masaru Tange)
所在地
【本社&東京TC】東京都港区麻布台2-4-5 メソニック39MTビル
【札幌TC】北海道札幌市中央区北1条西3丁目3 札幌プラザビル
【福岡TC】福岡県福岡市中央区天神1-15-6 綾杉ビル
関係会社
SHIFT INDIA PRIVATE LIMITED(インド国 子会社)
SHIFT GLOBAL PTE LTD(シンガポール国 子会社)
株式会社SHIFT PLUS(日本 子会社)
株式会社リベロ・プロジェクト(日本 子会社)
SHIFT ASIA CO., LTD (ベトナム国 子会社)
株式会社SHIFT SECURITY(東京都港区 子会社)
株式会社アイ・イー・テック(日本 関連会社)
※TC・・・テストセンター
3
従業員数
4
強み(サマリー)
5
自己紹介
宮下 創
(みやした はじめ)
10年間コンシューマーゲームQAに従事。
2016年株式会社SHIFTに入社。
コンシューマーゲームQAサービスの立ち上げに
参画。
株式会社SHIFT
ソフトウェアテスト事業本部
テストエンジニアリング部
Game Section コンシューマーゲーム担
当
6
ゲームQA 現場での課題
7
QA自体の品質が測りにくい
プロジェクトに対して適切な手が打てない
QAフェー
ズ
… … … …
QAパフォーマンス
デバッグ状況
検出不具合の見通し
ケースも消化してる
バグも出てる
でもこれって適切な数字なの??
進みが悪いから人を増やそう
でもちゃんとデバッグ出来てるのか
な?
初動はうまく進んでるけど
このからどの程度バグがでるんだろ
う?
8
運用で使用するツールがバラバラ!
BTS
Excelチェックシー
ト
Web進捗管理メンバー リーダー
チェックシートの進
捗に対してバグの検
出は…
入力と分析に大幅なコストがかかっている
チェックシートにも発生
バグの
ログを残して、
進捗計算してWebに反映
…
9
分析のためのデータ集計が大変!!
残バグ数
推移
予定工数
に対する
進捗率
修正対応
バグ数
もともとデータを取っていなかったという事態も…
実施項目とスケジュール消化
はこのエクセルで対応しよう。
そこにバグトラックとWeb進
捗のデータを加えて…
欲しい情報が
すぐに出せない
リーダー
QAマネー
ジャー
10
担当レベルによって意識しているところが違う!
最終的な報告を行うまで共有ができていない
・バグ検出
・ケース消化
・改修確認
…
・チェック進捗
・アサイン
・作業割り振り
・各種精査
…
・スケジュール
・開発状況
・予実管理
・予算
・全体工数
…
プロジェクト
進捗
11
テスト管理ツール「CAT」
12
詳細なプロジェクト情報
テストケース数と稼動期間をもとに各種進捗を自動算出
13
視覚化された進捗管理
全ての項目がグラフ表示可能
14
細やかなデータ分析
個人データも自動集計
15
「CAT」導入のメリット
16
インプット・アウトプットが簡単明確
手動でまとめなおす必要なし!
ケース実行・障害登録だ
け!!
各情報を自動集計!!
面倒な操作や
設定もなし!
17
リアルタイム更新による全体共有
プロジェクトメンバー末端にいたるまで同じレベルで情報共有
全員が同じ画面をもと
に
コミュニケーションが
可能
18
定量化によるQA品質の向上
定量化することで指標が生まれ、正確に次の一手が打てる!
過去プロジェク
ト
現行プロジェク
ト
定量化することで比較が可
能
今回の問題点は…
1人日あたりのバグ件数が…
残バグ数推移と検出数にズレが
…
同一フォーマットなの
で
比較が簡単!
19
SHIFTの取り組み
~これだけじゃないCAT使用法~
20
作成基準チェックへの応用
専門知識がない
と
さっぱり
・ここは一度に確認でき
る
・この順番が効率がいい
・修正コストが高い項目
は
早めにチェック
……
これまでの作成基準チェックは専門スタッフによるチェックが
ほとんど
知識習得に時間がかかる。
さらに、解釈の幅が広いことから実施スタッフの経験値も必
要。
なぜ?
熟練者
21
機能別、観点別にチェックの進め方自体をテストケース化
現在、パイロット版を作成中!
スタッフの習熟度・経験に紐付かないチェックへ
習熟者が
頭の中でやっていることを
CATへ落とし込む!
ナレッジ
22
他にも様々な観点をテストケース化!
“あったらいいな”を作る、残す、活用するのがCATです
No テスト区分 業務機能名 業務機能詳細項目 テスト対象機能項目 手順 パターン テスト観点 確認項目 期待値 設計備考 検証環境区分
1 ガチャ 課金ガチャ 1連実行 演出 - P2 課金ガチャ実行 - 演出とガチャ結果が整合していること
SP
2 ガチャ 課金ガチャ 1連実行 倍率保証 ※パターン表参照 P1_1 課金ガチャ実行 - ※パターン表参照
SP
3 ガチャ 課金ガチャ 1連実行 初回保証 ※パターン表参照 P3 課金ガチャ実行 - ※パターン表参照
SP
4 ガチャ 課金ガチャ 1連実行 初回割引 ※パターン表参照 P4 課金ガチャ実行 - ※パターン表参照
SP
5 ガチャ 課金ガチャ 1連実行 消費コスト ※パターン表参照 P5 課金ガチャ実行 - ※パターン表参照
SP
6 ガチャ 課金ガチャ 1連実行 おまけの配布 ※パターン表参照 P6 課金ガチャ実行 - ※パターン表参照
SP
7 ガチャ 課金ガチャ 1連実行 ガチャアイテム残数の
更新
1.ガチャを実行する - 課金ガチャ実行 - ガチャTOPの該当アイテムの残り個数が減
少していること SP
8 ガチャ 課金ガチャ 1連結果画面からの実
行
倍率保証 ※パターン表参照 P1_1 課金ガチャ実行 - ※パターン表参照
SP
9 ガチャ 課金ガチャ 1連結果画面からの実
行
消費コスト ※パターン表参照 P7 課金ガチャ実行 - ※パターン表参照
SP
10 ガチャ 課金ガチャ 1連結果画面からの実
行
おまけの配布 1.結果画面からガ
チャを実行する
- 課金ガチャ実行 - ガチャを引いた後、おまけが○個獲得できる
こと
プレゼントBOXと持ち物を確認する
SP
11 ガチャ 課金ガチャ 1連結果画面からの実
行
ガチャアイテム出現確
認
1.ガチャを実行する - 課金ガチャ実行 - 獲得可能ないずれかのガチャアイテムを獲得
できること
プレゼントBOXと持ち物を確認する
SP
12 ガチャ 課金ガチャ 1連結果画面からの実
行
ガチャアイテム残数の
更新
1.ガチャを実行する - 課金ガチャ実行 - ガチャTOPの該当アイテムの残り個数が減
少していること SP
13 ガチャ 課金ガチャ ブラウザバック ガチャ結果画面URL 1.ガチャを実行し、結
果画面からブラウザ
バックで確認画面へ
- ブラウザバック - ガチャを実行しアイテムを獲得できないこと ブラウザバック前と同じ結果になれ
ばそれで良い SP
14 ガチャ 課金ガチャ ブラウザバック 消費コスト 1.ガチャを実行し、結
果画面からブラウザ
バックで確認画面へ
- ブラウザバック - コストが減らないこと
SP
15 ガチャ 課金ガチャ 直URL ガチャ結果画面URL 1.ガチャを実行し、結
果画面のURLを控え
ておく
- 直URL - ガチャを実行しアイテムを獲得できないこと ガチャ結果画面URL
SP
16 ガチャ 課金ガチャ 直URL コスト不足 1.ガチャを実行し、結
果画面のURLを控え
ておく
- 直URL - ガチャを実行しアイテムを獲得できないこと 対象のガチャを引くことができない
ユーザー SP
17 ガチャ 課金ガチャ 1連URL改ざん - 1.所有しているコイン
以上の値に、URLを改
ざんして入力する
- URL改ざん - 所有しているコイン以上にガチャを実行しよう
としても、実行できないこと SP
18 ガチャ 課金ガチャ 1連URL改ざん - 1.結果URLを改ざん
して入力する
- URL改ざん - 他の結果にアクセスし不正に獲得しようとし
ても、ガチャを実行しアイテムを獲得できない
こと
SP
死亡・復帰判定
セーブ・ロード
ポーズメニュー
フィールド
コリジョン
機能ごとの標準的観点
フリーデバッグ観
点No テスト区分 業務機能名 業務機能詳細項目 テスト対象機能項目 手順 パターン テスト観点 確認項目 期待値 設計備考 検証環境区分
1 ガチャ 課金ガチャ 1連実行 演出 - P2 課金ガチャ実行 - 演出とガチャ結果が整合していること
SP
2 ガチャ 課金ガチャ 1連実行 倍率保証 ※パターン表参照 P1_1 課金ガチャ実行 - ※パターン表参照
SP
3 ガチャ 課金ガチャ 1連実行 初回保証 ※パターン表参照 P3 課金ガチャ実行 - ※パターン表参照
SP
4 ガチャ 課金ガチャ 1連実行 初回割引 ※パターン表参照 P4 課金ガチャ実行 - ※パターン表参照
SP
5 ガチャ 課金ガチャ 1連実行 消費コスト ※パターン表参照 P5 課金ガチャ実行 - ※パターン表参照
SP
6 ガチャ 課金ガチャ 1連実行 おまけの配布 ※パターン表参照 P6 課金ガチャ実行 - ※パターン表参照
SP
7 ガチャ 課金ガチャ 1連実行 ガチャアイテム残数の
更新
1.ガチャを実行する - 課金ガチャ実行 - ガチャTOPの該当アイテムの残り個数が減
少していること SP
8 ガチャ 課金ガチャ 1連結果画面からの実
行
倍率保証 ※パターン表参照 P1_1 課金ガチャ実行 - ※パターン表参照
SP
9 ガチャ 課金ガチャ 1連結果画面からの実
行
消費コスト ※パターン表参照 P7 課金ガチャ実行 - ※パターン表参照
SP
10 ガチャ 課金ガチャ 1連結果画面からの実
行
おまけの配布 1.結果画面からガ
チャを実行する
- 課金ガチャ実行 - ガチャを引いた後、おまけが○個獲得できる
こと
プレゼントBOXと持ち物を確認する
SP
11 ガチャ 課金ガチャ 1連結果画面からの実
行
ガチャアイテム出現確
認
1.ガチャを実行する - 課金ガチャ実行 - 獲得可能ないずれかのガチャアイテムを獲得
できること
プレゼントBOXと持ち物を確認する
SP
12 ガチャ 課金ガチャ 1連結果画面からの実
行
ガチャアイテム残数の
更新
1.ガチャを実行する - 課金ガチャ実行 - ガチャTOPの該当アイテムの残り個数が減
少していること SP
13 ガチャ 課金ガチャ ブラウザバック ガチャ結果画面URL 1.ガチャを実行し、結
果画面からブラウザ
バックで確認画面へ
- ブラウザバック - ガチャを実行しアイテムを獲得できないこと ブラウザバック前と同じ結果になれ
ばそれで良い SP
14 ガチャ 課金ガチャ ブラウザバック 消費コスト 1.ガチャを実行し、結
果画面からブラウザ
バックで確認画面へ
- ブラウザバック - コストが減らないこと
SP
15 ガチャ 課金ガチャ 直URL ガチャ結果画面URL 1.ガチャを実行し、結
果画面のURLを控え
ておく
- 直URL - ガチャを実行しアイテムを獲得できないこと ガチャ結果画面URL
SP
16 ガチャ 課金ガチャ 直URL コスト不足 1.ガチャを実行し、結
果画面のURLを控え
ておく
- 直URL - ガチャを実行しアイテムを獲得できないこと 対象のガチャを引くことができない
ユーザー SP
17 ガチャ 課金ガチャ 1連URL改ざん - 1.所有しているコイン
以上の値に、URLを改
ざんして入力する
- URL改ざん - 所有しているコイン以上にガチャを実行しよう
としても、実行できないこと SP
18 ガチャ 課金ガチャ 1連URL改ざん - 1.結果URLを改ざん
して入力する
- URL改ざん - 他の結果にアクセスし不正に獲得しようとし
ても、ガチャを実行しアイテムを獲得できない
こと
SP
同時押し
負荷
タイミング
フラグ周り
ご清聴ありがとうございました
23
www.catcloud.net
システム開発部 石井
株式会社SHIFT
クラウドテスト管理ツール「CAT」
テストの効率化ポイントと機能のご紹介
アジェンダ
 ソフトウェアテスト専門会社「SHIFT」とは
 自己紹介
 テスト管理ツール「CAT」の概要について
 操作デモによるCATの実演
 まとめ
25
26
ソフトウェアテストの「品質保証」を支援するテスト専門のプロ集団
とは
社名 株式会社SHIFT
業務内容 ソフトウェアの品質保証支援、ソフトウェアテスト事業
設立 2005年9月7日
上場 東証マザーズ 3697
従業員数 960名 ※契約社員・パートナー含む(2016年5月時点)
代表者 代表取締役社長 丹下 大 Masaru Tange
所在地
【本社&東京TC】東京都港区麻布台2-4-5メソニック39MTビル
【札幌TC】北海道札幌市中央区北1条西3丁目3 札幌プラザビル
【福岡TC】福岡県福岡市中央区天神1-15-6 綾杉ビル
※TC…テストセンター
子会社
SHIFT INDIA PRIVATE LIMITED(インド国)
SHIFT GLOBAL PTE LTD(シンガポール国)
SHIFT ASIA CO., LTD
SHIFT PLUS
SHIFT SECURITY
リベロ・プロジェクト
27
CAT開発チームよりCATをご紹介させていただいてます!
自己紹介
・2015年8月SHIFTへ入社
【前職】
最大手倉庫会社ユーザー系企業にて
SEとして基幹システムの
開発・保守に従事
【現在】
・CAT開発チームでサポートや
お客様への御紹介を担当
・CATのテストも実施
【Email】
suguru.ishii@shiftinc.jp
ご興味があればご連絡ください!
セールスサポート
石井優 Suguru Ishii
28
テスト工程を一貫して管理するSHIFTの主力テスト管理ツール
テスト管理ツール「CAT」とは
オンラインでテストを実行し、実行画面上で障
害を登録、強力な検索機能等、テストの生産
性を大きく向上させます!
テスト実行機能と連携し、自動的に
データが蓄積されます!
※Redmine、JIRA、Backlogとも連携可能
テストの進捗状況や障害状況を、
自動的に集計・レポートするので、進捗管
理や報告業務で煩わされることはありません!
テストケース管理・実行機能
障害管理機能
進捗管理機能
全工程クラウドで管理、テストの進捗・品質を可視化!
29
手作業でのテスト管理により集計にかかる重い負担・コストが発生
ソフトウェアテストの現場で発生する問題
・毎日手作業の集計が大量に発生し、1日中集計している。
・進捗はメールが届くまでわからない。
・課題対応やPM・顧客への報告等、対応が遅れる。
・各メンバーから送られてくる
テスト仕様書のExcelを回収
・毎日定時にテスト進捗を集計し、
障害情報とともに各マネージャ
に送付テスト情報
大量のExcel
プロジェクト3
(障害情報)
プロジェクト1
(障害情報)
プロジェクト2
(障害情報)
プロジェクト1
(障害情報)
プロジェクト2
(障害情報)
プロジェクト3
(障害情報)
30
管理者の負担を大きく軽減、コストと品質の向上に寄与
CAT導入での解決方法
30
これまでの運用を大きく変えず、
テスト工程の効率化を実現!!
迅速な障害対応や品質分析で
納期を確保し、品質を向上。
テスト+障害情報
・CATからチケットの登録、編集、
削除、参照が可能
・障害とテストデータを照らし
合わせて、進捗管理や分析が
簡単に可能
・開発者も進捗をいつでも確認可能
障害情報を
定期的に同期
31
管理者の進捗確認にかかる工数80%の削減!
コスト削減効果の例
管理者の一日の作業コスト比較(管理者1名、テスター10名のチーム想定)
メンバーから
実行結果ファイルの収集
30分
実行結果の集計
30分
収集+集計+進捗確認
合計75分
メンバーから
実行結果ファイルの収集
0分
実行結果の集計
0分
進捗確認のみ
合計15分
CAT導入後CAT導入前
管理者だけで80%の工数削減
削減した時間は品質課題の解決に注力し品質も向上
回収した
Excel
マネージャ
メンバー
進捗確認
15分
進捗確認
15分
32
次期の予測に必要となる過去のプロジェクトの情報が全て蓄積
得られる定性効果の例
適切なテストケース
数はどのくらいだろう
か
この機能はどの程度
障害が出て、
対応に必要な工数は
どのくらいだろうか
【次のプロジェクトの見積り時・・・】
どの環境を手厚くテス
トするべきか
・総ケース数
・発生障害数
・進捗の速度
・機能・環境ごとの品質指標
等、多数の指標を表示
全プロジェクトの情報をナレッジとして蓄積
33
CATのテストケース登録から進捗表示・品質分析までを実演
操作デモ
CAT実際の操作を御紹介致します
34
CATはテスト工程を効率化し品質を向上します
まとめ
CAT公式ページにて、10日間無償トライアル実施中
https://www.catcloud.net/
お問い合わせ:cat_support@shiftinc.jp
・テスト工程を一貫して管理
・テスト管理の負担とコストを削減
・テスト工程の可視化による
プロダクト品質の向上
ご清聴ありがとうございました。
35

GTMF 2016:テスト管理ツールCAT の紹介とコンシューマーゲームでの活用提案 株式会社SHIFT