NativeGameの障害削減に向けた取り組み

gree_tech
gree_techgree_tech
グリー株式会社 WFQAチーム マネージャー 野本雅俊

NativeGameの障害削減に

向けた取り組み

グリー株式会社 WFQAチーム        奥泉卓也

Copyright © GREE, Inc. All Rights Reserved.
自己紹介
氏名と所属

野本 雅俊

(のもと まさとし)

Customer & Product Satisfaction部 

WFQAチーム マネージャー 

主な業務内容

NativeゲームのQAマネージャー 

WFSタイトル全般のQA統括 

各メンバーのマネジメント 

略歴

SIerでエンジニアを経験後、NTTひかり電話関連シ
ステムのQA担当を経て、2012年グリーに入社 

GREE PFのQA担当後、NativeゲームのQAへ異動。
複数タイトルの国内外リリースを成功させ、2018年
からマネージャーとなる。 

氏名と所属

奥泉 卓也

(おくいずみ たくや) 

Customer & Product Satisfaction部 

WFQAチーム

主な業務内容

Nativeゲーム(WFSタイトル)のQA担当 

横断的な障害削減

略歴

SIerでインフラエンジニアとしての業務を経て、2018
年グリーに入社。

当初は移管タイトルのQA立ち上げを担当し、2019年
から自社開発Nativeゲーム 

(WFSタイトル)のQAを担当。 

Copyright © GREE, Inc. All Rights Reserved.
1. 背景

2. 障害削減の取り組み

a. 集計方法の統一

b. 分析軸の策定

c. 再発防止の実施

3. 実施効果

4. まとめ

Copyright © GREE, Inc. All Rights Reserved.
● NativeGameにおいてリリース後障害が増加傾向にあった

● 障害集計/分析を開始したがルール統一はしていなかった

● 再発防止など対策を行っていたが障害数の削減には至らず







1.背景



先行運用していたQAチームで障害分析による削減事例があり踏襲
し推進することを決定

Copyright © GREE, Inc. All Rights Reserved.
2.障害削減の取り組み




 グリーのNativeゲームQAで進めた障害削減の流れ

c.再発防止の実施

a.集計方法の統一

b.分析軸の策定

上記の流れに沿って障害削減を推進

Copyright © GREE, Inc. All Rights Reserved.
a.集計方法の統一







全件BTS管理

タイトルA

スプレッドシート全
件記録

タイトルB

社内wiki

重大なもののみ

タイトルC

JIRA

問い合わせを起票

タイトルD

JIRA

重大なもののみ

過去の障害集計方法
 改善後の障害集計方法

Copyright © GREE, Inc. All Rights Reserved.
a.集計方法の統一



● 全タイトル共通の基準として「重大度」を設定



● S:返金のリスクがある不具合、大規模な進行不能/データロスト

● A:広範囲/イベント報酬関連の不具合、IPを傷つける恐れがある不具合

● B:条件や範囲が限定的な不具合

● C:回避手段がある/軽微な不具合

● D:プレイに影響のない不備・改善余地



※Cランク以上を削減対象として設定

今までの記載基準
 改善後の障害集計基準

Copyright © GREE, Inc. All Rights Reserved.
a.集計方法の統一



記載する情報をルール化

● 見逃し原因

● 概要

● 重大度

● 補填

● 対策

タイトルA

問い合わせ内容

影響度

タイトルB

概要

対応

補填有無

タイトルC

概要

詳細

今後の対策

タイトルD

概要

対策

補填有無

過去の情報記載粒度
 改善後の情報記載粒度

Copyright © GREE, Inc. All Rights Reserved.
b.分析軸の策定



障害件数
集計

共通原因

障害の内容はタイトルごとに様々だが、

見逃し原因はどのタイトルも同様に分析・対策できる

内容A
タイトル1

タイトル2

タイトル3

内容B

内容C

見逃し原因を分析の軸として設定

原因ごとの再発防止策をナレッジとして蓄積

共通の分析軸を検討

Copyright © GREE, Inc. All Rights Reserved.
c.再発防止の実施

QA責障害

QA起因の障害



テスト実施漏れ

テスト設計漏れ

開発責障害

開発起因の障害

QA未依頼

QA後修正

テスト範囲外

グレー障害

開発、QA双方で考
慮が難しい不具合

テスト

範囲外

(暗黙的)

外部要因障害

テストでの検知が
難しい障害

端末依存

環境依存

原因別に効果的なアプローチを検討する

各障害見逃し原因の概要

Copyright © GREE, Inc. All Rights Reserved.
ヒューマンエラーであるという点に着目

…システム的に再発を防ぐ方法を検討



● 特に効果的なのが「データ上の不具合」

○ 開発への事前の入力値チェックの提案

○ マスタデータの可読化

○ マスタと仕様の自動比較(データ検証)



c.再発防止の実施

目視チェック

テスターの技量やコンディ
ションによって見落としの可
能性が生じる

データ検証

テスターの技量やコンディ
ションに左右されづらく、見落
としリスクが低い

テスト実施漏れ

Copyright © GREE, Inc. All Rights Reserved.
c.再発防止の実施

ナレッジの蓄積で再発防止を図る



タイトル内で

振り返り

他タイトルで

ナレッジ活用

設計観点の追加
 横断レビュー

横断的な

設計観点の追加

例:

● ランイベ用キャラ

○ 実戦に近い状態での実機
テストを実施

● 特殊スキル

○ 比例・反比例による性能
変化等の境界値分析テス
トを実施

● 既存の取り組み

テスト設計漏れ

Copyright © GREE, Inc. All Rights Reserved.
● 取り組みを行い、障害削減に成功

 

  QA責障害

  半期で35%削減



● 全体の障害件数も13%削減

● 今後も取り組みを発展させて継続

3.実施効果

Copyright © GREE, Inc. All Rights Reserved.
● BTS化や指標の共通化を行うことは工数面でもメリットがあった

● 共通指標を使うことでタイトルごと横並びで分析できるようになった

● QA責障害の可視化によりナレッジ蓄積が行え、再発防止を強化できた

● 結果としてQA責の障害数を35%削減することに成功





4.まとめ

導入は面倒だし効果に疑問もあるかと思いますが、

障害が減らないことに悩んでいるチームはぜひやってみてください!





15

Copyright © GREE, Inc. All Rights Reserved.
b.分析軸の策定

タイトル名
 S
 A
 B
 C

Aプロジェクト
 1
 2
 8
 11

Bプロジェクト
 0
 2
 4
 6

・・・
 
 
 
 

タイトル名
 テスト実施漏れ
 テスト設計漏れ
 テスト範囲外
 ・・・

Aプロジェクト
 0
 1
 6
 

Bプロジェクト
 1
 0
 8
 

・・・
 
 
 
 

集計した情報をもとに現状把握

● 週次で状況共有を実施

● 発生状況や見逃し原因、作りこみ
原因、重大度を確認



分析を効率化できる軸を検討

現状の把握…タイトル横並びで情報を集計





Copyright © GREE, Inc. All Rights Reserved.
c.再発防止の実施

テスト範囲外

(暗黙的)

ピンポイントでの対策にしない

…単体の事象をもとに、アプリの構造を深堀していく

例:武器に新レアリティ追加の結果、特定クエストが進行不能

● 特定クエストでキャラが装備している武器のレアリティを参照するロジック 

● 該当クエスト側に新レアリティに対応する実装がないのが原因 

● 武器追加時に今回障害が発生したクエストを進行して問題がないことを見る 

ピンポイントの対策

● 他に関連付けが難しいテーブルを参照しているクエストがないか精査し、観点追加 

望ましい対策

見逃し原因ごとの傾向を探る:グレー

1 of 17

Recommended

モバイルゲーム。移管と運営のエンジニア by
モバイルゲーム。移管と運営のエンジニアモバイルゲーム。移管と運営のエンジニア
モバイルゲーム。移管と運営のエンジニアgree_tech
1.5K views35 slides
ユーザー目線での課題早期発見!ユーザーの声はヒットへの第一歩 by
ユーザー目線での課題早期発見!ユーザーの声はヒットへの第一歩ユーザー目線での課題早期発見!ユーザーの声はヒットへの第一歩
ユーザー目線での課題早期発見!ユーザーの声はヒットへの第一歩gree_tech
1.4K views25 slides
運用QAにおける工数効率化の取り組み by
運用QAにおける工数効率化の取り組み運用QAにおける工数効率化の取り組み
運用QAにおける工数効率化の取り組みgree_tech
1.5K views15 slides
WFSエンジニア組織のデザイン〜コンテンツ開発に集中するために〜 by
WFSエンジニア組織のデザイン〜コンテンツ開発に集中するために〜WFSエンジニア組織のデザイン〜コンテンツ開発に集中するために〜
WFSエンジニア組織のデザイン〜コンテンツ開発に集中するために〜gree_tech
3K views46 slides
ハイブリッドクラウドで変わるインフラストラクチャ設計 by
ハイブリッドクラウドで変わるインフラストラクチャ設計ハイブリッドクラウドで変わるインフラストラクチャ設計
ハイブリッドクラウドで変わるインフラストラクチャ設計gree_tech
1.4K views25 slides
翻訳QAでのテスト自動化の取り組み by
翻訳QAでのテスト自動化の取り組み翻訳QAでのテスト自動化の取り組み
翻訳QAでのテスト自動化の取り組みgree_tech
305 views20 slides

More Related Content

What's hot

海外展開と負荷試験 by
海外展開と負荷試験海外展開と負荷試験
海外展開と負荷試験gree_tech
593 views53 slides
エンジニアとマネージャーは、いつも勝負をしているのだと思う by
エンジニアとマネージャーは、いつも勝負をしているのだと思うエンジニアとマネージャーは、いつも勝負をしているのだと思う
エンジニアとマネージャーは、いつも勝負をしているのだと思うgree_tech
12.4K views46 slides
リリースを支える負荷測定 by
リリースを支える負荷測定リリースを支える負荷測定
リリースを支える負荷測定gree_tech
2.2K views37 slides
All about 開発本部infra部 TASKs by
All about 開発本部infra部 TASKsAll about 開発本部infra部 TASKs
All about 開発本部infra部 TASKsgree_tech
902 views16 slides
組み込み開発のテストとゲーム開発のテストの違い by
組み込み開発のテストとゲーム開発のテストの違い組み込み開発のテストとゲーム開発のテストの違い
組み込み開発のテストとゲーム開発のテストの違いgree_tech
577 views17 slides
NuxtJS + SSRで作ったGREE Tech Conference 2020 by
NuxtJS + SSRで作ったGREE Tech Conference 2020NuxtJS + SSRで作ったGREE Tech Conference 2020
NuxtJS + SSRで作ったGREE Tech Conference 2020gree_tech
829 views44 slides

What's hot(20)

海外展開と負荷試験 by gree_tech
海外展開と負荷試験海外展開と負荷試験
海外展開と負荷試験
gree_tech593 views
エンジニアとマネージャーは、いつも勝負をしているのだと思う by gree_tech
エンジニアとマネージャーは、いつも勝負をしているのだと思うエンジニアとマネージャーは、いつも勝負をしているのだと思う
エンジニアとマネージャーは、いつも勝負をしているのだと思う
gree_tech12.4K views
リリースを支える負荷測定 by gree_tech
リリースを支える負荷測定リリースを支える負荷測定
リリースを支える負荷測定
gree_tech2.2K views
All about 開発本部infra部 TASKs by gree_tech
All about 開発本部infra部 TASKsAll about 開発本部infra部 TASKs
All about 開発本部infra部 TASKs
gree_tech902 views
組み込み開発のテストとゲーム開発のテストの違い by gree_tech
組み込み開発のテストとゲーム開発のテストの違い組み込み開発のテストとゲーム開発のテストの違い
組み込み開発のテストとゲーム開発のテストの違い
gree_tech577 views
NuxtJS + SSRで作ったGREE Tech Conference 2020 by gree_tech
NuxtJS + SSRで作ったGREE Tech Conference 2020NuxtJS + SSRで作ったGREE Tech Conference 2020
NuxtJS + SSRで作ったGREE Tech Conference 2020
gree_tech829 views
CEDEC2015_スマホゲーム開発を支えろ!〜汗と涙のQAエンジニアリング〜 by gree_tech
CEDEC2015_スマホゲーム開発を支えろ!〜汗と涙のQAエンジニアリング〜CEDEC2015_スマホゲーム開発を支えろ!〜汗と涙のQAエンジニアリング〜
CEDEC2015_スマホゲーム開発を支えろ!〜汗と涙のQAエンジニアリング〜
gree_tech8.6K views
グリーにおけるSumo Logic活用事例 by gree_tech
グリーにおけるSumo Logic活用事例グリーにおけるSumo Logic活用事例
グリーにおけるSumo Logic活用事例
gree_tech627 views
「ドキュメント見つからない問題」をなんとかしたい - 横断検索エンジン導入の取り組みについて- by gree_tech
「ドキュメント見つからない問題」をなんとかしたい - 横断検索エンジン導入の取り組みについて-「ドキュメント見つからない問題」をなんとかしたい - 横断検索エンジン導入の取り組みについて-
「ドキュメント見つからない問題」をなんとかしたい - 横断検索エンジン導入の取り組みについて-
gree_tech1K views
[VP of Engineering Meetup] エンジニアのパフォーマンスを最大化させる組織活性化施策とは by atsuki_ito
[VP of Engineering Meetup] エンジニアのパフォーマンスを最大化させる組織活性化施策とは[VP of Engineering Meetup] エンジニアのパフォーマンスを最大化させる組織活性化施策とは
[VP of Engineering Meetup] エンジニアのパフォーマンスを最大化させる組織活性化施策とは
atsuki_ito15.1K views
Sumo Logic活用事例とその運用 by gree_tech
Sumo Logic活用事例とその運用Sumo Logic活用事例とその運用
Sumo Logic活用事例とその運用
gree_tech2.7K views
ネイティブゲーム開発におけるこれからの品質保証 by gree_tech
ネイティブゲーム開発におけるこれからの品質保証ネイティブゲーム開発におけるこれからの品質保証
ネイティブゲーム開発におけるこれからの品質保証
gree_tech6.6K views
QAエンジニアを通じて 弊社の開発環境がより良くなる日 〜 OpenSTF 編 〜 by gree_tech
QAエンジニアを通じて弊社の開発環境がより良くなる日 〜 OpenSTF 編 〜QAエンジニアを通じて弊社の開発環境がより良くなる日 〜 OpenSTF 編 〜
QAエンジニアを通じて 弊社の開発環境がより良くなる日 〜 OpenSTF 編 〜
gree_tech7.5K views
GTMF 2015: 「テスト管理ツール「CAT」導入によるデバッグ管理の効率化とJenkins Enterpriseによるコンテンツパイプラインの改善」... by Game Tools & Middleware Forum
GTMF 2015: 「テスト管理ツール「CAT」導入によるデバッグ管理の効率化とJenkins Enterpriseによるコンテンツパイプラインの改善」...GTMF 2015: 「テスト管理ツール「CAT」導入によるデバッグ管理の効率化とJenkins Enterpriseによるコンテンツパイプラインの改善」...
GTMF 2015: 「テスト管理ツール「CAT」導入によるデバッグ管理の効率化とJenkins Enterpriseによるコンテンツパイプラインの改善」...
[デブサミ秋2015] 新卒入社エンジニアが 2年間fluentdを運用して学んだ事いろいろ by gree_tech
[デブサミ秋2015] 新卒入社エンジニアが2年間fluentdを運用して学んだ事いろいろ[デブサミ秋2015] 新卒入社エンジニアが2年間fluentdを運用して学んだ事いろいろ
[デブサミ秋2015] 新卒入社エンジニアが 2年間fluentdを運用して学んだ事いろいろ
gree_tech5.3K views
ノーコードとアジャイル by Yukio Okajima
ノーコードとアジャイルノーコードとアジャイル
ノーコードとアジャイル
Yukio Okajima304 views
対話と創発~アジャイルなマーケティングチームの作り方 by Yukio Okajima
対話と創発~アジャイルなマーケティングチームの作り方対話と創発~アジャイルなマーケティングチームの作り方
対話と創発~アジャイルなマーケティングチームの作り方
Yukio Okajima1.9K views
SINoALICE -シノアリス- グローバル版、全139ヵ国リリースへの道のり by gree_tech
SINoALICE -シノアリス- グローバル版、全139ヵ国リリースへの道のりSINoALICE -シノアリス- グローバル版、全139ヵ国リリースへの道のり
SINoALICE -シノアリス- グローバル版、全139ヵ国リリースへの道のり
gree_tech2.1K views
クラウド&コンテナ活用でDevOpsを加速させる! by Kazuto Ohara
クラウド&コンテナ活用でDevOpsを加速させる!クラウド&コンテナ活用でDevOpsを加速させる!
クラウド&コンテナ活用でDevOpsを加速させる!
Kazuto Ohara5K views

Similar to NativeGameの障害削減に向けた取り組み

ハイブリッドクラウド活用セミナー 20141208 by
ハイブリッドクラウド活用セミナー 20141208ハイブリッドクラウド活用セミナー 20141208
ハイブリッドクラウド活用セミナー 20141208Osamu Kurokochi
354 views25 slides
ゲームインフラとGoogle Cloud Platformと酒! by
ゲームインフラとGoogle Cloud Platformと酒!ゲームインフラとGoogle Cloud Platformと酒!
ゲームインフラとGoogle Cloud Platformと酒!Hasegawa Yusuke
1.4K views38 slides
Interop2015-c4-3-モバイルゲームのチート対策 by
Interop2015-c4-3-モバイルゲームのチート対策Interop2015-c4-3-モバイルゲームのチート対策
Interop2015-c4-3-モバイルゲームのチート対策Osamu Kurokochi
68 views13 slides
Internet week2013 ソーシャルプラットフォーム開発設計秘話nw編_20131114 by
Internet week2013 ソーシャルプラットフォーム開発設計秘話nw編_20131114Internet week2013 ソーシャルプラットフォーム開発設計秘話nw編_20131114
Internet week2013 ソーシャルプラットフォーム開発設計秘話nw編_20131114Osamu Kurokochi
406 views26 slides
Cloud garage deveopers meetup by
Cloud garage deveopers meetupCloud garage deveopers meetup
Cloud garage deveopers meetupjun oyaizu
192 views43 slides
#BCU30 5年間VRゲームを作ってみた by
#BCU30 5年間VRゲームを作ってみた#BCU30 5年間VRゲームを作ってみた
#BCU30 5年間VRゲームを作ってみたHaruto Watanabe
1.6K views23 slides

Similar to NativeGameの障害削減に向けた取り組み(20)

ハイブリッドクラウド活用セミナー 20141208 by Osamu Kurokochi
ハイブリッドクラウド活用セミナー 20141208ハイブリッドクラウド活用セミナー 20141208
ハイブリッドクラウド活用セミナー 20141208
Osamu Kurokochi354 views
ゲームインフラとGoogle Cloud Platformと酒! by Hasegawa Yusuke
ゲームインフラとGoogle Cloud Platformと酒!ゲームインフラとGoogle Cloud Platformと酒!
ゲームインフラとGoogle Cloud Platformと酒!
Hasegawa Yusuke1.4K views
Interop2015-c4-3-モバイルゲームのチート対策 by Osamu Kurokochi
Interop2015-c4-3-モバイルゲームのチート対策Interop2015-c4-3-モバイルゲームのチート対策
Interop2015-c4-3-モバイルゲームのチート対策
Osamu Kurokochi68 views
Internet week2013 ソーシャルプラットフォーム開発設計秘話nw編_20131114 by Osamu Kurokochi
Internet week2013 ソーシャルプラットフォーム開発設計秘話nw編_20131114Internet week2013 ソーシャルプラットフォーム開発設計秘話nw編_20131114
Internet week2013 ソーシャルプラットフォーム開発設計秘話nw編_20131114
Osamu Kurokochi406 views
Cloud garage deveopers meetup by jun oyaizu
Cloud garage deveopers meetupCloud garage deveopers meetup
Cloud garage deveopers meetup
jun oyaizu192 views
#BCU30 5年間VRゲームを作ってみた by Haruto Watanabe
#BCU30 5年間VRゲームを作ってみた#BCU30 5年間VRゲームを作ってみた
#BCU30 5年間VRゲームを作ってみた
Haruto Watanabe1.6K views
ガチャサイクルと海外課金 by Hiromasa Iwasaki
ガチャサイクルと海外課金ガチャサイクルと海外課金
ガチャサイクルと海外課金
Hiromasa Iwasaki271.5K views
社内でのjira運用 by Yasushi Kishi
社内でのjira運用社内でのjira運用
社内でのjira運用
Yasushi Kishi1.5K views
Vgにおけるuxデザインとagile開発@ハッカー道場 by VOYAGE GROUP
Vgにおけるuxデザインとagile開発@ハッカー道場Vgにおけるuxデザインとagile開発@ハッカー道場
Vgにおけるuxデザインとagile開発@ハッカー道場
VOYAGE GROUP639 views
Bakusoku Offshore Development at Gulliver by Kenji Hiranabe
Bakusoku Offshore Development at GulliverBakusoku Offshore Development at Gulliver
Bakusoku Offshore Development at Gulliver
Kenji Hiranabe1.4K views
爆速 オフショアに挑む by 大清 加藤
爆速 オフショアに挑む爆速 オフショアに挑む
爆速 オフショアに挑む
大清 加藤278 views
Game infrastructure design construction operation ver1.2 by TomohiroDoi
Game infrastructure design construction operation ver1.2Game infrastructure design construction operation ver1.2
Game infrastructure design construction operation ver1.2
TomohiroDoi146 views
アジャイルナイトセミナー_2012年10月18日_Social Game x Agile Development by Go2GroupJapan
アジャイルナイトセミナー_2012年10月18日_Social Game x Agile Developmentアジャイルナイトセミナー_2012年10月18日_Social Game x Agile Development
アジャイルナイトセミナー_2012年10月18日_Social Game x Agile Development
Go2GroupJapan575 views
RPKIやってみませんか? by gree_tech
RPKIやってみませんか?RPKIやってみませんか?
RPKIやってみませんか?
gree_tech1.4K views
GMOインターネットグループ総合コンタクトセンターへの道のり by GMO HosCon
GMOインターネットグループ総合コンタクトセンターへの道のりGMOインターネットグループ総合コンタクトセンターへの道のり
GMOインターネットグループ総合コンタクトセンターへの道のり
GMO HosCon2.1K views
XP祭り関西(2015)資料 : アジャイル導入の価値 by Hikaru Taniguchi
XP祭り関西(2015)資料 : アジャイル導入の価値XP祭り関西(2015)資料 : アジャイル導入の価値
XP祭り関西(2015)資料 : アジャイル導入の価値
Hikaru Taniguchi1.6K views
Techorus night cloudgarage_20181219 by jun oyaizu
Techorus night cloudgarage_20181219Techorus night cloudgarage_20181219
Techorus night cloudgarage_20181219
jun oyaizu2.1K views
WFSにおけるCloud SpannerとGKEを中心としたGCP導入事例の紹介 by gree_tech
WFSにおけるCloud SpannerとGKEを中心としたGCP導入事例の紹介WFSにおけるCloud SpannerとGKEを中心としたGCP導入事例の紹介
WFSにおけるCloud SpannerとGKEを中心としたGCP導入事例の紹介
gree_tech601 views
ぼくらが体験入社にこだわるワケ by Daisuke Sato
ぼくらが体験入社にこだわるワケぼくらが体験入社にこだわるワケ
ぼくらが体験入社にこだわるワケ
Daisuke Sato836 views

More from gree_tech

アナザーエデンPC版リリースへの道のり 〜WFSにおけるマルチプラットフォーム対応の取り組み〜 by
アナザーエデンPC版リリースへの道のり 〜WFSにおけるマルチプラットフォーム対応の取り組み〜アナザーエデンPC版リリースへの道のり 〜WFSにおけるマルチプラットフォーム対応の取り組み〜
アナザーエデンPC版リリースへの道のり 〜WFSにおけるマルチプラットフォーム対応の取り組み〜gree_tech
729 views36 slides
GREE VR Studio Laboratory「XR-UX Devプロジェクト」の成果紹介 by
GREE VR Studio Laboratory「XR-UX Devプロジェクト」の成果紹介GREE VR Studio Laboratory「XR-UX Devプロジェクト」の成果紹介
GREE VR Studio Laboratory「XR-UX Devプロジェクト」の成果紹介gree_tech
229 views13 slides
REALITYアバターを様々なメタバースで活躍させてみた - GREE VR Studio Laboratory インターン研究成果発表 by
REALITYアバターを様々なメタバースで活躍させてみた - GREE VR Studio Laboratory インターン研究成果発表REALITYアバターを様々なメタバースで活躍させてみた - GREE VR Studio Laboratory インターン研究成果発表
REALITYアバターを様々なメタバースで活躍させてみた - GREE VR Studio Laboratory インターン研究成果発表gree_tech
1K views18 slides
アプリ起動時間高速化 ~推測するな、計測せよ~ by
アプリ起動時間高速化 ~推測するな、計測せよ~アプリ起動時間高速化 ~推測するな、計測せよ~
アプリ起動時間高速化 ~推測するな、計測せよ~gree_tech
1.9K views84 slides
長寿なゲーム事業におけるアプリビルドの効率化 by
長寿なゲーム事業におけるアプリビルドの効率化長寿なゲーム事業におけるアプリビルドの効率化
長寿なゲーム事業におけるアプリビルドの効率化gree_tech
347 views116 slides
Cloud Spanner をより便利にする運用支援ツールの紹介 by
Cloud Spanner をより便利にする運用支援ツールの紹介Cloud Spanner をより便利にする運用支援ツールの紹介
Cloud Spanner をより便利にする運用支援ツールの紹介gree_tech
689 views31 slides

More from gree_tech(20)

アナザーエデンPC版リリースへの道のり 〜WFSにおけるマルチプラットフォーム対応の取り組み〜 by gree_tech
アナザーエデンPC版リリースへの道のり 〜WFSにおけるマルチプラットフォーム対応の取り組み〜アナザーエデンPC版リリースへの道のり 〜WFSにおけるマルチプラットフォーム対応の取り組み〜
アナザーエデンPC版リリースへの道のり 〜WFSにおけるマルチプラットフォーム対応の取り組み〜
gree_tech729 views
GREE VR Studio Laboratory「XR-UX Devプロジェクト」の成果紹介 by gree_tech
GREE VR Studio Laboratory「XR-UX Devプロジェクト」の成果紹介GREE VR Studio Laboratory「XR-UX Devプロジェクト」の成果紹介
GREE VR Studio Laboratory「XR-UX Devプロジェクト」の成果紹介
gree_tech229 views
REALITYアバターを様々なメタバースで活躍させてみた - GREE VR Studio Laboratory インターン研究成果発表 by gree_tech
REALITYアバターを様々なメタバースで活躍させてみた - GREE VR Studio Laboratory インターン研究成果発表REALITYアバターを様々なメタバースで活躍させてみた - GREE VR Studio Laboratory インターン研究成果発表
REALITYアバターを様々なメタバースで活躍させてみた - GREE VR Studio Laboratory インターン研究成果発表
gree_tech1K views
アプリ起動時間高速化 ~推測するな、計測せよ~ by gree_tech
アプリ起動時間高速化 ~推測するな、計測せよ~アプリ起動時間高速化 ~推測するな、計測せよ~
アプリ起動時間高速化 ~推測するな、計測せよ~
gree_tech1.9K views
長寿なゲーム事業におけるアプリビルドの効率化 by gree_tech
長寿なゲーム事業におけるアプリビルドの効率化長寿なゲーム事業におけるアプリビルドの効率化
長寿なゲーム事業におけるアプリビルドの効率化
gree_tech347 views
Cloud Spanner をより便利にする運用支援ツールの紹介 by gree_tech
Cloud Spanner をより便利にする運用支援ツールの紹介Cloud Spanner をより便利にする運用支援ツールの紹介
Cloud Spanner をより便利にする運用支援ツールの紹介
gree_tech689 views
SINoALICE -シノアリス- Google Cloud Firestoreを用いた観戦機能の実現について by gree_tech
SINoALICE -シノアリス- Google Cloud Firestoreを用いた観戦機能の実現についてSINoALICE -シノアリス- Google Cloud Firestoreを用いた観戦機能の実現について
SINoALICE -シノアリス- Google Cloud Firestoreを用いた観戦機能の実現について
gree_tech626 views
サーバーフレームワークに潜んでる脆弱性検知ツール紹介 by gree_tech
サーバーフレームワークに潜んでる脆弱性検知ツール紹介サーバーフレームワークに潜んでる脆弱性検知ツール紹介
サーバーフレームワークに潜んでる脆弱性検知ツール紹介
gree_tech209 views
データエンジニアとアナリストチーム兼務になった件について by gree_tech
データエンジニアとアナリストチーム兼務になった件についてデータエンジニアとアナリストチーム兼務になった件について
データエンジニアとアナリストチーム兼務になった件について
gree_tech308 views
シェアドサービスとしてのデータテクノロジー by gree_tech
シェアドサービスとしてのデータテクノロジーシェアドサービスとしてのデータテクノロジー
シェアドサービスとしてのデータテクノロジー
gree_tech433 views
「Atomic Design × Nuxt.js」コンポーネント毎に責務の範囲を明確にしたら幸せになった話 by gree_tech
「Atomic Design × Nuxt.js」コンポーネント毎に責務の範囲を明確にしたら幸せになった話「Atomic Design × Nuxt.js」コンポーネント毎に責務の範囲を明確にしたら幸せになった話
「Atomic Design × Nuxt.js」コンポーネント毎に責務の範囲を明確にしたら幸せになった話
gree_tech1.1K views
比較サイトの検索改善(SPA から SSR に変換) by gree_tech
比較サイトの検索改善(SPA から SSR に変換)比較サイトの検索改善(SPA から SSR に変換)
比較サイトの検索改善(SPA から SSR に変換)
gree_tech699 views
コードの自動修正によって実現する、機能開発を止めないフレームワーク移行 by gree_tech
コードの自動修正によって実現する、機能開発を止めないフレームワーク移行コードの自動修正によって実現する、機能開発を止めないフレームワーク移行
コードの自動修正によって実現する、機能開発を止めないフレームワーク移行
gree_tech2.9K views
法人向けメタバースプラットフォームの開発の裏側をのぞいてみた(仮) by gree_tech
法人向けメタバースプラットフォームの開発の裏側をのぞいてみた(仮)法人向けメタバースプラットフォームの開発の裏側をのぞいてみた(仮)
法人向けメタバースプラットフォームの開発の裏側をのぞいてみた(仮)
gree_tech753 views
基調講演 -グリーが目指すエンジニアのあり方、チームのあり方- by gree_tech
基調講演 -グリーが目指すエンジニアのあり方、チームのあり方-基調講演 -グリーが目指すエンジニアのあり方、チームのあり方-
基調講演 -グリーが目指すエンジニアのあり方、チームのあり方-
gree_tech446 views
REALITY iOSアプリを支える開発効率化 by gree_tech
REALITY iOSアプリを支える開発効率化REALITY iOSアプリを支える開発効率化
REALITY iOSアプリを支える開発効率化
gree_tech1.1K views
Lua文化の伝承!? WFSにおけるイベントスクリプト活用術〜すべてはより良いコンテンツ制作のために〜 by gree_tech
Lua文化の伝承!? WFSにおけるイベントスクリプト活用術〜すべてはより良いコンテンツ制作のために〜Lua文化の伝承!? WFSにおけるイベントスクリプト活用術〜すべてはより良いコンテンツ制作のために〜
Lua文化の伝承!? WFSにおけるイベントスクリプト活用術〜すべてはより良いコンテンツ制作のために〜
gree_tech2.7K views
バーチャルライブ配信アプリREALITYの3Dアバターシステムの全容について by gree_tech
バーチャルライブ配信アプリREALITYの3Dアバターシステムの全容についてバーチャルライブ配信アプリREALITYの3Dアバターシステムの全容について
バーチャルライブ配信アプリREALITYの3Dアバターシステムの全容について
gree_tech4K views
REALITY低遅延モード配信を支えるリアルタイムサーバとデータパイプライン by gree_tech
REALITY低遅延モード配信を支えるリアルタイムサーバとデータパイプラインREALITY低遅延モード配信を支えるリアルタイムサーバとデータパイプライン
REALITY低遅延モード配信を支えるリアルタイムサーバとデータパイプライン
gree_tech2.8K views
さまざまなキャプチャーデータを合成して再分配するシステム「REALITY Studio Motion Engine」について by gree_tech
さまざまなキャプチャーデータを合成して再分配するシステム「REALITY Studio Motion Engine」についてさまざまなキャプチャーデータを合成して再分配するシステム「REALITY Studio Motion Engine」について
さまざまなキャプチャーデータを合成して再分配するシステム「REALITY Studio Motion Engine」について
gree_tech2.3K views

NativeGameの障害削減に向けた取り組み

  • 2. Copyright © GREE, Inc. All Rights Reserved. 自己紹介 氏名と所属
 野本 雅俊
 (のもと まさとし)
 Customer & Product Satisfaction部 
 WFQAチーム マネージャー 
 主な業務内容
 NativeゲームのQAマネージャー 
 WFSタイトル全般のQA統括 
 各メンバーのマネジメント 
 略歴
 SIerでエンジニアを経験後、NTTひかり電話関連シ ステムのQA担当を経て、2012年グリーに入社 
 GREE PFのQA担当後、NativeゲームのQAへ異動。 複数タイトルの国内外リリースを成功させ、2018年 からマネージャーとなる。 
 氏名と所属
 奥泉 卓也
 (おくいずみ たくや) 
 Customer & Product Satisfaction部 
 WFQAチーム
 主な業務内容
 Nativeゲーム(WFSタイトル)のQA担当 
 横断的な障害削減
 略歴
 SIerでインフラエンジニアとしての業務を経て、2018 年グリーに入社。
 当初は移管タイトルのQA立ち上げを担当し、2019年 から自社開発Nativeゲーム 
 (WFSタイトル)のQAを担当。 

  • 3. Copyright © GREE, Inc. All Rights Reserved. 1. 背景
 2. 障害削減の取り組み
 a. 集計方法の統一
 b. 分析軸の策定
 c. 再発防止の実施
 3. 実施効果
 4. まとめ

  • 4. Copyright © GREE, Inc. All Rights Reserved. ● NativeGameにおいてリリース後障害が増加傾向にあった
 ● 障害集計/分析を開始したがルール統一はしていなかった
 ● 再発防止など対策を行っていたが障害数の削減には至らず
 
 
 
 1.背景
 
 先行運用していたQAチームで障害分析による削減事例があり踏襲 し推進することを決定

  • 5. Copyright © GREE, Inc. All Rights Reserved. 2.障害削減の取り組み
 
 
 グリーのNativeゲームQAで進めた障害削減の流れ
 c.再発防止の実施
 a.集計方法の統一
 b.分析軸の策定
 上記の流れに沿って障害削減を推進

  • 6. Copyright © GREE, Inc. All Rights Reserved. a.集計方法の統一
 
 
 
 全件BTS管理
 タイトルA
 スプレッドシート全 件記録
 タイトルB
 社内wiki
 重大なもののみ
 タイトルC
 JIRA
 問い合わせを起票
 タイトルD
 JIRA
 重大なもののみ
 過去の障害集計方法
 改善後の障害集計方法

  • 7. Copyright © GREE, Inc. All Rights Reserved. a.集計方法の統一
 
 ● 全タイトル共通の基準として「重大度」を設定
 
 ● S:返金のリスクがある不具合、大規模な進行不能/データロスト
 ● A:広範囲/イベント報酬関連の不具合、IPを傷つける恐れがある不具合
 ● B:条件や範囲が限定的な不具合
 ● C:回避手段がある/軽微な不具合
 ● D:プレイに影響のない不備・改善余地
 
 ※Cランク以上を削減対象として設定
 今までの記載基準
 改善後の障害集計基準

  • 8. Copyright © GREE, Inc. All Rights Reserved. a.集計方法の統一
 
 記載する情報をルール化
 ● 見逃し原因
 ● 概要
 ● 重大度
 ● 補填
 ● 対策
 タイトルA
 問い合わせ内容
 影響度
 タイトルB
 概要
 対応
 補填有無
 タイトルC
 概要
 詳細
 今後の対策
 タイトルD
 概要
 対策
 補填有無
 過去の情報記載粒度
 改善後の情報記載粒度

  • 9. Copyright © GREE, Inc. All Rights Reserved. b.分析軸の策定
 
 障害件数 集計
 共通原因
 障害の内容はタイトルごとに様々だが、
 見逃し原因はどのタイトルも同様に分析・対策できる
 内容A
タイトル1
 タイトル2
 タイトル3
 内容B
 内容C
 見逃し原因を分析の軸として設定
 原因ごとの再発防止策をナレッジとして蓄積
 共通の分析軸を検討

  • 10. Copyright © GREE, Inc. All Rights Reserved. c.再発防止の実施
 QA責障害
 QA起因の障害
 
 テスト実施漏れ
 テスト設計漏れ
 開発責障害
 開発起因の障害
 QA未依頼
 QA後修正
 テスト範囲外
 グレー障害
 開発、QA双方で考 慮が難しい不具合
 テスト
 範囲外
 (暗黙的)
 外部要因障害
 テストでの検知が 難しい障害
 端末依存
 環境依存
 原因別に効果的なアプローチを検討する
 各障害見逃し原因の概要

  • 11. Copyright © GREE, Inc. All Rights Reserved. ヒューマンエラーであるという点に着目
 …システム的に再発を防ぐ方法を検討
 
 ● 特に効果的なのが「データ上の不具合」
 ○ 開発への事前の入力値チェックの提案
 ○ マスタデータの可読化
 ○ マスタと仕様の自動比較(データ検証)
 
 c.再発防止の実施
 目視チェック
 テスターの技量やコンディ ションによって見落としの可 能性が生じる
 データ検証
 テスターの技量やコンディ ションに左右されづらく、見落 としリスクが低い
 テスト実施漏れ

  • 12. Copyright © GREE, Inc. All Rights Reserved. c.再発防止の実施
 ナレッジの蓄積で再発防止を図る
 
 タイトル内で
 振り返り
 他タイトルで
 ナレッジ活用
 設計観点の追加
 横断レビュー
 横断的な
 設計観点の追加
 例:
 ● ランイベ用キャラ
 ○ 実戦に近い状態での実機 テストを実施
 ● 特殊スキル
 ○ 比例・反比例による性能 変化等の境界値分析テス トを実施
 ● 既存の取り組み
 テスト設計漏れ

  • 13. Copyright © GREE, Inc. All Rights Reserved. ● 取り組みを行い、障害削減に成功
  
   QA責障害
   半期で35%削減
 
 ● 全体の障害件数も13%削減
 ● 今後も取り組みを発展させて継続
 3.実施効果

  • 14. Copyright © GREE, Inc. All Rights Reserved. ● BTS化や指標の共通化を行うことは工数面でもメリットがあった
 ● 共通指標を使うことでタイトルごと横並びで分析できるようになった
 ● QA責障害の可視化によりナレッジ蓄積が行え、再発防止を強化できた
 ● 結果としてQA責の障害数を35%削減することに成功
 
 
 4.まとめ
 導入は面倒だし効果に疑問もあるかと思いますが、
 障害が減らないことに悩んでいるチームはぜひやってみてください!
 
 

  • 15. 15

  • 16. Copyright © GREE, Inc. All Rights Reserved. b.分析軸の策定
 タイトル名
 S
 A
 B
 C
 Aプロジェクト
 1
 2
 8
 11
 Bプロジェクト
 0
 2
 4
 6
 ・・・
 
 
 
 
 タイトル名
 テスト実施漏れ
 テスト設計漏れ
 テスト範囲外
 ・・・
 Aプロジェクト
 0
 1
 6
 
 Bプロジェクト
 1
 0
 8
 
 ・・・
 
 
 
 
 集計した情報をもとに現状把握
 ● 週次で状況共有を実施
 ● 発生状況や見逃し原因、作りこみ 原因、重大度を確認
 
 分析を効率化できる軸を検討
 現状の把握…タイトル横並びで情報を集計
 
 

  • 17. Copyright © GREE, Inc. All Rights Reserved. c.再発防止の実施
 テスト範囲外
 (暗黙的)
 ピンポイントでの対策にしない
 …単体の事象をもとに、アプリの構造を深堀していく
 例:武器に新レアリティ追加の結果、特定クエストが進行不能
 ● 特定クエストでキャラが装備している武器のレアリティを参照するロジック 
 ● 該当クエスト側に新レアリティに対応する実装がないのが原因 
 ● 武器追加時に今回障害が発生したクエストを進行して問題がないことを見る 
 ピンポイントの対策
 ● 他に関連付けが難しいテーブルを参照しているクエストがないか精査し、観点追加 
 望ましい対策
 見逃し原因ごとの傾向を探る:グレー