Submit Search
Upload
NativeGameの障害削減に向けた取り組み
Report
Share
gree_tech
gree_tech
Follow
•
0 likes
•
1,639 views
1
of
17
NativeGameの障害削減に向けた取り組み
•
0 likes
•
1,639 views
Report
Share
Download Now
Download to read offline
Engineering
GREE Tech Conference 2020 で発表された資料です。 https://techcon.gree.jp/2020/session/ShortSession-6
Read more
gree_tech
gree_tech
Follow
Recommended
モバイルゲーム。移管と運営のエンジニア by
モバイルゲーム。移管と運営のエンジニア
gree_tech
1.5K views
•
35 slides
ユーザー目線での課題早期発見!ユーザーの声はヒットへの第一歩 by
ユーザー目線での課題早期発見!ユーザーの声はヒットへの第一歩
gree_tech
1.4K views
•
25 slides
運用QAにおける工数効率化の取り組み by
運用QAにおける工数効率化の取り組み
gree_tech
1.5K views
•
15 slides
WFSエンジニア組織のデザイン〜コンテンツ開発に集中するために〜 by
WFSエンジニア組織のデザイン〜コンテンツ開発に集中するために〜
gree_tech
3K views
•
46 slides
ハイブリッドクラウドで変わるインフラストラクチャ設計 by
ハイブリッドクラウドで変わるインフラストラクチャ設計
gree_tech
1.4K views
•
25 slides
翻訳QAでのテスト自動化の取り組み by
翻訳QAでのテスト自動化の取り組み
gree_tech
305 views
•
20 slides
More Related Content
What's hot
海外展開と負荷試験 by
海外展開と負荷試験
gree_tech
593 views
•
53 slides
エンジニアとマネージャーは、いつも勝負をしているのだと思う by
エンジニアとマネージャーは、いつも勝負をしているのだと思う
gree_tech
12.4K views
•
46 slides
リリースを支える負荷測定 by
リリースを支える負荷測定
gree_tech
2.2K views
•
37 slides
All about 開発本部infra部 TASKs by
All about 開発本部infra部 TASKs
gree_tech
902 views
•
16 slides
組み込み開発のテストとゲーム開発のテストの違い by
組み込み開発のテストとゲーム開発のテストの違い
gree_tech
577 views
•
17 slides
NuxtJS + SSRで作ったGREE Tech Conference 2020 by
NuxtJS + SSRで作ったGREE Tech Conference 2020
gree_tech
829 views
•
44 slides
What's hot
(20)
海外展開と負荷試験 by gree_tech
海外展開と負荷試験
gree_tech
•
593 views
エンジニアとマネージャーは、いつも勝負をしているのだと思う by gree_tech
エンジニアとマネージャーは、いつも勝負をしているのだと思う
gree_tech
•
12.4K views
リリースを支える負荷測定 by gree_tech
リリースを支える負荷測定
gree_tech
•
2.2K views
All about 開発本部infra部 TASKs by gree_tech
All about 開発本部infra部 TASKs
gree_tech
•
902 views
組み込み開発のテストとゲーム開発のテストの違い by gree_tech
組み込み開発のテストとゲーム開発のテストの違い
gree_tech
•
577 views
NuxtJS + SSRで作ったGREE Tech Conference 2020 by gree_tech
NuxtJS + SSRで作ったGREE Tech Conference 2020
gree_tech
•
829 views
CEDEC2015_スマホゲーム開発を支えろ!〜汗と涙のQAエンジニアリング〜 by gree_tech
CEDEC2015_スマホゲーム開発を支えろ!〜汗と涙のQAエンジニアリング〜
gree_tech
•
8.6K views
グリーにおけるSumo Logic活用事例 by gree_tech
グリーにおけるSumo Logic活用事例
gree_tech
•
627 views
「ドキュメント見つからない問題」をなんとかしたい - 横断検索エンジン導入の取り組みについて- by gree_tech
「ドキュメント見つからない問題」をなんとかしたい - 横断検索エンジン導入の取り組みについて-
gree_tech
•
1K views
[VP of Engineering Meetup] エンジニアのパフォーマンスを最大化させる組織活性化施策とは by atsuki_ito
[VP of Engineering Meetup] エンジニアのパフォーマンスを最大化させる組織活性化施策とは
atsuki_ito
•
15.1K views
Sumo Logic活用事例とその運用 by gree_tech
Sumo Logic活用事例とその運用
gree_tech
•
2.7K views
ネイティブゲーム開発におけるこれからの品質保証 by gree_tech
ネイティブゲーム開発におけるこれからの品質保証
gree_tech
•
6.6K views
QAエンジニアを通じて弊社の開発環境がより良くなる日 〜 OpenSTF 編 〜 by gree_tech
QAエンジニアを通じて弊社の開発環境がより良くなる日 〜 OpenSTF 編 〜
gree_tech
•
7.5K views
GTMF 2015: 「テスト管理ツール「CAT」導入によるデバッグ管理の効率化とJenkins Enterpriseによるコンテンツパイプラインの改善」... by Game Tools & Middleware Forum
GTMF 2015: 「テスト管理ツール「CAT」導入によるデバッグ管理の効率化とJenkins Enterpriseによるコンテンツパイプラインの改善」...
Game Tools & Middleware Forum
•
2K views
[デブサミ秋2015] 新卒入社エンジニアが2年間fluentdを運用して学んだ事いろいろ by gree_tech
[デブサミ秋2015] 新卒入社エンジニアが2年間fluentdを運用して学んだ事いろいろ
gree_tech
•
5.3K views
ノーコードとアジャイル by Yukio Okajima
ノーコードとアジャイル
Yukio Okajima
•
304 views
対話と創発~アジャイルなマーケティングチームの作り方 by Yukio Okajima
対話と創発~アジャイルなマーケティングチームの作り方
Yukio Okajima
•
1.9K views
SINoALICE -シノアリス- グローバル版、全139ヵ国リリースへの道のり by gree_tech
SINoALICE -シノアリス- グローバル版、全139ヵ国リリースへの道のり
gree_tech
•
2.1K views
Zenlab 20190213 by Rika Nakano
Zenlab 20190213
Rika Nakano
•
200 views
クラウド&コンテナ活用でDevOpsを加速させる! by Kazuto Ohara
クラウド&コンテナ活用でDevOpsを加速させる!
Kazuto Ohara
•
5K views
Similar to NativeGameの障害削減に向けた取り組み
ハイブリッドクラウド活用セミナー 20141208 by
ハイブリッドクラウド活用セミナー 20141208
Osamu Kurokochi
354 views
•
25 slides
ゲームインフラとGoogle Cloud Platformと酒! by
ゲームインフラとGoogle Cloud Platformと酒!
Hasegawa Yusuke
1.4K views
•
38 slides
Interop2015-c4-3-モバイルゲームのチート対策 by
Interop2015-c4-3-モバイルゲームのチート対策
Osamu Kurokochi
68 views
•
13 slides
Internet week2013 ソーシャルプラットフォーム開発設計秘話nw編_20131114 by
Internet week2013 ソーシャルプラットフォーム開発設計秘話nw編_20131114
Osamu Kurokochi
406 views
•
26 slides
Cloud garage deveopers meetup by
Cloud garage deveopers meetup
jun oyaizu
192 views
•
43 slides
#BCU30 5年間VRゲームを作ってみた by
#BCU30 5年間VRゲームを作ってみた
Haruto Watanabe
1.6K views
•
23 slides
Similar to NativeGameの障害削減に向けた取り組み
(20)
ハイブリッドクラウド活用セミナー 20141208 by Osamu Kurokochi
ハイブリッドクラウド活用セミナー 20141208
Osamu Kurokochi
•
354 views
ゲームインフラとGoogle Cloud Platformと酒! by Hasegawa Yusuke
ゲームインフラとGoogle Cloud Platformと酒!
Hasegawa Yusuke
•
1.4K views
Interop2015-c4-3-モバイルゲームのチート対策 by Osamu Kurokochi
Interop2015-c4-3-モバイルゲームのチート対策
Osamu Kurokochi
•
68 views
Internet week2013 ソーシャルプラットフォーム開発設計秘話nw編_20131114 by Osamu Kurokochi
Internet week2013 ソーシャルプラットフォーム開発設計秘話nw編_20131114
Osamu Kurokochi
•
406 views
Cloud garage deveopers meetup by jun oyaizu
Cloud garage deveopers meetup
jun oyaizu
•
192 views
#BCU30 5年間VRゲームを作ってみた by Haruto Watanabe
#BCU30 5年間VRゲームを作ってみた
Haruto Watanabe
•
1.6K views
ガチャサイクルと海外課金 by Hiromasa Iwasaki
ガチャサイクルと海外課金
Hiromasa Iwasaki
•
271.5K views
社内でのjira運用 by Yasushi Kishi
社内でのjira運用
Yasushi Kishi
•
1.5K views
Vgにおけるuxデザインとagile開発@ハッカー道場 by VOYAGE GROUP
Vgにおけるuxデザインとagile開発@ハッカー道場
VOYAGE GROUP
•
639 views
Bakusoku Offshore Development at Gulliver by Kenji Hiranabe
Bakusoku Offshore Development at Gulliver
Kenji Hiranabe
•
1.4K views
爆速 オフショアに挑む by 大清 加藤
爆速 オフショアに挑む
大清 加藤
•
278 views
WebのQAを5年間運営してみた by Takayoshi Sakaino
WebのQAを5年間運営してみた
Takayoshi Sakaino
•
9.4K views
Game infrastructure design construction operation ver1.2 by TomohiroDoi
Game infrastructure design construction operation ver1.2
TomohiroDoi
•
146 views
アジャイルナイトセミナー_2012年10月18日_Social Game x Agile Development by Go2GroupJapan
アジャイルナイトセミナー_2012年10月18日_Social Game x Agile Development
Go2GroupJapan
•
575 views
RPKIやってみませんか? by gree_tech
RPKIやってみませんか?
gree_tech
•
1.4K views
GMOインターネットグループ総合コンタクトセンターへの道のり by GMO HosCon
GMOインターネットグループ総合コンタクトセンターへの道のり
GMO HosCon
•
2.1K views
XP祭り関西(2015)資料 : アジャイル導入の価値 by Hikaru Taniguchi
XP祭り関西(2015)資料 : アジャイル導入の価値
Hikaru Taniguchi
•
1.6K views
Techorus night cloudgarage_20181219 by jun oyaizu
Techorus night cloudgarage_20181219
jun oyaizu
•
2.1K views
WFSにおけるCloud SpannerとGKEを中心としたGCP導入事例の紹介 by gree_tech
WFSにおけるCloud SpannerとGKEを中心としたGCP導入事例の紹介
gree_tech
•
601 views
ぼくらが体験入社にこだわるワケ by Daisuke Sato
ぼくらが体験入社にこだわるワケ
Daisuke Sato
•
836 views
More from gree_tech
アナザーエデンPC版リリースへの道のり 〜WFSにおけるマルチプラットフォーム対応の取り組み〜 by
アナザーエデンPC版リリースへの道のり 〜WFSにおけるマルチプラットフォーム対応の取り組み〜
gree_tech
729 views
•
36 slides
GREE VR Studio Laboratory「XR-UX Devプロジェクト」の成果紹介 by
GREE VR Studio Laboratory「XR-UX Devプロジェクト」の成果紹介
gree_tech
229 views
•
13 slides
REALITYアバターを様々なメタバースで活躍させてみた - GREE VR Studio Laboratory インターン研究成果発表 by
REALITYアバターを様々なメタバースで活躍させてみた - GREE VR Studio Laboratory インターン研究成果発表
gree_tech
1K views
•
18 slides
アプリ起動時間高速化 ~推測するな、計測せよ~ by
アプリ起動時間高速化 ~推測するな、計測せよ~
gree_tech
1.9K views
•
84 slides
長寿なゲーム事業におけるアプリビルドの効率化 by
長寿なゲーム事業におけるアプリビルドの効率化
gree_tech
347 views
•
116 slides
Cloud Spanner をより便利にする運用支援ツールの紹介 by
Cloud Spanner をより便利にする運用支援ツールの紹介
gree_tech
689 views
•
31 slides
More from gree_tech
(20)
アナザーエデンPC版リリースへの道のり 〜WFSにおけるマルチプラットフォーム対応の取り組み〜 by gree_tech
アナザーエデンPC版リリースへの道のり 〜WFSにおけるマルチプラットフォーム対応の取り組み〜
gree_tech
•
729 views
GREE VR Studio Laboratory「XR-UX Devプロジェクト」の成果紹介 by gree_tech
GREE VR Studio Laboratory「XR-UX Devプロジェクト」の成果紹介
gree_tech
•
229 views
REALITYアバターを様々なメタバースで活躍させてみた - GREE VR Studio Laboratory インターン研究成果発表 by gree_tech
REALITYアバターを様々なメタバースで活躍させてみた - GREE VR Studio Laboratory インターン研究成果発表
gree_tech
•
1K views
アプリ起動時間高速化 ~推測するな、計測せよ~ by gree_tech
アプリ起動時間高速化 ~推測するな、計測せよ~
gree_tech
•
1.9K views
長寿なゲーム事業におけるアプリビルドの効率化 by gree_tech
長寿なゲーム事業におけるアプリビルドの効率化
gree_tech
•
347 views
Cloud Spanner をより便利にする運用支援ツールの紹介 by gree_tech
Cloud Spanner をより便利にする運用支援ツールの紹介
gree_tech
•
689 views
SINoALICE -シノアリス- Google Cloud Firestoreを用いた観戦機能の実現について by gree_tech
SINoALICE -シノアリス- Google Cloud Firestoreを用いた観戦機能の実現について
gree_tech
•
626 views
サーバーフレームワークに潜んでる脆弱性検知ツール紹介 by gree_tech
サーバーフレームワークに潜んでる脆弱性検知ツール紹介
gree_tech
•
209 views
データエンジニアとアナリストチーム兼務になった件について by gree_tech
データエンジニアとアナリストチーム兼務になった件について
gree_tech
•
308 views
シェアドサービスとしてのデータテクノロジー by gree_tech
シェアドサービスとしてのデータテクノロジー
gree_tech
•
433 views
「Atomic Design × Nuxt.js」コンポーネント毎に責務の範囲を明確にしたら幸せになった話 by gree_tech
「Atomic Design × Nuxt.js」コンポーネント毎に責務の範囲を明確にしたら幸せになった話
gree_tech
•
1.1K views
比較サイトの検索改善(SPA から SSR に変換) by gree_tech
比較サイトの検索改善(SPA から SSR に変換)
gree_tech
•
699 views
コードの自動修正によって実現する、機能開発を止めないフレームワーク移行 by gree_tech
コードの自動修正によって実現する、機能開発を止めないフレームワーク移行
gree_tech
•
2.9K views
法人向けメタバースプラットフォームの開発の裏側をのぞいてみた(仮) by gree_tech
法人向けメタバースプラットフォームの開発の裏側をのぞいてみた(仮)
gree_tech
•
753 views
基調講演 -グリーが目指すエンジニアのあり方、チームのあり方- by gree_tech
基調講演 -グリーが目指すエンジニアのあり方、チームのあり方-
gree_tech
•
446 views
REALITY iOSアプリを支える開発効率化 by gree_tech
REALITY iOSアプリを支える開発効率化
gree_tech
•
1.1K views
Lua文化の伝承!? WFSにおけるイベントスクリプト活用術〜すべてはより良いコンテンツ制作のために〜 by gree_tech
Lua文化の伝承!? WFSにおけるイベントスクリプト活用術〜すべてはより良いコンテンツ制作のために〜
gree_tech
•
2.7K views
バーチャルライブ配信アプリREALITYの3Dアバターシステムの全容について by gree_tech
バーチャルライブ配信アプリREALITYの3Dアバターシステムの全容について
gree_tech
•
4K views
REALITY低遅延モード配信を支えるリアルタイムサーバとデータパイプライン by gree_tech
REALITY低遅延モード配信を支えるリアルタイムサーバとデータパイプライン
gree_tech
•
2.8K views
さまざまなキャプチャーデータを合成して再分配するシステム「REALITY Studio Motion Engine」について by gree_tech
さまざまなキャプチャーデータを合成して再分配するシステム「REALITY Studio Motion Engine」について
gree_tech
•
2.3K views
NativeGameの障害削減に向けた取り組み
1.
グリー株式会社 WFQAチーム マネージャー 野本雅俊 NativeGameの障害削減に 向けた取り組み グリー株式会社 WFQAチーム 奥泉卓也
2.
Copyright © GREE,
Inc. All Rights Reserved. 自己紹介 氏名と所属 野本 雅俊 (のもと まさとし) Customer & Product Satisfaction部 WFQAチーム マネージャー 主な業務内容 NativeゲームのQAマネージャー WFSタイトル全般のQA統括 各メンバーのマネジメント 略歴 SIerでエンジニアを経験後、NTTひかり電話関連シ ステムのQA担当を経て、2012年グリーに入社 GREE PFのQA担当後、NativeゲームのQAへ異動。 複数タイトルの国内外リリースを成功させ、2018年 からマネージャーとなる。 氏名と所属 奥泉 卓也 (おくいずみ たくや) Customer & Product Satisfaction部 WFQAチーム 主な業務内容 Nativeゲーム(WFSタイトル)のQA担当 横断的な障害削減 略歴 SIerでインフラエンジニアとしての業務を経て、2018 年グリーに入社。 当初は移管タイトルのQA立ち上げを担当し、2019年 から自社開発Nativeゲーム (WFSタイトル)のQAを担当。
3.
Copyright © GREE,
Inc. All Rights Reserved. 1. 背景 2. 障害削減の取り組み a. 集計方法の統一 b. 分析軸の策定 c. 再発防止の実施 3. 実施効果 4. まとめ
4.
Copyright © GREE,
Inc. All Rights Reserved. ● NativeGameにおいてリリース後障害が増加傾向にあった ● 障害集計/分析を開始したがルール統一はしていなかった ● 再発防止など対策を行っていたが障害数の削減には至らず 1.背景 先行運用していたQAチームで障害分析による削減事例があり踏襲 し推進することを決定
5.
Copyright © GREE,
Inc. All Rights Reserved. 2.障害削減の取り組み グリーのNativeゲームQAで進めた障害削減の流れ c.再発防止の実施 a.集計方法の統一 b.分析軸の策定 上記の流れに沿って障害削減を推進
6.
Copyright © GREE,
Inc. All Rights Reserved. a.集計方法の統一 全件BTS管理 タイトルA スプレッドシート全 件記録 タイトルB 社内wiki 重大なもののみ タイトルC JIRA 問い合わせを起票 タイトルD JIRA 重大なもののみ 過去の障害集計方法 改善後の障害集計方法
7.
Copyright © GREE,
Inc. All Rights Reserved. a.集計方法の統一 ● 全タイトル共通の基準として「重大度」を設定 ● S:返金のリスクがある不具合、大規模な進行不能/データロスト ● A:広範囲/イベント報酬関連の不具合、IPを傷つける恐れがある不具合 ● B:条件や範囲が限定的な不具合 ● C:回避手段がある/軽微な不具合 ● D:プレイに影響のない不備・改善余地 ※Cランク以上を削減対象として設定 今までの記載基準 改善後の障害集計基準
8.
Copyright © GREE,
Inc. All Rights Reserved. a.集計方法の統一 記載する情報をルール化 ● 見逃し原因 ● 概要 ● 重大度 ● 補填 ● 対策 タイトルA 問い合わせ内容 影響度 タイトルB 概要 対応 補填有無 タイトルC 概要 詳細 今後の対策 タイトルD 概要 対策 補填有無 過去の情報記載粒度 改善後の情報記載粒度
9.
Copyright © GREE,
Inc. All Rights Reserved. b.分析軸の策定 障害件数 集計 共通原因 障害の内容はタイトルごとに様々だが、 見逃し原因はどのタイトルも同様に分析・対策できる 内容A タイトル1 タイトル2 タイトル3 内容B 内容C 見逃し原因を分析の軸として設定 原因ごとの再発防止策をナレッジとして蓄積 共通の分析軸を検討
10.
Copyright © GREE,
Inc. All Rights Reserved. c.再発防止の実施 QA責障害 QA起因の障害 テスト実施漏れ テスト設計漏れ 開発責障害 開発起因の障害 QA未依頼 QA後修正 テスト範囲外 グレー障害 開発、QA双方で考 慮が難しい不具合 テスト 範囲外 (暗黙的) 外部要因障害 テストでの検知が 難しい障害 端末依存 環境依存 原因別に効果的なアプローチを検討する 各障害見逃し原因の概要
11.
Copyright © GREE,
Inc. All Rights Reserved. ヒューマンエラーであるという点に着目 …システム的に再発を防ぐ方法を検討 ● 特に効果的なのが「データ上の不具合」 ○ 開発への事前の入力値チェックの提案 ○ マスタデータの可読化 ○ マスタと仕様の自動比較(データ検証) c.再発防止の実施 目視チェック テスターの技量やコンディ ションによって見落としの可 能性が生じる データ検証 テスターの技量やコンディ ションに左右されづらく、見落 としリスクが低い テスト実施漏れ
12.
Copyright © GREE,
Inc. All Rights Reserved. c.再発防止の実施 ナレッジの蓄積で再発防止を図る タイトル内で 振り返り 他タイトルで ナレッジ活用 設計観点の追加 横断レビュー 横断的な 設計観点の追加 例: ● ランイベ用キャラ ○ 実戦に近い状態での実機 テストを実施 ● 特殊スキル ○ 比例・反比例による性能 変化等の境界値分析テス トを実施 ● 既存の取り組み テスト設計漏れ
13.
Copyright © GREE,
Inc. All Rights Reserved. ● 取り組みを行い、障害削減に成功 QA責障害 半期で35%削減 ● 全体の障害件数も13%削減 ● 今後も取り組みを発展させて継続 3.実施効果
14.
Copyright © GREE,
Inc. All Rights Reserved. ● BTS化や指標の共通化を行うことは工数面でもメリットがあった ● 共通指標を使うことでタイトルごと横並びで分析できるようになった ● QA責障害の可視化によりナレッジ蓄積が行え、再発防止を強化できた ● 結果としてQA責の障害数を35%削減することに成功 4.まとめ 導入は面倒だし効果に疑問もあるかと思いますが、 障害が減らないことに悩んでいるチームはぜひやってみてください!
15.
15
16.
Copyright © GREE,
Inc. All Rights Reserved. b.分析軸の策定 タイトル名 S A B C Aプロジェクト 1 2 8 11 Bプロジェクト 0 2 4 6 ・・・ タイトル名 テスト実施漏れ テスト設計漏れ テスト範囲外 ・・・ Aプロジェクト 0 1 6 Bプロジェクト 1 0 8 ・・・ 集計した情報をもとに現状把握 ● 週次で状況共有を実施 ● 発生状況や見逃し原因、作りこみ 原因、重大度を確認 分析を効率化できる軸を検討 現状の把握…タイトル横並びで情報を集計
17.
Copyright © GREE,
Inc. All Rights Reserved. c.再発防止の実施 テスト範囲外 (暗黙的) ピンポイントでの対策にしない …単体の事象をもとに、アプリの構造を深堀していく 例:武器に新レアリティ追加の結果、特定クエストが進行不能 ● 特定クエストでキャラが装備している武器のレアリティを参照するロジック ● 該当クエスト側に新レアリティに対応する実装がないのが原因 ● 武器追加時に今回障害が発生したクエストを進行して問題がないことを見る ピンポイントの対策 ● 他に関連付けが難しいテーブルを参照しているクエストがないか精査し、観点追加 望ましい対策 見逃し原因ごとの傾向を探る:グレー