アプリの「無事故リリース」を目指して～品質管理部によるSmartBeat活用事例～

Copyright CYBIRD Co., Ltd. All Rights Reserved.
2019年1月29日
LEVEL Apps vol.2
～先行企業に学ぶゲームアプリのグロースハック！～
アプリの「無事故リリース」を目指して
～品質管理部によるSmartBeat活用事例～
技術統括部品質管理部副部長鏡谷陽一

Copyright CYBIRD Co., Ltd. All Rights Reserved. 1
鏡谷陽一(かがみたによういち)
自己紹介
第008064号
株式会社サイバード
技術統括部品質管理部副部長
株式会社ボトルキューブ所属。
家庭用ゲームソフトやスマホアプリの開発を長く経験。
2016年にサイバードで品質管理部を立ち上げ、2年弱で
社内QA体制を確立。
エンジニア目線で品質にまつわる様々な課題に取り組ん
でいる。
情報処理安全確保支援士(登録番号第008064号)
子育て奮闘中。

ボトルキューブはゲーム運営ビジネスを提案できるデベロッパーです
私達はお客様とゲーム事業を共に戦うパートナーでありたいと考えています
会社紹介：BottleCube
箱坊 →

会社概要
■設立
1998年
■会社名
株式会社サイバード CYBIRD Co., Ltd.
■所在地
東京都渋谷区猿楽町10-1 マンサード代官山
■設立
1998年
■事業内容
1998年、日本のモバイルインターネット黎明期に創業。以来、市場環境
の変化、テクノロジーの進化を常に見据えて様々なサービスを提供し、成
長を続けてきました。現在では、シリーズ累計2,000万人以上の会員数
を誇る女性向けゲームの提供や、豊かなライフスタイルをサポートするエ
ンタテインメントサービスの提供、また、新たにVoice UI事業にも取り組
むなど、多領域なサービスを展開しています。

ゲーム事業
◆女性向け恋愛ゲーム
シリーズ累計会員数2,000万人突破!!アバター機能も充実！
◆サッカー育成ゲーム
3DCGを用いたリッチなゲーム性！
登録者数350万人突破!!タイアップも！
◆名探偵コナンゲーム
3マッチのパズルゲーム！オリジナルボイス
やストーリー等コナンの世界を満喫できる！
©青山剛昌／小学館・読売テレビ・TMS 1996

コンテンツ事業/新規事業
コダワリ女子のための異次元空間マガジン
マンガやアニメ、ゲーム、ノベルといった2次元、
またそれを原作とする2.5次元舞台・ドラマ等を
こよなく愛するコダワリ女子なら知っておきたい
情報を随時発信しています。
創業時から運営する総合サーフメディア
多くのサーファーに支持される
自社サーフメディアです。
2017年3月には、Apple Watch
にも対応し、Apple社の公式ページ
でも紹介頂きました。
Voice UIによるコミュニケーションサービス
Voice UIのリーディングカンパニーとして
B2C事業における“顧客体験メソッド”を
Voice UIサービスに投入し、
価値ある顧客体験を創造します。
20年に渡り、魅力的なライセンスを生かした
様々なサービスを提供しています。
様々なエンタテインメントサービス
©2001-2018 薫白流株式会社 / © Autorace Mobile / © OHTA PRODUCTION/ ©Ryuji Kagami

品質管理部の役割
CYBIRDの品管
QA(テスト・デバッグ) 技術サポート
プラットフォームリレーションセキュリティ監査

導入のきっかけになったスライド

◆配信アプリのクラッシュの多さが気になっていた
◼ クラッシュ率が10%近い!? 作品もあった
◼ ストアレビューに「落ちる」が散見される
◆誰も詳細を追えていなかった
◼ 『手元の端末では』再現性が低い
◼ クラッシュログを深追いできる時間・スキルがない
◆重要性（ヤバさ）が伝わっていなかった
◼ 可視化できていない
◼ 不具合よりも施策が優先タスクになりがち
SmartBeat導入の背景

◆本当に10分で導入できます（慣れれば）
◼ 導入マニュアルがわかりやすい
◼ SDKが環境別にちゃんと用意されている
◆iOS/Android/Cocos2d-x/Unity/Unreal Engine/etc...
◼ たった数行のコードを書く（コピペする）だけ
SmartBeat入れてみた

可視化できた
（いきなり半分ぐらい解決）
SmartBeat入れたら

◆ 絞り込み・ソートカテゴリが充実
◼ 特定の端末/OSで発生しているクラッシュに
注目できる
◼ 発生頻度や影響が大きい順に確認できる
可視化

◆ クラッシュ詳細が見やすい
◼ 発生箇所＆事由が同じクラッシュが集約さ
れ、発生順に追える
◼ スタックトレース、端末情報、ログがひと目で
確認できる
可視化

◆ 豊富な端末情報
◼ クラッシュ発生時のネットワーク状態、メモリ空き容量なども分かる
◼ ユーザIDも送信しておけば特定が容易
可視化

◆可視化されてヤバさが伝わった
◼ チームメンバーの誰でも視覚的に把握できる
◼ クラッシュが多いとレビューに影響するという認識が広がる
◆クラッシュの解析が進んだ
◼ ログがまとまっているのでパターンを見つけやすい
◼ クラッシュしやすい端末・OSで重点的に検証
◆数値目標を立てられるようになった
◼ まず5%を切る →達成
◼ 多くても2～3%に抑えたい
SmartBeatによる改善

新作の開発が始まる・・・！
しかもチャレンジ多め案件

◆昨今のアプリ開発事情
◼ レッドオーシャン (言わずもがなですが…)
◆多様化、リッチ化
◆開発規模＆予算増大
◆絶対に負けられない
◼ 開発期間も人員も不足気味
◆開発の高度化→人材確保がより難しい状況に
◆マーケティングのことを考えるとリリース延期も困難
◼ バグを残してリリース → 短期でサービス終了
◆リリース直後からまともに動かない
◆原因がわからないまま長時間メンテ突入
◆大量の詫び石配布
新作の開発が始まる

新作の開発が始まる
品質は上げる
納期は守る

テスト
品質管理部が動き始めるタイミング
企画概要
方針決定
プロジェクト
計画精緻化
開発前期
（～α）
配信
瑕疵対応
運営
チューニング
（マスター）
開発後期
（～β）
企画プリプロ本開発（α・β・マスター）運営
テスト（運営）テスト（受入）テスト（β）
テスト
計画
コンセプト
レビュー
◆ 開発早期から品質管理部の活動も始める
◼ テスト計画を立てたら、少しずつ探索的テストを進める
◆ SmartBeatもなるべく早く導入する
◼ β～リリース直前に入れても修正が間に合わない
◼ クラッシュするとその先が確認できない（テスターの手が止まる）

◆クラッシュすると、その先のテストができない
◼ クラッシュを乗り越えた先で、またクラッシュするかも・・・
◼ 再現率の低いクラッシュは、作り込むほど見つけにくくなる
クラッシュバグを早く潰すことでテスト効率が上がる
テスターの手を止めない

◆CIへの組み込み（自動化）
◼ Jenkinsで毎日ビルド
◆DeployGateにバイナリアップロード
◆SmartBeatにシンボルファイルアップロード
工夫

無事故リリース達成
◼ リリースまでのスケジュール遅延は最小限
◼ ゲーム進行に影響する致命的な不具合なし
◼ リリース直後の長時間メンテもなし
◼ 驚異のクラッシュ率0.05% (iOS)
成果

成果
クラッシュ率
0.08%
クラッシュ率
0.38%

https://www.cybird.co.jp/recruit/engineer/blog/20170829/
無事故リリースの詳細

全く同じ手法で
無事故リリース連続達成
※Appleレギュレーションに引っかかり、リリース日は1ヶ月遅れましたorz

成果
クラッシュ率
0.07%
クラッシュ率
0.36%

◆ 急激な変化に注目
◼ アプリ更新直後にクラッシュが多発していないか監視
◼ アプリ更新を伴わない施策でもクラッシュが増えることがある
運用時に気をつけていること

◆まずは可視化しよう
◼ SmartBeatなら10分
◆開発初期から品質管理を始めよう
◼ 開発チームからも早めに声をかけてくれると嬉しいです
◆SmartBeatも早めにCIに組み込もう
◼ クラッシュバグはすぐ修正、テスターの手を止めない
◆無事故リリースを実現しよう！
まとめ：伝えたかったこと

あつまれー！
仲間募集中！
QAエンジニア(SWET)
テストマネージャ

採用情報
【お問合わせ先】
株式会社サイバード人事部採用担当 <chuto@cybird.co.jp>
採用についての詳細な情報はこちらから！
皆様からのエントリーを、心よりお待ちしております！
https://www.cybird.co.jp/recruit/career/

ご清聴ありがとうございました

アプリの「無事故リリース」を目指して～品質管理部によるSmartBeat活用事例～

More Related Content

What's hot

Similar to アプリの「無事故リリース」を目指して～品質管理部によるSmartBeat活用事例～

アプリの「無事故リリース」を目指して～品質管理部によるSmartBeat活用事例～