Downloaded 17 times
テスト観点に関する取り組み事例
- 1. テスト観点に関する取り組み事例 柏倉 直樹 システム本部 品質統括部品質管理部 QC第二グループ 株式会社ディー・エヌ・エー
- 2. 発表概要 WEBサービスやモバイルアプリのテスト設計においてテスト観点の網羅を支援する ための仕組みであるテスト観点リストについてご紹介します （近日一般公開予定！） 【発表の流れ】 • 前半 • 取り組みを進めてきた背景 •テスト観点リストが対象とするドメイン＋エンジニアの特性 • 後半 • テスト観点リストの一部を紹介 • 使い方の一例を紹介 2
- 3.
- 4. DeNA品質管理部でのテストの流れ • 上の図のようなテストの流れをとっています • テスト設計においてテスト観点を抜け漏れなく網羅することが大切 4 （柏倉他, “リバースモデリングを用いたテスト観点標準化の取組み”, ソフトウェアテストシンポジウム 2019 東京 (2019).）
- 5.
- 6. テスト観点を標準化する取り組みの履歴 以上の課題に対しDeNA品質管理部ではかねてよりテスト観点を整理する取り組み を進めており一定の効果を確認済み • リバースモデリングを用いたテスト観点標準化の取り組み • 過去のテストスイートからテスト観点を抽出し体系的に整理した取り組み •この活動はあくまでもDeNA社内で活用するためのテスト観点リストの整備 • JaSST’19 Tokyoのサイトから資料をDL可能 （http://jasst.jp/symposium/jasst19tokyo/report.html#research） • Webサービス・モバイルアプリケーション開発におけるテスト設計を支援する ための標準テスト観点の整備 • 上記の活動をさらに進めテスト設計でテスト観点リストを活用した場合に一定の 効果があることを確認しました • ソフトウェアシンポジウム2019のサイトから資料をDL可能 （論文：https://www.sea.jp/ss2019/programme.php） （slideshare：https://www.slideshare.net/tetsuyakouno1/web-149644480） 6
- 7.
- 8.
- 9.
- 10. テスト設計の流れを深掘り 対象エンジニアについて理解するためにまずはテスト設計の流れについて少し深掘りします • ドメインスキル：テストエンジニアが保有するドメイン知識に照らし合わせながら、 必要なテスト観点を抽出するためのスキル • テスト設計スキル：テストエンジニアが保有するテスト技法に関する知識に照らし 合わせながら、テスト観点からテスト仕様書を作成するためのスキル 10 図１：テスト分析・テスト設計の流れ （河野他, "Webサービス・モバイルアプリケーション開発におけるテスト設計を支援するための標準テスト観点の整備", ソフトウェア・シンポジウム2019in熊本 (2019).）
- 11.
- 12.
- 13.
- 14.
- 15.
- 16. ここまでの簡単なまとめ • テスト観点リストはテスト設計スキルが習熟したテストエンジニアがテスト設計 を行う際にドメインスキルの不足を補うためのツール • テスト観点リストが対象とするドメインはWEBサービス・モバイルアプリ •対象とするスコープはWEBサービス・モバイルアプリに共通するテスト観点 16
- 17.
- 18. テスト観点リストの一部紹介 18 ビュー テスト観点 機能 部品環境 観点タイトル Level1 Level2 Level3 〇 ログイン 複数ブラウザからの多重ログイン 〇 ログイン 複数端末からの多重ログイン OS別アプリの組み合わせ Android-Android 〇 ログイン 複数端末からの多重ログイン OS別アプリの組み合わせ Android-iOS 〇 ログイン 複数端末からの多重ログイン OS別アプリの組み合わせ iOS-iOS 〇 ログイン ログアウト 〇 メールアドレスの入力 ＠マークの前に文字列がない 〇 メールアドレスの入力 ＠マークの後に文字列がない 〇 パスワードの入力 入力不可文字のコピーペースト 〇 パスワードの入力 推測されやすい文字列の制限 〇 OS種別 PC Windows サポート対象バージョン 〇 OS種別 PC macOS サポート対象外バージョン 〇 OS種別 SmartPhone iOS 旧バージョン 〇 OS種別 SmartPhone Android 最新バージョン 全体としては ・観点タイトル ＝ 約90種類 ・テスト観点 ＝ 約700件
- 19. ログインに関する機能仕様書からテスト観点を抽出した例 19 Level1 Level2 Level3 連続認証失敗失敗回数許容上限の超過 ログイン状態の維持 キーチェーンアクセス ログアウト 仮登録アカウントでのログイン SNS認証連携 サービス種別 Facebook SNS認証連携 有効期限切れ SNS認証連携 アカウント利用許可の取り消し ID/パス不一致エラー エラー発生後の再ログイン アカウントの状態 パスワードの有効期限切れ アカウントの状態 解約済みアカウントでのログイン アカウントの状態 アカウントロック アカウントの状態 アカウントロック解除 アカウントの状態 アカウントの停止 仕様書から抽出できるテスト観点だけを列挙したもの。 抜け漏れがありそう。
- 20. 抜け漏れのチェック手順 20 ビュー テスト観点 機能 部品環境 観点タイトル Level1 Level2 Level3 〇 ログイン 複数ブラウザからの多重ログイン 〇 ログイン 複数端末からの多重ログイン OS別アプリの組み合わせ Android-Android 〇 ログイン 複数端末からの多重ログイン OS別アプリの組み合わせ Android-iOS 〇 ログイン 複数端末からの多重ログイン OS別アプリの組み合わせ iOS-iOS 〇 ログイン 複数アカウントの切り替え 〇 ログイン 既存アカウントへのログイン 〇 ログイン 連続認証失敗 失敗回数許容上限の超過 〇 ログイン ログイン状態の維持 〇 ログイン キーチェーンアクセス 〇 ログイン ログアウト 〇 ログイン 仮登録アカウントでのログイン 〇 ログイン SNS認証連携 サービス種別 Facebook 〇 ログイン SNS認証連携 有効期限切れ 〇 ログイン SNS認証連携 アカウント利用許可の取り消し 〇 ログイン ID/パス不一致エラー エラー発生後の再ログイン 〇 ログイン アカウントの状態 パスワードの有効期限切れ 〇 ログイン アカウントの状態 解約済みアカウントでのログイン 〇 ログイン アカウントの状態 アカウントロック 〇 ログイン アカウントの状態 アカウントロック解除 〇 ログイン アカウントの状態 アカウントの停止 ① ② 漏れていたテスト観点
- 21.
- 22. 補足 • テスト観点リストの有効性について • 冒頭で紹介したようにDeNA社内では一定の効果が確認されています •詳細は以下の発表資料・論文をご参照ください • JaSST’19 Tokyoでの事例発表 • ソフトウェアシンポジウム2019での経験論文 • ご紹介したテスト観点リストの有効性はまだ社外での検証例がありません • フィードバックいただけると幸いです • 今回はテスト設計時に活用する一例を紹介しました • 開発ドキュメントレビュー時に利用するような使い方も考えられるが実績は ありません • 今後の課題と考えています 22
- 23.