テストアプローチにデータ分析を使おう

6. テストアプローチ？• JSTQB FLシラバスより 5.2.6 テスト戦略、テストアプローチ(K2) テストアプローチは、特定のプロジェクトにおいてテスト戦略を実装することである。代表的なアプローチとして、以下のものがある。 – 緊急度や重要度などを考慮したリスクベースドテストのような分析的アプローチ – 故障率や使用性などの統計情報を基にするモデルベースアプローチ – エラー推測や品質特性を基にする方法論的アプローチなど、JSTQB FLシラバスには7種類があげられている Copyright (C) 2012 WACATE All rights reserved

9. テストアプローチ？「テスト」といえば・・・？アドホックテスト、探索的テスト、ブラックボックステスト、境界値テスト、状態遷移テスト、ランダムテスト、モデルベースドテスト、ホワイトボックステスト、制御フローテスト、データフローテスト、トランザクションテスト、コールフローテスト、エラー推測テスト、ミューテーションテスト、ローカライゼーションテスト、ユーザ環境シミュレーションテスト、整合性確認テスト、オブジェクト指向テスト、GUIテスト、データベーステスト、プロトコル適格性テスト、コンテンツテスト、ユーザインターフェーステスト、コンポーネントレベルテスト、ナビゲーションテスト、後世テスト、セキュリティテスト、パフォーマンステスト、実時間のテスト、タスクテスト、動作テスト、タスク間テスト、システムテスト、リスクベースドテスト、アイソレーションテスト、アークテスト、アクションワード駆動テスト、アクセシビリティテスト、アジャイルテスト、アドホックテスト、アルゴリズムテスト、アルファテスト、安全性テスト、移植性テスト、インクリメンタルテスト、インテークテスト、受け入れテスト、運用受け入れテスト、運用テスト、運用プロファイルテスト、N スイッチテスト、LCSAJ テスト、回帰テスト、開発テスト、回復性テスト、回復テスト、改良条件判定テスト、改良複合条件テスト、拡張性テスト、確認テスト、完全テスト、規程テスト、機能性テスト、機能テスト、基本比較テスト、キーワード駆動テスト、グラスボックステスト、クリアボックステスト、構成テスト、構造テスト、構造ベースドテスト、合目的性テスト、効率性テスト、互換性テスト、コードベースドテスト、コンフィデンステスト、コンポーネントテスト、コンポーネント統合テスト、サイト受け入れテスト、サニティテスト、資源効率性テスト、システム統合テスト、小規模統合テスト、条件組合せテスト、条件テスト、条件判定テスト、使用性テスト、仕様ベースドテスト、シンタックステスト、構文テスト、信頼性テスト、スクリプトテスト、ステートメントテスト、ストレージテスト、ストレステスト、スモークテスト、スレッドテスト、正確性テスト、静的テスト、性能テスト、製品受け入れテスト、設置性テスト、全数テスト、相互運用性テスト、大規模統合テスト、ダーティテスト、チェックリストベースドテスト、直交表テスト、適合テスト、デザインベースドテスト、デシジョンテスト、デシジョンテーブルテスト、統計的テスト、統合テスト、動的テスト、ドキュメンテーションテスト、トップダウンテスト、パステスト、パーティションテスト、判定条件テスト、ビジネスプロセスベースドテスト、否定テスト、標準適合性テスト、標準テスト、フィールドテスト、複合条件テスト、ブランチコンデション組合せテスト、ブランチテスト、プログラムテスト、プロセスサイクルテスト、ベータテスト、ベンチマークテスト、保守性テスト、ボトムアップテスト、ボリュームテスト、モジュールテスト、モンキーテスト、有限状態テスト、ユーザシナリオテスト、ユーザテスト、ユースケーステスト、ユニットテスト、要件ベースドテスト、予備テスト、リンクテスト、ロードテスト、ロバストネステスト、論理カバレッジテスト、論理駆動テスト、ソフトウェアテスト、、、 Copyright (C) 2012 WACATE All rights reserved

13. テストアプローチ• JSTQBのシラバスでは（参考）テストアプローチは、テスト計画とテスト設計の中で定義され、改良される。これには、一般的に(テスト)プロジェクトのゴールとリスクアセスメントに基づく決定を盛り込む。それは、テストプロセスの計画、テスト設計技法の選択とテストタイプの適用、開始・終了基準の定義などを行うための出発点である。• ISTQBシラバス準拠ソフトウェアテストの基礎では（参考）テストアプローチあるいはテスト戦略の選択は、テスト作業の成功と、テスト計画と見積もりの正確性の要素の1 つです。ケースバイケースで、最も意味があるテストアプローチを採用して、そのアプローチを各自で利用したり変更したりするしかありません。 Copyright (C) 2012 WACATE All rights reserved

14. テストアプローチ• 現場の仕事がバリバリ進むソフトウェアテスト手法では（参考） – 2-4-7 アプローチアプローチは非常に重要です。ここに書くことは、 2.4.3項「はじめに」で書いたテストの方向性、つまりテスト戦略を具現化するためのテストの方法を記載するからです。 • テストの概要（どんな種類のテストを誰がいつ実施するのか） • テストツール導入に関して • テストリリース方法（構成管理）・・・など Copyright (C) 2012 WACATE All rights reserved

21. データ分析？プロジェクトの背景データ収集データ分析データ結果データ結果の収集分析プロジェクトの成果物データ分テスト戦略で定析結果か現場へめられたメトリクら傾向をス次のメトのヒア読みとるリクスのリング設定データから読み解事実く傾向想定リストテストアプローチ内容改善点の設定想定と次のテス事実とのつき合事実のトのアプわせ結果つき合ローチ検わせ討 Copyright (C) 2012 WACATE All rights reserved

25. 個人ワークとグループワーク個人ワークとグループワークをやります。個人ワークでは、これから説明するプロジェクトの新規開発のテスト結果を表したグラフについて、みなさんだったら何を読みとるかを考えていただきます。その後、個人ワークで読んでいただいたテスト結果に対して、別のチームが分析/ヒアリングした資料を配布します。グループワークでは後から配布する資料を基に、総合評価と第2次開発のテストではどんなアプローチをするかを考えてください。最後にどこかのグループに発表していただきます。 Copyright (C) 2012 WACATE All rights reserved

26. ワークの範囲プロジェクトの個人ワーク背景データ収集データ分析データ結果データ結果の収集分析プロジェクトの成果物データ分テスト戦略で定析結果か現場へめられたメトリクら傾向をス次のメトのヒア読みとるリクスのリング設定データから読み解グループワークく傾向想定リスト事実テストアプローチ改善点内容の設定想定と次のテス事実とのつき合事実のトのアプわせ結果つき合ロ―チ検わせ討 Copyright (C) 2012 WACATE All rights reserved

27. プロジェクト背景配布資料この夏、WACATE Corporationのなんでも開発部で新規開発がありました。前例プロジェクトのない、初の開発でした。この冬、第2次開発をすることになりました。でも、新規開発に対してリリース後の問合せが多発し、欠陥と判断されたものも多数ありました。そこで、第2次開発をするにあたり、Y本部長から「テストを強化しろ」というお達しがありました。お達しを受けたなんでも開発部のO部長は、同じ事業部内のなんでもテスト部のS部長に第2次開発におけるシステムテストを依頼しました。依頼を受けたS部長は、O部長から新規開発時のテストの状況を知るために、テスト結果報告書の提供をしてもらい、第2次開発の参考にすることにしました。 Copyright (C) 2012 WACATE All rights reserved

30. 個人ワークのお題配布資料O部長はS部長からお願いされたとおり、新規開発時のテスト結果報告を開発を担当したI課長から受取り、S部長に提出しました。S部長「三崎さん、例の開発のテスト結果報告もらったから、ちょっとこれ、見てくれる？」三崎伽哩「はぁーい」S部長「これ見た結果を、あとで報告よろしく。あ、そうそうこの後やまさき本部長と出かけなきゃならないから、まとめておいて。明日の朝の部長会で報告聞くよ。あ、そのときにはやまさき本部長もいらっしゃるから、そのつもりで(｡･人･｡)ｵ･ﾈ･ｶﾞ･ｲ」と、伽哩ちゃんはいつもにこにこ優しいS部長のお願いを受け取りました。みなさんはこの伽哩ちゃんの立場となってください。 Copyright (C) 2012 WACATE All rights reserved

35. グループワークのお題配布資料三崎伽哩「5辛・・・かなぁ。もうちょっと言ってもいいかなぁ。本部長がいらっしゃるところで報告することになるんだし、次のテストはこっち（テスト部）がやることになるんだし、テスト動きやすくしたいなぁ。若手先輩だったらどうするかなぁ。。。」数時間後、テスト部のみなさんのところに伽哩ちゃんからミーティングリクエストが届きました。三崎伽哩「例の開発のテスト結果報告を分析して、ダサいところは直接聞いてきました。次の開発ではシステムテストはこちら（テスト部）でやることになりますので、開発部のテスト実施結果に対する評価と、我々のシステムテストをどうするかを、相談させてください。なお、会議室の予約の関係上40分しか時間がとれませんでした。」というワケで、各グループが伽哩ちゃんからミーティングリクエストを受け取ったテスト部メンバーとなって、ワークをしてください。 Copyright (C) 2012 WACATE All rights reserved

37. 模造紙に書くこと配布資料• 評価チーム名またはチームメンバーの名前• ☆の数（最高3つ）• ☆の数の理由• 評価内容• 次期テストにおける改善点 – テストアプローチにつながることがベスト！！注：スケジュールやメンバーのレベルなどで変わる優先度は、考慮しなくて良いです。テストアプローチとして考え得ることを出しましょう Copyright (C) 2012 WACATE All rights reserved

42. データ分析、もっと知りたい？（ソフトウェア品質技術者のための）データ分析勉強会日時：2012/12/22 主催：小池様（ヤマハ（株）） JUSE-SQiP特別講演会データ指向のソフトウェアマネジメント日時：2013/2/25 講演：野中先生（東洋大学）事例発表：小池様（ヤマハ（株）） SQiP研究会メトリクス演習コース（来期に新設予定？）主査：小池様（ヤマハ（株）） Copyright (C) 2012 WACATE All rights reserved

43. 参考書籍• データ指向のソフトウェア品質マネジメントメトリクス分析による「事実にもとづく管理」の実践• 定量的品質予測のススメ ITシステム開発における品質予測の実践的アプローチ• 続定量的品質予測のススメ ITシステム開発における定量的品質管理の導入ノウハウと上流工程へのアプローチ• 演習で学ぶソフトウェアメトリクスの基礎【ソフトウェアの測定と見積もりの正しい作法】• 初めて学ぶソフトウェアメトリクス【プロジェクト見積もりのためのデータの導き方】• ソフトウェア品質保証の考え方と実際オープン化時代に向けての体系的アプローチ• JSTQB FLシラバス ver.2011.J01• JSTQB ALシラバス ver.2007.J03• ISTQBシラバス準拠ソフトウェアテストの基礎• ソフトウェア・テスト PRESS Vol.9• ソフトウェア品質知識体系ガイド－SQuBOK Guide－• 2012-2013 データ白書• 現場の仕事がバリバリ進むソフトウェアテスト手法• ステップアップのためのソフトウェアテスト実践ガイド Copyright (C) 2012 WACATE All rights reserved

テストアプローチにデータ分析を使おう

Sayaka Nakano

テストアプローチにデータ分析を使おう