実践！組合せテスト設計(WACATE2012s)

実践！組合せテスト設計(WACATE2012s)
実践！組合せテスト設計〜～組合せテストで学ぶソフトウェアテストの設計プロセス〜～ WACATE2012 夏 2012年年6⽉月30⽇日井芹　洋輝（WACATE実⾏行行委員会） Copyright (C) 2012 WACATE All rights reserved
この講義で扱うこと •  ソフトウェアを対象とした組合せテストの設計プロセスについて解説します – 仕様の分析 – 因⼦子・⽔水準のピックアップ – 組合せをどう扱うか – 組合せテスト技法の使いどころ •  これから⾏行行われる２つのワークショップで実践してきます Copyright (C) 2012 WACATE All rights reserved
組合せテストの設計で⼤大事なこと •  適切切な組合せテストの設計には、適切切なテスト計画、テスト分析、テストの上流流設計が⽋欠かせません – いきなり技法を適⽤用すると冗⻑⾧長なテストや、テストの抜け漏漏れが発⽣生しやすくなります – 逆にテストの上流流⼯工程を適切切に⾏行行っていれば、どのような組合せがありどのような技法を使うべきか明らかになっていきます Copyright (C) 2012 WACATE All rights reserved
良良いテスト設計の基本的な流流れ入力（テストベースやテスト要求）発散整理テスト設計テストケースやテスト手順へ Copyright (C) 2012 WACATE All rights reserved
良良いテスト設計の基本的な流流れ入力（テストベースやテスト要求）・仕様の抜け漏れや隠れた意図を明らかにする・テストの目的やテストへの要求を明らかにする・テスト対象やテストの目的を整理する発散・何にどのようなテストが必要か目安をたてる整理テスト設計・テスト対象に対して実施すべきテテストケースやストを適切な技法を使って設計するテスト手順へ Copyright (C) 2012 WACATE All rights reserved
駄⽬目なテスト設計の流流れ入力（テストベースやテスト要求）テストケースやテスト手順へ Copyright (C) 2012 WACATE All rights reserved
駄⽬目なテスト設計の流流れ入力 ●要求仕様（テストベースやテスト要求）・停止状態でボタンを押したらストップウォッチを開始するテスト手順期待される動作停止状態でボタンを押すストップウォッチを開始するテストケースや仕様とテスト対象の矛盾程度テスト手順へしかチェックされない（Copy & Paste & Modify法と呼ばれる） Copyright (C) 2012 WACATE All rights reserved
駄⽬目なテスト設計の流流れ２入力（テストベースやテスト要求）テスト技法を使った設計テストケースやテスト手順へ Copyright (C) 2012 WACATE All rights reserved
駄⽬目なテスト設計の流流れ２入力 ●要求仕様（テストベースやテスト要求）・麺の固さはかため、普通、柔らかめ・スープは豚骨、味噌、醤油ペアワイズ直交表テスト技法を使った設計麺 … スープ … 結果 … テストケースや隠れた仕様や意図を取りのがすテスト手順へ重要でない所に注力し、重要な所を見逃すリスクテストの全体整合の欠落 Copyright (C) 2012 WACATE All rights reserved
良良いテスト設計の基本的な流流れ入力（テストベースやテスト要求）発散整理テスト設計テストケースやテスト手順へ Copyright (C) 2012 WACATE All rights reserved
テスト設計のプロセス 1.  テスト計画 2.  テスト分析 3.  テスト設計 4.  テスト実装 Copyright (C) 2012 WACATE All rights reserved
テスト設計のプロセス例 1.  テスト計画 ●テストのスコープや全体像を明らかにする 2.  テスト分析テスト目的の方針やテストのアプローチテストの構成（テストレベル等）やフェーズ 3.  テスト設計 4.  テスト実装 Copyright (C) 2012 WACATE All rights reserved
テスト設計のプロセス 1.  テスト計画テスト対象の分析 ●ユースケース　時間を計測する 2.  テスト分析　時刻を確認する … 3.  テスト設計 4.  テスト実装 ●品質特性 ●文字表示　ちらつきテスト目的の分析　機能性　減光　信頼性　使用性　コントラスト　効率性　画素欠陥　… 　解像度　… 関係性の分析 Copyright (C) 2012 WACATE All rights reserved
テスト設計のプロセス 1.  テスト計画どの対象にどのようなテストが必要か明らかにする 2.  テスト分析機能性ユーザビリ堅牢性テストティテストテスト 3.  テスト設計機能A ○ ○ 機能B ○ 4.  テスト実装機能C ○ … テスト目的の分析検証方法テスト設計技法機能A デシジョンテーブル All Pair法機能B 機能C … 組合わせテスト技法の適用 Copyright (C) 2012 WACATE All rights reserved
テスト設計のプロセス •  テスト設計全体を扱うアプローチや⽅方法論論が既に複数実践されています。 •  今回はテーマに近いものをいくつか紹介します。 Copyright (C) 2012 WACATE All rights reserved
テスト設計のプロセス •  HAYST法 Copyright (C) 2012 WACATE All rights reserved
テスト設計プロセス •  ゆもつよメソッド「テスト目的・分析・設計～テスト設計の進め方」湯本剛 http://www.juse.or.jp/software/87/attachs/hd_4.pdf ソフトウェアテストPRESS Vol.10 特集１「今こそ聞きたいテストの上流設計」湯本剛 Copyright (C) 2012 WACATE All rights reserved
テスト設計プロセス •  TAME/マインドマップを活⽤用したテスト設計 Copyright (C) 2012 WACATE All rights reserved
テスト設計プロセス •  VSTeP •  智美塾を中⼼心としたテスト設計⽅方法論論「テストアーキテクチャ解説　～テストアーキテクチャ設計を実践するには～」　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　智美塾塾長＋塾生一同 http://www.jasst.jp/symposium/jasst12tokyo/report.html#plan1 「テスト観点に着目したテスト開発プロセス(VSTeP)の概要」西康晴 http://jasst.jp/archives/jasst09e/pdf/A7-6.pdf 「テスト設計におけるモデリングのための記法の提案」西康晴 http://jasst.jp/archives/jasst06e/pdf/E2-3.pdf Copyright (C) 2012 WACATE All rights reserved
組合せテストでのテスト設計の流流れ Copyright (C) 2012 WACATE All rights reserved
組み合わせテストでのテスト設計の流流れ 1.  テスト計画 •  この講義で扱うところ 2.  テスト分析 1.  仕様の整理理 3.  テスト設計 •  因⼦子/⽔水準の抽出 2.  組合せ分析と技法の選定 4.  テスト実装 3.  テスト技法による設計 Copyright (C) 2012 WACATE All rights reserved
組み合わせテストでのテスト設計の流流れ •  組合せテスト技法の適⽤用 1.  仕様の分析/整理理発散 •  因⼦子/⽔水準の抽出整理 2.  組合せ分析と技法の選定 3.  テスト技法による設計設計 Copyright (C) 2012 WACATE All rights reserved
組み合わせテストでのテスト設計の流流れ •  組合せテスト技法の適⽤用 1.  仕様の分析/整理理 2.  組合せ分析と技法の選定 3.  テスト技法による設計 Copyright (C) 2012 WACATE All rights reserved
仕様の分析/整理理 •  テストベースを分析して、テスト対象やテスト⽬目的を明らかにしていきます –  仕様を分析し、必要な情報をピックアップします隠れた仕様や意図も明らかにします –  テスト設計がやりやすいように仕様を整理理します •  今回紹介する⼿手法 –  3⾊色ボールペン法 –  レビュー観点による分析(間/対称/類推/外側) –  同値分割法 –  マインドマップ Copyright (C) 2012 WACATE All rights reserved
仕様の分析/整理理（3⾊色ボールペン法） •  3⾊色ボールペン法 – ドキュメントの読解⽅方法 • テストの⼊入出⼒力力や因⼦子・⽔水準をピックアップします • 単純ですが汎⽤用的に使えるテクニックです – 仕様書で留留意が必要な部分に⾊色分けしながら書き込みを⾏行行って、仕様を読解していきます • ⼤大事なところに線を引く • 思いついたところをメモとして追記するソフトウェアテストPRESS総集編 Vol.2「三色ボールペンで読む仕様書」（鈴木三紀夫）たまゆら雑記「三色ボールペンで読む仕様書」 http://d.hatena.ne.jp/mkoszk/20110218/ Copyright (C) 2012 WACATE All rights reserved
仕様の分析/整理理（3⾊色ボールペン法） •  ⾊色の付け⽅方 – デフォルト • ⾚赤:客観的に⾒見見て、最も重要な箇所 • ⻘青:客観的に⾒見見て、重要な箇所 • 緑:主観的に⾒見見て、気になるところ – ⾊色の数や使い分けは適宜変更更可能です。 Copyright (C) 2012 WACATE All rights reserved
仕様の分析/整理理（3⾊色ボールペン法） •  麺のゆで時間は細麺：120秒、太麺：300秒 •  麺の固さがかため指定なら-‐‑‒10秒、バリかた指定なら-‐‑‒10秒、やわらかめ指定なら+10秒 Copyright (C) 2012 WACATE All rights reserved
仕様の分析/整理理（3⾊色ボールペン法）麺の種類 •  麺のゆで時間は細麺：120秒、太麺：300秒 •  麺の固さがかため指定なら-‐‑‒10秒、バリかた指定なら-‐‑‒10秒、やわらかめ指定なら+10秒そもそもメニューは？他の麺の固さは？例）赤：因子青：水準緑：気になる所 Copyright (C) 2012 WACATE All rights reserved
仕様の分析/整理理（レビュー観点による分析） •  テスト設計やレビューの観点を⽤用いた仕様の抽出 – フレームワークに基づいて仕様の整理理や抜け漏漏れのピックアップを⾏行行います – Ex)間/対称/類推/外側 • 具体例例から他のデータや抜け漏漏れをピックアップ • 「ソフトウェアテスト技法ドリル」秋⼭山浩⼀一 –  間：データとデータの間 –  対称：反対側のデータ –  類推：似たデータ –  外側：挙げられていないデータ Copyright (C) 2012 WACATE All rights reserved
仕様の分析/整理理（レビュー観点による分析） •  「ゆで時間を100秒から120秒までカウントダウンで計測できる」 Copyright (C) 2012 WACATE All rights reserved
仕様の分析/整理理（レビュー観点による分析） •  「ゆで時間を100秒から120秒までカウントダウンで計測できる」 –  間： •  「何秒刻みか？少数は？」「100秒や120秒は範囲に含まれるか？」 –  対称： •  「カウントアップは？」「無効値は？（秒数未指定等）」 –  類推： •  「110」「121」 –  外側： •  「100より⼩小さい値」「120秒より⼤大きい値」 Copyright (C) 2012 WACATE All rights reserved
因⼦子/⽔水準の抽出(同値分割法) •  同値分割による⽔水準の抽出 – 同値分割法 • 「仕様上、コンポーネントやシステムの動作が同じと⾒見見なせる⼊入⼒力力定義域や出⼒力力定義域の部分」 –  JSTQB 　ソフトウェアテスト標準⽤用語集（⽇日本語版）　Version 　2.0.J01 • 同じように扱えるグループに値をグルーピングする • 有効同値クラスと無効同値クラスを区別する –  無効同値クラスは組み合わせテスト設計で活⽤用 Copyright (C) 2012 WACATE All rights reserved
因⼦子/⽔水準の抽出(同値分割法) •  「6歳未満は無料料。6歳以上12歳以下は半額。13歳以上は定額」 0 6 12 -∞ +∞ 年齢ありえない（無効同値クラス）因子：年齢に4つのグループ　　→水準に展開 Copyright (C) 2012 WACATE All rights reserved
参考図書（セッション予習資料料） Copyright (C) 2012 WACATE All rights reserved
仕様の分析/整理理（マインドマップ） •  マインドマップ – 思考ツール。放射状にキーワードを広げる – 分析の思考⽀支援、管理理、明⽰示化等に使⽤用します • 他の⼿手法の結果を管理理する • 分析ツールつとして使⽤用する Copyright (C) 2012 WACATE All rights reserved
仕様の分析/整理理（マインドマップ）インターフェースの分析 Copyright (C) 2012 WACATE All rights reserved
仕様の分析/整理理（マインドマップ）因子・水準の分析 Copyright (C) 2012 WACATE All rights reserved
仕様の分析/整理理（マインドマップ） •  複雑な場合、階層化や分割で整理理していきますズームイン/ズームアウト階層化液晶モニタ時間表示メニュー領域ボタン電池表示液晶モニタ領域非表示領メニュー域分割スタート/ス時間表示領トップ域ボタン電池表示領液晶モニタ域リセット非表示領域スタート/ストップボタンリセット Copyright (C) 2012 WACATE All rights reserved
仕様の分析/整理理 (テスト対象・テスト⽬目的の構造化や関連付け) •  発散したテスト対象やテスト⽬目的を扱いやすい形式・粒粒度度で整理理します – リスト/ツリー/属性付け等で整理理します •  関連要素を関連づけて、どの対象にどのようなテストが必要か⽬目安を⽴立立てます Copyright (C) 2012 WACATE All rights reserved
仕様の分析/整理理 (テスト対象・テスト⽬目的の構造化や関連付け) •  テスト対象/インターフェース表 – テスト対象を整理理しますテストの入出力ユーザインターフェース時間/タイミングスタート/スリセットボ電源ボタ時間表示 RTC トップタンンボタン input input input output Input 起動 ○ 時間計測 ○ ○ ○ ○ テスト対象 Doc.2.3.1 Doc.2.3.2 機能リスト電源OFF ○ ○ ○ … Copyright (C) 2012 WACATE All rights reserved
仕様の分析/整理理 (テスト対象・テスト⽬目的の構造化や関連付け) •  テスト分析マトリクス – テスト対象とテスト⽬目的の関連性を管理理して、テスト設計の全体像を明⽰示化しますテストタイプ機能性テストユーザビ耐久性 … 単機能状態遷移リティテテストストテスト対象起動 ○ 機能リスト時間計測 ○ ○ ○ ○ 電源OFF ○ ○ ○ … •  ソフトウェアテストPRESS Vol.10 特集１「今こそ聞きたいテストの上流流設計」湯本剛 Copyright (C) 2012 WACATE All rights reserved
仕様の分析/整理理 (テスト対象・テスト⽬目的の構造化や関連付け) •  スープカレー表 –  スープカレー⽅方式 –  機能観点+4W1H –  「『スープカレー⽅方式』によるシステムテスト分析と設計」 TEF北北海道テスト勉強会 http://www.jasst.jp/archives/jasst10e/pdf/A5-‐‑‒1.pdf •  FV表 –  HAYST法 –  ⽬目的機能+検証⽅方法、テスト技法 –  「ソフトウェアテストHAYST法⼊入⾨門品質と⽣生産性がアップする直交表の使い⽅方」吉澤正孝/秋⼭山浩⼀一/仙⽯石太郎郎 Copyright (C) 2012 WACATE All rights reserved
仕様の分析/整理理 (テスト対象・テスト⽬目的の構造化や関連付け) •  FL表（因⼦子⽔水準表) – 因⼦子と⽔水準を管理理します。因子水準スープ豚骨醤油味噌 … 麺かためふつう … •  (参考⽂文献) 　「詳説FL表」　秋⼭山浩⼀一 –  「Software Testing ManiaX vol.3」（さーくるWACATE） –  www.hayst.com/Documents/FL-‐‑‒table.pdf Copyright (C) 2012 WACATE All rights reserved
仕様の分析/整理理で⼤大事な事 •  因⼦子/⽔水準をモレなく抽出 – 適切切な組合せテストの設計が可能になります（≠テスト実施⼯工数の増加） – 抽出モレは組合せの⽋欠落落に直結します •  テスト設計が容易易になるように仕様を整理理 – 全体像を把握可能にします – 細部も理理解可能なように整理理します。分析結果が爆発したら階層化・分割で扱える粒粒度度に整理理します Copyright (C) 2012 WACATE All rights reserved
組み合わせテストの場合 •  組合せテスト技法の適⽤用 1.  仕様の分析/整理理 2.  組合せ分析と技法の選定 3.  テスト技法による設計 Copyright (C) 2012 WACATE All rights reserved
組合せ分析と技法の選定 •  テスト対象の複雑さや、テストにかけられるリソース・⼯工数は千差万別です •  そのため組合せ設計では、しばしば特定のやり⽅方に縛られない柔軟な対応が要求されます。万能なやり⽅方は存在しません。 •  今回は⼀一般的な指針を⽰示します。 Copyright (C) 2012 WACATE All rights reserved
組合せ分析と技法の選定抽出・整理した因子/水準単機能組合せテストのテストの設計設計単機能テスト有則のテスト禁則のテスト無則のテスト Copyright (C) 2012 WACATE All rights reserved
組合せ分析と技法の選定(単機能テスト) •  因⼦子に対する単機能テスト – 抽出した因⼦子毎に単機能テストを作成します – 単機能テスト • １つの因⼦子に対するテスト • 他の因⼦子はデフォルトや影響の少ない⽔水準を選択因子水準1 水準2 水準3 … 麺の種類のテスト麺の種類太麺細麺麺の固さバリかたかためふつうやわらかめ麺の固さのテストスープ豚骨味噌塩スープのテスト Copyright (C) 2012 WACATE All rights reserved
組合せ分析と技法の選定(単機能テスト) •  因⼦子に対する単機能テスト – 全因⼦子に対し⼀一通り⾏行行うのが理理想です – 組合せテストの事前に実施するのが効率率率的 – これらにより、⼿手戻りコストを削減する、組合せテストで組合せバグに注⼒力力できるようなる、といったメリットが得られます Copyright (C) 2012 WACATE All rights reserved
組合せ分析と技法の選定(組合せテスト) •  組合せテストでは次の組合せを区別していきます – 有則の組合せ – 無則の組合せ – 禁則の組合せ Copyright (C) 2012 WACATE All rights reserved
組合せテスト（有則の組合せ） •  有則の組合せ – 有則の組合せを扱えるテスト設計技法を活⽤用してテスト設計を進めます • デシジョンテーブル • 原因結果グラフ • ドメイン分析、等々 Copyright (C) 2012 WACATE All rights reserved
組合せテスト（有則の組合せ） •  有則の組合せ 4で割り切れる N Y Y Y 100で割り切れる N N Y Y 400で割り切れる N N N Y うるうどし N Y N Y テストケースに展開 Copyright (C) 2012 WACATE All rights reserved
組合せテスト（有則の組合せ） •  有則の組合せ – 有則の組合せは全網羅羅が理理想です – 有則の組合せ数が爆発した場合、分割や階層化を⾏行行って範囲を調整します Copyright (C) 2012 WACATE All rights reserved
組合せテスト（無則の組合せ） •  無則の組合せ – 無則は組合せ数が膨⼤大で絞り込みや最適が要求されますそのためにも事前のテスト分析が重要です • ⼀一般的に無則の全網羅羅は⾮非現実的です –  無則の全網羅羅≒組合せ全網羅羅 • 何をテストすべきか、どのようなテストができるか⾊色々な視点から検討していきます。 Copyright (C) 2012 WACATE All rights reserved
組合せテスト（無則の組合せ） •  無則の組合せ分析 –  1. プロダクトリスクリスリスクコンソフトウェアのリスクレベルクトロール重大度頻度検知度総合レベル A B ハイリスクと関係する A 因子は重点的に網羅 –  2. 有則以外も含む因⼦子間の依存関係 •  状態やリソースの共有 •  インターフェースの共有 •  処理理の共有 →強い依存関係にある因⼦子は重点的に網羅羅 Copyright (C) 2012 WACATE All rights reserved
組合せテスト（無則の組合せ） •  無則の組合せ分析 –  3. 類似プロジェクト・統計・標準等の指標サーバサイド内製ソフト A社アプリ開発ソフト単機能テストで検出されるバグ 70 60 2因子間網羅で検出されるバグ 80 70 3因子間網羅で検出されるバグ 90 80 •  指標値に基づいて網羅羅の強度度を検討 –  4. 組合せ可能性ユースケース詳細私用機能組合せられる可能性ゆで時間を計測する・・・時刻表示、ストップウォッチ時間計測、リセットの高い因子は重点的に網羅 Copyright (C) 2012 WACATE All rights reserved
組合せテスト（無則の組合せ) •  無則の組合せ分析 –  5. テスト実施⼯工数機能A（手動テスト）実施コスト実施コストが少ないなら機能B（テスト自動化）組合せを強化テストケース数 –  その他 •  プロジェクト状況 •  テストしにくさ •  有則/禁則のテスト設計の状態、等々 Copyright (C) 2012 WACATE All rights reserved
組合せテスト（無則の組合せ） •  無則の組合せテスト設計では、禁則の組合せ、異異常値の⽔水準を除外します • 禁則の組合せ –  組合せがテストされない • 異異常値 –  例例外処理理が発⽣生し、組合せが実⾏行行されない因子水準ドリンク有無なし禁則関係で実施不能禁則でない組合せもテスドリンク種類ビールトされなくなるスープ味噌麺細麺 Copyright (C) 2012 WACATE All rights reserved
組合せテスト（無則の組合せ） •  分析に応じて組合せテストを設計 – 網羅羅度度・強度度の設定 • 因⼦子間網羅羅：単機能網羅羅、2因⼦子網羅羅、3因⼦子網羅羅.. • 組合せ網羅羅率率率 • ピンポイントの補強や間引き –  特定因⼦子のみ全網羅羅 –  複数の⽔水準を1つに統合、等 – テスト設計技法の活⽤用 • 直交表 –  2因⼦子間網羅羅、3因⼦子以上の網羅羅率率率もある程度度確保 • ペアワイズ –  複雑な禁則や⽔水準も含め、ツールで柔軟に対応可 Copyright (C) 2012 WACATE All rights reserved
組合せテスト（禁則の組合せ） •  禁則の組合せ – 禁則の組合せもテストが必要です – 禁則のテストで確認すること • 組合せられないこと • 組合せても害がないこと因子水準ドリンク有無なし組み合わせられない事をドリンク種類ビールテストで確認 Copyright (C) 2012 WACATE All rights reserved
組合せテスト（禁則の組合せ） •  禁則の組合せ – 以下の場合、しばしばテスト対象の設計に問題 • ユーザが禁則を組合わせられてしまう • 禁則の組合せが複雑設計改善無理矢理してテスト＜テストをするするコストコスト – 可能であれば開発にフィードバックし、禁則関係を整理理しましょう Copyright (C) 2012 WACATE All rights reserved
組合せテスト（その他） •  組合せが爆発した場合 – 分割・階層化で調整を図ります • 有則の組合せテスト –  分割した各要素で全網羅羅。要素間の組合せは無則やピンポイントの組合せテスト技法で対応 • 無則の組合せテスト –  分割した各要素でそれぞれ適切切に網羅羅。要素間の組合せは網羅羅度度を緩めたり、ピンポイントで適切切に網羅羅したりして対応 Copyright (C) 2012 WACATE All rights reserved
最後に •  適切切な組合せテストの設計には、適切切なテスト計画、テスト分析、テストの上流流設計が⽋欠かせません – いきなり技法を適⽤用するとテストケースの冗⻑⾧長性や抜け漏漏れが発⽣生しやすくなります – 逆にテストの上流流⼯工程を適切切に⾏行行っていれば、どのような組合せがありどのような技法を使うべきか明らかになっていきます。 Copyright (C) 2012 WACATE All rights reserved

実践！組合せテスト設計(WACATE2012s)

Check these out next

実践！組合せテスト設計(WACATE2012s)

Recommended

More Related Content

Slideshows for you(20)

Similar to 実践！組合せテスト設計(WACATE2012s)(20)

More from H Iseri(20)

Recently uploaded(20)

実践！組合せテスト設計(WACATE2012s)