実践！組合せテスト設計(WACATE2012s)

3. 組合せテストの設計で⼤大事なこと•  適切切な組合せテストの設計には、適切切なテスト計画、テスト分析、テストの上流流設計が⽋欠かせません – いきなり技法を適⽤用すると冗⻑⾧長なテストや、テストの抜け漏漏れが発⽣生しやすくなります – 逆にテストの上流流⼯工程を適切切に⾏行行っていれば、どのような組合せがありどのような技法を使うべきか明らかになっていきます Copyright (C) 2012 WACATE All rights reserved

5. 良良いテスト設計の基本的な流流れ入力（テストベースやテスト要求）・仕様の抜け漏れや隠れた意図を明らかにする・テストの目的やテストへの要求を明らかにする・テスト対象やテストの目的を整理する発散・何にどのようなテストが必要か目安をたてる整理テスト設計・テスト対象に対して実施すべきテテストケースやストを適切な技法を使って設計するテスト手順へ Copyright (C) 2012 WACATE All rights reserved

7. 駄⽬目なテスト設計の流流れ入力 ●要求仕様（テストベースやテスト要求）・停止状態でボタンを押したらストップウォッチを開始するテスト手順期待される動作停止状態でボタンを押すストップウォッチを開始するテストケースや仕様とテスト対象の矛盾程度テスト手順へしかチェックされない（Copy & Paste & Modify法と呼ばれる） Copyright (C) 2012 WACATE All rights reserved

9. 駄⽬目なテスト設計の流流れ２入力 ●要求仕様（テストベースやテスト要求）・麺の固さはかため、普通、柔らかめ・スープは豚骨、味噌、醤油ペアワイズ直交表テスト技法を使った設計麺 … スープ … 結果 … テストケースや隠れた仕様や意図を取りのがすテスト手順へ重要でない所に注力し、重要な所を見逃すリスクテストの全体整合の欠落 Copyright (C) 2012 WACATE All rights reserved

13. テスト設計のプロセス1.  テスト計画テスト対象の分析 ●ユースケース　時間を計測する 2.  テスト分析　時刻を確認する … 3.  テスト設計4.  テスト実装 ●品質特性 ●文字表示　ちらつきテスト目的の分析　機能性　減光　信頼性　使用性　コントラスト　効率性　画素欠陥　… 　解像度　… 関係性の分析 Copyright (C) 2012 WACATE All rights reserved

14. テスト設計のプロセス1.  テスト計画どの対象にどのようなテストが必要か明らかにする 2.  テスト分析機能性ユーザビリ堅牢性テストティテストテスト 3.  テスト設計機能A ○ ○ 機能B ○ 4.  テスト実装機能C ○ … テスト目的の分析検証方法テスト設計技法機能A デシジョンテーブル All Pair法機能B 機能C … 組合わせテスト技法の適用 Copyright (C) 2012 WACATE All rights reserved

19. テスト設計プロセス•  VSTeP•  智美塾を中⼼心としたテスト設計⽅方法論論「テストアーキテクチャ解説　～テストアーキテクチャ設計を実践するには～」　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　智美塾塾長＋塾生一同 http://www.jasst.jp/symposium/jasst12tokyo/report.html#plan1 「テスト観点に着目したテスト開発プロセス(VSTeP)の概要」西康晴 http://jasst.jp/archives/jasst09e/pdf/A7-6.pdf 「テスト設計におけるモデリングのための記法の提案」西康晴 http://jasst.jp/archives/jasst06e/pdf/E2-3.pdf Copyright (C) 2012 WACATE All rights reserved

24. 仕様の分析/整理理•  テストベースを分析して、テスト対象やテスト⽬目的を明らかにしていきます –  仕様を分析し、必要な情報をピックアップします隠れた仕様や意図も明らかにします –  テスト設計がやりやすいように仕様を整理理します•  今回紹介する⼿手法 –  3⾊色ボールペン法 –  レビュー観点による分析(間/対称/類推/外側) –  同値分割法 –  マインドマップ Copyright (C) 2012 WACATE All rights reserved

25. 仕様の分析/整理理（3⾊色ボールペン法）•  3⾊色ボールペン法 – ドキュメントの読解⽅方法 • テストの⼊入出⼒力力や因⼦子・⽔水準をピックアップします • 単純ですが汎⽤用的に使えるテクニックです – 仕様書で留留意が必要な部分に⾊色分けしながら書き込みを⾏行行って、仕様を読解していきます • ⼤大事なところに線を引く • 思いついたところをメモとして追記するソフトウェアテストPRESS総集編 Vol.2「三色ボールペンで読む仕様書」（鈴木三紀夫）たまゆら雑記「三色ボールペンで読む仕様書」 http://d.hatena.ne.jp/mkoszk/20110218/ Copyright (C) 2012 WACATE All rights reserved

29. 仕様の分析/整理理（レビュー観点による分析）•  テスト設計やレビューの観点を⽤用いた仕様の抽出 – フレームワークに基づいて仕様の整理理や抜け漏漏れのピックアップを⾏行行います – Ex)間/対称/類推/外側 • 具体例例から他のデータや抜け漏漏れをピックアップ • 「ソフトウェアテスト技法ドリル」秋⼭山浩⼀一 –  間：データとデータの間 –  対称：反対側のデータ –  類推：似たデータ –  外側：挙げられていないデータ Copyright (C) 2012 WACATE All rights reserved

31. 仕様の分析/整理理（レビュー観点による分析）•  「ゆで時間を100秒から120秒までカウントダウンで計測できる」 –  間： •  「何秒刻みか？少数は？」「100秒や120秒は範囲に含まれるか？」 –  対称： •  「カウントアップは？」「無効値は？（秒数未指定等）」 –  類推： •  「110」「121」 –  外側： •  「100より⼩小さい値」「120秒より⼤大きい値」 Copyright (C) 2012 WACATE All rights reserved

32. 因⼦子/⽔水準の抽出(同値分割法)•  同値分割による⽔水準の抽出 – 同値分割法 • 「仕様上、コンポーネントやシステムの動作が同じと⾒見見なせる⼊入⼒力力定義域や出⼒力力定義域の部分」 –  JSTQB 　ソフトウェアテスト標準⽤用語集（⽇日本語版）　Version 　2.0.J01 • 同じように扱えるグループに値をグルーピングする • 有効同値クラスと無効同値クラスを区別する –  無効同値クラスは組み合わせテスト設計で活⽤用 Copyright (C) 2012 WACATE All rights reserved

38. 仕様の分析/整理理（マインドマップ） •  複雑な場合、階層化や分割で整理理していきますズームイン/ズームアウト階層化液晶モニタ時間表示メニュー領域ボタン電池表示液晶モニタ領域非表示領メニュー域分割スタート/ス時間表示領トップ域ボタン電池表示領液晶モニタ域リセット非表示領域スタート/ストップボタンリセット Copyright (C) 2012 WACATE All rights reserved

40. 仕様の分析/整理理(テスト対象・テスト⽬目的の構造化や関連付け) •  テスト対象/インターフェース表 – テスト対象を整理理しますテストの入出力ユーザインターフェース時間/タイミングスタート/スリセットボ電源ボタ時間表示 RTC トップタンンボタン input input input output Input 起動 ○ 時間計測 ○ ○ ○ ○ テスト対象 Doc.2.3.1 Doc.2.3.2 機能リスト電源OFF ○ ○ ○ … Copyright (C) 2012 WACATE All rights reserved

41. 仕様の分析/整理理(テスト対象・テスト⽬目的の構造化や関連付け) •  テスト分析マトリクス – テスト対象とテスト⽬目的の関連性を管理理して、テスト設計の全体像を明⽰示化しますテストタイプ機能性テストユーザビ耐久性 … 単機能状態遷移リティテテストストテスト対象起動 ○ 機能リスト時間計測 ○ ○ ○ ○ 電源OFF ○ ○ ○ … •  ソフトウェアテストPRESS Vol.10 特集１「今こそ聞きたいテストの上流流設計」湯本剛 Copyright (C) 2012 WACATE All rights reserved

42. 仕様の分析/整理理 (テスト対象・テスト⽬目的の構造化や関連付け)•  スープカレー表 –  スープカレー⽅方式 –  機能観点+4W1H –  「『スープカレー⽅方式』によるシステムテスト分析と設計」 TEF北北海道テスト勉強会 http://www.jasst.jp/archives/jasst10e/pdf/A5-‐‑‒1.pdf•  FV表 –  HAYST法 –  ⽬目的機能+検証⽅方法、テスト技法 –  「ソフトウェアテストHAYST法⼊入⾨門品質と⽣生産性がアップする直交表の使い⽅方」吉澤正孝/秋⼭山浩⼀一/仙⽯石太郎郎 Copyright (C) 2012 WACATE All rights reserved

43. 仕様の分析/整理理(テスト対象・テスト⽬目的の構造化や関連付け)•  FL表（因⼦子⽔水準表) – 因⼦子と⽔水準を管理理します。因子水準スープ豚骨醤油味噌 … 麺かためふつう … •  (参考⽂文献) 　「詳説FL表」　秋⼭山浩⼀一 –  「Software Testing ManiaX vol.3」（さーくるWACATE） –  www.hayst.com/Documents/FL-‐‑‒table.pdf Copyright (C) 2012 WACATE All rights reserved

44. 仕様の分析/整理理で⼤大事な事•  因⼦子/⽔水準をモレなく抽出 – 適切切な組合せテストの設計が可能になります（≠テスト実施⼯工数の増加） – 抽出モレは組合せの⽋欠落落に直結します•  テスト設計が容易易になるように仕様を整理理 – 全体像を把握可能にします – 細部も理理解可能なように整理理します。分析結果が爆発したら階層化・分割で扱える粒粒度度に整理理します Copyright (C) 2012 WACATE All rights reserved

49. 組合せ分析と技法の選定(単機能テスト)•  因⼦子に対する単機能テスト – 抽出した因⼦子毎に単機能テストを作成します – 単機能テスト • １つの因⼦子に対するテスト • 他の因⼦子はデフォルトや影響の少ない⽔水準を選択因子水準1 水準2 水準3 … 麺の種類のテスト麺の種類太麺細麺麺の固さバリかたかためふつうやわらかめ麺の固さのテストスープ豚骨味噌塩スープのテスト Copyright (C) 2012 WACATE All rights reserved

56. 組合せテスト（無則の組合せ）•  無則の組合せ – 無則は組合せ数が膨⼤大で絞り込みや最適が要求されますそのためにも事前のテスト分析が重要です • ⼀一般的に無則の全網羅羅は⾮非現実的です –  無則の全網羅羅≒組合せ全網羅羅 • 何をテストすべきか、どのようなテストができるか⾊色々な視点から検討していきます。 Copyright (C) 2012 WACATE All rights reserved

57. 組合せテスト（無則の組合せ）•  無則の組合せ分析 –  1. プロダクトリスクリスリスクコンソフトウェアのリスクレベルクトロール重大度頻度検知度総合レベル A B ハイリスクと関係する A 因子は重点的に網羅 –  2. 有則以外も含む因⼦子間の依存関係 •  状態やリソースの共有 •  インターフェースの共有 •  処理理の共有 →強い依存関係にある因⼦子は重点的に網羅羅 Copyright (C) 2012 WACATE All rights reserved

58. 組合せテスト（無則の組合せ）•  無則の組合せ分析 –  3. 類似プロジェクト・統計・標準等の指標サーバサイド内製ソフト A社アプリ開発ソフト単機能テストで検出されるバグ 70 60 2因子間網羅で検出されるバグ 80 70 3因子間網羅で検出されるバグ 90 80 •  指標値に基づいて網羅羅の強度度を検討 –  4. 組合せ可能性ユースケース詳細私用機能組合せられる可能性ゆで時間を計測する・・・時刻表示、ストップウォッチ時間計測、リセットの高い因子は重点的に網羅 Copyright (C) 2012 WACATE All rights reserved

60. 組合せテスト（無則の組合せ）•  無則の組合せテスト設計では、禁則の組合せ、異異常値の⽔水準を除外します • 禁則の組合せ –  組合せがテストされない • 異異常値 –  例例外処理理が発⽣生し、組合せが実⾏行行されない因子水準ドリンク有無なし禁則関係で実施不能禁則でない組合せもテスドリンク種類ビールトされなくなるスープ味噌麺細麺 Copyright (C) 2012 WACATE All rights reserved

61. 組合せテスト（無則の組合せ）•  分析に応じて組合せテストを設計 – 網羅羅度度・強度度の設定 • 因⼦子間網羅羅：単機能網羅羅、2因⼦子網羅羅、3因⼦子網羅羅.. • 組合せ網羅羅率率率 • ピンポイントの補強や間引き –  特定因⼦子のみ全網羅羅 –  複数の⽔水準を1つに統合、等 – テスト設計技法の活⽤用 • 直交表 –  2因⼦子間網羅羅、3因⼦子以上の網羅羅率率率もある程度度確保 • ペアワイズ –  複雑な禁則や⽔水準も含め、ツールで柔軟に対応可 Copyright (C) 2012 WACATE All rights reserved

64. 組合せテスト（その他）•  組合せが爆発した場合 – 分割・階層化で調整を図ります • 有則の組合せテスト –  分割した各要素で全網羅羅。要素間の組合せは無則やピンポイントの組合せテスト技法で対応 • 無則の組合せテスト –  分割した各要素でそれぞれ適切切に網羅羅。要素間の組合せは網羅羅度度を緩めたり、ピンポイントで適切切に網羅羅したりして対応 Copyright (C) 2012 WACATE All rights reserved

66. 最後に•  適切切な組合せテストの設計には、適切切なテスト計画、テスト分析、テストの上流流設計が⽋欠かせません – いきなり技法を適⽤用するとテストケースの冗⻑⾧長性や抜け漏漏れが発⽣生しやすくなります – 逆にテストの上流流⼯工程を適切切に⾏行行っていれば、どのような組合せがありどのような技法を使うべきか明らかになっていきます。 Copyright (C) 2012 WACATE All rights reserved