ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

10,446 views

Published on

ISO/IEC/IEEE 29119 Software and system engineering - software testingの勉強会で使用した発表資料。

YouTubeの動画と併せての閲覧を推奨。

動画はこちら。
前半: https://www.youtube.com/watch?v=2VfhW56tGyM
後半: https://www.youtube.com/watch?v=8KWjAqbYjjc

Published in: Engineering

ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要

  1. 1. ISO/IEC/IEEE 29119 勉強会 第1回 規格の全体構成と各規格の概要 YAMASAKI Takashi 2014年1月9日
  2. 2. • 本資料は、2014年1月9日(木)に行ったISO/IEC/IEEE 29119勉強会 の第1回の発表資料です。勉強会動画を視聴しながらの閲覧を推奨し ます。動画は次のURLからアクセスできます。 http://www.ustream.tv/channel/ieee29119%E5%8B%89%E5% BC%B7%E4%BC%9A • 発表当時から多少修正をいれていますが、基本的に発表当時と大きな 違いはありません。そのため、資料には一部誤りや不明瞭な情報を含 んでいます。それらについては上記の動画内で言及されていますの で、動画をご参照ください。 • リリースされた国際規格のみならず、現在策定中の草案についても言 及しているため、最新の情報と異なっている可能性があります。可能 であれば最新の情報を確認してください。 • なお、本文中の翻訳は発表者独自のものであり、翻訳において意味が 変質している可能性がありますのでご注意ください。 参考:勉強会のイベントページ http://kokucheese.com/event/index/136742/
  3. 3. あじぇんだ •規格の全体構成と各規格 の概要説明(100分) •途中休憩5~10分(予定) •次回の発表者決定と日程 調整(10分)
  4. 4. 本日のゴール
  5. 5. 本日のゴール
  6. 6. 彼を知り己を知れば 百戦殆うからず - 孫子
  7. 7. 作る人 使う人
  8. 8. Who? (誰が) What? (何を) Where? (どこで) How much? (いくらで) How? (どのように) When? (いつ) Why? (なぜ) Whom? (誰のために)
  9. 9. ソフトウェアテストに 関する国際規格群
  10. 10. ISO/IECにおける文書の種類 International Standard Technical Specification 国際的な標準化・ 規 格 機 関 ( ISO ま た は IEC ) に よ っ て採択された、一 般公衆によって利 用可能な規格 ISO ま た は IEC が 発行する文書で、 将来的にはISとし て合意される可能 性があるが、現段 階では次のいずれ かの状態のもの • ISとして承認されるために 必要な支援が得られていな い • 全体における合意の形成が 疑わしい • その主題がまだ、技術開発 の途上にある • ISとして直ちに発行するこ とが不可能な理由が他にあ る Publicly Available Specification 緊急な市場ニーズ に対応するために、 ISO ま た は IEC が 発行する文書 Technical Report ISO ま た は IEC が 発行する文書で、 一般にISまたはTS として発行される 文書とは異なる種 類の収集データを まとめたもの
  11. 11. ISO/IEC/IEEE 29119 Series Software and system engineering - Software testing Part 1: コンセプトと定義 Concepts and definitions Part 2: テストプロセス Test processes Part 3: テスト文書 Test documentation Part 4: テスト技法 Test techniques Part 5: キーワード駆動テスト Keyword Driven Testing
  12. 12. コンセプトと 定義 参照 Concepts and definitions 参照 参照 テスト文書 Test documentation テストプロセス Test processes ? キーワード駆動 テスト Keyword Driven Testing 対象? ソフトウェアテストの ためのプロセス評価 Process assessment model for software testing 参照 テスト技法 Test techniques
  13. 13. Body 32 Part 4 89 48 Part 3 78 39 Part 2 34 Part 1 0 Annex 19 21 50 100 150 ISO/IEC/IEEE 29119 本文とAnnexページ数
  14. 14. ISO/IEC JT1/SC7/WG26
  15. 15. ISO IEC Technical Committee TC TC TC TC JTC 1 TC TC TC TC Information technology Subcommittee SC 2 SC 6 SC 7 SC 17 SC 40 Software and system engineering Working Group AG 1 WG 2 WG4 SWG 5 WG 6 WG 7 WG 10 WG 19 WG 21 SWG 22 WG 24 WG 25 WG 26 WG 27 WG 28 WG 42 Software testing WG 20
  16. 16. ISO IEC JTC1 加盟 IPSJ/ITSCJ JISC 委託 JTC1 技術委員会 各SC 各SC 各WG 各WG
  17. 17. WGの日本メンバー 種別 主査 幹事 幹事 委員 委員 委員 委員 委員 委員 委員 エキスパート エキスパート エキスパート 氏名 西 康晴氏 増田 聡氏 松尾谷 徹氏 秋山 浩一氏 岩田 真治氏 高橋 寿一氏 三富 篤氏 薮田 和夫氏 山浦 恒央氏 吉澤 智美氏 佐々木 方規氏 鈴木 三紀夫氏 湯本 剛氏 http://itscj.ipsj.or.jp/meibo/072600.pdf より(2011年9月時点)
  18. 18. ISOにおける通常の規格 策定手順にのっとって
  19. 19. Proposal stage Preparatory stage Committee stage Enquiry stage Approval stage NP New work item Proposal WD Working Draft CD Committee Draft DIS Draft International Standard FDIS Final Draft International Standard Publication stage IS International Standard 国際規格(IS)の一般的な開発段階と文書
  20. 20. Proposal stage Preparatory stage NP New work item Proposal WD Working Draft Committee stage CD Committee Draft Enquiry stage DIS Approval stage ISO/IEC/IEEE 29119-5 Keyword Driven Testing ISO/IEC 33063 process assessment model for software testing ISO/IEC/IEEE FDIS Publication stage 29119-4 Test techniques Draft International Standard Final Draft International Standard IS International Standard ISO/IEC/IEEE ISO/IEC/IEEE ISO/IEC/IEEE Concepts and definitions Test process Test documentation 29119-1 29119-2 29119-3 ISO/IEC/IEEE 29119の開発状況(2013年5月時点)
  21. 21. 我々 ソフトウェアテストに 関わる全ての人々 ※コンテキストによらず
  22. 22. 組織によらず、どのような ソフトウェアテストであっても、 それを実行する際に使うことが できる、国際的に合意された ソフトウェアテストの 規格群を定義すること ISO/IEC/IEEE 29119-1より
  23. 23. いまでしょ (賞味期限切れ) ISO/IEC/IEEE ISO/IEC/IEEE ISO/IEC/IEEE ISO/IEC/IEEE ISO/IEC/IEEE 29119-1:2013年8月 29119-2:2013年8月 29119-3:2013年8月 29119-4:2014年頃? 29119-5:2015年頃?
  24. 24. 国際会議(総会) メーリングリスト? 各国WGの小委員会
  25. 25. ボランタリーベースで
  26. 26. Who? (誰が) What? (何を) Software testingの国際規格(IS)群 ISO/IEC/IEEE 29119シリーズ Part 1: concepts and definition ISO/IEC JTC 1/SC 7/WG 26 Part 2: Test processes Part 3: Test documentation Part 4: Test techniques Part 5: Keyword driven testing Where? (どこで) 国際会議の場 各国のWG メーリングリスト? '12年05月19~25日 チェジュ島 (韓) '13年05月27~31日 モントリオール 6W2H (作る) How much? (いくらで) Why? (なぜ) ボランタリーベースで 組織によらず、どのような ソフトウェアテストであろうとも、 それを実行する際に使うことが できる、国際的に合意された ソフトウェアテストの規格群を 定義すること How? (どのように) ISOにおける通常の 規格策定手順にのっとり When? (いつ) Part 1:2013年8月 Part 2:2013年8月 Part 3:2013年8月 Part 4:2014年頃? Part-5:2015年頃? Whom? (誰のために) 我々 ソフトウェアテストに 関係する全ての人
  27. 27. Who? (誰が) What? (何を) Where? (どこで) How much? (いくらで) How? (どのように) When? (いつ) Why? (なぜ) Whom? (誰のために)
  28. 28. Software testingの国際規格(IS)群 ISO/IEC/IEEE 29119シリーズ Part Part Part Part Part 1: 2: 3: 4: 5: Concepts and definition Test processes Test documentation Test techniques Keyword driven testing
  29. 29. 我々 ソフトウェアテストに 関わる全ての人々
  30. 30. 多くの異なるコンテキストに おけるテスト活動をサポート することができる • IT、PC、組込み、モバイル、他 • 大規模小規模問わず • 個人、SOHO、エンプラ問わず • 商用、公共問わず • 開発モデル問わず
  31. 31. 自分自身のために ひいては顧客のために
  32. 32. 動機は人それぞれ、場合によりけり 今よりももっと ソフトウェアテストを 改善してよりよい 製品・サービスを 提供するため
  33. 33. がんばってテーラリング! なにはなくともテーラリング!
  34. 34. いまでしょ (賞味期限切れ) • テストプロセスの改善に着手 しようと思い立ったとき • たとえば29119の認証をとる 必然性にかられたとき(将来)
  35. 35. 組織で買うには微々たるお値段 導入コストはケースバイケース • ISO/IEC/IEEE 29119-1:¥17,010 • ISO/IEC/IEEE 29119-2:¥17,010 • ISO/IEC/IEEE 29119-3:¥23,520 ※JSAでの価格
  36. 36. Who? (誰が) What? (何を) 我々 Software testingの国際規格(IS)群 ISO/IEC/IEEE 29119シリーズ ソフトウェアテストに 関わる全ての人々 • • • • • Part Part Part Part Part 1: 2: 3: 4: 5: How? (どのように) がんばってテーラリング! なにはなくともテーラリング! concepts and definition Test processes Test documentation Test techniques Keyword driven testing Where? (どこで) 多くの異なるコンテキストにおけるテ スト活動をサポートすることができる • • • • • IT、PC、組込み、モバイル、他 大規模小規模問わず 個人、SOHO、エンプラ問わず 商用、公共問わず 開発モデル問わず When? (いつ) 6W2H (使う) How much? (いくらで) Why? (なぜ) ISO,IEC,IEEE以外にJSAでも購入可 いまでしょ (賞味期限切れ) • • テストプロセスの改善に着手しよ うと思い立ったとき たとえば29119の認証をとる必然 性にかられたとき 動機は人それぞれ、場合によりけり ISO/IEC/IEEE 29119-1:¥17,010 ISO/IEC/IEEE 29119-2:¥17,010 ISO/IEC/IEEE 29119-3:¥23,520 組織で買うには微々たるお値段 導入コストはケースバイケース 今よりももっと ソフトウェアテストを 改善してよりよい 製品・サービスを 提供するため Whom? (誰のために) 自分自身のために 顧客のために
  37. 37. Part 1: コンセプトと定義
  38. 38. コンセプトと 定義 参照 Concepts and definitions 参照 参照 テスト文書 Test documentation テストプロセス Test processes ? キーワード駆動 テスト Keyword Driven Testing 対象? ソフトウェアテストの ためのプロセス評価 Process assessment model for software testing 参照 テスト技法 Test techniques
  39. 39. Part 1の目的
  40. 40. 目次 序文(Introduction) 1. 適用範囲(scope) 2. 適合性(Conformance) 3. 引用規格(Normative reference) 4. 定義(Terms and definition) 5. ソフトウェアテストのコンセプト 付属書(Annex) 参考文献(Bibliography)
  41. 41. 目次 序文(Introduction) 1. 適用範囲(scope) 2. 適合性(Conformance) 3. 引用規格(Normative reference) 4. 定義(Terms and definition) 5. ソフトウェアテストのコンセプト 付属書(Annex) 参考文献(Bibliography)
  42. 42. 5ソフトウェアのコンセプト 5.1 ソフトウェアテストの概要 5.2 組織的なそしてプロジェクトコンテキストに おけるソフトウェアテスト 5.3 ソフトウェアテストライフサイクルに おける一般的なテストプロセス 5.4 リスクベースドテスト 5.5 テストサブプロセス 5.6 テストプラクティス 5.7 テストにおける自動化 5.8 欠陥マネージメント
  43. 43. 5ソフトウェアのコンセプト 5.1 ソフトウェアテストの概要 5.2 組織的なそしてプロジェクトコンテキストに おけるソフトウェアテスト 5.3 ソフトウェアテストライフサイクルに おける一般的なテストプロセス 5.4 リスクベースドテスト 5.5 テストサブプロセス 5.6 テストプラクティス 5.7 テストにおける自動化 5.8 欠陥マネージメント
  44. 44. software testing ソフトウェアテスト static testing 静的テスト レビューとか静的解析とか。 テスト対象を動作させずに行う dynamic testing 動的テスト 一般的に思い浮かべるテスト。 対象を動作させて行うテスト
  45. 45. static testing 静的テスト dynamic testing 動的テスト Acceptance Testing Requirement Architectural Design System Testing Detail Design Integration Testing Cording Component Testing
  46. 46. 開発の作業 ユーザ要求 開発の成果物 テストの作業(プロセス) 要求分析 テスト分析 システム要件 設計 要件定義書 画面仕様書 テスト分析 テスト設計 テスト実装 テスト実装 テスト実行 テスト実行 報告書作成 報告書作成 基本設計書 テスト分析 実装 テスト設計 テスト設計 テスト実装 テスト実行 報告書作成 詳細設計書 テスト分析 ソースコード テスト設計 テスト実装 テスト実行 報告書作成 テ受 スけ ト入 れ テシ スス トテ ム テ統 ス合 ト テユ スニ トッ ト コード解析 モニタリングとコントロール テストウェア管理 インシデント管理 ASTER テストルールWG 著 「テストツールまるわかりガイド(入門編) Version 1.0.0」 P-30より
  47. 47. 5ソフトウェアのコンセプト 5.1 ソフトウェアテストの概要 5.2 組織的なそしてプロジェクトコンテキストに おけるソフトウェアテスト 5.3 ソフトウェアテストライフサイクルに おける一般的なテストプロセス 5.4 リスクベースドテスト 5.5 テストサブプロセス 5.6 テストプラクティス 5.7 テストにおける自動化 5.8 欠陥マネージメント
  48. 48. guides testing by constrains Rules, Regulations, Standards and Laws 1...n 1 Organization is elaborated by Organization Test Policy Organization Test Strategy provides guidance on ISO 25000 SQuaRE ISO/IEC/IEEE 29119 Other Standards Test Plan Project Plan 1 1 is elaborated by constrains and guides 1...n ISO 25000 Quality Characteristics includes Test Strategy 1 elaborates 1...n 1 Project Test Plan 1...n Sub-Process Test Plan 0...8 0...n Test Type Test Sub-Process Test Level/Phase Test Completion Criteria Test Technique Static Test Technique Test Practice Level of Automation Dynamic Test Technique Specification-Based Technique Structure-Based Technique ISO/IEC/IEEE 29119-1:2013 P-16 Figure 1 Multi-layered test context diagram
  49. 49. JIS X 25010:2013 製品品質モデル システム/ソフトウェア製品品質 機能適合性 性能効率性 互換性 使用性 信頼性 セキュリティ 保守性 移植性 • 機能完全性 • 時間効率性 • 共存性 • 適切度認識性 • 成熟性 • 機密性 • モジュール性 • 適用性 • 機能正確性 • 資源効率性 • 相互運用性 • 習得性 • 再利用性 • 設置性 • 機能適切性 • 容量満足性 • インテグリ ティ • 否認防止性 • 解析性 • 置換性 • 修正性 • 運用操作性 • 可用性 • 障害許容性 (対故障性) • ユーザエラー 防止性 • 回復性 • ユーザイン ターフェース 快美性 • 責任追跡性 • 真正性 • 試験性 • アクセシビリ ティ “製品品質特モデル “ from “JIS X 25010:2013” 図4
  50. 50. 5ソフトウェアのコンセプト 5.1 ソフトウェアテストの概要 5.2 組織的なそしてプロジェクトコンテキストに おけるソフトウェアテスト 5.3 ソフトウェアテストライフサイクルに おける一般的なテストプロセス 5.4 リスクベースドテスト 5.5 テストサブプロセス 5.6 テストプラクティス 5.7 テストにおける自動化 5.8 欠陥マネージメント
  51. 51. 5ソフトウェアのコンセプト 5.1 ソフトウェアテストの概要 5.2 組織的なそしてプロジェクトコンテキストに おけるソフトウェアテスト 5.3 ソフトウェアテストライフサイクルに おける一般的なテストプロセス 5.4 リスクベースドテスト 5.5 テストサブプロセス 5.6 テストプラクティス 5.7 テストにおける自動化 5.8 欠陥マネージメント
  52. 52. 5ソフトウェアのコンセプト 5.1 ソフトウェアテストの概要 5.2 組織的なそしてプロジェクトコンテキストに おけるソフトウェアテスト 5.3 ソフトウェアテストライフサイクルに おける一般的なテストプロセス 5.4 リスクベースドテスト 5.5 テストサブプロセス 5.6 テストプラクティス 5.7 テストにおける自動化 5.8 欠陥マネージメント
  53. 53. Test Process Project Test Process Test Sub-Process Test Level/Phase Test Type 1 0...n targets Component Testing Performance Testing Integration Testing Security Testing System Testing Functional Testing Acceptance Testing Usability Testing .................... Quality Characteristics .................... ISO/IEC/IEEE 29119-1:2013 P-17 Figure 2 The relationship between the generic test sub-process, test levels and test types
  54. 54. 5ソフトウェアのコンセプト 5.1 ソフトウェアテストの概要 5.2 組織的なそしてプロジェクトコンテキストに おけるソフトウェアテスト 5.3 ソフトウェアテストライフサイクルに おける一般的なテストプロセス 5.4 リスクベースドテスト 5.5 テストサブプロセス 5.6 テストプラクティス 5.7 テストにおける自動化 5.8 欠陥マネージメント
  55. 55. 5ソフトウェアのコンセプト 5.1 ソフトウェアテストの概要 5.2 組織的なそしてプロジェクトコンテキストに おけるソフトウェアテスト 5.3 ソフトウェアテストライフサイクルに おける一般的なテストプロセス 5.4 リスクベースドテスト 5.5 テストサブプロセス 5.6 テストプラクティス 5.7 テストにおける自動化 5.8 欠陥マネージメント
  56. 56. 5ソフトウェアのコンセプト 5.1 ソフトウェアテストの概要 5.2 組織的なそしてプロジェクトコンテキストに おけるソフトウェアテスト 5.3 ソフトウェアテストライフサイクルに おける一般的なテストプロセス 5.4 リスクベースドテスト 5.5 テストサブプロセス 5.6 テストプラクティス 5.7 テストにおける自動化 5.8 欠陥マネージメント
  57. 57. Part 2: テストプロセス
  58. 58. コンセプトと 定義 参照 Concepts and definitions 参照 参照 テスト文書 Test documentation テストプロセス Test processes ? キーワード駆動 テスト Keyword Driven Testing 対象? ソフトウェアテストの ためのプロセス評価 Process assessment model for software testing 参照 テスト技法 Test techniques
  59. 59. Organizational Test Process Test Management Processes Dynamic Test Processes Figure 3. The multi-layer relationship between test processes From ISO/IEC/IEEE 29119-1:2013
  60. 60. Organizational Test Process Test Management Processes Static Test Processes Dynamic Test Processes
  61. 61. Organizational Test Process Test Management Processes Test Monitoring & Control Process Test Planning Process Test Completion Process Dynamic Test Processes Test Design & Implementation Process Test Environment Set-up & Maintenance Process Test Execution Process Test Incident Reporting Process Figure 2 – The multi-layer model showing all test processes, from ISO/IEC/IEEE 29119-2:2013 Test processes, P-11
  62. 62. Organizational Test Process Develop Organizational Test Specification (OT1) Organization Test Specification Monitor and Control Use of Test Specification (OT2) Controlled Organizational Test Specification Update Organizational Test Specification (OT3) Updated Organization Test Specification Organizational Test Process form “ISO/IEC/IEEE 29119-2:2013 Test Process” P-13 Figure 4より一部抜粋
  63. 63. Test Management Processes Test Plan Update Test Planning Test Plan Test Monitoring & Control Test Results Test Completion Test Completion Report Test Process form “ISO/IEC/IEEE 29119-2:2013 Test Processより一部抜粋
  64. 64. Test Design & Implementation Test Specification Test Execution Test Results [No Issues Noticed] [Issue Noticed OR Retest Result] Test Environment Requirements Test Environment Set-up & Maintenance Test Environment Readiness Report Test Incident Reporting Incident Report Dynamic Test Process form “ISO/IEC/IEEE 29119-2:2013 Test Process”より一部抜粋
  65. 65. Test Basis Test Design & Implementation Test Specification Test Execution Test Environment Readiness Report Test Environment Requirements Test Environment Set-up & Maintenance Test Results Test Incident Reporting Incident Reports 動的テストプロセスをPFDとして表現し直してみたもの
  66. 66. Part 3: テストドキュメント
  67. 67. コンセプトと 定義 参照 Concepts and definitions 参照 参照 テスト文書 Test documentation テストプロセス Test processes ? キーワード駆動 テスト Keyword Driven Testing 対象? ソフトウェアテストの ためのプロセス評価 Process assessment model for software testing 参照 テスト技法 Test techniques
  68. 68. 種類
  69. 69. Organizational Test Process Organizational Test Strategy Test Policy Test Management Processes Test Status Report Test Plan Test Completion Report Dynamic Test Processes Test Design Specification Test Case Specification Test Procedure Specification Test Data Requirements Test Data Readiness Report Test Environment Requirements Test Environment Readiness Report Actual Result Test Result Test Execution Log Incident Report
  70. 70. Test Policy Organizational Test Strategy Organizational Test Strategy Test Plan (Project) Organizational Test Process Test Plan (Project) Test Plan (Sub-process) Test Plan (Project) Test Plan (Sub-process) Test Plan (Sub-process) Test Management Processes Test Specification Test Environment Requirement Test Data Requirement Test Environment Readiness Report Test Data Readiness Report Perform Dynamic Test Incident Report Dynamic Test Processes Test Execution Documentation Test Status Report Dynamic Test Processes Dynamic Test Processes Test Completion Report (Sub-proc.) Test Completion Report (Project) Test Management Processes Figure 1 — The hierarchy of test documentation from ISO/IEC/IEEE 29119-2:2013
  71. 71. ITEM PROJECT DOC ITEM DOC TEST ITEM TEST PLAN TEST DESIGN SPEC TEST DESIGN SPEC TEST CASE SPEC TEST EXECUTION TEST LOG TEST ITEM TRANSMITTAL REPORT Document specified by this standard Document NOT specified by this standard TEST LOG TEST INCIDENT REPORT 829 – 1998 TEST DESIGN SPEC TEST PROC SPEC IEEE Std Test Item (NOT specified by the standard) TEST INCIDENT REPORT Process NOT specified by this standard TEST SUMMARY REPORT Figure. “Relationship of test documents to testing process” from IEEE Std 829-1998 IEEE Standard for Software Test Documentation).
  72. 72. 文書 概要 Test Policy テストポリシー 組織におけるテストの目的、ゴール、原則、そしてス コープを記述した会社の方針レベルの文書 Organizational Test Strategy 組織的なテスト戦略 ある組織でおこなわれるすべてのプロジェクトにたいし て、どうテストするかその詳細を決めるために提供され る、一般的なテストについての要求を表現した文書 Test Plan テスト計画 テスト目的を達成するため、そしてそれらを達成するた めの手段やスケジュールやテストアイテムのためのテス ト活動を調整するため系統化された詳細な記述 Test Status Report テスト状況レポート 特定の期間に行われたテストの状況についての情報を提 供するレポート Test Completion Report テスト完了レポート 実施されたテストの要約を提供するするレポート
  73. 73. 文書 (Test Specification) テ ス ト 仕 様 概要 Test Design Specification テスト設計仕様 テストされる特徴(feature)とそれらに対応するテス ト条件を指定する文書 Test Case Specification テストケース仕様 一つ以上のテストケースのセット テストケースは、前提条件、入力値、期待結果など のセット。 Test Procedure Specification テスト手順仕様 個別の目的のために実装するテストケースの集まり にたいして、ひとつかそれ以上のテスト手順を指定 する文書
  74. 74. 文書 概要 テストデータ要求は、テスト手順仕様に定義されたテ Test Data Requirement スト手順を実行するために必要とされるテストデータ テストデータ要求 の性質について記述した文書 Test Environment Requirement テスト環境要求 Test Data Readiness Report テストデータ準備 レポート テスト環境要求は、テスト手順仕様に定義されたテス ト手順を実行するために必要とされるテスト環境の性 質について記述した文書 テストデータ準備レポートは、各テストデータ要求の 達成について記述した文書 テスト環境準備レポート テスト環境準備レポートは、各テスト環境要求の達成 Test Environment について記述した文書 Readiness Report
  75. 75. 文書 (Test Execution Document) Actual Result 実行結果 概要 テストアイテムの振る舞いか条件のセット、あるい はテスト実行の結果観察された関連するデータある いはテスト環境の条件のセット ※文書構成なし。公式文書化はされない場合もあり テ ス ト 特定のテスト・ケースがパスしたか失敗したかどう 実 かの表示(期待結果と実行結果が同じであるのか、 行 Test Result それとも異なる結果が観測されたのかどうか) ド テスト結果 ※文書構成なし。手順仕様なりケース仕様なりに記 キ ュ 載する場合がおおいとのこと メ ン ト Test Execution Log 一つ以上のテスト手順の実行の詳細な記録 テスト実行ログ Incident Report インシデントレポート インシデントの状態や性質や出来事を記述した文書。 例外レポート、バグレポート、欠陥レポート、エ ラーレポート、課題、問題レポートトラブルレポー ト、そのほかもろもろとしても知られる
  76. 76. Master Test Report Test Policy Organizational Test Strategy Test Plan Test Design Specification Test Case Specification Test Procedure Specification Test Data Requirements Test Environment Requirements Test Data Readiness Report Test Environment Readiness Report Actual Results Test Result Test Execution Log Incident Report Test Status Report Test Completion Report Level Test Report x Level Interim Test Status Report x - Anomaly Report Test Summary Report v v x - Level Test Log Test Incident Report - Level Test Procedure Test Log x v v - Level Test Case Test item transmittal Report x - Level Test Design Test Procedure Specification x - Level Test Plan Test Case Specification x - Master Test Plan Test Design Specification IEEE Std829:2008 Test Plan IEEE Std 829-1998 x - x - x - x - x v v - v v x - x - x - x x
  77. 77. Part 4: テスト技法
  78. 78. コンセプトと 定義 参照 Concepts and definitions 参照 参照 テスト文書 Test documentation テストプロセス Test process ? キーワード駆動 テスト Keyword Driven Testing 対象? ソフトウェアテストの ためのプロセス評価 Process assessment model for software testing 参照 テスト技法 Test techniques
  79. 79. Formal Methods Model Checking Proof of Correctness Inspection Reviews Static Testing Verification & Validation Model Verification Static Analysis Testing Specification-Based Dynamic Testing Structure-Based Experience-Based V & V Analysis Simulation Evaluation Quality Metrics Figure A.1 — Hierarchy of Verification and Validation activities, from ISO/IEC/IEEE 29119-1: Concepts and definitionsより。色づけは独自
  80. 80. Figure 2 – The set of test design techniques presented in ISO/IEC 29119-4 (DIS)を元に編集
  81. 81. JSTQBとの比較-基本同じ 同値分割法 仕様ベースのテスト設計技法 テ  仕様化したモデルを基にしてテストケースを作成する、 体系的なテスト設計技法。  モデルに対応したテスト設計技法を用いる。  ブラックボックステストとも呼ばれる。 ス ト 設 計 技 法 境界値分析 デシジョンテーブルテスト 状態遷移テスト ユースケーステスト 構造ベースのテスト設計技法  ソフトウェアやシステムの構造を基にしてテストケースを 作成する体系的なテスト設計技法。  対象となる構造をどれだけ網羅したかというカバレッジを 測って実施する。  ホワイトボックステストとも呼ばれる。 経験ベースのテスト設計技法  テスト担当者のスキル、知識、経験を基にテストケース を作成する、体系的ではない(経験に基づいた)テスト ケース設計技法。  ステークスホルダの知識、過去の類似した欠陥なども情 報源となる。 その他 ステートメントテスト デシジョンテスト その他 エラー推測 フォールト攻撃 探索的テスト その他 JSTQB FLシラバスに記載されているテスト設計技法を分類したもの
  82. 82. 本日のまとめ
  83. 83. Who? (誰が) ISO/IEC JTC 1/SC 7/WG 26 Where? (どこで) 国際会議の場 各国のWG メーリングリスト? '12年05月19~25日 チェジュ島 (韓) '13年05月27~31日 モントリオール What? (何を) Software testingの国際規格(IS)群 ISO/IEC/IEEE 29119シリーズ Part 1: concepts and definition Part 2: Test processes Part 3: Test documentation Part 4: Test techniques Part 5: Keyword driven testing 6W2H (作る) How much? (いくらで) Why? (なぜ) ボランタリーベースで 組織によらず、どのような ソフトウェアテストであろうとも、 それを実行する際に使うことが できる、国際的に合意された ソフトウェアテストの規格群を 定義すること How? (どのように) ISOにおける通常のS策定手順にのっ とり When? (いつ) Part 1:2013年8月 Part 2:2013年8月 Part 3:2013年8月 Part 4:2014年頃? Part-5:2015年頃? Whom? (誰のために) 我々 ソフトウェアテストに 関係する全ての人
  84. 84. Who? (誰が) What? (何を) 我々 Software testingの国際規格(IS)群 ISO/IEC/IEEE 29119シリーズ ソフトウェアテストに 関わる全ての人々 • • • • • Part Part Part Part Part 1: 2: 3: 4: 5: How? (どのように) がんばってテーラリング! なにはなくともテーラリング! concepts and definition Test processes Test documentation Test techniques Keyword driven testing Where? (どこで) 多くの異なるコンテキストにおけるテ スト活動をサポートすることができる • • • • • IT、PC、組込み、モバイル、他 大規模小規模問わず 個人、SOHO、エンプラ問わず 商用、公共問わず 開発モデル問わず How much? (いくらで) ISO,IEC,IEEE以外にJSAでも購入可 ISO/IEC/IEEE 29119-1:¥17,010 ISO/IEC/IEEE 29119-2:¥17,010 ISO/IEC/IEEE 29119-3:¥23,520 組織で買うには微々たるお値段 導入コストはケースバイケース When? (いつ) 6W2H (使う) Why? (なぜ) いまでしょ (賞味期限切れ) • • テストプロセスの改善に着手しよ うと思い立ったとき たとえば29119の認証をとる必然 性にかられたとき Whom? (誰のために) 動機は人それぞれ、場合によりけり ただ、今よりももっと ソフトウェアテストを よりよく改善するため 自分自身のために 顧客のために
  85. 85. コンセプトと 定義 参照 Concepts and definitions 参照 参照 テスト文書 Test documentation テストプロセス Test process ? キーワード駆動 テスト Keyword Driven Testing 対象? ソフトウェアテストの ためのプロセス評価 Process assessment model for software testing 参照 テスト技法 Test techniques
  86. 86. Organizational Test Process Test Management Processes Dynamic Test Processes Figure 3. The multi-layer relationship between test processes From ISO/IEC/IEEE 29119-1:2013
  87. 87. Organizational Test Process Organizational Test Strategy Test Policy Test Management Processes Test Status Report Test Plan Test Completion Report Dynamic Test Processes Test Design Specification Test Case Specification Test Procedure Specification Test Data Requirements Test Data Readiness Report Test Environment Requirements Test Environment Readiness Report Actual Result Test Result Test Execution Log Incident Report
  88. 88. Reference ISO/IEC/IEEE 29119関連 • ISO/IEC/IEEE 29119-1:2013 Software testing – Part 1: Concepts and definitions • ISO/IEC/IEEE 29119-2:2013 Software testing – Part 2: Test processes • ISO/IEC/IEEE 29119-3:2013 Software testing – Part 3: Test documentation • ISO/IEC/IEEE DF 29119-4 Software testing – Part 4: Test techniques • 高信頼な組込みソフトウェアのためのテスト事例と最新動向 (羽田裕氏) IEEE Std 829関連 • IEEE Std 829:1998 Standard for Software Test Documentation • IEEE Std 829:2008 Standard for Software and System Test Documentation ISTQB/JSTQB関連 • テスト技術者資格制度 Foundation Level シラバス 日本語版 Version 2011.J02 • ソフトウェアテスト標準用語集 (日本語版)Version 2.2.J01 ISO/IEC 関連 • ソフトウェアエンジニアリング関連の標準化 ~ ISO/IEC JTC1/SC7による国際標準化とSEC の取組み~(高橋光裕氏)
  89. 89. END

×