Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

ICST 2015 まるわかりDay! -Model

1,302 views

Published on

  • Be the first to comment

ICST 2015 まるわかりDay! -Model

  1. 1. + Model-based Testing Kinji AKEMINE@kjstylepp
  2. 2. + 目次 1. Test Generation from Business Rules 2. On the Industrial Applicability of TextTest: An Empirical Case Study 3. Generating Tests for Detecting Faults in Feature Models 15/07/04ICST2015 まるわかりDay! 2
  3. 3. + Test Generation from Business Rules Simon Holm Jesnsen@Snowflake Computing Suresh Thummalapenta@Microsoft Corporation Saurabh Sinha@IBM Rsearch Satish Chandra@Samsung Research America
  4. 4. + 1 背景と目的  業務システムのテストは大変  膨大なビジネスルールが十分に明文化されていないため、テスト設 計が困難  ビジネスルールに関連したテストケースの事前条件が複雑であり、 それを実現するテスト実装が困難  業務システムの複雑なビジネスルールを定義可能なDSLの提案  DSLで記述されたビジネスルールから自動でテスト設計/実装 を行うアルゴリズムの提案 15/07/04ICST2015 まるわかりDay! 4
  5. 5. + 2 主な貢献  ツールサポートを伴ったビジネスルール定義用のDSLを開発し たこと  ビジネスルールの成立を確認するためのテストケースの自動生 成アルゴリズムを提案したこと  上記で生成されるテストケースには事前条件を成立させるため の手順も含まれていること  上記手法において計算量を現実的な範囲におさえるための工夫 をしたこと 15/07/04ICST2015 まるわかりDay! 5
  6. 6. + 3 手法概要(1)  ビジネスルールの定義方法 15/07/04 出典:Test Generation from Business Rules ICST2015 まるわかりDay! 6
  7. 7. + 3 手法概要(2)  登場する変数の制約の着目  各行の事前条件の制約に着目 15/07/04 出典:Test Generation from Business Rules 出典:Test Generation from Business Rules ICST2015 まるわかりDay! 7
  8. 8. + 4 評価(1)  評価方法  自動生成手法を実現したツール「BUSTER」を開発  生成アルゴリズムにといて効率化が施されていないツールとして 「EXHAUST」を比較対象ツールに  2つのOSSパッケージ製品と1つの実開発システムに対して、ビジ ネスルールを定義しツールを適用 15/07/04 出典:Test Generation from Business Rules ICST2015 まるわかりDay! 8
  9. 9. + 4 評価(2)  評価結果  カバレッジ  ほぼ全てのビジネスルールに対応したテストケースを生成可能  効率性  実行時間および生成されるテストケースの長さにおいて有用 15/07/04出典:Test Generation from Business Rules 出典:Test Generation from Business Rules ICST2015 まるわかりDay! 9
  10. 10. + 5 所感  狙い所は決して目新しくはない  アプローチ自体も比較的オーソドックス  地道なアルゴリズム最適化が大きい  しっかりツール化をして評価までやりきっている 15/07/04ICST2015 まるわかりDay! 10
  11. 11. + On the Industrial Applicability of TextTest: An Empirical Case Study Emil Alegroth@Chalmers University of Technology Geoffrey Bache@Evry AB Emily Bache@Bache Consulting
  12. 12. + 1 背景と目的  GUIアプリのテストは大変  自動化は有効な手段であるが、導入コスト/資産メンテナンス コストについて見極めをしなければならない  ところで、TextTestという一風かわった仕組みのOSSのGUIア プリテストツールがある  GUIの状態をASCII-artで抽象化!  TextTestが実用にたえうるのかを検証 15/07/04ICST2015 まるわかりDay! 12
  13. 13. + 2 主な貢献  TextTestを検討している人に有用な評価結果を提示した  ツールの有用性評価のための評価スキームの一例を示した 15/07/04ICST2015 まるわかりDay! 13
  14. 14. + 3 評価手順  以下の2つのRQを設定 1. TextTestは機能的に有用なGUIテストツールか? 2. TextTestはコスパ的に有用なGUIテストツールか?  評価方法 1. インタビュアーのバックグランド収集 2. 既存のツール実績にもとづいたインタビュー実施 3. ツールを利用したバグ発見実績の収集 4. マニュアルテストとの比較 15/07/04ICST2015 まるわかりDay! 14
  15. 15. + 3 評価結果(1)  初回インタビュー  大半のメンバーがツール導入を歓迎  ツールの使い勝手については有償製品に劣る 15/07/04 出典:On the Industrial Applicability of TextTest: An Empirical Case Study ICST2015 まるわかりDay! 15
  16. 16. + 4 評価結果(2)  ツールの実績収集  実際のバグに対して、failするテスト数が多い  false positiveの観点ではよい  メンテナンス時間もさほどかかっていない 15/07/04 出典:On the Industrial Applicability of TextTest: An Empirical Case Study ICST2015 まるわかりDay! 16
  17. 17. + 4 評価結果(3)  マニュアルテストとの比較  メンテナンスコスト以外の軸においてTextTestが有利  メンテナンスコストも大きな差異にはなっていない 15/07/04 出典:On the Industrial Applicability of TextTest: An Empirical Case Study ICST2015 まるわかりDay! 17
  18. 18. + 5 所感  著者らがツールのコミッター。単一ツール評価でもfull-paper になるのか…  ツール間比較をしたほうがいいのでは? 15/07/04ICST2015 まるわかりDay! 18
  19. 19. + Generating Tests for Detecting Faults in Feature Models Paolo Arcaini@University of Bergamo Angelo Gargantini@University of Bergamo Paolo Vavassori@University of Bergamo
  20. 20. + 1 背景と目的  SPLに対するテスト生成技術の研究が盛ん  既存研究は古典的なテスト設計技術(T-wise testingなど)を適用 したものである  既存研究とは異なるアプローチとして、Fault-basedな手法を 提案する 15/07/04ICST2015 まるわかりDay! 20
  21. 21. + 2 主な貢献  SPLのFeatureModelに対して、Mutation testingの適用方法 を提案したこと  上記に加え、MutationからFeatureModelに対するテストケー ス生成の仕組みを提案したこと 15/07/04ICST2015 まるわかりDay! 21
  22. 22. + 3 手法概要(1)  手法の使い所  FeatureModelをより詳細化したモデル(実装)を作成する際、元 のFeatureModelを満たしているかどうかを検証する 15/07/04 出典:Generating Tests for Detecting Faults in Feature Models ICST2015 まるわかりDay! 22
  23. 23. + 3 手法概要(2)  正しいモデルからMutationを生成  FMに対する独自のMutationルールを12パターン定義 15/07/04 ManToOpt 出典:Generating Tests for Detecting Faults in Feature Models ICST2015 まるわかりDay! 23
  24. 24. + 3 手法概要(3)  当該Mutationの発生を検知する論理式を構築  Mutate前後のFMの論理式表現の排他的論理和を構築  {a = true, b = false, c = true}と{a = true, b = false, c = false}が該当 15/07/04 出典:Generating Tests for Detecting Faults in Feature Models 出典:Generating Tests for Detecting Faults in Feature ModelsICST2015 まるわかりDay! 24
  25. 25. + 4 評価(1)  評価方法  6つのSPLモデルに対して、6人の被験者に詳細化実装をしてもらう  実装に対して各種のテストを実施  本手法で生成したテストケースを用いる  既存研究(Pairwise)で生成したテストケースを用いる 15/07/04ICST2015 まるわかりDay! 25
  26. 26. + 4 評価(2)  評価結果  既存手法に対して有用性を確認  全17件のバグのうち、最多で10件発見  バグの発見効率も最もよい 15/07/04 出典:Generating Tests for Detecting Faults in Feature Models ICST2015 まるわかりDay! 26
  27. 27. + 5 所感  SPL/FMに対するMutation testing適用は興味深い  SPL/FMのデグレテストにも有効か?  しかしモデルの変更箇所に対して、手動でテストケースをメンテナ ンスを行うのは現実的ではないような気もする  被験者実験はもっと大きなモデルにたいして適用したほうがよ いのではないか  「All configurations」の生成は現実的ではない規模のもの 15/07/04ICST2015 まるわかりDay! 27
  28. 28. + 以上 15/07/04 ICST2015 まるわかりDay! 28

×