テストアプローチにデータ分析を使おう

2,831 views

Published on

WACATE2012冬の資料です。

0 Comments
10 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
2,831
On SlideShare
0
From Embeds
0
Number of Embeds
68
Actions
Shares
0
Downloads
0
Comments
0
Likes
10
Embeds 0
No embeds

No notes for slide

テストアプローチにデータ分析を使おう

  1. 1. テストアプローチにデータ分析を使おう WACATE実行委員会 なかのさやか スーパーアドバイザー 小池利和様(ヤマハ(株)) 2012/12/15 Copyright (C) 2012 WACATE All rights reserved
  2. 2. このセッションの目的• テストアプローチを考える• データ分析(結果)に触れる• テストチームが主体となってできることを 考える Copyright (C) 2012 WACATE All rights reserved
  3. 3. このセッションの対象者• テストアプローチ(計画)にまだあまり携 わっていない人• テストアプローチに悩んでる人• データを取ってるだけの人• データと聞くと数字を連想して毛嫌いする 人• データ分析と聞くと統計学とか数式とかを 連想して毛嫌いする人 Copyright (C) 2012 WACATE All rights reserved
  4. 4. このセッションの流れ• テストアプローチのお話• データ分析のお話• ワークをやってみよう – 個人ワーク – グループワーク• 発表(2グループくらい) Copyright (C) 2012 WACATE All rights reserved
  5. 5. テストアプローチCopyright (C) 2012 WACATE All rights reserved
  6. 6. テストアプローチ?• JSTQB FLシラバスより 5.2.6 テスト戦略、テストアプローチ(K2) テストアプローチは、特定のプロジェクトにおいてテス ト戦略を実装することである。代表的なアプローチとして、以下のものがある。 – 緊急度や重要度などを考慮したリスクベースドテスト のような分析的アプローチ – 故障率や使用性などの統計情報を基にするモデルベー スアプローチ – エラー推測や品質特性を基にする方法論的アプローチ など、JSTQB FLシラバスには7種類があげられている Copyright (C) 2012 WACATE All rights reserved
  7. 7. テストアプローチ?• みなさんに質問• テストアプローチといったこと、やってま す? – 私がやってる – 誰かがやってるらしい – やってない – やってるかどうかわからない – なにそれ、おいしいの? Copyright (C) 2012 WACATE All rights reserved
  8. 8. テストアプローチ?• いつやるの?• だれがやるの?• なぜやるの? Copyright (C) 2012 WACATE All rights reserved
  9. 9. テストアプローチ?「テスト」といえば・・・?アドホックテスト、探索的テスト、ブラックボックステスト、境界値テスト、状態遷移テスト、ランダムテスト、モデルベースドテスト、ホワイトボックステスト、制御フローテスト、データフローテスト、トランザクションテスト、コールフローテスト、エラー推測テスト、ミューテーションテスト、ローカライゼーションテスト、ユーザ環境シミュレーションテスト、整合性確認テスト、オブジェクト指向テスト、GUIテスト、データベーステスト、プロトコル適格性テスト、コンテンツテスト、ユーザインターフェーステスト、コンポーネントレベルテスト、ナビゲーションテスト、後世テスト、セキュリティテスト、パフォーマンステスト、実時間のテスト、タスクテスト、動作テスト、タスク間テスト、システムテスト、リスクベースドテスト、アイソレーションテスト、アークテスト、アクションワード駆動テスト、アクセシビリティテスト、アジャイルテスト、アドホックテスト、アルゴリズムテスト、アルファテスト、安全性テスト、移植性テスト、インクリメンタルテスト、インテークテスト、受け入れテスト、運用受け入れテスト、運用テスト、運用プロファイルテスト、N スイッチテスト、LCSAJ テスト、回帰テスト、開発テスト、回復性テスト、回復テスト、改良条件判定テスト、改良複合条件テスト、拡張性テスト、確認テスト、完全テスト、規程テスト、機能性テスト、機能テスト、基本比較テスト、キーワード駆動テスト、グラスボックステスト、クリアボックステスト、構成テスト、構造テスト、構造ベースドテスト、合目的性テスト、効率性テスト、互換性テスト、コードベースドテスト、コンフィデンステスト、コンポーネントテスト、コンポーネント統合テスト、サイト受け入れテスト、サニティテスト、資源効率性テスト、システム統合テスト、小規模統合テスト、条件組合せテスト、条件テスト、条件判定テスト、使用性テスト、仕様ベースドテスト、シンタックステスト、構文テスト、信頼性テスト、スクリプトテスト、ステートメントテスト、ストレージテスト、ストレステスト、スモークテスト、スレッドテスト、正確性テスト、静的テスト、性能テスト、製品受け入れテスト、設置性テスト、全数テスト、相互運用性テスト、大規模統合テスト、ダーティテスト、チェックリストベースドテスト、直交表テスト、適合テスト、デザインベースドテスト、デシジョンテスト、デシジョンテーブルテスト、統計的テスト、統合テスト、動的テスト、ドキュメンテーションテスト、トップダウンテスト、パステスト、パーティションテスト、判定条件テスト、ビジネスプロセスベースドテスト、否定テスト、標準適合性テスト、標準テスト、フィールドテスト、複合条件テスト、ブランチコンデション組合せテスト、ブランチテスト、プログラムテスト、プロセスサイクルテスト、ベータテスト、ベンチマークテスト、保守性テスト、ボトムアップテスト、ボリュームテスト、モジュールテスト、モンキーテスト、有限状態テスト、ユーザシナリオテスト、ユーザテスト、ユースケーステスト、ユニットテスト、要件ベースドテスト、予備テスト、リンクテスト、ロードテスト、ロバストネステスト、論理カバレッジテスト、論理駆動テスト、 ソフトウェアテスト、、、 Copyright (C) 2012 WACATE All rights reserved
  10. 10. Copyright (C) 2012 WACATE All rights reserved
  11. 11. テストアプローチ• 「☆▼テスト」というだけでもこんなにあ る• テストをするとき、これ、全部やります?• やらないですよね? Copyright (C) 2012 WACATE All rights reserved
  12. 12. テストアプローチ• なんのテストをやろうか• どんな風にテストをやろうか• どのくらいの工数が必要か• どんなリスクが潜んでいるだろうか• どうやって欠陥を見つけようか• 効果的に欠陥を検出するにはどうするか• 必ずやっておかなければならないのは何かなどなど。。。 Copyright (C) 2012 WACATE All rights reserved
  13. 13. テストアプローチ• JSTQBのシラバスでは(参考) テストアプローチは、テスト計画とテスト設計の中で定 義され、改良される。これには、一般的に(テスト)プロ ジェクトのゴールとリスクアセスメントに基づく決定を 盛り込む。それは、テストプロセスの計画、テスト設計 技法の選択とテストタイプの適用、開始・終了基準の定 義などを行うための出発点である。• ISTQBシラバス準拠 ソフトウェアテストの基礎 では(参考) テストアプローチあるいはテスト戦略の選択は、テスト 作業の成功と、テスト計画と見積もりの正確性の要素の1 つです。 ケースバイケースで、最も意味があるテストアプローチ を採用して、そのアプローチを各自で利用したり変更し たりするしかありません。 Copyright (C) 2012 WACATE All rights reserved
  14. 14. テストアプローチ• 現場の仕事がバリバリ進む ソフトウェアテスト手法 では(参考) – 2-4-7 アプローチ アプローチは非常に重要です。ここに書くことは、 2.4.3項「はじめに」で書いたテストの方向性、つまりテ スト戦略を具現化するためのテストの方法を記載す るからです。 • テストの概要(どんな種類のテストを誰がいつ実施 するのか) • テストツール導入に関して • テストリリース方法(構成管理) ・・・など Copyright (C) 2012 WACATE All rights reserved
  15. 15. テストアプローチ スケジュール テストしない テストベース 弱点 テスト範囲 テスト対象 テストタイプ リスク テスト観点 テストレベル テストツール テストする テスト環境 Copyright (C) 2012 WACATE All rights reserved
  16. 16. テストアプローチ• 一次開発、二次開発、と開発をするとき、 同じ開発者の場合は同様の傾向を示すので、 一次開発の傾向を二次開発のインプットと することが有効 – 欠陥の偏在 – 同様のミス – 思いこみ ・・・など Copyright (C) 2012 WACATE All rights reserved
  17. 17. Copyright (C) 2012 WACATE All rights reserved
  18. 18. データ分析Copyright (C) 2012 WACATE All rights reserved
  19. 19. データ分析?• 数字読むの?• 数式がよくわからない、難しい• パラメータとか基準値とか・・・ねぇ?• 数学、苦手なのよねぇ Copyright (C) 2012 WACATE All rights reserved
  20. 20. データ分析?• 見積り・予測ができる• 裏付けが取れる• 裏付けを基に適切な対策を打てる • 同じ開発者/チームで行う場合、一次開発と二次開発は 同様の傾向を示すことが知られています• 客観的事実を示せる• データ/メトリクスによって明らかになるこ とがある Copyright (C) 2012 WACATE All rights reserved
  21. 21. データ分析?プロジェクトの背景 データ収集 データ分析 データ 結果 データ 結果 の収集 分析プロジェクトの成果物 データ分 テスト戦略で定 析結果か 現場へ められたメトリク ら傾向を ス 次のメト のヒア 読みとる リクスの リング 設定 データから読み解 事実 く傾向想定リストテストアプローチ内容 改善点 の設定 想定と 次のテス 事実とのつき合 事実の トのアプ わせ結果 つき合 ローチ検 わせ 討 Copyright (C) 2012 WACATE All rights reserved
  22. 22. データ分析からのテストアプローチ• 数字を読んだり、数式を理解したり、とい う難しいことは得意な人orツールにとりあ えずお任せ!• グラフとか表とかに既に加工されたものを 見てみよう• 何か傾向とか特徴とかでてない? Copyright (C) 2012 WACATE All rights reserved
  23. 23. Copyright (C) 2012 WACATE All rights reserved
  24. 24. ワークをやろうCopyright (C) 2012 WACATE All rights reserved
  25. 25. 個人ワークとグループワーク個人ワークとグループワークをやります。個人ワークでは、これから説明するプロジェクトの新規開発のテスト結果を表したグラフについて、みなさんだったら何を読みとるかを考えていただきます。その後、個人ワークで読んでいただいたテスト結果に対して、別のチームが分析/ヒアリングした資料を配布します。グループワークでは後から配布する資料を基に、総合評価と第2次開発のテストではどんなアプローチをするかを考えてください。最後にどこかのグループに発表していただきます。 Copyright (C) 2012 WACATE All rights reserved
  26. 26. ワークの範囲 プロジェクトの 個人ワーク 背景 データ収集 データ分析 データ 結果 データ 結果 の収集 分析 プロジェクトの 成果物 データ分 テスト戦略で定 析結果か 現場へ められたメトリク ら傾向を ス 次のメト のヒア 読みとる リクスの リング 設定 データから読み解グループワーク く傾向想定リスト 事実テストアプローチ 改善点内容 の設定 想定と 次のテス 事実とのつき合 事実の トのアプ わせ結果 つき合 ロ―チ検 わせ 討 Copyright (C) 2012 WACATE All rights reserved
  27. 27. プロジェクト背景 配布資料この夏、WACATE Corporationのなんでも開発部で新規開発がありました。前例プロジェクトのない、初の開発でした。この冬、第2次開発をすることになりました。でも、新規開発に対してリリース後の問合せが多発し、欠陥と判断されたものも多数ありました。そこで、第2次開発をするにあたり、Y本部長から「テストを強化しろ」というお達しがありました。お達しを受けたなんでも開発部のO部長は、同じ事業部内のなんでもテスト部のS部長に第2次開発におけるシステムテストを依頼しました。依頼を受けたS部長は、O部長から新規開発時のテストの状況を知るために、テスト結果報告書の提供をしてもらい、第2次開発の参考にすることにしました。 Copyright (C) 2012 WACATE All rights reserved
  28. 28. なんとか開発部(デスマ中) WACATE Corp. なんでも開発事業本部 K部長 Y 本部長 G課長 B課長 配布資料なんだって開発部 なんだってテスト部 O 部長 新規開発をした S 部長 チーム U 課長 I 課長 A 課長 若手太郎・・・他 三浦鮪・・・他 三崎伽哩 Copyright (C) 2012 WACATE All rights reserved
  29. 29. 個人ワークをやろうCopyright (C) 2012 WACATE All rights reserved
  30. 30. 個人ワークのお題 配布資料O部長はS部長からお願いされたとおり、新規開発時のテスト結果報告を開発を担当したI課長から受取り、S部長に提出しました。S部長「三崎さん、例の開発のテスト結果報告もらったから、ちょっとこれ、見てくれる?」三崎伽哩「はぁーい」S部長「これ見た結果を、あとで報告よろしく。あ、そうそうこの後やまさき本部長と出かけなきゃならないから、まとめておいて。明日の朝の部長会で報告聞くよ。あ、そのときにはやまさき本部長もいらっしゃるから、そのつもりで(。・人・。)オ・ネ・ガ・イ」と、伽哩ちゃんはいつもにこにこ優しいS部長のお願いを受け取りました。みなさんはこの伽哩ちゃんの立場となってください。 Copyright (C) 2012 WACATE All rights reserved
  31. 31. 個人ワーク 配布資料• 配布物 – 開発部のテスト実施報告書• やること – 報告書にある各グラフで、気になるところに印 をつけてみましょう。 – 時間は10分です。 – 全部を見切るのは難しい人は、2つか3つに絞り ましょう。 – 余裕がある人はどう気になったかメモもつけま しょう Copyright (C) 2012 WACATE All rights reserved
  32. 32. 準備はいいですか? Copyright (C) 2012 WACATE All rights reserved
  33. 33. ワーク中 Copyright (C) 2012 WACATE All rights reserved
  34. 34. グループワークをやろうCopyright (C) 2012 WACATE All rights reserved
  35. 35. グループワークのお題 配布資料三崎伽哩「5辛・・・かなぁ。もうちょっと言ってもいいかなぁ。本部長がいらっしゃるところで報告することになるんだし、次のテストはこっち(テスト部)がやることになるんだし、テスト動きやすくしたいなぁ。若手先輩だったらどうするかなぁ。。。」数時間後、テスト部のみなさんのところに伽哩ちゃんからミーティングリクエストが届きました。三崎伽哩「例の開発のテスト結果報告を分析して、ダサいところは直接聞いてきました。次の開発ではシステムテストはこちら(テスト部)でやることになりますので、開発部のテスト実施結果に対する評価と、我々のシステムテストをどうするかを、相談させてください。なお、会議室の予約の関係上40分しか時間がとれませんでした。」というワケで、各グループが伽哩ちゃんからミーティングリクエストを受け取ったテスト部メンバーとなって、ワークをしてください。 Copyright (C) 2012 WACATE All rights reserved
  36. 36. グループワーク 配布資料• 配布物 – テスト部によるテスト実施報告の調査書• やること – テスト実施報告の調査書に評価の☆をつける – ☆をつけた理由を、調査内容を基に作成 – 第2次開発のテストに向けてのアプローチの検 討• つかうもの – 各テーブルにある模造紙 Copyright (C) 2012 WACATE All rights reserved
  37. 37. 模造紙に書くこと 配布資料• 評価チーム名またはチームメンバーの名前• ☆の数(最高3つ)• ☆の数の理由• 評価内容• 次期テストにおける改善点 – テストアプローチにつながることがベスト!!注:スケジュールやメンバーのレベルなどで変わる優先度は、 考慮しなくて良いです。テストアプローチとして考え得る ことを出しましょう Copyright (C) 2012 WACATE All rights reserved
  38. 38. 準備はいいですか? Copyright (C) 2012 WACATE All rights reserved
  39. 39. ワーク中 Copyright (C) 2012 WACATE All rights reserved
  40. 40. 他のグループはどうなった?• 2~3班に発表していただきます• 発表したい班は挙手!!!• 後ろに待機されてるゲストの方から講評が いただけるかも!? Copyright (C) 2012 WACATE All rights reserved
  41. 41. 注意!• 今回紹介したものがすべてじゃない• 今回紹介したものがどんな現場にも通用す るわけではない• データ分析ですべてがわかるわけではない• データ分析からわかったことが絶対ではな い Copyright (C) 2012 WACATE All rights reserved
  42. 42. データ分析、もっと知りたい? (ソフトウェア品質技術者のための)データ分析勉強会 日時:2012/12/22 主催:小池様(ヤマハ(株)) JUSE-SQiP特別講演会 データ指向の ソフトウェアマネジメント 日時:2013/2/25 講演:野中先生(東洋大学) 事例発表:小池様(ヤマハ(株)) SQiP研究会 メトリクス演習コース(来期に新設予定?) 主査:小池様(ヤマハ(株)) Copyright (C) 2012 WACATE All rights reserved
  43. 43. 参考書籍• データ指向のソフトウェア品質マネジメント メトリクス分析による「事実にもとづく管理」の実践• 定量的品質予測のススメ ITシステム開発における品質予測の実践的アプローチ• 続 定量的品質予測のススメ ITシステム開発における定量的品質管理の導入ノウハウと上流工程へのアプローチ• 演習で学ぶソフトウェアメトリクスの基礎 【ソフトウェアの測定と見積もりの正しい作法】• 初めて学ぶソフトウェアメトリクス 【プロジェクト見積もりのためのデータの導き方】• ソフトウェア品質保証の考え方と実際 オープン化時代に向けての体系的アプローチ• JSTQB FLシラバス ver.2011.J01• JSTQB ALシラバス ver.2007.J03• ISTQBシラバス準拠 ソフトウェアテストの基礎• ソフトウェア・テスト PRESS Vol.9• ソフトウェア品質知識体系ガイド-SQuBOK Guide-• 2012-2013 データ白書• 現場の仕事がバリバリ進む ソフトウェアテスト手法• ステップアップのためのソフトウェアテスト実践ガイド Copyright (C) 2012 WACATE All rights reserved

×