28. (C) Keizo Tatsumi 201628
World Quality Report
要約版 Infographic
[出典] The disruptive impacts of digital transformation on QA and testing
https://www.capgemini.com/resources/the-disruptive-impacts-of-digital-transformation-on-qa-and-testing
29. (C) Keizo Tatsumi 201629
World Quality Report
デジタルトランスフォーメーションが品質保証やテストの存在感
を高めている
急速な市場変化への緊急対応のため、IT予算に占める品質保証
やテストの予算の割合が増加
[出典] The disruptive impacts of digital transformation on QA and testing
https://www.capgemini.com/resources/the-disruptive-impacts-of-digital-transformation-on-qa-and-testing
30. (C) Keizo Tatsumi 201630
World Quality Report
経営層の品質保証、テストへの期待(重視していること)
① セキュリティ ② 顧客エクスペリエンス ③ ITのコスト最適化
④ 高品質 ⑤ ビジネス要求への対応
[出典] The disruptive impacts of digital transformation on QA and testing
https://www.capgemini.com/resources/the-disruptive-impacts-of-digital-transformation-on-qa-and-testing
31. (C) Keizo Tatsumi 201631
World Quality Report
経営層にとっての品質保証、テストの目的のトップ3
① 企業イメージの保護
② 品質意識の向上
③ エンドユーザーの満足の保証
[出典] The disruptive impacts of digital transformation on QA and testing
https://www.capgemini.com/resources/the-disruptive-impacts-of-digital-transformation-on-qa-and-testing
シームレスな顧客エクスペリエンスの品質保証が鍵
32. (C) Keizo Tatsumi 201632
World Quality Report
シームレスな顧客エクスペリエンスの品質保証
新たに開発される品質保証/テストの多くは顧客接点となるチャネル
[出典] The disruptive impacts of digital transformation on QA and testing
https://www.capgemini.com/resources/the-disruptive-impacts-of-digital-transformation-on-qa-and-testing
33. (C) Keizo Tatsumi 201633
World Quality Report
より速い市場提供に向けてアジャイルテストの適用が拡大
[出典] The disruptive impacts of digital transformation on QA and testing
https://www.capgemini.com/resources/the-disruptive-impacts-of-digital-transformation-on-qa-and-testing
54%がアジャイル開発を適用
アジャイルテスト適用プロジェクトが36%から44%に増加
アジャイルテストの適用に苦労している組織は61%から29%に減少
34. (C) Keizo Tatsumi 201634
World Quality Report
顧客エクスペリエンスに関する品質保証、テストの課題
[出典] The disruptive impacts of digital transformation on QA and testing
https://www.capgemini.com/resources/the-disruptive-impacts-of-digital-transformation-on-qa-and-testing
異なるチャネルインターフェースを横断するソリューションの一貫性
プラットフォーム、クラウド(プライベート、パブリック)をまたがって統合さ
れるサービスのテスト
End-to-endのワークフローやデータ/サービス統合のテスト
35. (C) Keizo Tatsumi 201635
World Quality Report
品質保証、テストの課題
[出典] The disruptive impacts of digital transformation on QA and testing
https://www.capgemini.com/resources/the-disruptive-impacts-of-digital-transformation-on-qa-and-testing
エンドユーザの期待や要求に対するテストセットの網羅性
顧客エクスペリエンスのテストツールの開発/利用
テストケースの設計
顧客エクスペリエンステストの環境構築
エンドユーザの期待や要求の識別
テストで網羅されるシステムやアプリの識別
顧客エクスペリエンステストテストデータの構築
36. (C) Keizo Tatsumi 201636
World Quality Report
7つの提言
1. 顧客エクスペリエンスやビジネス保証のQA/テストに焦点をあてる。
2. アジャイルとDevOpsの適用拡大に応じて従来のテストセンター(TCOE:
Test Center of Excellence)を変革する。
3. 継続的かつ自動化されたセキュリティテストをキー戦略にする。
4. ソフトウェア開発サイクルを通して、予測的な分析と継続的なフィードバ
ックによりテストの優先順位を付ける。
5. テスト自動化への投資を維持し、継続的にテストの自動化を進める。
6. DevOpsへの移行に向けて、仮想化やクラウド・テスト・プラットフォーム
環境の構築を継続する。
7. テストチームのスキルをマニュアルテストやテスト自動化を超えるもの
に拡大する。
[出典] World Quality Report 2015-16 https://www.capgemini.com/thought-leadership/world-quality-report-2015-16
38. (C) Keizo Tatsumi 201638
ソフトウェアテストの研究動向
A. Orso and G. Rothermel,
"Software Testing: A Research Travelogue
(2000-2014)"
ICSE 2014のFuture of Software Engineering track(FOSE)の論文
Travelogue: ICSE 2000@Limerick(Ireland) --> ICSE 2014@Hyderabad(India)
ICSE 2000: "Testing: A Roadmap" (M. J. Harrold)
ICSE 2007: "Software Testing Research: Achievements, Challenges,
Dreams" (A. Bertolino)
以下の質問に対する第一線の研究者30人の回答に基づき整理
1) 2000年以降、最も重要な貢献があったテストは何だと思いますか?
2) 将来のテストの研究で最大の未解決課題や条件は何だと思いますか?
[出典] A. Orso and G. Rothermel, "Software Testing: A Research Travelogue (2000-2014)," 2014
39. 研究分野の貢献 (Research Contributions)
自動テスト入力生成
記号実行
サーチ・ベースド・テスト
ランダムテスト
技法の組み合わせ
テスト戦略
組み合わせテスト
モデル・ベースド・テスト
フィールドデータからのマイニングと学習
リグレッションテスト
実績・経験に基づく(エンピリカル)研究とその基盤
実務上の貢献 (Practical Contributions)
テスト実行フレームワーク
継続的インテグレーション(CI)
(C) Keizo Tatsumi 201639
A Research Travelogue
[出典] A. Orso and G. Rothermel, "Software Testing: A Research Travelogue (2000-2014)," 2014
40. (C) Keizo Tatsumi 201640
A Research Travelogue
研究の課題 (Challenges & Opportunities)
最新の実世界のシステムのテスト (Testing Modern, Real-World Systems)
テスト結果判定技術 (Oracles)
確率論的プログラム解析 (Probabilistic Program Analysis)
非機能属性のテスト (Testing Non-Functional Properties)
分野ごとのテスト技術 (Domain-Based Testing)
クラウドと群衆(Crowd)の活用 (Leveraging Cloud and Crowd)
[出典] A. Orso and G. Rothermel, "Software Testing: A Research Travelogue (2000-2014)," 2014
41. (C) Keizo Tatsumi 201641
研究テーマ例 (ICST 2015)
セション・テーマ
Research Session
• Test Generation
• Static Analysis
• Web and App Testing
• Test Selection and Prioritisation
• Model-based Testing
• Model Checking and SAT Solving
• Test Analysis
• GUI Testing
• Symbolic Execution
Testing in Practice Session
• New Testing Approaches
• Development Processes and Testing
• Domain-Specific
Testing Tools Session
Advances in Model Based Testing
(A-MOST 2015)
Security Testing (SECTEST 2015)
Combinatorial Testing (IWCT 2015)
Mutation Analysis (Mutation 2015)
Testing: Academic and Industrial
Conference Practice and Research
Techniques (TAIC PART 2015)
Test Architecture (InSTA 2015)
ワークショップ
[出典] 8th IEEE International Conference on Software Testing http://icst2015.ist.tu-graz.ac.at/
43. (C) Keizo Tatsumi 201643
テスト自動化の研究
AST (International Workshop on Automation of Software Test)
ICSE併設のワークショップ
2006年に第1回開催(2009年から2日間の開催)
テーマ&トピックス
方法論
技法
テストツールと環境
実験/実証報告
課題/将来ビジョン
[出典] AST 2015 http://tech.brookes.ac.uk/AST2015
44. (C) Keizo Tatsumi 201644
テスト自動化の研究テーマ (AST)
特別テーマ (2008年から毎回特別テーマを設定)
2008年 Model-Based Testing for Test Automation
2009年 Testing Web Services
2010年 Integration Testing
2011年 Relating Software Design to Test Automation
2012年 Automation of Security Test
2013年 Testing Software as a Service (※)
2014年 Testing Mobile Applications
2015年 Test Oracle
※Testing as a Service (TaaS)
Cloudにおける新ビジネス、サービスモデル cf. SaaS, IaaS, PaaS
最近は「Cloudのテスト」に加えて「Cloudを使ったテスト」も含む概念
45. (C) Keizo Tatsumi 201645
Cloud Testing, TaaS
Cloud Testing
クラウド技術とソリューションを活用して、クラウドの環境やインフラ上でテストと
測定を行う活動。4つの主要な目標を持つ[Gao]
クラウド上のアプリケーションの品質保証 Testing a SaaS in a cloud
クラウド環境のサービス(SaaS)の妥当性確認 Testing of a cloud
クラウドサービス機能(プロビジョニングなど)のチェック Testing inside a cloud
SaaSやアプリケーション間の互換性や相互運用性の確認 Testing over clouds
TaaS (Testing as a Service)
TaaSの概念は2009年にデンマークのTieto社が最初に提唱[Gao]
要求に応じていつでもクラウド中/上/間で静的/動的なテストサービスを提供
サービス提供会社の例
SOASTA http://www.soasta.com/
ITKO (2011年にCA社が買収) http://www.itko.com/solutions/cloud.jsp
IBM – Cloud Application Management – Cloud Testing Services
HP Application Lifecycle Management (ALM) on SaaS
<参考文献>
Jerry Gao et al., "Cloud-Testing - Issues, Challenges, Needs and Practice," 2011 http://seij.dce.edu/Paper%201.pdf
Sergiy Vilkomir, "Cloud Testing: A State-of-the-Art Review," 2012 http://www.it4sec.org/node/3146
46. 46
<参考> 実務者系カンファレンスのテーマ
STAREAST 2015 セションテーマ
Test Management
Test Techniques
Test Automation
Agile Testing
Mobile Testing
DevOps & Testing
Cloud Testing
Internet of Things
Metrics
Personal Excellence
Special Topics
No More Exploratory Testing - Really?
Customer Experience (CX): How to Build
an Army of Fans
Boost Test Coverage with Automated
Visual Testing
Git and GitHub for Testers
Uncover Untold Stories in Your Data: A
Deep Dive on Data Profiling
[出典] STAREAST 2015 https://stareast.techwell.com/program/schedule/
46 (C) Keizo Tatsumi 2016
49. (C) Keizo Tatsumi 201649
State of Testing Survey
アジャイル手法の採用が前回調査より増加 78%→88%
複数の開発方法論が併用されている
[出典] State of Testing 2015 http://qablog.practitest.com/state-of-testing/
50. (C) Keizo Tatsumi 201650
State of Testing Survey
85%が探索的テスト/セッションベースドテストを使用
[出典] State of Testing 2015 http://qablog.practitest.com/state-of-testing/
51. (C) Keizo Tatsumi 201651
State of Testing Survey
回答者の86%がテストを
自動化している
テスト自動化の対象 テスト自動化の程度
割合
[出典] State of Testing 2015 http://qablog.practitest.com/state-of-testing/
52. (C) Keizo Tatsumi 201652
State of Testing Survey
テストスキルの習得方法
テストの世界の動向のキャッチアップ方法
[出典] State of Testing 2015 http://qablog.practitest.com/state-of-testing/
53. (C) Keizo Tatsumi 201653
State of Testing Survey
良いテスターになるために必要なスキルは?
[出典] State of Testing 2015 http://qablog.practitest.com/state-of-testing/
①
③
②
④
⑤
56. (C) Keizo Tatsumi 201656
国際会議 -アカデミック系
ISSTA (International Symposium on Software Testing and Analysis)
主催:ACM (Association for Computing Machinery)
第1回は1993年、元をたどると1978年のworkshop
研究者、企業の実務者、ICSTに比べてアカデミア寄り
併設ワークショップ: モデル検査、テスト自動化・モデルベース、パフォーマンス など
ICST (International Conference on Software Testing, Verification and Validation)
主催:IEEE (The Institute of Electrical and Electronics Engineers)
第1回は2008年(ノルウェイ)、毎年、米欧で交互に開催
研究者、企業の実務者
併設ワークショップ: モデルベース、セキュリティ、組み合わせ、クラウド など
ICSE併設ワークショップ (International Conference on Software Engineering)
AST (Automation of Software Test)
SBST (Search-Based Software Testing)
RST (Requirements Engineering and Testing)
57. (C) Keizo Tatsumi 201657
国際会議 - コンサルタント、実務者系
STAREAST, STARWEST (Software Testing Analysis & Review Conference)
主催:SQE (Software Quality Engineering)
第1回は1992年
コンサルタント、実務者の発表が中心
CAST (Conference of the Association for Software Testing)
主催:AST (The Association for Software Testing)
第1回は2006年
コンサルタント、実務者の発表が中心
EuroSTAR (European conference on Software Testing, Analysis & Review)
主催:QualTech Ltd.
第1回は1993年
コンサルタント、実務者の発表が中心
その他
GTAC (Google Test Automation Conference)
Google主催のカンファレンス, 2006年から毎年開催