ソフトウェアテストの最新動向の学び方

Keizo Tatsumi
Keizo TatsumiSoftware Engineer (QA, Testing)
(C) Keizo Tatsumi 20161
ソフトウェアテストの最新動向の学び方
~ デジタルビジネス時代のテスト技術者へ ~
辰巳 敬三
2016年1月10日
WACATE 2015 冬
(C) Keizo Tatsumi 20162
自己紹介
 経歴
1976年 富士通入社、ソフトウェア事業部検査部
~1990年 メインフレームOS の製品検査、品質保証
~1999年 UNIX/PC のソフトウェア製品の検査、品質保証
~2009年 社内システム支援、サービスビジネス、知財・特許
2009年~ 高度情報通信人材育成支援センター(現CeFIL)に出向
 活動 (昔 1987~1990)
富士通のソフトウェア品質保証活動(共著)(1987年)
Conceptual Support for Test Case Design(COMPSAC'87)
Test Case Design Support System(ICQC’87)
富士通におけるソフトウェア品質保証の実際(共著)(1989年)
ソフトウェア品質管理ガイドブック(共著)(1990年)
ソフトウェア品質管理事例集(共著)(1990年)
 活動 (最近 2007~)
ソフトウェア品質知識体系ガイド(SQuBOK)(共著)(2007年)
ソフトウェアテスト・ヒストリー[テストPRESS Vol.8](2009年)
続ソフトウェアテスト・ヒストリー[テストPRESS Vol.9](2009年)
100人のプロが選んだソフトウェア開発の名著(共著)(2012年)
執筆タイトル : ソフトウェアテストにはライフワークの価値がある
Combinatorial Testing in Japan(AWCT2013)
ソフトウェア品質知識体系ガイド(SQuBOK) V2(共著)(2014年)
初級ソフトウェア品質技術者資格試験 問題と解説 第2版(共著)(2015年)
(C) Keizo Tatsumi 20163
自己紹介
 ASTER 国際調査活動 (ICST参加レポート)
[出典] http://aster.or.jp/activities/investigation.html
(C) Keizo Tatsumi 20164
今日、お話したいこと
授人以魚 不如授人以漁
「ある人に魚を一匹与えれば、その人は一日は食べられる。
しかし、
魚の取り方を教えれば、その人は一生を通して食べることができる。」
最新動向の「学び方」
動向そのものよりも動向が分かる(分かりそうな)情報源
テストの話題だけでなく背景(社会、ビジネス)との関係
最新動向を得るための動き
(C) Keizo Tatsumi 20165
目次
1. ソフトウェアテストの歴史 - 振り返り
2. 最近の動向
1) ビジネス
2) 世界のIT部門の取り組み
3) ソフトウェアテストの研究
4) 世界のテスター
3. WACATEのステップアップに向けて
4. まとめ
(C) Keizo Tatsumi 20166
1. ソフトウェアテストの歴史
振り返り
(C) Keizo Tatsumi 20167
Agile Testing
Concolic Testing
テスト技法タイムライン
(Gedanken-experiments
on sequential machines)
(デシジョンテーブル)
(Program Testing
の教科書)
パス解析
デシジョンテーブル
をテストに利用
(同値分割/限界値
分析の考え方)
カバレッジ
計測ツール
カバレッジ
(TER)
カバレッジ
(Cx)
サイクロマチック複雑度
基礎パステスト
同値分割/
限界値分析
ドメインテスト
データフロー
テスト基準
状態遷移テスト
のカバレッジ
原因結果
グラフ Pairwiseテスト
探索的テスト
オブジェクト指向テスト
運用プロファイル
Component-based Testing
Architecture-based Testing
変異テスト
データフローテスト
Search-based Testing
1970 1980 19901960 2000 2010
直交表テスト
(C) Keizo Tatsumi 20168
テスト技法の歴史の整理の動機
最初の興味
いろいろなテスト技法はいつ考案され、それにはどの
ような背景、動機があったのか
仮説
ハードウェア、ソフトウェア、システム(実世界)の進展
を背景に、テストや品質技術が考案されてきた筈
今後への示唆
現在はどういう時代になっているのか
今後どのようにQA、テストへ取り組むべきなのか
(C) Keizo Tatsumi 20169
ソフトウェアマネジメントの変遷
[出典] V. Basili and J. Musa, “The Future Engineering of Software: A Management Perspective,” 1991
1950 1980 19901960 1970 2000 2010
スケジュールの時代 コストの時代 品質の時代機能の時代
 1970年代: スケジュールの時代
 ソフトウェア危機(NATO会議,1968年)
 期間内に開発を完了させることが主要課題、ライフサイクルモデル提案
 1960年代: 機能の時代
 ITが社会に入り始めた
 社会的ニーズに応える機能の開発が主要課題
 1980年代: コストの時代
 ハードウェアコストの継続的低減、パソコンの出現
 ソフトウェアの生産性が主要課題、コストモデル(FP,COCOMO,・・)提案
 1990年代: 品質の時代
 ソフトウェアに対する社会の依存度の増大
 ソフトウェアの故障や使いにくさが深刻な事態を招くことが広く認識
(C) Keizo Tatsumi 201610
ソフトウェア工学の変遷
 ヘーゲル的進化ビュー
自律;
バイオ・
コンピュー
ティング
1990年代 2010年代2000年代1970年代 1980年代1960年代1950年代
COTS
工芸品
としての
ソフトウェア
テーゼ
(正)
ジン
テーゼ
(合)
アンチ
テーゼ
(反)
形式化;
ウォータ
フォール
生産性;
再利用;
オブジェクト;
ピープルウェア
計画駆動の
ソフトウェア
成熟度
モデル
アジャイル
メソッド
ハードウェア
のような
ソフトウェア
の扱い
リスクベース・
アジャイルと
計画駆動の
ハイブリッド;
モデル駆動開発
ソフトウェア
工学と
システム工学
の統合
バリューベース法;
コラボレーション;
グローバル開発;
エンタープライズ・
アーキテクチャ
ソフトウェアと
ハードウェアの違い,
技術者の不足
多くの欠陥
スケーラビリティ,
リスクマネジメント
プロトタイピング
Time to Market,
迅速な変化
スケーラビリティ
ドメイン工学
リスクマネジメント
準拠
プロセス・オーバヘッド
ソフトウェアの
付加価値
ソフトウェア-
システム工学
グローバルな
Systems
of
Systems
[出典] B. Boehm, A View of 20th and 21st Century Software Engineering, 2006のプレゼンテーションスライドから引用
1950 1980 19901960 1970 2000 2010
形式化とウォータ
フォールプロセス
生産性と拡張性ソフトウェア工芸
(Crafting)
ハードウェア工学的
並行プロセス vs.
順次プロセス
俊敏性と価値
(C) Keizo Tatsumi 201611
ソフトウェアテストの変遷
[出典] D. Gelperin and W. Hetzel, "The Growth of Software Testing," 1988
評価
指向
論証指向
破壊
指向デバッグ指向 予防指向
1950 1980 19901960 1970 2000 2010
 ~1978年: 論証指向の時代
 テストはプログラムが仕様を満足していることを
示すためのもの
 ~1956年: デバッグ指向の時代
 デバッグとテストが区別されていなかった
 ~1982年: 破壊指向の時代
 テストとは、エラーをみつけるつもりでプログラムを実行する過程
 ~1987年: 評価指向の時代
 ライフサイクルを通じた評価活動の中にテストが位置付けられた
 1988年~: 予防指向の時代
 ライフサイクルと並行して進められる予防指向のテストプロセス
(C) Keizo Tatsumi 201612
ソフトウェアテスト年表 @WACATE 2010冬
2010.11.18 辰巳
▲ ▲
IBM System/370 Cray-1(スパコン)
▲ ▲ ▲ ▲ ▲
Apple PC IBM PC ▲ Apple Macintosh iPhone iPad
▲ Sun-1 ▲ ▲
Intel 4004MPU Sun SPARC Intel Pentium Pro
● ●
(Apple社設立) (Sun Microsystems社設立)
▲ ▲ ▲ ▲ ▲ ▲
UNIX CP/M MS-DOS UNIX System V Linux Windows NT
(4004MPU用OS) Netware ▲ ▲ ▲
▲ ▲ Windows 3.1 ▲ J2EE .NET ▲
C言語 ▲ C++ ▲ Java ▲ Ajax
Smalltalk-72 Smalltalk-80 Eiffel ▲ ▲Internet Explorer Ruby on Rails
▲ Netscape ▲ ▲
● ● HTML/HTTP/WWW XML ● SOAP ●
(Microsoft社設立) (Free Software Foundation) (Apache Software Foundation) (Eclipse Foundation)
▲ ● ● ▲ ▲
CompuServe America Online Amazon.com Amazon Web Services Amazon EC2
(商用オンラインサービス) ● ● Google Docs & Spreadsheets
Yahoo! Google ☆
▲アポロ11号 有人月面着陸 ● ● クラウド・コンピューティング
eBay Salesforce.com
20101980 1985 1990 1995 2000 20051970 1975
コンピュータの歴史とソフトウェアテスト・品質技術の歴史
「日の丸コンピュータ」
の開発促進期
分散処理ネットワーク
の普及期
中心とする
開拓期
ミニコンと汎用機ソフト
市場の成長期
パソコン, ワークステーション
の誕生・普及期
オープンシステムへの
転換期
「情報処理」パラダイムの時代
インターネットの
急成長期
社会インフラとしての
IT浸透期
「ネットワーク」パラダイムの時代
クラウド・コンピューティン
グの時代?
▲ ▲
▲ iPhone iPad
IEEE 802.11(WiFi)
▲ ▲
Linux ▲ Windows NT ▲ ▲ ▲
Windows 3.1 ▲ J2EE .NET ▲ ▲ Android
Java Ruby on Rails Ajax
▲ ▲ ▲ ▲ ▲ ▲
HTML/HTTP/WWW Netscape Internet XML SOAP ▲ ▲ ▲ HTML5
Explorer ■ ■ Hadoop ▲ OpenStack ▲ Docker
(Apache Software Foundation) (Eclipse Foundation) Hudson Jenkins
● ● ● ★ ★ ★
Amazon Yahoo! Google Cloud Computing Industrie 4.0 Industrial Internet
eBay ● ▲ ▲ ▲
Salesforce Amazon Web Services Amazon EC2/S3 Microsoft Azure
● ●
SoueceForge ● ● ● Github
LinkedIn Facebook Twitter ● ●
● ● Pinterest Snapchat
▲ Flickr YouTube ● ● Instagram
iTunes NetFlix Spotify
(streaming) ● ●
Airbnb Uber
●
Bitcoin
▲ ▲ ▲
Booch法 ▲ UML ▲ UML 2.0
▲ デザインパターン ▲ アスペクト指向 ★ ★ ◆
オブジェクト指向 Software Architecture ▲ ★ ▲ Continuous DevOps Continuous Delivery
ソフトウェア工学 XP アジャイル宣言 Scrum Integration
▲ ◆ ▲
Junit TDD BDD
▲ ▲
Component-based ▲ Search-based testing ▲ ★
Testing Architecture-based ★ Concolic testing ◆ Continuous testing
Testing Agile Testing Agile Testing (Crispin & Gregory)
▲ ▲ ▲ ▲
XRunner ▲ WebTest QuickTest Selenium ★
WinRunner ◆ Testing as a Service
LoadRunner Software Test Automation (Fewster & Graham)
20151995 2000 2005 2010
ハードウェア
ソフトウェア
サービス
開発技法
テスト技法
テストツール
(C) Keizo Tatsumi 201613
ソフトウェアテスト年表 @WACATE 2015冬
Mobile
IoT
Cloud
Social Media
Sharing economy
FinTech, xxTech
Analytics (Big Data)
Agile Testing
CI, CD
TaaS
DevOPS
14
2. 最近の動向
1) ビジネス
14 (C) Keizo Tatsumi 2016
(C) Keizo Tatsumi 201615
キーワード (バズワード?)
デジタルビジネス (Digital Business)
デジタルの世界と物理的な世界の境界を曖昧にすることに
よって、新しいビジネス・デザインを創造すること [Gartner]
デジタル・ディスラプション (Digital Disruption)
デジタルテクノロジーによる破壊的イノベーション
デジタル・トランスフォーメーション (Digital Transformation)
ビジネスのデジタル化、デジタルへの変革
Re-imagination
これまでのビジネスモデルを新しい方法で再想像(創造)
SMAC (デジタル化の技術)
Social media, Mobile, Analytics (Big Data), Cloud
(C) Keizo Tatsumi 201616
Internet Trends
[出典] http://www.kpcb.com/internet-trends
http://recode.net/2015/06/09/mary-meeker-takes-you-on-a-tour-of-the-2015-internet-trends-report-video/
 Mary Meeker
元ウォールストリートの証券アナリスト
現在はベンチャーキャピタリストでクラ
イナーパーキンスのパートナー
インターネット分野の分析の第一人者
("Queen of the Net")
http://en.wikipedia.org/wiki/Mary_Meeker
197スライド
あります!!
(C) Keizo Tatsumi 201617
世界の39%がインターネット利用者
[出典] Internet Trends 2015 http://www.kpcb.com/internet-trends
(C) Keizo Tatsumi 201618
インターネット利用の76%がスマートフォン
[出典] Internet Trends 2015 http://www.kpcb.com/internet-trends
モバイルの30%が
スマートフォン
(C) Keizo Tatsumi 201619
1日のインターネット利用時間 (米国)
[出典] Internet Trends 2015 http://www.kpcb.com/internet-trends
モバイルからの
利用が増加
(利用時間の
半分を超える)
(C) Keizo Tatsumi 201620
メディア使用時間 vs. 広告費 (米国)
[出典] Internet Trends 2015 http://www.kpcb.com/internet-trends
モバイル広告
のビジネスの
余地が大きい
(C) Keizo Tatsumi 201621
ソーシャルメディアの利用状況 (米国)
[出典] Internet Trends 2015 http://www.kpcb.com/internet-trends
若者の
Facebook
離れ
(C) Keizo Tatsumi 201622
Re-imagination
[出典] Internet Trends 2014 http://www.kpcb.com/internet-trends
(C) Keizo Tatsumi 201623
Re-imagination
[出典] Internet Trends 2015 http://www.kpcb.com/internet-trends
(C) Keizo Tatsumi 201624
<参考> ITを活用した経営の日米比較
IT/情報システム投資の重要性
[出典] 一般社団法人 電子情報技術産業協会(JEITA),
「ITを活用した経営に対する日米企業の相違分析」調査結果の公表について, 2013年10月
http://home.jeita.or.jp/cgi-bin/page/detail.cgi?n=608
企業戦略を担う経営層や事業部門等の
「非IT部門の責任者」(経営者およびIT部
門以外のマネージャー職以上)を対象とし
たアンケート調査
(日本 216社、米国 194社)
25
<参考> ITを活用した経営の日米比較
ITに対する期待(IT予算が増える理由)
[出典] 一般社団法人 電子情報技術産業協会(JEITA),
「ITを活用した経営に対する日米企業の相違分析」調査結果の公表について, 2013年10月
http://home.jeita.or.jp/cgi-bin/page/detail.cgi?n=608
攻めのIT投資守りのIT投資
25 (C) Keizo Tatsumi 2016
26
2. 最近の動向
2) 世界のIT部門の品質への取り組み
26 (C) Keizo Tatsumi 2016
(C) Keizo Tatsumi 201627
World Quality Report
 Capgemini, Sogeti, HPが共同で2009年から毎年調査
調査概要
32ヶ国、1,560人のIT業務担当上級幹部へ
のインタビュー(42項目、2015年3月~5月
に実施) ※従業員1,000人以上の企業の幹部
北米-300, 南米-80, 欧州大陸-430, 北欧-
165, 英国/アイルランド-150, 東欧-90, 南欧-
60, 中東-60, 中国/東南アジア-135(内,日本
-35), 豪州/NZ-90
CIO-464, IT Director-372, VP
Applications-291, QA/Test Manager-332,
CDO/CMO-101
レポートの内容(80ページ)
9つの分析結果、7つの提言
5つの品質とテストの最新動向分析
[出典] World Quality Report 2015-16 https://www.capgemini.com/thought-leadership/world-quality-report-2015-16
(C) Keizo Tatsumi 201628
World Quality Report
 要約版 Infographic
[出典] The disruptive impacts of digital transformation on QA and testing
https://www.capgemini.com/resources/the-disruptive-impacts-of-digital-transformation-on-qa-and-testing
(C) Keizo Tatsumi 201629
World Quality Report
 デジタルトランスフォーメーションが品質保証やテストの存在感
を高めている
急速な市場変化への緊急対応のため、IT予算に占める品質保証
やテストの予算の割合が増加
[出典] The disruptive impacts of digital transformation on QA and testing
https://www.capgemini.com/resources/the-disruptive-impacts-of-digital-transformation-on-qa-and-testing
(C) Keizo Tatsumi 201630
World Quality Report
 経営層の品質保証、テストへの期待(重視していること)
① セキュリティ ② 顧客エクスペリエンス ③ ITのコスト最適化
④ 高品質 ⑤ ビジネス要求への対応
[出典] The disruptive impacts of digital transformation on QA and testing
https://www.capgemini.com/resources/the-disruptive-impacts-of-digital-transformation-on-qa-and-testing
(C) Keizo Tatsumi 201631
World Quality Report
 経営層にとっての品質保証、テストの目的のトップ3
① 企業イメージの保護
② 品質意識の向上
③ エンドユーザーの満足の保証
[出典] The disruptive impacts of digital transformation on QA and testing
https://www.capgemini.com/resources/the-disruptive-impacts-of-digital-transformation-on-qa-and-testing
シームレスな顧客エクスペリエンスの品質保証が鍵
(C) Keizo Tatsumi 201632
World Quality Report
 シームレスな顧客エクスペリエンスの品質保証
新たに開発される品質保証/テストの多くは顧客接点となるチャネル
[出典] The disruptive impacts of digital transformation on QA and testing
https://www.capgemini.com/resources/the-disruptive-impacts-of-digital-transformation-on-qa-and-testing
(C) Keizo Tatsumi 201633
World Quality Report
 より速い市場提供に向けてアジャイルテストの適用が拡大
[出典] The disruptive impacts of digital transformation on QA and testing
https://www.capgemini.com/resources/the-disruptive-impacts-of-digital-transformation-on-qa-and-testing
54%がアジャイル開発を適用
アジャイルテスト適用プロジェクトが36%から44%に増加
アジャイルテストの適用に苦労している組織は61%から29%に減少
(C) Keizo Tatsumi 201634
World Quality Report
 顧客エクスペリエンスに関する品質保証、テストの課題
[出典] The disruptive impacts of digital transformation on QA and testing
https://www.capgemini.com/resources/the-disruptive-impacts-of-digital-transformation-on-qa-and-testing
異なるチャネルインターフェースを横断するソリューションの一貫性
プラットフォーム、クラウド(プライベート、パブリック)をまたがって統合さ
れるサービスのテスト
End-to-endのワークフローやデータ/サービス統合のテスト
(C) Keizo Tatsumi 201635
World Quality Report
 品質保証、テストの課題
[出典] The disruptive impacts of digital transformation on QA and testing
https://www.capgemini.com/resources/the-disruptive-impacts-of-digital-transformation-on-qa-and-testing
エンドユーザの期待や要求に対するテストセットの網羅性
顧客エクスペリエンスのテストツールの開発/利用
テストケースの設計
顧客エクスペリエンステストの環境構築
エンドユーザの期待や要求の識別
テストで網羅されるシステムやアプリの識別
顧客エクスペリエンステストテストデータの構築
(C) Keizo Tatsumi 201636
World Quality Report
 7つの提言
1. 顧客エクスペリエンスやビジネス保証のQA/テストに焦点をあてる。
2. アジャイルとDevOpsの適用拡大に応じて従来のテストセンター(TCOE:
Test Center of Excellence)を変革する。
3. 継続的かつ自動化されたセキュリティテストをキー戦略にする。
4. ソフトウェア開発サイクルを通して、予測的な分析と継続的なフィードバ
ックによりテストの優先順位を付ける。
5. テスト自動化への投資を維持し、継続的にテストの自動化を進める。
6. DevOpsへの移行に向けて、仮想化やクラウド・テスト・プラットフォーム
環境の構築を継続する。
7. テストチームのスキルをマニュアルテストやテスト自動化を超えるもの
に拡大する。
[出典] World Quality Report 2015-16 https://www.capgemini.com/thought-leadership/world-quality-report-2015-16
37
2. 最近の動向
3) ソフトウェアテストの研究
37 (C) Keizo Tatsumi 2016
(C) Keizo Tatsumi 201638
ソフトウェアテストの研究動向
 A. Orso and G. Rothermel,
"Software Testing: A Research Travelogue
(2000-2014)"
ICSE 2014のFuture of Software Engineering track(FOSE)の論文
Travelogue: ICSE 2000@Limerick(Ireland) --> ICSE 2014@Hyderabad(India)
ICSE 2000: "Testing: A Roadmap" (M. J. Harrold)
ICSE 2007: "Software Testing Research: Achievements, Challenges,
Dreams" (A. Bertolino)
以下の質問に対する第一線の研究者30人の回答に基づき整理
1) 2000年以降、最も重要な貢献があったテストは何だと思いますか?
2) 将来のテストの研究で最大の未解決課題や条件は何だと思いますか?
[出典] A. Orso and G. Rothermel, "Software Testing: A Research Travelogue (2000-2014)," 2014
 研究分野の貢献 (Research Contributions)
自動テスト入力生成
記号実行
サーチ・ベースド・テスト
ランダムテスト
技法の組み合わせ
テスト戦略
組み合わせテスト
モデル・ベースド・テスト
フィールドデータからのマイニングと学習
リグレッションテスト
実績・経験に基づく(エンピリカル)研究とその基盤
 実務上の貢献 (Practical Contributions)
テスト実行フレームワーク
継続的インテグレーション(CI)
(C) Keizo Tatsumi 201639
A Research Travelogue
[出典] A. Orso and G. Rothermel, "Software Testing: A Research Travelogue (2000-2014)," 2014
(C) Keizo Tatsumi 201640
A Research Travelogue
 研究の課題 (Challenges & Opportunities)
最新の実世界のシステムのテスト (Testing Modern, Real-World Systems)
テスト結果判定技術 (Oracles)
確率論的プログラム解析 (Probabilistic Program Analysis)
非機能属性のテスト (Testing Non-Functional Properties)
分野ごとのテスト技術 (Domain-Based Testing)
クラウドと群衆(Crowd)の活用 (Leveraging Cloud and Crowd)
[出典] A. Orso and G. Rothermel, "Software Testing: A Research Travelogue (2000-2014)," 2014
(C) Keizo Tatsumi 201641
研究テーマ例 (ICST 2015)
 セション・テーマ
Research Session
• Test Generation
• Static Analysis
• Web and App Testing
• Test Selection and Prioritisation
• Model-based Testing
• Model Checking and SAT Solving
• Test Analysis
• GUI Testing
• Symbolic Execution
Testing in Practice Session
• New Testing Approaches
• Development Processes and Testing
• Domain-Specific
Testing Tools Session
Advances in Model Based Testing
(A-MOST 2015)
Security Testing (SECTEST 2015)
Combinatorial Testing (IWCT 2015)
Mutation Analysis (Mutation 2015)
Testing: Academic and Industrial
Conference Practice and Research
Techniques (TAIC PART 2015)
Test Architecture (InSTA 2015)
 ワークショップ
[出典] 8th IEEE International Conference on Software Testing http://icst2015.ist.tu-graz.ac.at/
42
研究テーマの推移 (ICST)
ICST
2008
ICST
2009
ICST
2010
ICST
2011
ICST
2012
ICST
2013
ICST
2014
ICST
2015
ICST
2016
Session Model Based Testing ○ ○ ○ ○ ○ ○ ○ ○
Test Case Generation ○ ○ ○ ○ ○
Mutation Testing ○ ○ ○ ○ ○
Web Testing ○ ○ ○ ○ ○ ○
GUI Testing ○ ○ ○ ○
Regression Testing ○ ○ ○ ○
Search-Based Testing ○ ○ ○
Security Testing ○ ○ ○
Bugs, Faults, and Failures ○ ○ ○ ○ ○ ○
Coverage, White-box ○ ○ ○ ○ ○
Workshops Model Based Testing ○ ○ ○ ○ ○ ○ ○ ○ ○
Mutation Analysis ○ ○ ○ ○ ○ ○ ○ ○
Security Testing ○ ○ ○ ○ ○ ○
Search-Based Testing ○ ○ ○ ○ ○ ○ ICSEへ
Regression Testing ○ ○ ○ ○
Combinatorial Testing ○ ○ ○ ○ ○
Testing the Cloud ○ ○
Test Architecture ○ ○
42 (C) Keizo Tatsumi 2016
(C) Keizo Tatsumi 201643
テスト自動化の研究
AST (International Workshop on Automation of Software Test)
ICSE併設のワークショップ
2006年に第1回開催(2009年から2日間の開催)
テーマ&トピックス
方法論
技法
テストツールと環境
実験/実証報告
課題/将来ビジョン
[出典] AST 2015 http://tech.brookes.ac.uk/AST2015
(C) Keizo Tatsumi 201644
テスト自動化の研究テーマ (AST)
特別テーマ (2008年から毎回特別テーマを設定)
2008年 Model-Based Testing for Test Automation
2009年 Testing Web Services
2010年 Integration Testing
2011年 Relating Software Design to Test Automation
2012年 Automation of Security Test
2013年 Testing Software as a Service (※)
2014年 Testing Mobile Applications
2015年 Test Oracle
※Testing as a Service (TaaS)
Cloudにおける新ビジネス、サービスモデル cf. SaaS, IaaS, PaaS
最近は「Cloudのテスト」に加えて「Cloudを使ったテスト」も含む概念
(C) Keizo Tatsumi 201645
Cloud Testing, TaaS
 Cloud Testing
クラウド技術とソリューションを活用して、クラウドの環境やインフラ上でテストと
測定を行う活動。4つの主要な目標を持つ[Gao]
クラウド上のアプリケーションの品質保証 Testing a SaaS in a cloud
クラウド環境のサービス(SaaS)の妥当性確認 Testing of a cloud
クラウドサービス機能(プロビジョニングなど)のチェック Testing inside a cloud
SaaSやアプリケーション間の互換性や相互運用性の確認 Testing over clouds
 TaaS (Testing as a Service)
TaaSの概念は2009年にデンマークのTieto社が最初に提唱[Gao]
要求に応じていつでもクラウド中/上/間で静的/動的なテストサービスを提供
サービス提供会社の例
SOASTA http://www.soasta.com/
ITKO (2011年にCA社が買収) http://www.itko.com/solutions/cloud.jsp
IBM – Cloud Application Management – Cloud Testing Services
HP Application Lifecycle Management (ALM) on SaaS
<参考文献>
Jerry Gao et al., "Cloud-Testing - Issues, Challenges, Needs and Practice," 2011 http://seij.dce.edu/Paper%201.pdf
Sergiy Vilkomir, "Cloud Testing: A State-of-the-Art Review," 2012 http://www.it4sec.org/node/3146
46
<参考> 実務者系カンファレンスのテーマ
STAREAST 2015 セションテーマ
Test Management
Test Techniques
Test Automation
Agile Testing
Mobile Testing
DevOps & Testing
Cloud Testing
Internet of Things
Metrics
Personal Excellence
Special Topics
No More Exploratory Testing - Really?
Customer Experience (CX): How to Build
an Army of Fans
Boost Test Coverage with Automated
Visual Testing
Git and GitHub for Testers
Uncover Untold Stories in Your Data: A
Deep Dive on Data Profiling
[出典] STAREAST 2015 https://stareast.techwell.com/program/schedule/
46 (C) Keizo Tatsumi 2016
47
2. 最近の動向
4) 世界のテスター
47 (C) Keizo Tatsumi 2016
(C) Keizo Tatsumi 201648
State of Testing Survey
 PractiTest社のJoel Montvelisky氏とTea-Time with Tester誌
のLalit Bhamare氏によるアンケート調査(第1回2013年、第2回2015年)
調査概要
回答者数860人(2015年1月~2月に実施)
ヨーロッパ/ロシア-35%, 米国/カナダ-22%,
インド-13.5%, アジア(インド除く、日本含む)-
11.5%, 中東-8.5%, ラテンアメリカ-3%, 豪州
/NZ-2.5%, アフリカ-1%, 他-3%
回答者テスト経験:
1年未満-5%, 1-2年-9.5%, 2-5年-24%, 5-10
年-33%, 10年以上-28.5%
主なレポート内容 (19ページ)
開発モデル, テストアプローチ, 役割, テスト
用ドキュメント, テスト自動化状況
給与, 必要なスキル, 学習方法, 将来展望
[出典] State of Testing 2015 http://qablog.practitest.com/state-of-testing/
(C) Keizo Tatsumi 201649
State of Testing Survey
 アジャイル手法の採用が前回調査より増加 78%→88%
複数の開発方法論が併用されている
[出典] State of Testing 2015 http://qablog.practitest.com/state-of-testing/
(C) Keizo Tatsumi 201650
State of Testing Survey
 85%が探索的テスト/セッションベースドテストを使用
[出典] State of Testing 2015 http://qablog.practitest.com/state-of-testing/
(C) Keizo Tatsumi 201651
State of Testing Survey
 回答者の86%がテストを
自動化している
 テスト自動化の対象 テスト自動化の程度
割合
[出典] State of Testing 2015 http://qablog.practitest.com/state-of-testing/
(C) Keizo Tatsumi 201652
State of Testing Survey
 テストスキルの習得方法
 テストの世界の動向のキャッチアップ方法
[出典] State of Testing 2015 http://qablog.practitest.com/state-of-testing/
(C) Keizo Tatsumi 201653
State of Testing Survey
 良いテスターになるために必要なスキルは?
[出典] State of Testing 2015 http://qablog.practitest.com/state-of-testing/
①
③
②
④
⑤
54
3. WACATEのステップアップに向けて
~ 世界に目を向けてみよう ~
54 (C) Keizo Tatsumi 2016
1) ソフトウェアテストの国際会議
2) インターネットの活用
(オンラインマガジン, Blog, SNS)
3) 海外のテスターとの交流
品質/テスト技術の知識はどこから?
参考文献/関連文献 505 点
規格(標準) 185 点
合 計 690 点
 例えば、SQuBOK
55 (C) Keizo Tatsumi 2016
SQuBOK V2で紹介している文献数
SQuBOK
®
ガイド V2全体(505点)
第1章 ソフトウェア品質の基本概念(96点)
第2章 ソフトウェア品質マネジメント(171点)
第3章 ソフトウェア品質技術(286点) 日
日
日
日 (47%)
翻訳
翻訳
翻訳
翻訳 (26%)
洋
洋
洋
洋 (28%)
0% 20% 40% 60% 80% 100%
文献(書籍・論文)作成国の分布
翻訳書、洋書(主に米国)
が50%強を占める文献作成国(書籍・論文・Web)
(C) Keizo Tatsumi 201656
国際会議 -アカデミック系
 ISSTA (International Symposium on Software Testing and Analysis)
主催:ACM (Association for Computing Machinery)
第1回は1993年、元をたどると1978年のworkshop
研究者、企業の実務者、ICSTに比べてアカデミア寄り
併設ワークショップ: モデル検査、テスト自動化・モデルベース、パフォーマンス など
 ICST (International Conference on Software Testing, Verification and Validation)
主催:IEEE (The Institute of Electrical and Electronics Engineers)
第1回は2008年(ノルウェイ)、毎年、米欧で交互に開催
研究者、企業の実務者
併設ワークショップ: モデルベース、セキュリティ、組み合わせ、クラウド など
 ICSE併設ワークショップ (International Conference on Software Engineering)
AST (Automation of Software Test)
SBST (Search-Based Software Testing)
RST (Requirements Engineering and Testing)
(C) Keizo Tatsumi 201657
国際会議 - コンサルタント、実務者系
 STAREAST, STARWEST (Software Testing Analysis & Review Conference)
主催:SQE (Software Quality Engineering)
第1回は1992年
コンサルタント、実務者の発表が中心
 CAST (Conference of the Association for Software Testing)
主催:AST (The Association for Software Testing)
第1回は2006年
コンサルタント、実務者の発表が中心
 EuroSTAR (European conference on Software Testing, Analysis & Review)
主催:QualTech Ltd.
第1回は1993年
コンサルタント、実務者の発表が中心
 その他
GTAC (Google Test Automation Conference)
Google主催のカンファレンス, 2006年から毎年開催
(C) Keizo Tatsumi 201658
国際会議 - ICST
 ICST 2013 Luxemburg
参加者: 289名(40ヶ国)
論文数: 研究-120本、採択-30本(25%)
日本: 参加者-11名、発表-6件
 ICST 2014 Cleveland, Ohio USA
参加者: 本会議-150名、WS-145名
論文数: レビュ-141本、採択-40本(28%)
日本: 参加者-11名、発表-6件
 ICST 2012 Montreal, Canada
参加者: 250名(27ヶ国)
論文数: 投稿-176本、採択-46本(26%)
日本: 参加者-4名、発表-0
 ICST 2015 Graz, Austria
参加者: 約250名
論文数: レビュ-129本、採択-32本(25%)
日本: 参加者-16名、発表-10件
(C) Keizo Tatsumi 201659
国際会議 - スケジュール (ICST 2013)
ワークショップ ワークショップ本会議 (Main Conference)
博士課程の
学生のシン
ポジウム
本会議初日の
夜は歓迎会
本会議二日目
の夜は晩餐会
市内散策など
のイベント
(C) Keizo Tatsumi 201660
インターネット - オンラインマガジン
テストコミュニティによる
オンラインマガジンの発行
インターネット - オンラインマガジン
[出典] Tea-time with Testers http://www.teatimewithtesters.com/
61 (C) Keizo Tatsumi 2016
Tea-time with Testers
2011年1月にインドのテストコミュニ
ティが創刊した月刊オンラインマガ
ジン。米欧の著名なテスト関係者
からも多数の寄稿がある。
インターネット - Blog
テスターBlog例
左の図はState of Testing Survey
の調査に協力したテスターのBlog
62 (C) Keizo Tatsumi 2016
[出典] State of Testing 2015 http://qablog.practitest.com/state-of-testing/
63
インターネット - Blog
[出典] Testing References http://www.testingreferences.com/, http://www.twitter.com/testingref
Testing References
多数のテスターBlogの更新情
報が集約されている。Twitter
でも発信されている。
63 (C) Keizo Tatsumi 2016
(C) Keizo Tatsumi 201664
インターネット - SNS
LinkedIn
QA、テスト、テスト自動化など多数のディスカッ
ショングループがある。Software Testing &
QAのグループメンバーは20万人。
(C) Keizo Tatsumi 201665
海外の研究者との交流 - 国際会議
PICT開発者のMSの
Jacek Czerwonkaさん
George Mason大学の
Jeff Offutt教授
イタリアのトップ研究者
Antonia Bertolinoさん
組み合わせテストWS(IWCT)の運営委員長
NISTのRick Kuhnさん, Raghu Kackerさん,
Texas大のJeff Lei准教授
Nebraska大学の
Myra Cohen准教授(左) ICST 2013バンケット
組み合わせテストWS
(IWCT 2013)の懇親会
AWCT 2013 アジア
組み合わせテストWS
AWCT 2013での発表ICST 2014 (韓国KAISTの方々と)IWCT 2012参加者のサイン
(C) Keizo Tatsumi 201666
海外のテスターとの交流 - 翻訳
System Test Automation
テスト自動化研究会
State of Testing
辰巳、藤崎、根本、
飯島、矢野
Quick Tools for
Agile Testing
@teyamagu
Exploratory Testing 3.0
Kazu_SUZUKI
Test Automation Patterns
みずの
(C) Keizo Tatsumi 201667
海外のテスターとの交流 - SNS
 LinkedInでツール紹介
PictMaster (岩通ソフト 鶴巻さん)
JCUnit (楽天 鵜飼さん)
海外のテスターとの交流
 海外のテスターとつながったら・・・
68 (C) Keizo Tatsumi 2016
Tea-time with Testers 創刊4周年Testing References
入れてくれました (^^)
国際会議に出てみよう
ICST 2015でテストアーキテクチャWorkshop開催
69 (C) Keizo Tatsumi 2016
見覚えのある
名前が・・・
国際会議に出てみよう
2017年4月に東京でICSTを開催
70 (C) Keizo Tatsumi 2016
(C) Keizo Tatsumi 201671
4. まとめ
(C) Keizo Tatsumi 201672
本日のまとめ
 社会やビジネス環境の変化(Internet Trends)
社会、技術の変化が加速、デジタルビジネスの時代へ
 求められる品質・技術の変化(World Quality Report, Research)
組織/体制、開発技術/評価技術が変わる
テスト技術者への期待の拡大
 最新動向の把握
世界に目を向けよう
(C) Keizo Tatsumi 201673
WACATEのみなさんへ
テスター自身がTest Oracle!
Test Oracleとしての自分を磨こう
知識の幅を拡げよう
テスターもオープンイノベーションの発想を!
外部との交流、情報発信/共有を積極的に
得意技をもとう
前へ踏み出そう!
74
やっちゃえ WACATE
Thank You !
74 (C) Keizo Tatsumi 2016
1 of 74

More Related Content

What's hot(20)

テストを分類してみよう!テストを分類してみよう!
テストを分類してみよう!
Kenji Okumura29K views
modern software qa - draft 1modern software qa - draft 1
modern software qa - draft 1
Yasuharu Nishi3.7K views
オトナのTDD(テスト駆動開発)入門オトナのTDD(テスト駆動開発)入門
オトナのTDD(テスト駆動開発)入門
Yoshinori Yamanouchi2.6K views
俺プロ PMBOK第7版俺プロ PMBOK第7版
俺プロ PMBOK第7版
Ore Product428 views
テストの組み立て方テストの組み立て方
テストの組み立て方
kauji05224.5K views
概説 テスト分析概説 テスト分析
概説 テスト分析
崇 山﨑31.7K views
私にとってのテスト私にとってのテスト
私にとってのテスト
Takuto Wada16.8K views
探索的テストはじめの一歩 #wacate探索的テストはじめの一歩 #wacate
探索的テストはじめの一歩 #wacate
Toshiyuki Kawanishi14K views

Similar to ソフトウェアテストの最新動向の学び方(20)

マイクロソフトのIoT/AI戦略マイクロソフトのIoT/AI戦略
マイクロソフトのIoT/AI戦略
kashiwanoha-iot1.2K views
座談会資料 事前配布 20170225座談会資料 事前配布 20170225
座談会資料 事前配布 20170225
知礼 八子871 views
DX と社会問題解決DX と社会問題解決
DX と社会問題解決
Osaka University615 views
Mirai carved out by innovationsMirai carved out by innovations
Mirai carved out by innovations
Osaka University2.5K views
Ms retail update ra 20191030Ms retail update ra 20191030
Ms retail update ra 20191030
Microsoft Azure Japan948 views

More from Keizo Tatsumi(20)

Introduction to ICST 2017Introduction to ICST 2017
Introduction to ICST 2017
Keizo Tatsumi996 views
Combinatorial testing in JapanCombinatorial testing in Japan
Combinatorial testing in Japan
Keizo Tatsumi3K views

ソフトウェアテストの最新動向の学び方

  • 1. (C) Keizo Tatsumi 20161 ソフトウェアテストの最新動向の学び方 ~ デジタルビジネス時代のテスト技術者へ ~ 辰巳 敬三 2016年1月10日 WACATE 2015 冬
  • 2. (C) Keizo Tatsumi 20162 自己紹介  経歴 1976年 富士通入社、ソフトウェア事業部検査部 ~1990年 メインフレームOS の製品検査、品質保証 ~1999年 UNIX/PC のソフトウェア製品の検査、品質保証 ~2009年 社内システム支援、サービスビジネス、知財・特許 2009年~ 高度情報通信人材育成支援センター(現CeFIL)に出向  活動 (昔 1987~1990) 富士通のソフトウェア品質保証活動(共著)(1987年) Conceptual Support for Test Case Design(COMPSAC'87) Test Case Design Support System(ICQC’87) 富士通におけるソフトウェア品質保証の実際(共著)(1989年) ソフトウェア品質管理ガイドブック(共著)(1990年) ソフトウェア品質管理事例集(共著)(1990年)  活動 (最近 2007~) ソフトウェア品質知識体系ガイド(SQuBOK)(共著)(2007年) ソフトウェアテスト・ヒストリー[テストPRESS Vol.8](2009年) 続ソフトウェアテスト・ヒストリー[テストPRESS Vol.9](2009年) 100人のプロが選んだソフトウェア開発の名著(共著)(2012年) 執筆タイトル : ソフトウェアテストにはライフワークの価値がある Combinatorial Testing in Japan(AWCT2013) ソフトウェア品質知識体系ガイド(SQuBOK) V2(共著)(2014年) 初級ソフトウェア品質技術者資格試験 問題と解説 第2版(共著)(2015年)
  • 3. (C) Keizo Tatsumi 20163 自己紹介  ASTER 国際調査活動 (ICST参加レポート) [出典] http://aster.or.jp/activities/investigation.html
  • 4. (C) Keizo Tatsumi 20164 今日、お話したいこと 授人以魚 不如授人以漁 「ある人に魚を一匹与えれば、その人は一日は食べられる。 しかし、 魚の取り方を教えれば、その人は一生を通して食べることができる。」 最新動向の「学び方」 動向そのものよりも動向が分かる(分かりそうな)情報源 テストの話題だけでなく背景(社会、ビジネス)との関係 最新動向を得るための動き
  • 5. (C) Keizo Tatsumi 20165 目次 1. ソフトウェアテストの歴史 - 振り返り 2. 最近の動向 1) ビジネス 2) 世界のIT部門の取り組み 3) ソフトウェアテストの研究 4) 世界のテスター 3. WACATEのステップアップに向けて 4. まとめ
  • 6. (C) Keizo Tatsumi 20166 1. ソフトウェアテストの歴史 振り返り
  • 7. (C) Keizo Tatsumi 20167 Agile Testing Concolic Testing テスト技法タイムライン (Gedanken-experiments on sequential machines) (デシジョンテーブル) (Program Testing の教科書) パス解析 デシジョンテーブル をテストに利用 (同値分割/限界値 分析の考え方) カバレッジ 計測ツール カバレッジ (TER) カバレッジ (Cx) サイクロマチック複雑度 基礎パステスト 同値分割/ 限界値分析 ドメインテスト データフロー テスト基準 状態遷移テスト のカバレッジ 原因結果 グラフ Pairwiseテスト 探索的テスト オブジェクト指向テスト 運用プロファイル Component-based Testing Architecture-based Testing 変異テスト データフローテスト Search-based Testing 1970 1980 19901960 2000 2010 直交表テスト
  • 8. (C) Keizo Tatsumi 20168 テスト技法の歴史の整理の動機 最初の興味 いろいろなテスト技法はいつ考案され、それにはどの ような背景、動機があったのか 仮説 ハードウェア、ソフトウェア、システム(実世界)の進展 を背景に、テストや品質技術が考案されてきた筈 今後への示唆 現在はどういう時代になっているのか 今後どのようにQA、テストへ取り組むべきなのか
  • 9. (C) Keizo Tatsumi 20169 ソフトウェアマネジメントの変遷 [出典] V. Basili and J. Musa, “The Future Engineering of Software: A Management Perspective,” 1991 1950 1980 19901960 1970 2000 2010 スケジュールの時代 コストの時代 品質の時代機能の時代  1970年代: スケジュールの時代  ソフトウェア危機(NATO会議,1968年)  期間内に開発を完了させることが主要課題、ライフサイクルモデル提案  1960年代: 機能の時代  ITが社会に入り始めた  社会的ニーズに応える機能の開発が主要課題  1980年代: コストの時代  ハードウェアコストの継続的低減、パソコンの出現  ソフトウェアの生産性が主要課題、コストモデル(FP,COCOMO,・・)提案  1990年代: 品質の時代  ソフトウェアに対する社会の依存度の増大  ソフトウェアの故障や使いにくさが深刻な事態を招くことが広く認識
  • 10. (C) Keizo Tatsumi 201610 ソフトウェア工学の変遷  ヘーゲル的進化ビュー 自律; バイオ・ コンピュー ティング 1990年代 2010年代2000年代1970年代 1980年代1960年代1950年代 COTS 工芸品 としての ソフトウェア テーゼ (正) ジン テーゼ (合) アンチ テーゼ (反) 形式化; ウォータ フォール 生産性; 再利用; オブジェクト; ピープルウェア 計画駆動の ソフトウェア 成熟度 モデル アジャイル メソッド ハードウェア のような ソフトウェア の扱い リスクベース・ アジャイルと 計画駆動の ハイブリッド; モデル駆動開発 ソフトウェア 工学と システム工学 の統合 バリューベース法; コラボレーション; グローバル開発; エンタープライズ・ アーキテクチャ ソフトウェアと ハードウェアの違い, 技術者の不足 多くの欠陥 スケーラビリティ, リスクマネジメント プロトタイピング Time to Market, 迅速な変化 スケーラビリティ ドメイン工学 リスクマネジメント 準拠 プロセス・オーバヘッド ソフトウェアの 付加価値 ソフトウェア- システム工学 グローバルな Systems of Systems [出典] B. Boehm, A View of 20th and 21st Century Software Engineering, 2006のプレゼンテーションスライドから引用 1950 1980 19901960 1970 2000 2010 形式化とウォータ フォールプロセス 生産性と拡張性ソフトウェア工芸 (Crafting) ハードウェア工学的 並行プロセス vs. 順次プロセス 俊敏性と価値
  • 11. (C) Keizo Tatsumi 201611 ソフトウェアテストの変遷 [出典] D. Gelperin and W. Hetzel, "The Growth of Software Testing," 1988 評価 指向 論証指向 破壊 指向デバッグ指向 予防指向 1950 1980 19901960 1970 2000 2010  ~1978年: 論証指向の時代  テストはプログラムが仕様を満足していることを 示すためのもの  ~1956年: デバッグ指向の時代  デバッグとテストが区別されていなかった  ~1982年: 破壊指向の時代  テストとは、エラーをみつけるつもりでプログラムを実行する過程  ~1987年: 評価指向の時代  ライフサイクルを通じた評価活動の中にテストが位置付けられた  1988年~: 予防指向の時代  ライフサイクルと並行して進められる予防指向のテストプロセス
  • 12. (C) Keizo Tatsumi 201612 ソフトウェアテスト年表 @WACATE 2010冬 2010.11.18 辰巳 ▲ ▲ IBM System/370 Cray-1(スパコン) ▲ ▲ ▲ ▲ ▲ Apple PC IBM PC ▲ Apple Macintosh iPhone iPad ▲ Sun-1 ▲ ▲ Intel 4004MPU Sun SPARC Intel Pentium Pro ● ● (Apple社設立) (Sun Microsystems社設立) ▲ ▲ ▲ ▲ ▲ ▲ UNIX CP/M MS-DOS UNIX System V Linux Windows NT (4004MPU用OS) Netware ▲ ▲ ▲ ▲ ▲ Windows 3.1 ▲ J2EE .NET ▲ C言語 ▲ C++ ▲ Java ▲ Ajax Smalltalk-72 Smalltalk-80 Eiffel ▲ ▲Internet Explorer Ruby on Rails ▲ Netscape ▲ ▲ ● ● HTML/HTTP/WWW XML ● SOAP ● (Microsoft社設立) (Free Software Foundation) (Apache Software Foundation) (Eclipse Foundation) ▲ ● ● ▲ ▲ CompuServe America Online Amazon.com Amazon Web Services Amazon EC2 (商用オンラインサービス) ● ● Google Docs & Spreadsheets Yahoo! Google ☆ ▲アポロ11号 有人月面着陸 ● ● クラウド・コンピューティング eBay Salesforce.com 20101980 1985 1990 1995 2000 20051970 1975 コンピュータの歴史とソフトウェアテスト・品質技術の歴史 「日の丸コンピュータ」 の開発促進期 分散処理ネットワーク の普及期 中心とする 開拓期 ミニコンと汎用機ソフト 市場の成長期 パソコン, ワークステーション の誕生・普及期 オープンシステムへの 転換期 「情報処理」パラダイムの時代 インターネットの 急成長期 社会インフラとしての IT浸透期 「ネットワーク」パラダイムの時代 クラウド・コンピューティン グの時代?
  • 13. ▲ ▲ ▲ iPhone iPad IEEE 802.11(WiFi) ▲ ▲ Linux ▲ Windows NT ▲ ▲ ▲ Windows 3.1 ▲ J2EE .NET ▲ ▲ Android Java Ruby on Rails Ajax ▲ ▲ ▲ ▲ ▲ ▲ HTML/HTTP/WWW Netscape Internet XML SOAP ▲ ▲ ▲ HTML5 Explorer ■ ■ Hadoop ▲ OpenStack ▲ Docker (Apache Software Foundation) (Eclipse Foundation) Hudson Jenkins ● ● ● ★ ★ ★ Amazon Yahoo! Google Cloud Computing Industrie 4.0 Industrial Internet eBay ● ▲ ▲ ▲ Salesforce Amazon Web Services Amazon EC2/S3 Microsoft Azure ● ● SoueceForge ● ● ● Github LinkedIn Facebook Twitter ● ● ● ● Pinterest Snapchat ▲ Flickr YouTube ● ● Instagram iTunes NetFlix Spotify (streaming) ● ● Airbnb Uber ● Bitcoin ▲ ▲ ▲ Booch法 ▲ UML ▲ UML 2.0 ▲ デザインパターン ▲ アスペクト指向 ★ ★ ◆ オブジェクト指向 Software Architecture ▲ ★ ▲ Continuous DevOps Continuous Delivery ソフトウェア工学 XP アジャイル宣言 Scrum Integration ▲ ◆ ▲ Junit TDD BDD ▲ ▲ Component-based ▲ Search-based testing ▲ ★ Testing Architecture-based ★ Concolic testing ◆ Continuous testing Testing Agile Testing Agile Testing (Crispin & Gregory) ▲ ▲ ▲ ▲ XRunner ▲ WebTest QuickTest Selenium ★ WinRunner ◆ Testing as a Service LoadRunner Software Test Automation (Fewster & Graham) 20151995 2000 2005 2010 ハードウェア ソフトウェア サービス 開発技法 テスト技法 テストツール (C) Keizo Tatsumi 201613 ソフトウェアテスト年表 @WACATE 2015冬 Mobile IoT Cloud Social Media Sharing economy FinTech, xxTech Analytics (Big Data) Agile Testing CI, CD TaaS DevOPS
  • 15. (C) Keizo Tatsumi 201615 キーワード (バズワード?) デジタルビジネス (Digital Business) デジタルの世界と物理的な世界の境界を曖昧にすることに よって、新しいビジネス・デザインを創造すること [Gartner] デジタル・ディスラプション (Digital Disruption) デジタルテクノロジーによる破壊的イノベーション デジタル・トランスフォーメーション (Digital Transformation) ビジネスのデジタル化、デジタルへの変革 Re-imagination これまでのビジネスモデルを新しい方法で再想像(創造) SMAC (デジタル化の技術) Social media, Mobile, Analytics (Big Data), Cloud
  • 16. (C) Keizo Tatsumi 201616 Internet Trends [出典] http://www.kpcb.com/internet-trends http://recode.net/2015/06/09/mary-meeker-takes-you-on-a-tour-of-the-2015-internet-trends-report-video/  Mary Meeker 元ウォールストリートの証券アナリスト 現在はベンチャーキャピタリストでクラ イナーパーキンスのパートナー インターネット分野の分析の第一人者 ("Queen of the Net") http://en.wikipedia.org/wiki/Mary_Meeker 197スライド あります!!
  • 17. (C) Keizo Tatsumi 201617 世界の39%がインターネット利用者 [出典] Internet Trends 2015 http://www.kpcb.com/internet-trends
  • 18. (C) Keizo Tatsumi 201618 インターネット利用の76%がスマートフォン [出典] Internet Trends 2015 http://www.kpcb.com/internet-trends モバイルの30%が スマートフォン
  • 19. (C) Keizo Tatsumi 201619 1日のインターネット利用時間 (米国) [出典] Internet Trends 2015 http://www.kpcb.com/internet-trends モバイルからの 利用が増加 (利用時間の 半分を超える)
  • 20. (C) Keizo Tatsumi 201620 メディア使用時間 vs. 広告費 (米国) [出典] Internet Trends 2015 http://www.kpcb.com/internet-trends モバイル広告 のビジネスの 余地が大きい
  • 21. (C) Keizo Tatsumi 201621 ソーシャルメディアの利用状況 (米国) [出典] Internet Trends 2015 http://www.kpcb.com/internet-trends 若者の Facebook 離れ
  • 22. (C) Keizo Tatsumi 201622 Re-imagination [出典] Internet Trends 2014 http://www.kpcb.com/internet-trends
  • 23. (C) Keizo Tatsumi 201623 Re-imagination [出典] Internet Trends 2015 http://www.kpcb.com/internet-trends
  • 24. (C) Keizo Tatsumi 201624 <参考> ITを活用した経営の日米比較 IT/情報システム投資の重要性 [出典] 一般社団法人 電子情報技術産業協会(JEITA), 「ITを活用した経営に対する日米企業の相違分析」調査結果の公表について, 2013年10月 http://home.jeita.or.jp/cgi-bin/page/detail.cgi?n=608 企業戦略を担う経営層や事業部門等の 「非IT部門の責任者」(経営者およびIT部 門以外のマネージャー職以上)を対象とし たアンケート調査 (日本 216社、米国 194社)
  • 25. 25 <参考> ITを活用した経営の日米比較 ITに対する期待(IT予算が増える理由) [出典] 一般社団法人 電子情報技術産業協会(JEITA), 「ITを活用した経営に対する日米企業の相違分析」調査結果の公表について, 2013年10月 http://home.jeita.or.jp/cgi-bin/page/detail.cgi?n=608 攻めのIT投資守りのIT投資 25 (C) Keizo Tatsumi 2016
  • 27. (C) Keizo Tatsumi 201627 World Quality Report  Capgemini, Sogeti, HPが共同で2009年から毎年調査 調査概要 32ヶ国、1,560人のIT業務担当上級幹部へ のインタビュー(42項目、2015年3月~5月 に実施) ※従業員1,000人以上の企業の幹部 北米-300, 南米-80, 欧州大陸-430, 北欧- 165, 英国/アイルランド-150, 東欧-90, 南欧- 60, 中東-60, 中国/東南アジア-135(内,日本 -35), 豪州/NZ-90 CIO-464, IT Director-372, VP Applications-291, QA/Test Manager-332, CDO/CMO-101 レポートの内容(80ページ) 9つの分析結果、7つの提言 5つの品質とテストの最新動向分析 [出典] World Quality Report 2015-16 https://www.capgemini.com/thought-leadership/world-quality-report-2015-16
  • 28. (C) Keizo Tatsumi 201628 World Quality Report  要約版 Infographic [出典] The disruptive impacts of digital transformation on QA and testing https://www.capgemini.com/resources/the-disruptive-impacts-of-digital-transformation-on-qa-and-testing
  • 29. (C) Keizo Tatsumi 201629 World Quality Report  デジタルトランスフォーメーションが品質保証やテストの存在感 を高めている 急速な市場変化への緊急対応のため、IT予算に占める品質保証 やテストの予算の割合が増加 [出典] The disruptive impacts of digital transformation on QA and testing https://www.capgemini.com/resources/the-disruptive-impacts-of-digital-transformation-on-qa-and-testing
  • 30. (C) Keizo Tatsumi 201630 World Quality Report  経営層の品質保証、テストへの期待(重視していること) ① セキュリティ ② 顧客エクスペリエンス ③ ITのコスト最適化 ④ 高品質 ⑤ ビジネス要求への対応 [出典] The disruptive impacts of digital transformation on QA and testing https://www.capgemini.com/resources/the-disruptive-impacts-of-digital-transformation-on-qa-and-testing
  • 31. (C) Keizo Tatsumi 201631 World Quality Report  経営層にとっての品質保証、テストの目的のトップ3 ① 企業イメージの保護 ② 品質意識の向上 ③ エンドユーザーの満足の保証 [出典] The disruptive impacts of digital transformation on QA and testing https://www.capgemini.com/resources/the-disruptive-impacts-of-digital-transformation-on-qa-and-testing シームレスな顧客エクスペリエンスの品質保証が鍵
  • 32. (C) Keizo Tatsumi 201632 World Quality Report  シームレスな顧客エクスペリエンスの品質保証 新たに開発される品質保証/テストの多くは顧客接点となるチャネル [出典] The disruptive impacts of digital transformation on QA and testing https://www.capgemini.com/resources/the-disruptive-impacts-of-digital-transformation-on-qa-and-testing
  • 33. (C) Keizo Tatsumi 201633 World Quality Report  より速い市場提供に向けてアジャイルテストの適用が拡大 [出典] The disruptive impacts of digital transformation on QA and testing https://www.capgemini.com/resources/the-disruptive-impacts-of-digital-transformation-on-qa-and-testing 54%がアジャイル開発を適用 アジャイルテスト適用プロジェクトが36%から44%に増加 アジャイルテストの適用に苦労している組織は61%から29%に減少
  • 34. (C) Keizo Tatsumi 201634 World Quality Report  顧客エクスペリエンスに関する品質保証、テストの課題 [出典] The disruptive impacts of digital transformation on QA and testing https://www.capgemini.com/resources/the-disruptive-impacts-of-digital-transformation-on-qa-and-testing 異なるチャネルインターフェースを横断するソリューションの一貫性 プラットフォーム、クラウド(プライベート、パブリック)をまたがって統合さ れるサービスのテスト End-to-endのワークフローやデータ/サービス統合のテスト
  • 35. (C) Keizo Tatsumi 201635 World Quality Report  品質保証、テストの課題 [出典] The disruptive impacts of digital transformation on QA and testing https://www.capgemini.com/resources/the-disruptive-impacts-of-digital-transformation-on-qa-and-testing エンドユーザの期待や要求に対するテストセットの網羅性 顧客エクスペリエンスのテストツールの開発/利用 テストケースの設計 顧客エクスペリエンステストの環境構築 エンドユーザの期待や要求の識別 テストで網羅されるシステムやアプリの識別 顧客エクスペリエンステストテストデータの構築
  • 36. (C) Keizo Tatsumi 201636 World Quality Report  7つの提言 1. 顧客エクスペリエンスやビジネス保証のQA/テストに焦点をあてる。 2. アジャイルとDevOpsの適用拡大に応じて従来のテストセンター(TCOE: Test Center of Excellence)を変革する。 3. 継続的かつ自動化されたセキュリティテストをキー戦略にする。 4. ソフトウェア開発サイクルを通して、予測的な分析と継続的なフィードバ ックによりテストの優先順位を付ける。 5. テスト自動化への投資を維持し、継続的にテストの自動化を進める。 6. DevOpsへの移行に向けて、仮想化やクラウド・テスト・プラットフォーム 環境の構築を継続する。 7. テストチームのスキルをマニュアルテストやテスト自動化を超えるもの に拡大する。 [出典] World Quality Report 2015-16 https://www.capgemini.com/thought-leadership/world-quality-report-2015-16
  • 38. (C) Keizo Tatsumi 201638 ソフトウェアテストの研究動向  A. Orso and G. Rothermel, "Software Testing: A Research Travelogue (2000-2014)" ICSE 2014のFuture of Software Engineering track(FOSE)の論文 Travelogue: ICSE 2000@Limerick(Ireland) --> ICSE 2014@Hyderabad(India) ICSE 2000: "Testing: A Roadmap" (M. J. Harrold) ICSE 2007: "Software Testing Research: Achievements, Challenges, Dreams" (A. Bertolino) 以下の質問に対する第一線の研究者30人の回答に基づき整理 1) 2000年以降、最も重要な貢献があったテストは何だと思いますか? 2) 将来のテストの研究で最大の未解決課題や条件は何だと思いますか? [出典] A. Orso and G. Rothermel, "Software Testing: A Research Travelogue (2000-2014)," 2014
  • 39.  研究分野の貢献 (Research Contributions) 自動テスト入力生成 記号実行 サーチ・ベースド・テスト ランダムテスト 技法の組み合わせ テスト戦略 組み合わせテスト モデル・ベースド・テスト フィールドデータからのマイニングと学習 リグレッションテスト 実績・経験に基づく(エンピリカル)研究とその基盤  実務上の貢献 (Practical Contributions) テスト実行フレームワーク 継続的インテグレーション(CI) (C) Keizo Tatsumi 201639 A Research Travelogue [出典] A. Orso and G. Rothermel, "Software Testing: A Research Travelogue (2000-2014)," 2014
  • 40. (C) Keizo Tatsumi 201640 A Research Travelogue  研究の課題 (Challenges & Opportunities) 最新の実世界のシステムのテスト (Testing Modern, Real-World Systems) テスト結果判定技術 (Oracles) 確率論的プログラム解析 (Probabilistic Program Analysis) 非機能属性のテスト (Testing Non-Functional Properties) 分野ごとのテスト技術 (Domain-Based Testing) クラウドと群衆(Crowd)の活用 (Leveraging Cloud and Crowd) [出典] A. Orso and G. Rothermel, "Software Testing: A Research Travelogue (2000-2014)," 2014
  • 41. (C) Keizo Tatsumi 201641 研究テーマ例 (ICST 2015)  セション・テーマ Research Session • Test Generation • Static Analysis • Web and App Testing • Test Selection and Prioritisation • Model-based Testing • Model Checking and SAT Solving • Test Analysis • GUI Testing • Symbolic Execution Testing in Practice Session • New Testing Approaches • Development Processes and Testing • Domain-Specific Testing Tools Session Advances in Model Based Testing (A-MOST 2015) Security Testing (SECTEST 2015) Combinatorial Testing (IWCT 2015) Mutation Analysis (Mutation 2015) Testing: Academic and Industrial Conference Practice and Research Techniques (TAIC PART 2015) Test Architecture (InSTA 2015)  ワークショップ [出典] 8th IEEE International Conference on Software Testing http://icst2015.ist.tu-graz.ac.at/
  • 42. 42 研究テーマの推移 (ICST) ICST 2008 ICST 2009 ICST 2010 ICST 2011 ICST 2012 ICST 2013 ICST 2014 ICST 2015 ICST 2016 Session Model Based Testing ○ ○ ○ ○ ○ ○ ○ ○ Test Case Generation ○ ○ ○ ○ ○ Mutation Testing ○ ○ ○ ○ ○ Web Testing ○ ○ ○ ○ ○ ○ GUI Testing ○ ○ ○ ○ Regression Testing ○ ○ ○ ○ Search-Based Testing ○ ○ ○ Security Testing ○ ○ ○ Bugs, Faults, and Failures ○ ○ ○ ○ ○ ○ Coverage, White-box ○ ○ ○ ○ ○ Workshops Model Based Testing ○ ○ ○ ○ ○ ○ ○ ○ ○ Mutation Analysis ○ ○ ○ ○ ○ ○ ○ ○ Security Testing ○ ○ ○ ○ ○ ○ Search-Based Testing ○ ○ ○ ○ ○ ○ ICSEへ Regression Testing ○ ○ ○ ○ Combinatorial Testing ○ ○ ○ ○ ○ Testing the Cloud ○ ○ Test Architecture ○ ○ 42 (C) Keizo Tatsumi 2016
  • 43. (C) Keizo Tatsumi 201643 テスト自動化の研究 AST (International Workshop on Automation of Software Test) ICSE併設のワークショップ 2006年に第1回開催(2009年から2日間の開催) テーマ&トピックス 方法論 技法 テストツールと環境 実験/実証報告 課題/将来ビジョン [出典] AST 2015 http://tech.brookes.ac.uk/AST2015
  • 44. (C) Keizo Tatsumi 201644 テスト自動化の研究テーマ (AST) 特別テーマ (2008年から毎回特別テーマを設定) 2008年 Model-Based Testing for Test Automation 2009年 Testing Web Services 2010年 Integration Testing 2011年 Relating Software Design to Test Automation 2012年 Automation of Security Test 2013年 Testing Software as a Service (※) 2014年 Testing Mobile Applications 2015年 Test Oracle ※Testing as a Service (TaaS) Cloudにおける新ビジネス、サービスモデル cf. SaaS, IaaS, PaaS 最近は「Cloudのテスト」に加えて「Cloudを使ったテスト」も含む概念
  • 45. (C) Keizo Tatsumi 201645 Cloud Testing, TaaS  Cloud Testing クラウド技術とソリューションを活用して、クラウドの環境やインフラ上でテストと 測定を行う活動。4つの主要な目標を持つ[Gao] クラウド上のアプリケーションの品質保証 Testing a SaaS in a cloud クラウド環境のサービス(SaaS)の妥当性確認 Testing of a cloud クラウドサービス機能(プロビジョニングなど)のチェック Testing inside a cloud SaaSやアプリケーション間の互換性や相互運用性の確認 Testing over clouds  TaaS (Testing as a Service) TaaSの概念は2009年にデンマークのTieto社が最初に提唱[Gao] 要求に応じていつでもクラウド中/上/間で静的/動的なテストサービスを提供 サービス提供会社の例 SOASTA http://www.soasta.com/ ITKO (2011年にCA社が買収) http://www.itko.com/solutions/cloud.jsp IBM – Cloud Application Management – Cloud Testing Services HP Application Lifecycle Management (ALM) on SaaS <参考文献> Jerry Gao et al., "Cloud-Testing - Issues, Challenges, Needs and Practice," 2011 http://seij.dce.edu/Paper%201.pdf Sergiy Vilkomir, "Cloud Testing: A State-of-the-Art Review," 2012 http://www.it4sec.org/node/3146
  • 46. 46 <参考> 実務者系カンファレンスのテーマ STAREAST 2015 セションテーマ Test Management Test Techniques Test Automation Agile Testing Mobile Testing DevOps & Testing Cloud Testing Internet of Things Metrics Personal Excellence Special Topics No More Exploratory Testing - Really? Customer Experience (CX): How to Build an Army of Fans Boost Test Coverage with Automated Visual Testing Git and GitHub for Testers Uncover Untold Stories in Your Data: A Deep Dive on Data Profiling [出典] STAREAST 2015 https://stareast.techwell.com/program/schedule/ 46 (C) Keizo Tatsumi 2016
  • 48. (C) Keizo Tatsumi 201648 State of Testing Survey  PractiTest社のJoel Montvelisky氏とTea-Time with Tester誌 のLalit Bhamare氏によるアンケート調査(第1回2013年、第2回2015年) 調査概要 回答者数860人(2015年1月~2月に実施) ヨーロッパ/ロシア-35%, 米国/カナダ-22%, インド-13.5%, アジア(インド除く、日本含む)- 11.5%, 中東-8.5%, ラテンアメリカ-3%, 豪州 /NZ-2.5%, アフリカ-1%, 他-3% 回答者テスト経験: 1年未満-5%, 1-2年-9.5%, 2-5年-24%, 5-10 年-33%, 10年以上-28.5% 主なレポート内容 (19ページ) 開発モデル, テストアプローチ, 役割, テスト 用ドキュメント, テスト自動化状況 給与, 必要なスキル, 学習方法, 将来展望 [出典] State of Testing 2015 http://qablog.practitest.com/state-of-testing/
  • 49. (C) Keizo Tatsumi 201649 State of Testing Survey  アジャイル手法の採用が前回調査より増加 78%→88% 複数の開発方法論が併用されている [出典] State of Testing 2015 http://qablog.practitest.com/state-of-testing/
  • 50. (C) Keizo Tatsumi 201650 State of Testing Survey  85%が探索的テスト/セッションベースドテストを使用 [出典] State of Testing 2015 http://qablog.practitest.com/state-of-testing/
  • 51. (C) Keizo Tatsumi 201651 State of Testing Survey  回答者の86%がテストを 自動化している  テスト自動化の対象 テスト自動化の程度 割合 [出典] State of Testing 2015 http://qablog.practitest.com/state-of-testing/
  • 52. (C) Keizo Tatsumi 201652 State of Testing Survey  テストスキルの習得方法  テストの世界の動向のキャッチアップ方法 [出典] State of Testing 2015 http://qablog.practitest.com/state-of-testing/
  • 53. (C) Keizo Tatsumi 201653 State of Testing Survey  良いテスターになるために必要なスキルは? [出典] State of Testing 2015 http://qablog.practitest.com/state-of-testing/ ① ③ ② ④ ⑤
  • 54. 54 3. WACATEのステップアップに向けて ~ 世界に目を向けてみよう ~ 54 (C) Keizo Tatsumi 2016 1) ソフトウェアテストの国際会議 2) インターネットの活用 (オンラインマガジン, Blog, SNS) 3) 海外のテスターとの交流
  • 55. 品質/テスト技術の知識はどこから? 参考文献/関連文献 505 点 規格(標準) 185 点 合 計 690 点  例えば、SQuBOK 55 (C) Keizo Tatsumi 2016 SQuBOK V2で紹介している文献数 SQuBOK ® ガイド V2全体(505点) 第1章 ソフトウェア品質の基本概念(96点) 第2章 ソフトウェア品質マネジメント(171点) 第3章 ソフトウェア品質技術(286点) 日 日 日 日 (47%) 翻訳 翻訳 翻訳 翻訳 (26%) 洋 洋 洋 洋 (28%) 0% 20% 40% 60% 80% 100% 文献(書籍・論文)作成国の分布 翻訳書、洋書(主に米国) が50%強を占める文献作成国(書籍・論文・Web)
  • 56. (C) Keizo Tatsumi 201656 国際会議 -アカデミック系  ISSTA (International Symposium on Software Testing and Analysis) 主催:ACM (Association for Computing Machinery) 第1回は1993年、元をたどると1978年のworkshop 研究者、企業の実務者、ICSTに比べてアカデミア寄り 併設ワークショップ: モデル検査、テスト自動化・モデルベース、パフォーマンス など  ICST (International Conference on Software Testing, Verification and Validation) 主催:IEEE (The Institute of Electrical and Electronics Engineers) 第1回は2008年(ノルウェイ)、毎年、米欧で交互に開催 研究者、企業の実務者 併設ワークショップ: モデルベース、セキュリティ、組み合わせ、クラウド など  ICSE併設ワークショップ (International Conference on Software Engineering) AST (Automation of Software Test) SBST (Search-Based Software Testing) RST (Requirements Engineering and Testing)
  • 57. (C) Keizo Tatsumi 201657 国際会議 - コンサルタント、実務者系  STAREAST, STARWEST (Software Testing Analysis & Review Conference) 主催:SQE (Software Quality Engineering) 第1回は1992年 コンサルタント、実務者の発表が中心  CAST (Conference of the Association for Software Testing) 主催:AST (The Association for Software Testing) 第1回は2006年 コンサルタント、実務者の発表が中心  EuroSTAR (European conference on Software Testing, Analysis & Review) 主催:QualTech Ltd. 第1回は1993年 コンサルタント、実務者の発表が中心  その他 GTAC (Google Test Automation Conference) Google主催のカンファレンス, 2006年から毎年開催
  • 58. (C) Keizo Tatsumi 201658 国際会議 - ICST  ICST 2013 Luxemburg 参加者: 289名(40ヶ国) 論文数: 研究-120本、採択-30本(25%) 日本: 参加者-11名、発表-6件  ICST 2014 Cleveland, Ohio USA 参加者: 本会議-150名、WS-145名 論文数: レビュ-141本、採択-40本(28%) 日本: 参加者-11名、発表-6件  ICST 2012 Montreal, Canada 参加者: 250名(27ヶ国) 論文数: 投稿-176本、採択-46本(26%) 日本: 参加者-4名、発表-0  ICST 2015 Graz, Austria 参加者: 約250名 論文数: レビュ-129本、採択-32本(25%) 日本: 参加者-16名、発表-10件
  • 59. (C) Keizo Tatsumi 201659 国際会議 - スケジュール (ICST 2013) ワークショップ ワークショップ本会議 (Main Conference) 博士課程の 学生のシン ポジウム 本会議初日の 夜は歓迎会 本会議二日目 の夜は晩餐会 市内散策など のイベント
  • 60. (C) Keizo Tatsumi 201660 インターネット - オンラインマガジン テストコミュニティによる オンラインマガジンの発行
  • 61. インターネット - オンラインマガジン [出典] Tea-time with Testers http://www.teatimewithtesters.com/ 61 (C) Keizo Tatsumi 2016 Tea-time with Testers 2011年1月にインドのテストコミュニ ティが創刊した月刊オンラインマガ ジン。米欧の著名なテスト関係者 からも多数の寄稿がある。
  • 62. インターネット - Blog テスターBlog例 左の図はState of Testing Survey の調査に協力したテスターのBlog 62 (C) Keizo Tatsumi 2016 [出典] State of Testing 2015 http://qablog.practitest.com/state-of-testing/
  • 63. 63 インターネット - Blog [出典] Testing References http://www.testingreferences.com/, http://www.twitter.com/testingref Testing References 多数のテスターBlogの更新情 報が集約されている。Twitter でも発信されている。 63 (C) Keizo Tatsumi 2016
  • 64. (C) Keizo Tatsumi 201664 インターネット - SNS LinkedIn QA、テスト、テスト自動化など多数のディスカッ ショングループがある。Software Testing & QAのグループメンバーは20万人。
  • 65. (C) Keizo Tatsumi 201665 海外の研究者との交流 - 国際会議 PICT開発者のMSの Jacek Czerwonkaさん George Mason大学の Jeff Offutt教授 イタリアのトップ研究者 Antonia Bertolinoさん 組み合わせテストWS(IWCT)の運営委員長 NISTのRick Kuhnさん, Raghu Kackerさん, Texas大のJeff Lei准教授 Nebraska大学の Myra Cohen准教授(左) ICST 2013バンケット 組み合わせテストWS (IWCT 2013)の懇親会 AWCT 2013 アジア 組み合わせテストWS AWCT 2013での発表ICST 2014 (韓国KAISTの方々と)IWCT 2012参加者のサイン
  • 66. (C) Keizo Tatsumi 201666 海外のテスターとの交流 - 翻訳 System Test Automation テスト自動化研究会 State of Testing 辰巳、藤崎、根本、 飯島、矢野 Quick Tools for Agile Testing @teyamagu Exploratory Testing 3.0 Kazu_SUZUKI Test Automation Patterns みずの
  • 67. (C) Keizo Tatsumi 201667 海外のテスターとの交流 - SNS  LinkedInでツール紹介 PictMaster (岩通ソフト 鶴巻さん) JCUnit (楽天 鵜飼さん)
  • 68. 海外のテスターとの交流  海外のテスターとつながったら・・・ 68 (C) Keizo Tatsumi 2016 Tea-time with Testers 創刊4周年Testing References 入れてくれました (^^)
  • 71. (C) Keizo Tatsumi 201671 4. まとめ
  • 72. (C) Keizo Tatsumi 201672 本日のまとめ  社会やビジネス環境の変化(Internet Trends) 社会、技術の変化が加速、デジタルビジネスの時代へ  求められる品質・技術の変化(World Quality Report, Research) 組織/体制、開発技術/評価技術が変わる テスト技術者への期待の拡大  最新動向の把握 世界に目を向けよう
  • 73. (C) Keizo Tatsumi 201673 WACATEのみなさんへ テスター自身がTest Oracle! Test Oracleとしての自分を磨こう 知識の幅を拡げよう テスターもオープンイノベーションの発想を! 外部との交流、情報発信/共有を積極的に 得意技をもとう 前へ踏み出そう!
  • 74. 74 やっちゃえ WACATE Thank You ! 74 (C) Keizo Tatsumi 2016