Download as PDF, PPTX
Ai for software testing
- 1.
- 2. 日本酒エバンジェリスト 板垣 真太郎 富士通株式会社 サービステクノロジー本部 技術戦略室 新技術のリサーチ部門 オープンに社内外と情報共有して、新技術を取り入れる •マントラ「世界の最新技術を浸透させる」 • 自前主義からの脱却し、有望な技術の目利きと発掘をする • 現在は、シリコンバレーのスタートアップ調査に注力 Curiosity Unbiased Keep it Simple Embracing Failure Openness Diversity Tenacity Values 5
- 3.
- 4.
- 5.
- 6.
- 7. ムーブメント https://www.aitesting.org/ 2017年、Artificial Intelligence forSoftware Testing Association (AISTA)設立 Jason ArbonとTariq Kingが設立。 ArbonはMicrosoft, Googleでテスト自動化に携わり、「テスト から見えてくるグーグルのソフトウェア開発」の共著者。 AISTAは、ソフトウェアテストに適用するAIシステムの開発、 AIシステムをテストする方法、最終的には自動でテストして 自動で修復するソフトウェアの設計を目的としている。
- 8. 予測 Unitテスト 機能テスト オムニチャネル 機能テスト AI DevOps 10+deploys/day Agileマニフェスト 1997 JUnit Now 2009 2022年までに、40%のアプリ開発プロジェクトがAIを活用してテスト資産を ビルド、保守、実行及び最適化するテスト最適化ツールを利用する 2004 Selenium 2011 Appium 2001 Gartner, 100 Data and Analytics Predictions Through 2022, G00353459, By Douglas Laney, Guido De Simoni, Rick Greenwald, Cindi Howson, Ankush Jain, Valerie Logan, Alan D. Duncan 21 May 2018 2018 AIST設立 2017 テスト自動化 カンファレンス開始 2013
- 9. It’s time toride on! AI for Testing
- 10.
- 11.
- 12.
- 13. 単純なモデル 2 ポイント 1ポイント Id Same Not Same Class Not Same Not Same Text Not Same Not Same X-path Not Same Not Same Tag Same Same
- 14.
- 15.
- 16.
- 17.
- 18. Step 2: コンテキストの学習Jason Arbon – AI for User Flow Verification, https://aisummitguild.com/
- 19.
- 20.
- 21.
- 22.
- 23. 1. IDを入力 2. パスワードを入力 3.ログインボタンをクリック Step 3: ユーザーフローの学習
- 24.
- 26. アプローチ Tariq King -A Vision of Self-Testing Systems, https://aisummitguild.com/
- 27.
- 28.
- 29. プレイヤー 資金調達 代表者経歴 備考 (testim) Series A ($7.9M) Oren Rubin (CEO): Googleなど20年以上 の経験を持つエンジ ニア 2018/5/30 The AI Summit Guild 2017/11/2 Series A 2014/9 創業 複数企業が実用中。日本企業も 複数がPoCを実施している。 (Mabl) Series B ($30M) Dan Belcher, Izzy Azeri: 元Googleで Stackdriverの開発者 2018/9/18 Series B 2018/5/30 The AI Summit Guild 2018/5/9 Nanalyze 2018/2/21 TechCrunch 2018/2/21 Series A 2017/1/23 創業 Google Venturesによる投資を受 け、急速にチームを拡充してい る。
- 30. 評価結果のサマリー 2 回 3回 1 回 手動テスト テスト自動化 インストール 5分 学習 1 時間 4 回1 回 ４回 繰り返すと効果あり できない / しにくいテスト プラグイン (Active X, Silverlight, Flash etc.) 排他テストなどの同時処理 見た目（崩れ、アニメーションなど）の検証 ScopeROI 80 % がテスト可能（Webのみ） * 検証用の簡易Webアプリで検証: 39 テストケース, 818 LOC Testim, Mablに 大きな差はない
- 31. セルフヒーリング 単一要素の変更 1. ID, 2.class, 3. タグ, 4. 位置, 5. テキス ト, 6. 見た目
- 32.
- 33.
- 34.
- 35. プレイヤー 資金調達 代表者経歴 備考 (test.ai) Series A ($17.6M) • Jason Arbon (CEO) Microsoft, Google出身 でAIST創設者、 「How Google Tests Software」の共著者 • Justin Liu (COO) 2018/6/31 Series A 2016/9/14 Seed 2015/10/1 創業 AISTAを立ち上げるなど、この分野 のパイオニア (Appvance.ai) Series A ($7M) • Frank Cohen: シリア ルアントレプレナー • Kevin Surace: 元 Serious EnergyのCEO 2016/2/24 Series A 2013/2/1 Seed Round 2011/10/1 創業 Sum Microsystemsからのスピンアウ トで日本市場にも精通している
- 36. リサーチ結果 対象 モバイル * 今年中にWebも対応予定？ Webとモバイル 提供形態SaaS オンプレ 学習方法 アプリをクローリング 人による要素定義、httpログ 結果判定 人の確認が必要だが実装済？ 人によるバリデーション定義 その他の特徴 Gherkin言語の拡張（AISTAで策定中）でAIに テストを指示できる - appvanceのみ実機 検証
- 37.
- 38. アプローチの違い：コンテキストの学習 30kのアプリから学習 公開されているアプリを学習 データにしてログインボタン、 ショッピングカートなどの要 素を学習 Jason Arbon –AI for User Flow Verification, https://aisummitguild.com/
- 39.
- 40. アプローチの違い：ユーザーフローの学習 QLearningで学習 QLearningを用いて、どのよ うにしてショッピングカート にたどり着くかといったユー ザーフローを学習 Jason Arbon –AI for User Flow Verification, https://aisummitguild.com/
- 41.
- 42. まとめ レベル１（セルフヒーリング） ：記録・再生ツールの拡張として実用段階 レベル２（セルフテスティング）：製品化されているもののトライアル段階 レベル３（宣言的スクリプト） ：製品開発段階 自動化補助、セルフヒーリング セルフテスティング 宣言的スクリプト AIがほぼ全てを実施 完全AI化（人の補助が不要） https://blog.appdiff.com/test-autonomy-levels-7de7967d030eAIfor Testingのレベル（AISTA版） 評価のポイント 創業者、投資家、開発 チーム 鵜呑みにせず、機能とア プローチを確認 ROI、ユースケース、課題
- 43.
- 45.
- 46. テストカバー率 79% 71% 対象システム要件Webシステム ※Active X, Silverlightなどプラグインは不可 対応ブラウザ Chrome, Firefox, Safari, Edge, IE11 Chrome, Firefox ツール実行環境 Chrome ※エクステンションをインストールして使用 ユースケース 繰り返しが前提のテスト。ただし、一部は手動テストにする必要がある。 • スモークテスト • リグレッションテスト • クロスプラットフォームテスト 課題 • 排他テストなどの並列処理、アニメーション、マウスオーバー検証、見た目（崩れなど）の検証が できない（Seleniumベースのため、今後も解消は難しい） • 効率的な管理には命名規約とモジュール化設計が必要 • ファイルアップロードができない • ポップアップ・ダイアログの操作ができない
- 47. モジュール化 （繰り返す処理をモジュール化し、再 利用する機能） Shared Stepとしてモジュール化できる http://docs.testim.io/getting-started/groups Flowとしてモジュール化できる https://help.mabl.com/docs/using-reusable-flows-in-the-trainer 乱数入力 （ユーザー名など、同じ値を入力でき ない場合に利用する機能） JavaScriptで記述する http://docs.testim.io/guides/set-random-data-as-text-value アルファベット、数字、アルファベッ トと数字の混合を{{alpha:5}}, {{digit:2}}, {{alnum:8}}のように指定できる https://help.mabl.com/docs/adding-variables 検証の種類 要素が存在する、存在しない、テキス トの値（正規表現利用可）、JavaScript によるカスタム検証が可能。画像検証 (Pixel)も可能 http://docs.testim.io/getting-started/validations 等しい/等しくない、含む/含まない、～ ではじまる/はじまらない、～より大き い/小さい、～以上/以下JavaScriptによる カスタム検証が可能 https://help.mabl.com/docs/including-assertions-in-your- journey アプリが生成した値の利用（アプリが 受付番号などを発行、次の処理でその 番号が必要なテストで利用） 画面に表示された値を変数に保持する 機能がある http://docs.testim.io/advanced-steps/extract-text JavaScriptで要素を取得し、値を変数に 保存できる https://help.mabl.com/docs/using-javascript-steps-in-the- trainer