JaSST Kansai 2017 AIとテストパターン - AI and Testing Pattern-
•Download as PPTX, PDF•
4 likes•2,254 views
JaSST 関西 2017 での AIとテストパターン、テスティングパターンセッションの配布用資料です。
Recommended
More Related Content
Similar to JaSST Kansai 2017 AIとテストパターン - AI and Testing Pattern-
Similar to JaSST Kansai 2017 AIとテストパターン - AI and Testing Pattern- (20)
More from Takahiro Toku
More from Takahiro Toku (7)
Recently uploaded
Recently uploaded (9)
JaSST Kansai 2017 AIとテストパターン - AI and Testing Pattern-
- 1. 0 © OMRON Corporation 徳 隆宏 OMRON株式会社 インダストリアルオートメーションビジネスカン パニー コントローラ事業部 第１開発部 第2開発課 AIとテスティングパターン ～AI技術を使った商品・サービスに対してどのようにテストを組み立てる か～
- 3. 2 自己紹介 • 徳 隆宏 – 36歳。妻と２児の父 • 出身 – 生まれ：和歌山。育ち：大阪 • 趣味 – サルサダンス、読書、ゲーム、テスティング、コーディング • 経歴 – 6年 IT業界でのSW品質改善等 – 6年 OMRON株式会社にて 制御機器の商品化に従事 • 所属 – テストコミュニティ（ JaSST Kansai等） – 関西系の開発コミュニティ
- 7. 6 本日のお持ち帰り事項 • 背景 – AIの技術を利用して製品・サービスを提供する立場として – お客様に安心してお使いいただくためには – どのような取り組みが効果的だろうか • お話しする内容 × テストの技術・方法論・プロセス × 人工知能が作り出す社会 × 人工知能の定義と発展性 × 機械学習技術を利用したシステムの作り方 ○ 機械学習技術を利用したシステムに対するテスト • お持ち帰り事項 – パターンを中心としたテスト目的のロードマップ策定方法
- 12. 11 論点 機械学習技術を利用した製品・サービスが 十分な 品質 であることを判断するために どんなテストをしますか？ システム 利用環境 機械学習 データ
- 13. 12 進化する技術動向と、実際にテストできることの課題感 • An Approach to Software Testing of Machine Learning Applications • A Framework for Quality Assurance of Machine Learning Applications • Agile Testing • Hidden Technical Debt in Machine Learning Systems • 「Software Test Challenges in IoT devices」IoTデバイスにおけるソフトウェアテストの課題」 • などなど 1) テスト対象が広がっている。どこから取り組むと効果的か？ 2) 開発されるシステムの変化への追随性は？ 3) 部分的な品質要求に対するテスト技術はあるが、どう位置付けるか？ （セキュリティ要求や、機械学習のソフトウェアに対するテスト） 4) テストプロセスモデルは参考になるが、それは今の課題に効果的なのか？ 各種の情報・標準が世間にあるが並行して時系列データや機械学習サービスが進化
- 14. 13 不確定要素の発生源 システム 利用環境 機械学習 データ 急速な進化 ・ 機械学習・データ処理 ・ 拡張・強化・追加（HW、SW） ・ エコシステムの拡大（NW) 多様な利用環境 • アプリケーション • 利用者・スキル • シーン・デバイス • 進む自動化 • 変動する要求 （性能、目標精度） 決定性の低い データ • 学習データ • ノイズ • 変数の増大 システム データ 利用環境 • 問題領域の層的な分割 • 境界を設けることによるシステム責任の分割 当たり前のテスタビリティ
- 15. 14 本当にテスタブルですか？ システム 利用環境 機械学習 データ 急速な進化 ・ 機械学習・データ処理 ・ 拡張・強化・追加（HW、SW） ・ エコシステムの拡大（NW) 多様な利用環境 • アプリケーション • 利用者・スキル • シーン・デバイス • 進む自動化 • 変動する要求 （性能、目標精度） 決定性の低い データ • 学習データ • ノイズ • 変数の増大 システム データ 利用環境 • 問題領域の層的な分割 • 境界を設けることによるシステム責任の分割 当たり前だがまだ足りないテスタビリティ
- 16. 15 テスト組織への期待の大きさと本日のテーマ 妥当性に対する期待 ・ビジネスの目標 ・品質保証の役割 日々変化するテスト対象の確 認 ・バグ ・品質目標確認 ビジネスの変化 テスト対象の変化 アジャイル開発・アジャイル テスト の導入 （本発表のターゲット 外） 企業内でのテスト能力の向上 ・テストプロセス ・テスト技術 ・テストマネジメント ・テスト資産 テストエンジニアが活用でき る プラクティスは？ ・ 取組みのポイント ・取り組んだあとの考慮点 ・難度の高い領域への対処 ・品質構造の理解と分解 ・テストの具現化と構造化
- 17. 16 用語の整理 • テストパターン – 要求仕様と照らし合わせて動作できることを確か めるための、データおよびそのルール • テスティングパターン – テストを進める際に直面する課題に対する とりくみかたの類型
- 19. 18 パターンとは Pattern Canvasの記法を利用します。 https://www.slideshare.net/kkd/pattern-canvas パターン名 状況 問題 解決策 結果の 状態 制約条件や考慮点 「ある状況で、どんな問題があるのか。それを具体的に解決するとどのよう な状態になるのか」 に名前をつけたもの。
- 26. 25 テスティングパターンの構築メリット • テストプロセスを遂行する上での問題点を語るベー スになる – テスト計画・テスト分析の目標が明確化。制御しやすい – 新たなテスト技法や従来のテスト組織のプロセス資産の 曖昧な言葉に振り回されない • テストエンジニアの目標、テスト設計で必要なスキル領域がわか る • 重要視したい品質要求に対する取組の流れが見える