超スマート社会時代のシステム＆ソフトウェア品質知識体系 - SQuBOK 2020 における AI、IoT、クラウド、オープンソース、アジャイル、DevOps と品質 -
•
2 likes•1,474 views
鷲崎弘宜, 超スマート社会時代のシステム＆ソフトウェア品質知識体系 - SQuBOK 2020 における AI、IoT、クラウド、オープンソース、アジャイル、DevOps と品質 -, ソフトウェア品質シンポジウム SQiP2018, 東京, 2018年9月13日
Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Similar to 超スマート社会時代のシステム＆ソフトウェア品質知識体系 - SQuBOK 2020 における AI、IoT、クラウド、オープンソース、アジャイル、DevOps と品質 -
Similar to 超スマート社会時代のシステム＆ソフトウェア品質知識体系 - SQuBOK 2020 における AI、IoT、クラウド、オープンソース、アジャイル、DevOps と品質 - (20)
More from Hironori Washizaki
More from Hironori Washizaki (20)
超スマート社会時代のシステム＆ソフトウェア品質知識体系 - SQuBOK 2020 における AI、IoT、クラウド、オープンソース、アジャイル、DevOps と品質 -
- 1. 超スマート社会時代のシステム＆ソフトウェ ア品質知識体系 - SQuBOK 2020 における AI、IoT、クラウド、オ ープンソース、アジャイル、DevOps と品質 - 鷲崎 弘宜 早稲田大学グローバルソフトウェアエンジニアリング研究所 国立情報学研究所 客員教授 システム情報 取締役（監査等委員） エクスモーション 社外取締役 Twitter: @Hiro_Washi washizaki@waseda.jp http://www.washi.cs.waseda.ac.jp/ 2018年9月13日 SQiPシンポジウム2018
- 3. メタモルフィックテスティング • メタモルフィック関係に基づき大量に試験 • 入力への変化により、出力の変化を予想できる関係 – 例: A の検索結果数 ≧ A かつ B の検索結果数 – 例: sin(x) = sin(x + 360度) 3 入力変化 出力変化 並び変え 無し ノイズの追加 意味的に同じ 統計的に同じ 経験的に近 い 僅か 定数加乗算 定数の加算、 乗算 狭める 部分集合 全く異なる 互いに素 x t(x) f(x) g(f(x)) 変換t 変換g 参考: S. Segura et al., "Metamorphic Testing of RESTful Web APIs," IEEE Transactions on Software Engineering, 2017 参考: C. Murphy, “Applications of Metamorphic Testing”, http://www.cis.upenn.edu/~cdmurphy/pubs/MetamorphicTesting-Columbia-17Nov2011.ppt Y Tian, et al., DeepTest: Automated Testing of Deep-Neural-Network-driven Autonomous Cars, ICSE 2018 https://arxiv.org/pdf/1708.08559.pdf f(t(x))= 変換f 変換f
- 4. ｓ 4
- 5. Guide to the Software Quality Body of Knowledge (SQuBOK) SQuBOKガイド 品質の 概念 マネジ メント 品質技術 [出典・参考] 町田欣史, SQuBOKガイドの概要と活用のポイント, 2011年度ソフトウェア品質管理研究会 第2回例会 知識領域 トピック トピック ・・・ 推薦書籍 推薦論文 国際規格など 5 ‘07 v1 ソフトウェア品質 保証の（当時の）全体像 ‘14 v2 設計・開発 ‘20 v3 応用領域
- 6. 目次 • SQuBOK応用領域 • IoT＆クラウドと品質 • 人工知能と品質 • アジャイル＆オープンソース開発と品質 6
- 7. 7 ビジネス サービス センサ 通信 エッジ アクチュエータ データ サービス 品質 機能 目標 戦略組織 デバイス 物理世界 レイヤ スケール 根拠
- 9. 9 ソフトウェア 品質の概 念 ソフトウェ ア品質マ ネジメント ソフトウェ ア品質技 術 SQuBOKガイド 2020 (V3) 応用領域 人工知 能ベー スシス テム IoTシス テム クラウド サービ ス オープ ンソー ス開発 アジャイ ル開発 応用領域担当: 鷲崎 弘宜（取りまとめ）、石川 冬樹、鄭 顕志、 松崎 和賢、竹之内 隆夫、長久 勝、伊原 彰紀、森田 純恵ほか
- 10. 目次 • SQuBOK応用領域 • IoT＆クラウドと品質 • 人工知能と品質 • アジャイル＆オープンソース開発と品質 10
- 11. ISO/IEC 25010:2011 11 利用時の品質 有効性 効率性 リスク回避性 満足性 利用状況網羅性 内部品質・外部品質 機能 適合性 互換性 セキュ リティ 信頼性 使用性 性能効 率性 保守性 移植性 機能完 全性 共存性 機密性 成熟性 適切度認 識性 時間効 率性 解析性 適応性 機能正 確性 相互運 用性 インテグ リティ 障害許 容性 習得性 資源効 率性 修正性 設置性 機能適 切性 否認防 止性 回復性 運用操作 性 容量満 足性 再利用性 置換性 責任追 跡性 可用性 ユーザエ ラー防止 性 試験性 真正性 ユーザイ ンフェース 快美性 モジュー ル性 アクセシビ リティ ISO/IEC 25010：2011 Systems and software engineering-Systems and software Quality Requirements and Evaluation (SQuaRE) - System and software quality models
- 12. 12 IoTシステムにお ける品質の概念 IoTシステムの 品質保証マネ ジメント IoTシステムの 品質保証技術 • IPA『つながる 世界の品質 確保に向け た手引き』 ・・・ IoTシステムにおける品質 • IoTセキュリテ ィ • IoTプライバ シ • IoTセーフティ ・・・ • IoTセキュリテ ィ技術 • プライバシ保 護技術 ・・・
- 13. 次世代スマート・セキュアIoTプラットフォーム技術 • モノのアイデンティティ – 物理的クローン不能関数（Physical unclonable functions; PFU） – トラステッド・プラットフォーム・モジュール（Trusted Platform Module; TPM） • アイデンティティ・マネジメント – IoTのためのIAM（Identify and Access Management） – アプリケーション隔離＆セキュリティ境界 • 暗号 – 準同形暗号 – 検索可能暗号 • トラスト確立 – ソフトウェア・ハードウェア リモート認証 – トランザクション＆契約における信頼性、ブロックチェーン • セキュア・システム・コラボレーション – セキュリティ測定の標準化・交換: OpenIOC, STIX, TAXII – 成熟度モデル: CMMI 組織成熟度, IEC 62443制御システムセキュリティ • Security as a Service – （データ）利用コントロールを通じたプライバシ – 継続的セキュリティ監査 13 IEC, IoT 2020: Smart and secure IoT platform, White Paper, 2016
- 14. 14 クラウドサービ スにおける品質 の概念 クラウドサービ スの品質保証 マネジメント クラウドサービ スの品質保証 技術 • チェックリスト • サービス認証 ・・・ クラウドサービスにおける品質保証 • 提供機能の 品質 • SLA • ブラックボック ス的側面 • セキュリティ ・・・ • Chaos Engineering • 利用側の品 質保証（PoC 確認など） ・・・
- 15. Chaos Engineering カオスエンジニアリングの原則 • Netflix社 発: 分散システムが不安定な状態に耐えるこ との出来る環境を構築するための検証の規律 1. 定常状態の振る舞いの仮説の立案 – 測定可能なシステム出力に焦点: スループット、エラーレ ート、待ち時間パーセンタイルなど 2. 実世界の多様な事象を変数化 – サーバーのクラッシュ、ハードドライブの誤作動、ネット ワーク接続の切断など 3. 本番環境で実験 – 継続的実行のため実験の自動化 – 影響範囲の最小化 15 http://principlesofchaos.org/
- 16. 目次 • SQuBOK応用領域 • IoT＆クラウドと品質 • 人工知能と品質 • アジャイル＆オープンソース開発と品質 16
- 18. 機械学習によるパラダイム転換 18 目標 学習データ 学習済み モデル 活動 / システム（動作） 目標 モデル 活動 / システム（動作） データ 従来のエンジニアリング: 演繹的（モデルが最初に与えられる） 機械学習ベース: 帰納的（モデル・アルゴリズムがデータで決まる） プロセス 実行プロダクト 機械学習ベース・データ駆動エンジニアリング 機械学習システム 参考: 丸山 宏, 機械学習工学に向けて, JST機械学習型システム開発へのパラダイム転換, 2017
- 19. AI in SE Application Levels (AI-SEAL)[Feldt18] 19 Robert Feldt, et al., Ways of Applying Artificial Intelligence in Software Engineering, RAISE 2018, CoRR abs/1802.02033 7. 自動意思 決定・実装・ 通知 10. 必要と判断の うえで自動意思決 定・実装・通知 プロセス 自動化 レベル 適用対象 プロダクト 実行 低リスク 高リスク 中リスク 1. 人手による 代替候補群の 検討 4. 代替候補 群と一つの案 を自動推薦
- 20. 拡張しやすい 個所を特定 しやすい 規模が大きいと 拡張しにくい 規模はどの 程度か？ 実行行数 関数の数 機械学習ベース・エンジニアリング例 Naohiko Tsuda, Hironori Washizaki, Yoshiaki Fukazawa, Yuichiro Yasuda and Shunsuke Sugimura, “Machine Learning to Evaluate Evolvability Defects: Code Metrics Thresholds for a Given Context,” The 18th IEEE International Conference on Software Quality, Reliability & Security (QRS 2018) レビュー 品質測定 機械学習 測定 目的 仮定 質問 測定 データ 20 10 25 300 150 M. 関数の数 M.実行行数 OK NG 71 M. 関数の数 M.実行行数 OK NG 改善 X
- 21. 機械学習システム がもたらす問題例 21 Google, 黒人画像を「ゴリ ラ」と自動認識, 2015 Tesla, まぶしい空に対して白いト レーラーを認識できず, 2016 https://www.straitstimes.com/world/united-states/tesla-car-on-autopilot-crashes-killing-driver https://www.youtube.com/watch?time_continue=40&v=9I5rraWJq6E https://www.theguardian.com/technology/2015/jul/01/google- sorry-racist-auto-tag-photo-app Microsoft, Twitterボット が問題発言, 2016 https://www.theverge.com/2016/3/24/11297050/tay- microsoft-chatbot-racist 参考: 石川冬樹,機械学習における品質保証のチャレンジ, トップエスイーシンポジウム2017 性能 合目的性 想定外への対応 性能 網羅性
- 22. 品質の観点と施策 [Breck17]を拡張 22 学習データ 学習済み モデル 内平 直志, 「人工知能とソフトウェア工学・品質管理」, 第33年度ソフトウェア品質管理研究会第7回特別講義, 2017 活動 / システム インフラ ミスの無さ、偏りの無さ、 網羅性 データ 性能、頑健さ、 解釈・説明性 組み入れ正しさ 品質保証全体 合目的性、 想定外対応 データテスト Skew/メタモルフィ ックテスティング モデルテスト 複数モデル 感度分析・逆追跡 アーキテクチャ 段階的設計・検証 機械「教育」 モニタリング 失敗対策 上位目標 Eric Breck et al., The ML Test Score: A Rubric for ML Production Readiness and Technical Debt Reduction, IEEE Big Data 2017
- 23. 全体: 機械「教育」（Teaching） [Simard17] 23 ソースコード ハイパーパラメータ データセット スキーマ ソースコード ハイパーパラメータ データセット スキーマ I. 検査 II. ラベルや特徴量の編集 III. 学習 IV. テスト I. 検査 II. ラベルや特徴量の編集 III. 学習 IV. テスト Patrice Y. Simard, et al., Machine Teaching: A New Paradigm for Building Machine Learning Systems. CoRR abs/1707.06742 (2017) 清 雄一, 機械学習・深層学習, スマートエスイー講義資料 2018 プログラミング 機械「教育」 コンパイラ 機械学習アルゴリズム OS/サービス/IDE 学習、サンプリング・・・ フレームワーク ImageNet, word2vec・・・ プログラミング言語 ラベル、特徴量、スキーマ・・・ プログラミングへの熟練 「教育」への熟練 デバッグ デバッグ バージョン管理 バージョン管理 開発プロセス 「教育」プロセス
- 24. 合目的性: 目標・戦略・データの整合化（例 GQM+Strategies） 24 顧客からの不具合 報告を削減できて いる G: コードの 保守性を定量 評価できている ソフトウェアの保守 性を改善する テスト効率を改善 する 開発時にコードの 保守性評価を20% 改善できている 製品の品質を改善 する 顧客満足度を向上 できている 製品の品質が 高ければ・・・ Q1 Q2 M1 M2 ビジネス レベル ソリューション 事業部 （ソフトウェア レベル） 組織 目標 戦略 品質保証 チーム 開発チーム テストプロセスを 改善する G: 不具合報告を カウントできている G: 顧客満足度を 定量評価できている 仮定・ 事実 Victor Basili, et al., 著, 鷲崎弘宜ほか訳, “ゴール&ストラテジ入門: 残念なシステムの無くし方 (GQM+Strategies)”, オーム社, 2015
- 25. 目次 • SQuBOK応用領域 • IoT＆クラウドと品質 • 人工知能と品質 • アジャイル＆オープンソース開発と品質 25
- 26. 26 アジャイル開発 における品質の 概念 アジャイル開発 品質保証マネ ジメント アジャイル開発 の品質保証技 術 • アジャイル品 質保証パター ン QA2AQ • アジャイルス キル体系 SFIA • DevOps (IEEE 2675 ほか) ・・・ アジャイル開発における品質 • バリュー • チーム全体 • バグ即修正 • 改善活動 ・・・ • アジャイルメ トリクス • 品質ダッシュ ボードほかツ ール類 ・・・
- 27. 27 Christopher Alexander パターンラ ンゲージ James O. Coplien 開発工程の生 成的パターン ランゲージ Ward Cunnigham エピソード Edwards Deming 生産・品質 管理、 PDCA Tom Gilb Evo トヨタ生産方式 ・リーン思考 バリューストリ ーム Scrum リーンソフト ウェア開発 XP アジャイル 宣言 鷲崎弘宜、“9.未来に向かって：アジリティを追求したソフトウェア開発”, 情報処理, Vol.58, No.8, 2017. 技術 コーディング マネジメント プロセス 思考
- 28. Quality Assurance to Agile Quality (QA2AQ) 28 コアパターン 障壁の解体 品質の組み入れ 品質の識別 品質の発見 アジャイル品質シナリオ 品質ストーリー 測定可能なシステム品 質 折り込み品質 アジャイルな着陸点 着地点の再調整 品質目標の合意 品質の可視化 システム品質ダッシュ ボード システム品質ラジエータ ロードマップ上の品質検 討 バックログ上の品質検討 進むにつれ自動化 品質チェックリスト 品質面でアジャイルに チーム全体 品質に焦点をあてたスプリ ント 品質保証チャンピオン アジャイル品質の専門家 品質に関する作業負荷の 展開 品質熟練者への寄添い 品質主導者とのペア 技術 コーディングマネジメント プロセス 思考 Joseph Yoder, Rebecca Wirfs-Brock, Ademar Aguilar, “QA to AQ: Patterns about transitioning from Quality Assurance to Agile Quality,” AsianPLoP 2014 Joseph W. Yoder and Rebecca Wirfs-Brock, “QA to AQ Part Two: Shifting from Quality Assurance to Agile Quality,” PLoP 2014 Joseph W. Yoder, Rebecca Wirfs-Brock, Hironori Washizaki, “QA to AQ Part Three – Shifting from Quality Assurance to Agile Quality – Tearing Down the Walls,” SugarLoafPLoP 2014 Joseph W. Yoder, Rebecca Wirfs-Brock, Hironori Washizaki, “QA to AQ Part Four - Shifting from Quality Assurance to Agile Quality - Prioritizing Qualities and Making them Visible,” PLoP 2015 Joseph W. Yoder, Rebecca WirfsBrock, Hironori Washizaki, “QA to AQ – Part Six – Being Agile at Quality,” PLoP 2016 平鍋氏によるアジャイル品質保証パターンの紹介 https://qiita.com/kenjihiranabe/items/a0795dbdab4c58e746a1 Joseph Yoder, “Being Agile about Quality”,, 2014-18
- 29. 品質を組み入れたプロセス 29 ロードマッ プ 品質テスト 機能の受 け入れテ スト デプロイ アーキテクチャ上のリ スクや主要な品質シ ナリオ、着地点の特 定 品質シナリオ を含むプロダ クトバックログ 品質ストーリー・関連 タスクを含むスプリン トバックログ デイリーレビュー スプリント フィードバック Joseph Yoder, “Being Agile about Qualities,” Tokyo Workshop, 2016
- 30. 30 オープンソース 開発における品 質の概念 オープンソース 利活用の品質保 証マネジメント オープンソース 開発の品質保 証技術 • プロジェクト の組織構築 • 情報管理 • 改善・自発的 進化プロセス • 再利用技術 ・・・ オープンソース開発における品質 • OSSの定義・ 特徴 • チーム全体 • OSS開発の 品質 • OSS利活用 の品質 ・・・ • プルリクエス ト駆動 • モダンコード レビュー • OSS健全性 評価メトリク ス • OSS活用評 価メトリクス ・・・
- 31. OSS品質実態と組織成熟度 [Ajila07] • 北米18名のマネージャへのインタビュー＋文献調査 • OSSと商用ソフト間での品質の差は小さいか，ほぼ無い • OSSの体系的再利用は生産性や品質に良い影響 31 S.A. Ajila and D. Wu, Empirical study of the effects of open source adoption on software development economics, JSS, 8-0(9), 2007 初期 観察 調整 計画的 成熟 奨励・文化 非奨励 奨励 報奨 教化 業務直結 計画性 無し 草の根 機会 命令 戦略 範囲 個人 チーム 個所 部門 組織全体 責任 個々 共有 専門家 専門チー ム 協力チーム ＆リエゾン プロセス カオス 設計後 設計時 部品開発 全製品が再 利用意図 メトリクス 無し 再利用 LOC 再利用 回数 部品費用 対効果 再利用追跡
- 32. OSSホワイトボックス再利用と由来 32 O1 O12 O2 O13 O123 O23 O3 Apache (1) Oracle (2) Sun (3) 例: OpenOffice コードの規模・ 複雑さメトリクス 由来 変更回数 変更規模 欠陥 S. Sato, H. Washizaki et al., Effects of Organizational Changes on Product Metrics and Defects, APSEC'13 R. Ishizue, H. Washizaki, et al., “Metrics visualization technique based on the origins and function layers for OSS-based development,” VISSOFT 2016 R. Ishizue, H. Washizaki, et al., “Metrics Visualization Techniques based on Historical Origins and Functional Layers for Developments by Multiple Organizations,” IJSEKE, Vol.28, No.9, pp.1-25, 2018.
- 33. SQuBOK 2020 乞うご期待＆ご意見歓迎！ • 技術・プロセスのポータル • 用語整理＆標準化 • 文献ガイド 33 品質 レイヤスケール クラウド IoT 確率・追跡 大規模・ 多様 人工知能・ 機械学習 オープンソース開発
- 34. enPiT-Pro スマートエスイー 34 ⚫ 文部科学省社会人教育事業 ‘17-’21 http://smartse.jp/ ⚫ 第3回セミナー「メタモルフィックテスティング」 2018年12月3日(月)（予定） クラウド センサ・IoT 人工 知能 ビッグ データ 生成 知識 抽出 革新 アプリケーション ビジネス 価値 創造 通信・物理 情報処理 総合実践 連携校(13校） 茨城大学 群馬大学 東京学芸大学 東京工業大学 大阪大学 九州大学 工学院大学 東京工科大学 東洋大学 鶴見大学 北陸先端科学技術大学院大学 奈良先端科学技術大学院大学 情報・システム研究機構 (国立情報学研究所) 協力校(2校） 立命館大学 The BigClouT Project 教材・指導 地区展開 進学・共同 研究接続 連携企業・業界団体（23団体） 日本電気 富士通 日立製作所 東芝 いい生活 ヤフー モバイルコンピューティング推進コンソーシアム 次世代センサ協議会 日本IT団体連盟 IT検証産業協会 コンピュータソフトウェア協会 組込みシステム技術協会 電子情報技術産業協会 全脳アーキテクチャ・イニシアティブ 新経済連盟 先端IT活用推進コンソーシアム 日本オープンオンライン教育推進協議会 デンソー ハレックス 情報医療 システム情報 題材・事例 教材・指導 受講生派遣 外部評価 想定受講者 情報系の一定知識を 持っている人 組込み・ IoTプロフェッショナル クラウド・ ビジネスイノベー ター システムオブシステムズ・ 品質アーキテクト 目標人材像 環境連携 BigClouT (日欧ビックデータ・クラウド・IoT融合基盤）JMOOC (オンライン大学講座） オンライン全国展開 実施拠点 WASEDA NEO (コレド日本橋内） 社会人教育プログラム スマートエスイー SmartSE IoT・ビッグデータ・AI × ビジネス IoT・クラウド、ビッ グデータ、人工知 能を活用し、高セ キュリティかつプラ イバシを考慮した スマートシステム ＆サービスを開発 運用し、技術領域 や分野を超え価値 創造をグローバル にリード可能な実 践的人材の育成と 全国展開 IoT・クラウド、ビッ グデータ、人工知 能を活用し、高セ キュリティかつプラ イバシを考慮した スマートシステム ＆サービスを開発 運用し、技術領域 や分野を超え価値 創造をグローバル にリード可能な実 践的人材の育成と 全国展開