ソフトウェア品質実態調査報告「測定評価と分析を通じたソフトウェア製品品質の実態定量化および総合的品質評価枠組みの確立」

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

IPA RISE委託研究 2015-16年度
測定評価と分析によるソフトウェア製品品
質の実態定量化および総合的品質評価
枠組みの確立（報告セミナー用）
早稲田大学グローバルソフトウェアエンジニアリング研究所所長
鷲崎弘宜
研究チーム: 津...

目次
• 調査研究のサマリ
• 背景と考え方
• 調査研究の成果: 枠組み
• 調査研究の成果: 品質実態
• まとめと提言
2

• 早稲田大学グローバルソフトウェア
エンジニアリング研究所所長・教授
• 国立情報学研究所客員教授
• 株式会社システム情報社外取締
役
• ISO/IEC/JTC1/SC7/WG20
Convenor
• SEMAT Japan Cha...

早稲田大学グローバルソフト
ウェアエンジニアリング研究所
• グローバル開発時代のソ
フトウェアエンジニアリング
研究、教育、社会実装
• 鷲崎（所長）
• 東基衞（顧問）、筧、深澤
、岸、本田（所員）
• 招聘研究員17 名
• 学生35名 ...

如何に高信頼ソフトウェアを効率よく開発できるか?
如何に経験則を理論で裏打ちできるか?
5
要求定義
コード解析
単体テスト
受入テスト
マネジメント教育
実装
基本設計統合テスト
保守
品質管理
詳細設計
品質測定と管理
戦略・要求
と設...

6
日本経済新聞2016年11月2日Yahoo! ニュース2015年6月23日
世界的な基準から客
観的に製品を評価し
国際競争力を高める
ソフトウェアの総
合的な品質評価の
枠組みを確立
目的

エグゼクティブサマリ
7
• 21製品個別評価と業界実態分析
• 国際標準ベンチマークへ Waseda
Software Quality Benchmark (WSQB2017)
http://www.washi.cs.waseda.ac.jp...

目次
• 調査研究のサマリ
• 背景と考え方
• 調査研究の成果: 枠組み
• 調査研究の成果: 品質実態
• まとめと提言
8

日本と世界のソフトウェア品質
しかし日本における成功率の認識は
• 受注者 91.8% [SEC05]
• 発注者 26.7% [中村03], 31.1% [矢口08]
9
209
469
270
436
0
100
200
300
400
5...

落とし穴「ホーソン効果」
10nicolasdsampson.com, Observe And Learn: The Magic Of Paying Attention
http://nicolasdsampson.com/wp-content...

I. 解釈
（評価基準）
ゴール指向のメトリクス定義
• Goal-Question-Metric（GQM）パラダイム
M. メトリクス
G. 目標
Q. 質問
測定対象（データ）
達成評価
答え
測定値
11
楠本真二, 肥後芳樹, “GQM...

横に広げて多面的に見る
12
鷲崎弘宜,田邉浩之,小池利和,ソースコード解析による品質評価の仕組み,日経エレクトロニクス 2010/1/25
[Adqua] http://www.ogis-ri.co.jp/product/b-08-00000...

未来を予測し、未来を変える
13
コードの規模・
複雑さメトリクス
開発主体
変更回数
変更規模
欠陥
M. ファイル規模
M. 他ファイルとの呼び出し関係
・・・
S. Sato, et al., Effects of Organizatio...

落とし穴「オレオレ品質」
14
画像: @VS_oresagi https://twitter.com/vs_oresagi

品質国際規格SQuaREシリーズに基づく
日本と諸外国のソフトウェア品質認証
• 日本: PSQ認証
– コンピュータソフトウェア協会（CSAJ）
– カタログ、マニュアル、仕様書、試験文書
– 全品質特性
• 韓国: GS (Good Sof...

国際規格に基づく評価の大枠と課題
16
ISO/IEC 25023
内部・外部品質測定
利用時の
品質
外部品質内部品質
ソフトウェアシステム業務
……
……
……
……
……
……
現実にどのように
影響しているのか？
ISO/IEC 2...

目次
• 調査研究のサマリ
• 背景と考え方
• 調査研究の成果: 枠組み
• 調査研究の成果: 品質実態
• まとめと提言
17

設定した研究課題
• 課題1: 内部品質の測定評
価方法の確立
• 外部課題2:測品質の定評
価方法の確立
• 課題3: 利用時の品質の測
定評価方法の確立
• 課題4: 個々の品質実態把
握
• 課題5: 品質間の関係分析
• 課題6: 全体...

枠組みの全体
19

課題1-3: 品質測定評価の枠組み
20
Q1. 社内サーバのみ使用する経路は？
Q2. 社外サーバも使用する経路は？
Q3. クライアント間直接通信(P2P等)は？
Q4. 申請者管理サーバ使用の経路は？
G.情報アクセスや情報伝達などの
行...

スコア化と集計
21

課題1-2: 製品品質（内部・外部品質）
• 入力: 様式記入 21製品、コード解析 4、アンケート 3
• 定義: 66メトリクス（うち測定値が得られたもの57）
• 測定率: 66メトリクス×21製品のうちで34%
- 未測定の多くは根拠と...

課題3: 利用時の品質
ユーザアンケート
• 標準アンケート実現
– 例: 他人に薦めたいですか？
• 3製品でアンケート回収成功
ユーザテスト
• 10製品でテスト実施許可
23
研究チーム製品提供元
1 機能定義
2 当たり前機能抽
出（...

課題1-3: 製品別の品質診断レポート
• 品質特性単位の傾向、ポジション、助言
• 詳細な傾向と助言: 信頼性、コード解析、ユーザテスト
0
20
40
60
80
100
機能適合性
性能効率性
互換性
使用性
信頼性
セキュリティ
保守性...

目次
• 調査研究のサマリ
• 背景と考え方
• 調査研究の成果: 枠組み
• 調査研究の成果: 品質実態
• まとめと提言
25

課題4: 品質特性別の傾向
26
機能適合性性能効率性互換性使用性
信頼性セキュリティ保守性移植性
有効性効率性満足性リスク回避性
利用状況網羅性 • 信頼性: 全体的に同程度
• 使用性、保守性: 低いほうにやや集中
• 互...

課題5: 品質特性間の関係分析
27
製品品質利用時の品質
p値<0.1
性能効率性互換性使用性信頼性セキュリティ保守性移植性有効性効率性満足性リスク回避性利用状況網羅性
機能適合性 0. 31 0. 19 -0. 72...

信頼性モデルによる信頼性傾向と予測
• 発見時間と数の関係を分析し欠陥
数を予測、リスク検知
• 3種の信頼性タイプ
– イテレーションの期間情報は提供なし
爆発（3）
累積欠陥数の実測と予測
漸増（3）安定（3製品）

使用性
移植性
互換性
保守性
性能効率性
セキュリティ
効率性
課題5: 信頼性タイプと品質特性の関係
29
機能適合性
信頼性
有効性
安定漸増爆発
• 機能適合性、有効性: 安定で高品質
• 性能効率性、互換性: 爆発において
低品質...

対象21製品のコンテキスト
30
N=11

課題5: コンテキスト別の分析
31
• ドメイン別: 互換性、セキュリ
ティに顕著な差
• パッケージ製品: セキュリティ
強化が課題
• クラウド製品: 移植性、保守
性、信頼性の測定方法が不
適当な可能性
• 規模、期間、開発形態: 顕著...

課題4-5: 品質実態のまとめ
32
信頼性
保守性
性能
効率性
移植性
機能
適合性
有効性
互換性
セキュ
リティ
使用性
効率性
満足性
リスク回避性
利用状況網羅性
製品品質利用時の品質
正の相関
負の相関
信頼性タイプ関係
データ...

目次
• 調査研究のサマリ
• 背景と考え方
• 調査研究の成果: 枠組み
• 調査研究の成果: 品質実態
• まとめと提言
33

課題6: 公開パッケージと提言
34
Waseda Software Quality Benchmark
http://www.washi.cs.waseda.ac.jp/?page_id=3479
評価枠組み(信頼性予測含む)＋実態データセッ...

実績: メディアほか
• 報道
– 2015年6月22-23日プレスリリース 36メデ
ィア（朝日新聞デジタルほか）
– 2016年11月2日日本経済新聞全国・朝刊
,早大グローバルソフトウェアエンジニアリング
研未来の開発者育成探る,...

実績: 論文等発表
• 論文誌、学会誌
– 鷲崎弘宜, “実践的ソフトウェア品質測定評価のための4つの「落とし穴」と 7つの「コツ」: ゴ
ール指向、不確実性、機械学習、実態調査ほか”, 品質, Vol.46, No.3, pp.137-140...