ISONO:REBOOT
〜評価することにこだわろう〜
WACATE実行委員
朱峰 錦司@kjstylepp
Who are you?
■ 朱峰 錦司(あけみねきんじ)@kjstylepp
■ 某SIer勤務
– 2009.4〜2013.3
■ ソフトウェアテストに関するR&D
– 2013.4〜
■ 新規ビジネス創出、アジャイル開発に
関するR&D
■ 社外活動
– WACATE実行委員
– テスト自動化研究会
– ICST2017 Organization Committee
本日のゴール
■ 論文、会議(学会)の基本を知る。
■ 自分の仕事上の工夫や取り組みが、イケてるのかどう
か評価してみよう、という気持ちになる。
■ なんなら論文ワンチャン?という気持ちになる。
お品書き
1. 論文とは
2. 取り組みの評価
3. テスト系の会議
4. 投稿の際の注意点
1. 論文とは
1.1 論文とは?
■ あるテーマについて筋道をたてて記した文章
– 学術研究の成果
– 業務改善の成果
■ ソフトウェア工学関連の論文では、現場の悩みに近い
事柄がテーマ、解くべき課題として設定されていること
も多い
1.2 なぜ論文を書くのか?
■ 自分がやっていることを体系立てて整理・評価できる
– 一般的な論文の章立てが整理に適している
– 最初から論文化する「気持ち」で取り組みを始められるとなお
よし
■ 自分がやっていることに対して、客観的なアドバイスや評価
を得られる
– 査読者コメント
– 口頭発表時の質疑
– 懇親会等での意見交換
1.3 論文の章立て
1. 背景
2. 問題/目的
3. 手法の検討
4. 手法の詳細
5. 手法の評価
6. 評価結果の考察
7. 関連研究
8. まとめ
2. 取り組みの評価
2.1 仮説とその評価
■ 何か工夫や改善を行う際は、あらかじめ仮説を設定す
るべき
– その取り組みをしたらどういう結果になるか?
– 2つのアプローチがある
■ 定量的
■ 定性的
■ 仮説は外れてもよい
– なぜ外れたかの考察が大事
2.2 定量的仮説
■ 定量的な評価指標の例
– テスト作業効率化の場合
■ 工数がどれだけ削減できたか?
■ 工期がどれだけ短縮てきたか?
– テスト設計支援の場合
■ バグ件数がどれだけ増えたか?
– 特に重大バグ件
2.3 定性的仮説
■ 定性的な評価アプローチの例
– 体験者アンケート
■ アンケート項目はもちろん事前に作成
– 行動評価
2.4 例を見てみよう
■ JaSST’ 17 Tokyo ベストスピーカー賞受賞事例
– 不具合管理方法の改善によるテスト工程の効率化事例
■ オムロン株式会社 市村研吾さま
2.4 例を見てみよう 出典:http://jasst.jp/symposium/jasst17tokyo/report.html
2.4 例を見てみよう 出典:http://jasst.jp/symposium/jasst17tokyo/report.html
2.4 例を見てみよう
【定量】
類似不具合発見率
【定性】
テスト担当者の行動変化
出典:http://jasst.jp/symposium/jasst17tokyo/report.html
2.4 例を見てみよう 出典:http://jasst.jp/symposium/jasst17tokyo/report.html
2.4 例を見てみよう
【定量】
無駄な起票率
出典:http://jasst.jp/symposium/jasst17tokyo/report.html
小演習
お題
■ A案件では、設計書レビューがうまくいっておらず、効
果的に欠陥指摘ができていないようです。
■ 対策として、過去不具合等から作成した「レビュー観
点」をレビュー時に用いることで、レビューの効果を促
進しようとしています。
■ この取り組みがうまくいくかどうか、あなたならどう定量
的に評価しますか?
解答例
■ JaSST’ 16 Tokyo ベストスピーカー賞受賞事例
– レビュー目的・観点設定 の効果と課題
■ 株式会社HBA 安達賢二さま
解答例
出典:http://jasst.jp/symposium/jasst16tokyo/report.html
解答例
出典:http://jasst.jp/symposium/jasst16tokyo/report.html
3. テスト系の会議
3.1 国内
■ JaSST
– JaSST Tokyo
– 地方JaSST
■ 北海道、東北、新潟、東海、関西、四国、九州
■ SQiP
3.2 国外
■ 学術系
– ICST
■ 2017は3月に日本開催
■ 2018はスウェーデン
– ISSTA
■ 実務系
– STAR EAST/WEST
– EUTOSTAR
3.3 ステップを踏もう -スタイル-
■ 事例発表
– やってみたよ
■ 経験論文
– やってみたよ
– ちゃんと評価もしたよ
■ 学術論文
– めっちゃ新しいことやって評価したよ
– めっちゃイケてる技術編み出して評価したよ
3.3 ステップを踏もう -レベル-
■ 勉強会
■ SIG/研究会
■ 査読ゆるめカンファレンス
■ 査読っょぃカンファレンス
■ 論文誌
4. 投稿の際の注意点
4.1 おはやめに
■ カンファレンスの論文募集を見てからでは遅い
– 取り組み内容にもよるが、遅くとも投稿の半年前には着手
している状態に
■ なんにせよ(再掲)
– 最初から論文化する「気持ち」で取り組みを始められるとな
およし
4.2 ブレない
■ 目的→評価→結論まで一貫していること
■ 後半にいくにしたがって言っていることがブレてしまう
論文はよくある
– 例)品質向上が目的だったはずなのに、なぜか工数削減
効果を論じる
4.3 マスキング
■ 受託タイプの案件では、もちろんお客様名等は出すわけに
はいかない
■ 案件が特定可能な情報はマスキングする
– 名前をぼやかす
■ 中規模金融系案件
– 扱うデータの抽象度をあげる
■ 具体的なバグのないようにはふれずに、バグ原因、不具合モード、
バグ件数などにおとしこむ
■ それでもちゃんとお客様の許可はとること
4.4 説得
本案件の先進性を他組織に
アピール、展開する際の
権威付けとなります
貴組織の社会的プレゼンス
向上につながります
まとめ
本日のゴール(再掲)
■ 論文、会議(学会)の基本を知る。
■ 自分の仕事上の工夫や取り組みが、イケてるのかどう
か評価してみよう、という気持ちになる。
■ なんなら論文ワンチャン?という気持ちになる。
Let’s

#wacate 2017 冬 ISONO:REBOOT -評価することにこだわろう-