Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
ISONO:REBOOT
〜評価することにこだわろう〜
WACATE実行委員
朱峰 錦司@kjstylepp
Who are you?
■ 朱峰 錦司(あけみねきんじ)@kjstylepp
■ 某SIer勤務
– 2009.4〜2013.3
■ ソフトウェアテストに関するR&D
– 2013.4〜
■ 新規ビジネス創出、アジャイル開発に
関するR&D
...
本日のゴール
■ 論文、会議(学会)の基本を知る。
■ 自分の仕事上の工夫や取り組みが、イケてるのかどう
か評価してみよう、という気持ちになる。
■ なんなら論文ワンチャン?という気持ちになる。
お品書き
1. 論文とは
2. 取り組みの評価
3. テスト系の会議
4. 投稿の際の注意点
1. 論文とは
1.1 論文とは?
■ あるテーマについて筋道をたてて記した文章
– 学術研究の成果
– 業務改善の成果
■ ソフトウェア工学関連の論文では、現場の悩みに近い
事柄がテーマ、解くべき課題として設定されていること
も多い
1.2 なぜ論文を書くのか?
■ 自分がやっていることを体系立てて整理・評価できる
– 一般的な論文の章立てが整理に適している
– 最初から論文化する「気持ち」で取り組みを始められるとなお
よし
■ 自分がやっていることに対して、客観的なアドバ...
1.3 論文の章立て
1. 背景
2. 問題/目的
3. 手法の検討
4. 手法の詳細
5. 手法の評価
6. 評価結果の考察
7. 関連研究
8. まとめ
2. 取り組みの評価
2.1 仮説とその評価
■ 何か工夫や改善を行う際は、あらかじめ仮説を設定す
るべき
– その取り組みをしたらどういう結果になるか?
– 2つのアプローチがある
■ 定量的
■ 定性的
■ 仮説は外れてもよい
– なぜ外れたかの考察が大事
2.2 定量的仮説
■ 定量的な評価指標の例
– テスト作業効率化の場合
■ 工数がどれだけ削減できたか?
■ 工期がどれだけ短縮てきたか?
– テスト設計支援の場合
■ バグ件数がどれだけ増えたか?
– 特に重大バグ件
2.3 定性的仮説
■ 定性的な評価アプローチの例
– 体験者アンケート
■ アンケート項目はもちろん事前に作成
– 行動評価
2.4 例を見てみよう
■ JaSST’ 17 Tokyo ベストスピーカー賞受賞事例
– 不具合管理方法の改善によるテスト工程の効率化事例
■ オムロン株式会社 市村研吾さま
2.4 例を見てみよう 出典:http://jasst.jp/symposium/jasst17tokyo/report.html
2.4 例を見てみよう 出典:http://jasst.jp/symposium/jasst17tokyo/report.html
2.4 例を見てみよう
【定量】
類似不具合発見率
【定性】
テスト担当者の行動変化
出典:http://jasst.jp/symposium/jasst17tokyo/report.html
2.4 例を見てみよう 出典:http://jasst.jp/symposium/jasst17tokyo/report.html
2.4 例を見てみよう
【定量】
無駄な起票率
出典:http://jasst.jp/symposium/jasst17tokyo/report.html
小演習
お題
■ A案件では、設計書レビューがうまくいっておらず、効
果的に欠陥指摘ができていないようです。
■ 対策として、過去不具合等から作成した「レビュー観
点」をレビュー時に用いることで、レビューの効果を促
進しようとしています。
■ この取り...
解答例
■ JaSST’ 16 Tokyo ベストスピーカー賞受賞事例
– レビュー目的・観点設定 の効果と課題
■ 株式会社HBA 安達賢二さま
解答例
出典:http://jasst.jp/symposium/jasst16tokyo/report.html
解答例
出典:http://jasst.jp/symposium/jasst16tokyo/report.html
3. テスト系の会議
3.1 国内
■ JaSST
– JaSST Tokyo
– 地方JaSST
■ 北海道、東北、新潟、東海、関西、四国、九州
■ SQiP
3.2 国外
■ 学術系
– ICST
■ 2017は3月に日本開催
■ 2018はスウェーデン
– ISSTA
■ 実務系
– STAR EAST/WEST
– EUTOSTAR
3.3 ステップを踏もう -スタイル-
■ 事例発表
– やってみたよ
■ 経験論文
– やってみたよ
– ちゃんと評価もしたよ
■ 学術論文
– めっちゃ新しいことやって評価したよ
– めっちゃイケてる技術編み出して評価したよ
3.3 ステップを踏もう -レベル-
■ 勉強会
■ SIG/研究会
■ 査読ゆるめカンファレンス
■ 査読っょぃカンファレンス
■ 論文誌
4. 投稿の際の注意点
4.1 おはやめに
■ カンファレンスの論文募集を見てからでは遅い
– 取り組み内容にもよるが、遅くとも投稿の半年前には着手
している状態に
■ なんにせよ(再掲)
– 最初から論文化する「気持ち」で取り組みを始められるとな
およし
4.2 ブレない
■ 目的→評価→結論まで一貫していること
■ 後半にいくにしたがって言っていることがブレてしまう
論文はよくある
– 例)品質向上が目的だったはずなのに、なぜか工数削減
効果を論じる
4.3 マスキング
■ 受託タイプの案件では、もちろんお客様名等は出すわけに
はいかない
■ 案件が特定可能な情報はマスキングする
– 名前をぼやかす
■ 中規模金融系案件
– 扱うデータの抽象度をあげる
■ 具体的なバグのないようにはふれずに...
4.4 説得
本案件の先進性を他組織に
アピール、展開する際の
権威付けとなります
貴組織の社会的プレゼンス
向上につながります
まとめ
本日のゴール(再掲)
■ 論文、会議(学会)の基本を知る。
■ 自分の仕事上の工夫や取り組みが、イケてるのかどう
か評価してみよう、という気持ちになる。
■ なんなら論文ワンチャン?という気持ちになる。
Let’s
Upcoming SlideShare
Loading in …5
×

#wacate 2017 冬 ISONO:REBOOT -評価することにこだわろう-

1,089 views

Published on

WACATE 2017 冬にておこなった講義「ISONO:REBOOT -評価することにこだわろう-」の資料です。

Published in: Software
  • Be the first to comment

#wacate 2017 冬 ISONO:REBOOT -評価することにこだわろう-

  1. 1. ISONO:REBOOT 〜評価することにこだわろう〜 WACATE実行委員 朱峰 錦司@kjstylepp
  2. 2. Who are you? ■ 朱峰 錦司(あけみねきんじ)@kjstylepp ■ 某SIer勤務 – 2009.4〜2013.3 ■ ソフトウェアテストに関するR&D – 2013.4〜 ■ 新規ビジネス創出、アジャイル開発に 関するR&D ■ 社外活動 – WACATE実行委員 – テスト自動化研究会 – ICST2017 Organization Committee
  3. 3. 本日のゴール ■ 論文、会議(学会)の基本を知る。 ■ 自分の仕事上の工夫や取り組みが、イケてるのかどう か評価してみよう、という気持ちになる。 ■ なんなら論文ワンチャン?という気持ちになる。
  4. 4. お品書き 1. 論文とは 2. 取り組みの評価 3. テスト系の会議 4. 投稿の際の注意点
  5. 5. 1. 論文とは
  6. 6. 1.1 論文とは? ■ あるテーマについて筋道をたてて記した文章 – 学術研究の成果 – 業務改善の成果 ■ ソフトウェア工学関連の論文では、現場の悩みに近い 事柄がテーマ、解くべき課題として設定されていること も多い
  7. 7. 1.2 なぜ論文を書くのか? ■ 自分がやっていることを体系立てて整理・評価できる – 一般的な論文の章立てが整理に適している – 最初から論文化する「気持ち」で取り組みを始められるとなお よし ■ 自分がやっていることに対して、客観的なアドバイスや評価 を得られる – 査読者コメント – 口頭発表時の質疑 – 懇親会等での意見交換
  8. 8. 1.3 論文の章立て 1. 背景 2. 問題/目的 3. 手法の検討 4. 手法の詳細 5. 手法の評価 6. 評価結果の考察 7. 関連研究 8. まとめ
  9. 9. 2. 取り組みの評価
  10. 10. 2.1 仮説とその評価 ■ 何か工夫や改善を行う際は、あらかじめ仮説を設定す るべき – その取り組みをしたらどういう結果になるか? – 2つのアプローチがある ■ 定量的 ■ 定性的 ■ 仮説は外れてもよい – なぜ外れたかの考察が大事
  11. 11. 2.2 定量的仮説 ■ 定量的な評価指標の例 – テスト作業効率化の場合 ■ 工数がどれだけ削減できたか? ■ 工期がどれだけ短縮てきたか? – テスト設計支援の場合 ■ バグ件数がどれだけ増えたか? – 特に重大バグ件
  12. 12. 2.3 定性的仮説 ■ 定性的な評価アプローチの例 – 体験者アンケート ■ アンケート項目はもちろん事前に作成 – 行動評価
  13. 13. 2.4 例を見てみよう ■ JaSST’ 17 Tokyo ベストスピーカー賞受賞事例 – 不具合管理方法の改善によるテスト工程の効率化事例 ■ オムロン株式会社 市村研吾さま
  14. 14. 2.4 例を見てみよう 出典:http://jasst.jp/symposium/jasst17tokyo/report.html
  15. 15. 2.4 例を見てみよう 出典:http://jasst.jp/symposium/jasst17tokyo/report.html
  16. 16. 2.4 例を見てみよう 【定量】 類似不具合発見率 【定性】 テスト担当者の行動変化 出典:http://jasst.jp/symposium/jasst17tokyo/report.html
  17. 17. 2.4 例を見てみよう 出典:http://jasst.jp/symposium/jasst17tokyo/report.html
  18. 18. 2.4 例を見てみよう 【定量】 無駄な起票率 出典:http://jasst.jp/symposium/jasst17tokyo/report.html
  19. 19. 小演習
  20. 20. お題 ■ A案件では、設計書レビューがうまくいっておらず、効 果的に欠陥指摘ができていないようです。 ■ 対策として、過去不具合等から作成した「レビュー観 点」をレビュー時に用いることで、レビューの効果を促 進しようとしています。 ■ この取り組みがうまくいくかどうか、あなたならどう定量 的に評価しますか?
  21. 21. 解答例 ■ JaSST’ 16 Tokyo ベストスピーカー賞受賞事例 – レビュー目的・観点設定 の効果と課題 ■ 株式会社HBA 安達賢二さま
  22. 22. 解答例 出典:http://jasst.jp/symposium/jasst16tokyo/report.html
  23. 23. 解答例 出典:http://jasst.jp/symposium/jasst16tokyo/report.html
  24. 24. 3. テスト系の会議
  25. 25. 3.1 国内 ■ JaSST – JaSST Tokyo – 地方JaSST ■ 北海道、東北、新潟、東海、関西、四国、九州 ■ SQiP
  26. 26. 3.2 国外 ■ 学術系 – ICST ■ 2017は3月に日本開催 ■ 2018はスウェーデン – ISSTA ■ 実務系 – STAR EAST/WEST – EUTOSTAR
  27. 27. 3.3 ステップを踏もう -スタイル- ■ 事例発表 – やってみたよ ■ 経験論文 – やってみたよ – ちゃんと評価もしたよ ■ 学術論文 – めっちゃ新しいことやって評価したよ – めっちゃイケてる技術編み出して評価したよ
  28. 28. 3.3 ステップを踏もう -レベル- ■ 勉強会 ■ SIG/研究会 ■ 査読ゆるめカンファレンス ■ 査読っょぃカンファレンス ■ 論文誌
  29. 29. 4. 投稿の際の注意点
  30. 30. 4.1 おはやめに ■ カンファレンスの論文募集を見てからでは遅い – 取り組み内容にもよるが、遅くとも投稿の半年前には着手 している状態に ■ なんにせよ(再掲) – 最初から論文化する「気持ち」で取り組みを始められるとな およし
  31. 31. 4.2 ブレない ■ 目的→評価→結論まで一貫していること ■ 後半にいくにしたがって言っていることがブレてしまう 論文はよくある – 例)品質向上が目的だったはずなのに、なぜか工数削減 効果を論じる
  32. 32. 4.3 マスキング ■ 受託タイプの案件では、もちろんお客様名等は出すわけに はいかない ■ 案件が特定可能な情報はマスキングする – 名前をぼやかす ■ 中規模金融系案件 – 扱うデータの抽象度をあげる ■ 具体的なバグのないようにはふれずに、バグ原因、不具合モード、 バグ件数などにおとしこむ ■ それでもちゃんとお客様の許可はとること
  33. 33. 4.4 説得 本案件の先進性を他組織に アピール、展開する際の 権威付けとなります 貴組織の社会的プレゼンス 向上につながります
  34. 34. まとめ
  35. 35. 本日のゴール(再掲) ■ 論文、会議(学会)の基本を知る。 ■ 自分の仕事上の工夫や取り組みが、イケてるのかどう か評価してみよう、という気持ちになる。 ■ なんなら論文ワンチャン?という気持ちになる。
  36. 36. Let’s

×