Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

#wacate 2017 冬 ISONO:REBOOT -評価することにこだわろう-

743 views

Published on

WACATE 2017 冬にておこなった講義「ISONO:REBOOT -評価することにこだわろう-」の資料です。

Published in: Software
  • Be the first to comment

#wacate 2017 冬 ISONO:REBOOT -評価することにこだわろう-

  1. 1. ISONO:REBOOT 〜評価することにこだわろう〜 WACATE実行委員 朱峰 錦司@kjstylepp
  2. 2. Who are you? ■ 朱峰 錦司(あけみねきんじ)@kjstylepp ■ 某SIer勤務 – 2009.4〜2013.3 ■ ソフトウェアテストに関するR&D – 2013.4〜 ■ 新規ビジネス創出、アジャイル開発に 関するR&D ■ 社外活動 – WACATE実行委員 – テスト自動化研究会 – ICST2017 Organization Committee
  3. 3. 本日のゴール ■ 論文、会議(学会)の基本を知る。 ■ 自分の仕事上の工夫や取り組みが、イケてるのかどう か評価してみよう、という気持ちになる。 ■ なんなら論文ワンチャン?という気持ちになる。
  4. 4. お品書き 1. 論文とは 2. 取り組みの評価 3. テスト系の会議 4. 投稿の際の注意点
  5. 5. 1. 論文とは
  6. 6. 1.1 論文とは? ■ あるテーマについて筋道をたてて記した文章 – 学術研究の成果 – 業務改善の成果 ■ ソフトウェア工学関連の論文では、現場の悩みに近い 事柄がテーマ、解くべき課題として設定されていること も多い
  7. 7. 1.2 なぜ論文を書くのか? ■ 自分がやっていることを体系立てて整理・評価できる – 一般的な論文の章立てが整理に適している – 最初から論文化する「気持ち」で取り組みを始められるとなお よし ■ 自分がやっていることに対して、客観的なアドバイスや評価 を得られる – 査読者コメント – 口頭発表時の質疑 – 懇親会等での意見交換
  8. 8. 1.3 論文の章立て 1. 背景 2. 問題/目的 3. 手法の検討 4. 手法の詳細 5. 手法の評価 6. 評価結果の考察 7. 関連研究 8. まとめ
  9. 9. 2. 取り組みの評価
  10. 10. 2.1 仮説とその評価 ■ 何か工夫や改善を行う際は、あらかじめ仮説を設定す るべき – その取り組みをしたらどういう結果になるか? – 2つのアプローチがある ■ 定量的 ■ 定性的 ■ 仮説は外れてもよい – なぜ外れたかの考察が大事
  11. 11. 2.2 定量的仮説 ■ 定量的な評価指標の例 – テスト作業効率化の場合 ■ 工数がどれだけ削減できたか? ■ 工期がどれだけ短縮てきたか? – テスト設計支援の場合 ■ バグ件数がどれだけ増えたか? – 特に重大バグ件
  12. 12. 2.3 定性的仮説 ■ 定性的な評価アプローチの例 – 体験者アンケート ■ アンケート項目はもちろん事前に作成 – 行動評価
  13. 13. 2.4 例を見てみよう ■ JaSST’ 17 Tokyo ベストスピーカー賞受賞事例 – 不具合管理方法の改善によるテスト工程の効率化事例 ■ オムロン株式会社 市村研吾さま
  14. 14. 2.4 例を見てみよう 出典:http://jasst.jp/symposium/jasst17tokyo/report.html
  15. 15. 2.4 例を見てみよう 出典:http://jasst.jp/symposium/jasst17tokyo/report.html
  16. 16. 2.4 例を見てみよう 【定量】 類似不具合発見率 【定性】 テスト担当者の行動変化 出典:http://jasst.jp/symposium/jasst17tokyo/report.html
  17. 17. 2.4 例を見てみよう 出典:http://jasst.jp/symposium/jasst17tokyo/report.html
  18. 18. 2.4 例を見てみよう 【定量】 無駄な起票率 出典:http://jasst.jp/symposium/jasst17tokyo/report.html
  19. 19. 小演習
  20. 20. お題 ■ A案件では、設計書レビューがうまくいっておらず、効 果的に欠陥指摘ができていないようです。 ■ 対策として、過去不具合等から作成した「レビュー観 点」をレビュー時に用いることで、レビューの効果を促 進しようとしています。 ■ この取り組みがうまくいくかどうか、あなたならどう定量 的に評価しますか?
  21. 21. 解答例 ■ JaSST’ 16 Tokyo ベストスピーカー賞受賞事例 – レビュー目的・観点設定 の効果と課題 ■ 株式会社HBA 安達賢二さま
  22. 22. 解答例 出典:http://jasst.jp/symposium/jasst16tokyo/report.html
  23. 23. 解答例 出典:http://jasst.jp/symposium/jasst16tokyo/report.html
  24. 24. 3. テスト系の会議
  25. 25. 3.1 国内 ■ JaSST – JaSST Tokyo – 地方JaSST ■ 北海道、東北、新潟、東海、関西、四国、九州 ■ SQiP
  26. 26. 3.2 国外 ■ 学術系 – ICST ■ 2017は3月に日本開催 ■ 2018はスウェーデン – ISSTA ■ 実務系 – STAR EAST/WEST – EUTOSTAR
  27. 27. 3.3 ステップを踏もう -スタイル- ■ 事例発表 – やってみたよ ■ 経験論文 – やってみたよ – ちゃんと評価もしたよ ■ 学術論文 – めっちゃ新しいことやって評価したよ – めっちゃイケてる技術編み出して評価したよ
  28. 28. 3.3 ステップを踏もう -レベル- ■ 勉強会 ■ SIG/研究会 ■ 査読ゆるめカンファレンス ■ 査読っょぃカンファレンス ■ 論文誌
  29. 29. 4. 投稿の際の注意点
  30. 30. 4.1 おはやめに ■ カンファレンスの論文募集を見てからでは遅い – 取り組み内容にもよるが、遅くとも投稿の半年前には着手 している状態に ■ なんにせよ(再掲) – 最初から論文化する「気持ち」で取り組みを始められるとな およし
  31. 31. 4.2 ブレない ■ 目的→評価→結論まで一貫していること ■ 後半にいくにしたがって言っていることがブレてしまう 論文はよくある – 例)品質向上が目的だったはずなのに、なぜか工数削減 効果を論じる
  32. 32. 4.3 マスキング ■ 受託タイプの案件では、もちろんお客様名等は出すわけに はいかない ■ 案件が特定可能な情報はマスキングする – 名前をぼやかす ■ 中規模金融系案件 – 扱うデータの抽象度をあげる ■ 具体的なバグのないようにはふれずに、バグ原因、不具合モード、 バグ件数などにおとしこむ ■ それでもちゃんとお客様の許可はとること
  33. 33. 4.4 説得 本案件の先進性を他組織に アピール、展開する際の 権威付けとなります 貴組織の社会的プレゼンス 向上につながります
  34. 34. まとめ
  35. 35. 本日のゴール(再掲) ■ 論文、会議(学会)の基本を知る。 ■ 自分の仕事上の工夫や取り組みが、イケてるのかどう か評価してみよう、という気持ちになる。 ■ なんなら論文ワンチャン?という気持ちになる。
  36. 36. Let’s

×