研究のデザイン 入門
鷲崎 弘宜
早稲田大学
グローバルソフトウェアエンジニアリング研究所
@Hiro_Washi
washizaki@waseda.jp
SQiP研究会 ミニ講座 2015年6月12日
既存の良い資料
• [鵜林] 鵜林尚靖、"世界を目指す論文の書き方 ~ 不採録
コメントに学ぶ ~"、SES2011チュートリアル
http://ws.cs.kobe-u.ac.jp/~masa-
n/ses2011/ses2011_tutorial2.pdf
• [Orso] Alex Orso, How to Get My Paper Accepted at Top
Software Engineering Conferences,
http://www.slideshare.net/alexorso/how-to-get-my-paper-
accepted-at-top-software-engineering-conferences
• [千葉] 千葉滋, “論文の書き方”
http://www.csg.is.titech.ac.jp/~chiba/writing/
• [Shaw] Mary Shaw, "Writing Good Software Engineering
Research Papers," ICSE'03, mini tutorial
http://www.cs.cmu.edu/~Compose/shaw-icse03.pdf
• [浦野] 浦野研, “「よい研究」の条件と種類”,日本コミュニケ
ーション学会(CAJ)第18 回北海道支部研究大会,
http://www.urano-ken.com/research/caj2009_handout.pdf 2
目次
• 研究とは何か
• 研究のダメな進め方、良い進め方
• 論文とは何か
• 典型的な論文構成
• 査読に通すコツ
• まとめ
• 余談: 卒業後、どこに出す? 研究者の評価と
は?
3
研究(research)とは何か
• おおざっぱに言えば「仮説の検証」
• 良い研究であるために:
– 新たな研究課題 Research Question や、それに対
する仮説 Hypothesis を掲げている
– 仮説を検証し、研究課題に応えている
– 得られた知識が人々やコミュニティに貢献する
4
研究課題 Research Questions
• 小分けにしてそれぞれ妥当性や重要性、達成度合いを確
認しやすくする
• 種類 [Shaw]
– 開発の方法: How can we do X?
– 分析・評価の方法: How can I evaluate X ?
– 特定インスタンスの設計・評価・分析: How good is X?
– 一般化・特性化: Given X, what will Y be?
– 実現可能性・さらなる調査: Is it possible to accomplish X at all?
• NG
– RQ. 拡張可能な~により・・・を支援できるか?
• OK
– RQ1. ~を自動的に得られるか?
– RQ2. ・・・の達成効率は、~が○○より優れているか?
– RQ3. ~は実用的な時間内で実行可能か?
5
目次
• 研究とは何か
• 研究のダメな進め方、良い進め方
• 論文とは何か
• 典型的な論文構成
• 査読に通すコツ
• まとめ
• 余談: 卒業後、どこに出す? 研究者の評価と
は?
6
研究の進め方がダメだと・・・
• やったこと、作ったモノの説明ばかり
• なぜそれが必要であるのか、どのような問題
を解決しているのか、それが何の役に立つの
か不明
• とってつけたような目的不明の実験
7
つまり、研究のダメな進め方とは
1. 予備調査、関連研究を調べる
2. 何かをやってみる or 作る
3. 研究課題を考える
4. 実験 or 調査する
5. 結果を考察し論文にまとめる
8
関連研究
解決・提案・貢献
実験方法
実験結果
本文詳細化
研究の進め方が良いと・・・
• ゴール、研究課題が明確
• 従って、やったこと、作ったモノの必要性や問
題解決も明快
• 実験が、研究課題の回答・問題解決を確認で
きるように設計されている
9
つまり、研究の良い進め方とは
1. 予備調査、関連研究を調べる
2. ゴールを先に決定する
3. 研究課題を先に考える
4. 仮説、回答方法を先に検討
5. 仮説に基づき何かをやってみ
る or 作る
6. 実験 or 調査する
7. 結果を考察し論文にまとめる
10
関連研究
タイトル案
問題・研究課題
実験方法
解決・提案・貢献
実験結果
本文詳細化
テストファーストのように、何かをする前にゴール
・研究課題・仮説・回答方法を検討しておくこと
ウォータフォールな1年間
• 5月: ゴールを決める
• 6月: 研究課題を設定し、論文を書き始める
• 7月: 仮説と回答方法を検討
• 8月-10月: 仮説に基づき提案内容を進める
• 11月: 実験 or 調査する
• 12月: 結果を考察する
• 1月: 論文を完成させる
• 2月: 論文を発表し、反応をフィードバックさせる
• 3月- 卒業、対外的に投稿し発表する
11
理想的にはイテラティブ
• 5月: ゴールを決める。論文を書き始める。
• 6月
• 7月
• 8-10月
• 11月
• 12月
• 1月: 論文を完成させる
• 2月: 論文を発表し、反応をフィードバックさせ
る
• 3月- 卒業、対外的に投稿し発表する 12
・研究課題、仮説、
回答方法を検討する
・仮説に基づき提案内容を進める
・実験 or 調査する
・結果を考察する
×2-3回
目次
• 研究とは何か
• 研究のダメな進め方、良い進め方
• 論文とは何か
• 典型的な論文構成
• 査読に通すコツ
• まとめ
• 余談: 卒業後、どこに出す? 研究者の評価と
は?
13
論文(paper)とは何か
• 論議する文。筋道を立てて
述べた文。 -- 広辞苑
• 学問の研究成果などのある
テーマについて論理的な手
法で書き記した文章 --
Wikipedia
• NOT 報告(やっこう)
• NOT 作文
14
なぜ研究論文を書くのか
• 自身のため
– 論理的思考力の研鑽
– 問題解決の把握と掘りさげ
– 社会的認知の向上、キャリア形成
• 自組織のため
– 根拠のある形での成果適用や展開
– 積み重ねと発展
• 学問、社会への貢献
– 知識や方法の検証、フィードバック
– 積み重ねと体系化を通じた学問形成
15
研究論文を書く上で大事なのは・・・
良い論文を読むこと。
良い研究をすること。
これらに勝るものなし。
• Do exciting research, and the papers will come
[Orso]
16
研究論文を書く上で大事なこと
• 記述が論理的で納得できる
– 論理的繋がり、議論、根拠
• 主張が明快で絞られている
– 問題、解決
• 第三者にとって読みやすい
– 典型的な論文構成
– トピックセンテンス
– 例、図表
17
目次
• 研究とは何か
• 研究のダメな進め方、良い進め方
• 論文とは何か
• 典型的な論文構成
• 査読に通すコツ
• まとめ
• 余談: 卒業後、どこに出す? 研究者の評価と
は?
18
典型的な論文構成
0. タイトル
1. 概要
2. はじめに(導入)
3. 背景
4. 提案
5. 実験(評価): 議論、妥当性への脅威を含む
6. 関連研究
7. おわりに(結論と展望)
8. 参考文献
19
0. タイトル
• 概要をさらに要約した結果
20
タイトル
概要
論文本体
はじめに(導入)
1. 概要
• 背景、問題、解決、根拠の大切な部分に絞っ
て要約
• ここがNGだと、全てNG
• NG
○○は重要である。しかし・・・。そこで我々は~を
提案する。
• OK
○○について・・・という問題がある。その解決のた
め我々は~を提案する。実験により×××を確
認した。
21
2. はじめに(導入)
• ミニ論文として独立して成り立つ+以降のポインタ
– 背景、問題提起、研究課題、関連研究、解決のアイディア、実
験結果、貢献、以降の構成
– 根拠のない事柄、一般論は不要
– 扱う問題の範囲を最初から絞る
• NG
近年、○○が普及しつつある。その中でウンヌン。しかし・・・。そ
こで我々は~を試みた。その結果を報告する。
• OK
○○について・・・という問題がある。
その解決のため我々は~を提案する。
実験により×××を確認した。
本論文の貢献は次の通りである。
• AAA
• BBB
本論文の以降の構成は次の通りである。 22
3. 背景、扱う問題
• 問題提起型
– 動機づけの例の明示 Motivating Example
• 問題解決型
– 関連研究およびその未解決問題の明示(例があると
なおよい)
• NG
– 品質とは・・・。レビューとは・・・。
– だらだらと教科書にあるような一般技術の説明に終
始
• OK
– 3.1 関連する特定の専門技術や領域説明
– 3.2 動機づけの例
23
4. 提案
• どれだけ苦労したかではなく、「何を」「どのように」「その制
限」を正確に
• 焦点を絞り、分かりやすく
– アイディアの要点
– 提案手法やシステムの名前付け
– 例中心
• NG
– 我々は2ヶ月の開発により〇〇を実現した。○○はA,B,Cか
ら構成される。Aは・・・
• OK
– 我々は・・・を実現する手法 WashizakiMethod(WM)を提案する
。WMは・・・という場合において~に対して・・・を実現する。
WMの技術的要点はα、β、γである。
– αは・・・。例えば図Xにおいて・・・
24
5. 実験(評価)
• 典型的構成
– 答える研究課題・質問 Research Question を最初に
– そのうえで実験条件、結果、実験結果からRQへの回答を議論
– 妥当性への脅威 Threats to Validity
• 定量化にこだわる
• 実際にはあらゆる側面・状況を評価できているわけではない
[千葉]
– 「実験」「ケーススタディ」「Validation」
• NG
– 提案手法を・・・に適用した。その結果~
• OK
– 本論文が答えようとする研究課題は以下である。
• RQ1. ・・・
– 5.1 実験内容
– 5.2 実験結果
– 5.3 議論
– 5.4 妥当性への脅威 25
妥当性への脅威 Threats to Validity
• 内的妥当性への脅威(Threats to Internal Validity)
– 因果関係の確かさに影響を与える事柄を議論
– 例えば提案手法の利用と作業効率向上の間の因果関係について、被験者
の慣れ、経験や環境の相違、などが影響を与える可能性あり
– OK: 実験において~なので、・・・が~に影響した可能性がある。これは内的
妥当性への脅威である。今後、・・・により影響の有無を確認したい。
• 外的妥当性への脅威(Threats to External Validity)
– 一般化の可能性に影響を与える事柄を議論
– 利用者の違い、組織の違い、ドメインの違いなど
– OK: 実験は一つの企業における一つの・・・ドメインに限定して実施したもの
であり、これは外的妥当性への脅威である。ただし、提案手法は・・・ドメイン
に特化して設計されたものではなく、~という特徴を有するドメインであれば
同様に有効な可能性がある。今後、・・・により他のドメインや企業における有
効性を検証したい。
• 他にも様々な妥当性への脅威
– 構成概念妥当性(Construct Validity): 測定や検証する結果が本来知りたい
事柄(概念)を適切に反映している
– 基準関連妥当性(Criterion-related Validity): 外部の確立された基準と比較
して測定や検証の結果が一致・相関している
– 内容的妥当性(Content Validity):全体を偏りなく測定・検証している
26
6. 関連研究
• 論文誌や学位論文では、しばしば冒頭に置
いて当該研究を位置づける
• 当該研究との関係を説明する [Orso]
– 競合
– 補間
– 重複
27
7. おわりに(結論と展望)
• 論文全体の要約であるが
– 具体的に
– 結果、貢献の強調
• 加えて今後の展望(Future Work)
– 言い訳を並べない [鵜林]
– 今後の発展の可能性を示す
28
目次
• 研究とは何か
• 研究のダメな進め方、良い進め方
• 論文とは何か
• 典型的な論文構成
• 査読に通すコツ
• まとめ
• 余談: 卒業後、どこに出す? 研究者の評価と
は?
29
査読に通すには・・・
査読で落とされること。
それに勝るものなし。
• Embrace rejection [Orso]
• 不採録コメントに学ぶ [鵜林]
30
投稿対象を知る
• 論文の典型的構成
• 論文の内容の傾向
• 査読者の顔ぶれ
• 査読プロセス
• 一般読者、参加者の顔ぶれ: 誰のために書く
のか?
31
査読者を掴む
• 査読者の時間は非常に限られている
– タイトル、概要で惹きつけて、「はじめに」「おわりに」 で
他のパートを読む気にさせる
– 図表、例を多用する
– 貢献や研究課題を目立たせる
– 「数」にこだわる
– トピックセンテンス。結論を先に。
• 参考文献を「まっとうに」
– 一般書籍ばかりとしない
– 投稿対象会議・論文誌で発表された論文を含める
• 査読者は当該研究領域の専門家「とは限らない」
– 段階的に詳細・複雑な事柄に入る [Orso]
32
文章作法に沿う [千葉]
• トピックセンテンス(段落の主張)を各段落の
先頭に持ってくる
• 結論を先に書き、理由、例を続ける
– NG: ~である。すると・・・なので、従って○○であ
る。
– OK: ○○である。なぜならば・・・である。例えば~
。
• 論理的な繋がりを心掛ける
– 論理の飛躍のないように
• 例を中心に説明を進める
33
目次
• 研究とは何か
• 研究のダメな進め方、良い進め方
• 論文とは何か
• 典型的な論文構成
• 査読に通すコツ
• まとめ
• 余談: 卒業後、どこに出す? 研究者の評価と
は?
34
まとめ
• 研究とは「仮説の検証」である。研究課題とそれに
対する仮説が重要。
• 何かをする前にゴール・研究課題・仮説・回答方法
を検討しておくこと。
• 研究の早い段階から論文を書き始める
• 論文を書こう。自分、自組織、学問・社会。
• 論文は報告・作文とは異なる
• 論文は論理的に納得できて、主張が明快で、読み
やすいこと(文章作法に従うこと)
• 典型的な論文構成を抑えよう
• 投稿対象や査読者を知ろう
• どこに投稿するか、よく考えよう。目的は? 35
目次
• 研究とは何か
• 研究のダメな進め方、良い進め方
• 論文とは何か
• 典型的な論文構成
• 査読に通すコツ
• まとめ
• 余談: 卒業後、どこに出す? 研究者の評価と
は?
36
余談: どこに出す?
• 論文誌: 知識の積み重ねと学問形成
– 研究の完成形が求められる
– ランク: SCI/SCIE 収録(インパクトファクター)、CORE
Journal Rank、DBLP収録など
• 国際会議: 議論、アイディア共有、フィードバック、
知識の積み重ね
– 研究の中間成果、一定の完成度が必要
– ランク: CORE Conference Rank、DBLP収録など
• 国内会議: 議論、アイディア共有、フィードバック、 (
知識の積み重ね)
– 研究の初期・中間成果
37
ソフトウェア品質関係の国際会議
• 認知された「まっとう」な国際会議
– CORE Rankあり
http://www.core.edu.au/index.php/conference-rankings
– DBLP等メジャーなインデックスに収録 http://dblp.uni-
trier.de/
– 全般: ICSE (CORE Rank A*), ASE(A), FSE(A), ESEC(A),
SEKE(B), COMPSAC(B), APSEC(C)ほか
– 特定: RE(A), ISSTA(A), ESEM(A), ISSRE(A), CAiSE(A),
QoSA(A), QSIC(B), ARES(B) , PROFES(B), ICST(C) ほか
• ×××な国際会議
– 概要の審査、予稿集を入手できない、CORE Rankなし、
インデックス未収録
– WCSQ, ANQなど 38
ソフトウェア品質関係の国内会議
• 知識の積み重ね
– 論文投稿、厳格な査読、予稿集
– 全般: 情報処理学会 ソフトウェアエンジニアリングシ
ンポジウム SES、日本ソフトウェア科学会 ソフトウェア
工学の基礎ワークショップ FOSE
– 特定: ソフトウェアテストシンポジウム
• その場での情報共有・議論
– 概要投稿 and/or 査読無し
– 全般: 情報処理学会 ソフトウェア工学研究会、電子
情報通信学会 ソフトウェアサイエンス研究会
– 特定: ソフトウェア品質シンポジウム SQiP
39
研究者の評価
• 論文数、被引用数
– h-index: 被引用数がh以上の論文数h以上
– Google Scholarで研究者をチェックしてみよう
http://scholar.google.co.jp/
• 外部資金獲得額
• 本来は研究の中身・価値、その社会貢献・インパクト
– Bruce C. Gibb, “Lies, damned lies and h-indices”
– ペリプラノン, “Impact Factorかh-indexか、それとも・・・”
40
お願い: IPA RISE委託研究 (研究代表: 鷲崎)
「測定評価と分析によるソフトウェア製品品質の実
態定量化および総合的品質評価枠組みの確立」
• 2015-2016年間、国内約40製品の品質の実態調査
• 内部品質、外部品質、利用時の品質を定量的に測定
評価、影響関係を精密かつ総合的に明らかに
• 品質間の関係を総合的に実証した初のベンチマーク
• 測定評価対象の公募等の詳細は9月頃を予定
41
影響
利用時の
品質
外部品質内部品質資源/組織/プロセス品質属性
ソフトウェア システム 業務開発プロセス
……
……
……
……
……
……
資源,組織,環境
対象
どのように影響
しているのか?
どのように測定評価
すればよいのか?
研究の範囲

SQiP2015-研究のデザイン入門

Editor's Notes

  • #27 基準連関妥当性というものがあります.これは、何らかの外的基準(基準値という)との相関 構成概念妥当性というものがあります。これは、なかなか言いにくいのですが、その構成概念から予測されるようなことが実際に起こるか, 内容的妥当性というものがあります。これは専門家などの個人的かつ主観的判断を通してなされる妥当性判断