第六十四回応用物理学会春季特別講演シンポジウム 「いま問われる研究業績評価：応用物理と未来社会」にて利用した資料です(公開用)

1. いま問われる研究業績評
価：応用物理と未来社会
パネルディスカッション
政策研究大学院大学
科学技術イノベーション政策研究センター
原泰史
Twitter: @harayasushi / Facebook: hara.Yasushi
ya-hara@grips.ac.jp

2. 自己紹介
• 原泰史 (はらやすし)
• 政策研究大学院大学科学技術イノベーション政策研究センター 専門職
• 科学技術学術政策研究所 (NISTEP) 第一研究グループ 客員研究員
• 一橋大学マネジメントイノベーション研究センター 連携研究員
• 研究テーマ
• 研究開発の社会構築プロセス解析
• 科学技術投資の経済的・社会的効果分析
• ナショナルイノベーションシステム比較
• 略歴
• 1998-2004: 国立豊田高専 情報工学科
• 2002-2009: 株式会社クララオンライン
• 2004-2006: 神戸大学 経済学部
• 2006-2009: 一橋大学 経済学研究科
• 2009-2012: 一橋大学 商学研究科 博士後期課程/日本学術振興会特別研究員 DC1
• 2012-2015: 一橋大学 イノベーション研究センター
• 2015- : 政策研究大学院大学科学技術イノベーション政策研究センター
• 2013- : 公益社団法人日本フィランソロピー協会
• 2013-2014 神奈川大学経済学部非常勤講師
• 2014- 東洋大学経済学部非常勤講師
• 2016- 横浜市立大学非常勤講師

3. 研究者の「評価」 経済的影響
社会的影響
NSF 研究プロジェクトの採択基準における、
「広範囲の影響」 (1995-) の定義
・申請された研究活動がどの程度発見や理解を促進するととも
に、教育・訓練・学習を促進するか
・申請された研究活動がどの程度少数者（性、人種、障害、地域
など）の参画を拡大するか
・申請された研究活動によって施設、設備、ネットワーク、連携な
どの研究・教育のインフラストラクチャーがどの程度充実するか
・科学技術の理解の促進のために研究結果が幅広く普及する
か
・申請された研究活動がどのような利益を社会に与するか
引用: 標葉隆馬 (2017) 「インパクト」を評価する―科学技術政策・研究評価―, 冷戦後の科学
技術政策の変容 : 科学技術に関する調査プロジェクト報告書（Transformation of Science and
Technology Policies in the Post-Cold War Era）, DOI: 10.11501/10314914
学術的影響

4. 科学者の分析に利用されるデータベースと指標
• 論文データベース
• J-global (JST)
• Web of Science (Clarivate Analytics)
• Scopus (Elsevier)
• Google Scholar
• Microsoft Academic Search
• 特許データベース
• J-global (JST)
• PATSTAT (EPO)
• Thomson Innovation (Clarivate Analytics)
• PatentsView/NBER Patent Database (USPTO)
• IIP パテントデータベース/patR (JPO)
• サイエンスリンケージ
• Patstat NPL data
• DWPI (Derwent Patent Index)
• 財務データベース
• 企業情報データベース
• スタートアップ情報データベース etc…
• 政府統計（科学技術基本調査 etc… ）
• 特許あたりの被引用数
• 論文あたりの被引用数
• 共著者の数
• 共著者に含まれる他機関所属者の数
• 共同発明者の数
• 共著者に含まれる他機関所属者の数
• 研究者の集中度
• 発明者の集中度
• 研究者の後方引用数
• 研究者に対する前方引用数
• 特許における特許文献の引用数とその内容 (IPC や Claim の長さ etc…)
• 論文における引用文献の引用数とその内容 (ジャーナルの種別や論文カテゴリ
の種別)
• 科研費の取得状況
• 企業との共同研究の割合
• ドクター持ちか, その種別は？ (論文博士と課程博士)
• スタートアップの共同研究者に名を連ねているか？
• 意匠や商標を同じタイミングで出願しているか？
• スターサイエンティストの近くで研究しているか？それは共著関係から確認できる
か？引用関係から確認できるか？
• どのような組織が研究者の論文を引用しているか？大学が多くの割合を占めて
いるのか？あるいは企業からの引用か？また、そのパターンは経年によって変化
するか

5. 若手研究者って、だいじ。
ノーベル賞受賞者が受賞理由となる主要研究をしていた年齢
0
20
40
60
80
100
120
140
0.0%
5.0%
10.0%
15.0%
20.0%
25.0%
30.0%
20歳以下 21-25歳 26-30歳 31-35歳 36-40歳 41-45歳 46-50歳 51-55歳 56-60歳 61-65歳 66-70歳
合計 化学賞 生理学・医学賞 物理学賞
1945年以降のノーベル賞受賞者447名が対象, 出所: SciREX ワーキングペーパー #3
• 科学三賞の場合、いずれも30代中
盤から40代前半の成果によりノーベ
ル賞を受賞している
• 年代による大きな違いはない

6. 研究成果が社会に「認められる」のは時間がかかる！
ノーベル賞受賞者の主要研究から受賞に至るまでの年数
0
10
20
30
40
50
60
1945 1955 1965 1975 1985 1995 2005 2015
化学賞 生理学・医学賞 物理学賞
Expon. (化学賞) Expon. (生理学・医学賞) Expon. (物理学賞)
• 1940年代
• 平均18.5年 (標準偏差7.41)
• 2010年代
• 平均 29.2年 (標準偏差 11.7)
• 研究から受賞までに要する年数は
伸びつつある
• いまノーベル賞を受賞している研究
は, 20-40年前の成果
1945年以降のノーベル賞受賞者447名が対象, 出所: SciREX ワーキングペーパー #3

7. 主要論文公刊後10年目までの後方引用推移:
分析プロトコール
1. 日本出身のノーベル賞受賞者について、ノーベル賞受賞に至る主要な研究内容をノーベル賞 Scientific Background 情報から集約する
2. キャリア t年目であるか, そのときの研究環境を特定する
※. (赤池, 原 et al. 2016) にて特定済み
3. 主要研究に係る、最初期のコア論文について, Nobel Prize Web あるいは研究者自身の自伝, Web サイトより特定する
4. 3. で同定したコア論文について、前方引用数 (被引用数) の年次推移を Scopus/Web of Science データベースより取得する
• このとき、t年からt+9年までの情報を取得する (Data の truncation および後方観察バイアスを除去するため)
• 1990年以前のコア論文については, データの可用性および網羅性の観点から Scopus ではなく Web of Science データベースを利用する
5. 参考文献 (後方引用) の類似性の高い論文リストをコントロール群 (control group) とする. これに基づき、 t±1 年に出版された論文リス
トを作成し, これらコントロール群のうち年次被引用数を導出する。
6. 次いで、コントロール群のうち被引用数がtop1%の論文それぞれの被引用数と, 4. にて抽出した コア論文の被引用数について比較し, ノーベ
ル賞受賞者の被引用数のランクを測定する. またこのとき、コア論文がtop1% に含まれるか否か確認を行う.
7. 論文発表年 t から t+9 年までの、年次前方引用数について、コア論文と対照群の平均間で比較する.
8. また、論文の引用頻度の推移について累積確率をコア論文および対照群の平均値についてそれぞれ求める. このとき, P(t+9) = 1.0 となる.

8. 研究成果が科学コミュニティに「認められる」のも時間がかかる
ノーベル物理学賞受賞者の主要論文公刊後10年目までの後方引用推移
• 対象: 小柴, 小林, 益川, 南部, 天野, 赤
崎, 中村, 梶田 (敬称略)
• 主要な関連研究 (コントロール群) に比べ被
引用数が論文発刊直後から多いペーパー
• (Hirata et al. 1987) – 小柴主要研究
ペーパー
• (Fukuda et al. 1998) – 梶田主要研究
ペーパー
• ニュートリノに係る研究2報を除き, 論文公刊
直後の被引用数はtop1%グループの中でも
特質して高い水準ではない.
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
1 2 3 4 5 6 7 8 9 10
(Hirata et al. 1987)
(Kobayashi and Masukawa 1973)
(Nanbu 1960)
(Amano et al. 1986)
(Nakamura 1991a)
(Nakamura 1991b)
(Fukuda et al. 1998)
Control Group
出所: SciREX ワーキングペーパー #5, 一橋ビジネスレビュー2017年夏号(近刊)

9. 1930s 1960s 1970s 1990s 2000s
青色LEDの発明に至る知識の流れ: 範囲: 1910-2007 (1次引用すべて導入; 上位12社明記)
1980s
 中村修二の青色LED特許を起点にして、引
用された論文および特許の後方引用を順
番に辿り作成
 IBM, Bell Telephone Laboratories, RCA
Corporation, Texas Instruments などアメリカ
の Big Firm の研究成果が1970年代に広く
蓄積される
 1970年代の後半, 東大, 日立製作所, 名古
屋大学などに知識が移転され, 日亜化学
工業の青色LEDの開発に活用される
出所: SciREX ワーキングペーパー #3 9

10. まとめ
• 革新的な研究活動が研究者コミュニティに認められるには時間を要する。
• 革新的な研究活動が社会に認められるには、更なる時間を要する。
⇒ 研究活動をどのタイミングで評価すべきか？
• 従来のイノベーション研究で用いられている科学者活動を捉えるための各種指標は、必ずしも研究活動すべ
てを網羅しているわけではない
• 研究者/研究活動の経済的効果・社会的効果を測定する手法の検討および開発が必要
⇒ 研究活動を何で評価すべきか？定量的なアプローチと定性的なアプローチを組み合わせる方法は？
• 新たなアプローチ:
• 自然言語処理による研究の新規性の解析
• Bias against Novelty in Science: A Cautionary Tale for Users of Bibliometric Indicators:
http://www.nber.org/papers/w22180
• データベース間の接合による研究者活動の網羅的な把握
• (Motohashi et al. 2017)
• SPIAS (SciREX政策形成インテリジェント支援システム)
• http://scirex.grips.ac.jp/topics/archive/160819_464.html

11. 参考: SPIAS 画面例: 研究領域ごとの関連性

12. “Data does not reflect the domain of
interest, it is need ontological level
representation (Daraio et al. 2016).”
Source: http://www.slideshare.net/OpenSciencePlatform/linking-heterogeneous-scholarly-
data-sources-in-an-interoperable-setting-the-case-of-sapientia-the-ontology-of-
multidimensional-researchdaraio

13. References
• Cinzia Daraio, Maurizio Lenzerini, Claudio Leporelli, Paolo Naggar,
Andrea Bonaccorsi, Alessandro Bartolucci (2016), The advantages of an
Ontology-Based Data Management approach: openness, interoperability
and data quality, Sciencemetrics, 108, 1, pp.441-445.
• 赤池 伸一 , 原 泰史 , 中島 沙由香 , 篠原 千枝 , 内野 隆 (2016) ノーベル賞と科学
技術イノベーション政策 : 選考プロセスと受賞者のキャリア分析, SciREX ワーキングペー
パー #03, http://id.nii.ac.jp/1295/00001397/
• 標葉隆馬 (2017) 「インパクト」を評価する―科学技術政策・研究評価―, 冷戦後の科
学技術政策の変容 : 科学技術に関する調査プロジェクト報告書（Transformation of
Science and Technology Policies in the Post-Cold War Era）, DOI:
10.11501/10314914
• 長岡貞男 (編) (2016), 『新薬創製』, 日経BP社