プログラム評価における参考指標（我が国全体の状況を把握する指標）（案）
平成30年4月13日
科学技術・学術審議会
研究計画・評価分科会
1 目的
研究開発計画では、「中目標達成状況の評価のための指標」としてアウトプット指標とアウトカム指標を設定し、文部科学省の施策の成果・進捗を測定することとしている。
プログラム評価を実施するに当たっては、これらに加え、当該分野に関する我が国全体の状況を把握するための指標を設定することで、国際比較や国内の状況を踏まえた施策の評価に資する。
2 指標の候補
可能な限り既存の資料で、各分野の研究開発の状況、研究開発による効果等を把握できるものとする。指標は、分野毎の事情に応じて最適と思われるものを選択する。
【候補1：共通の指標案】各分野の研究内容（サブジェクトカテゴリ）ごとの論文数
施策として実施した研究開発の成果としての論文数だけでなく、当該中目標に係る分野の我が国全体の論文数 を用いる。具体的には、クラリベイト・アナリティクス社（旧：トムソン・ロイター社 IP&Science 部門）のデータベースであるWeb of Science※1における各分野の研究内容（サブジェクトカテゴリ）※2の分類ごとの論文数の推移を共通の指標とする。
サブジェクトカテゴリごとの論文数は、科学技術・学術政策研究所が2年に1度公表している「科学研究のベンチマーキング」に2017年版から追加されているため、これを利用する。（参考資料2）
※1：Web of Science に収録されているのは、「ピア・レビューがあること、定期的な刊行であること、記事のタイトル、抄録、著者によるキーワードは英語で提供されていることなどにより選別されたジャーナル」である。
※2：サブジェクトカテゴリ（参考資料3）は、ジャーナルごとに付与されるもので、1ジャーナルに原則最大6つのサブジェクトカテゴリが付与される。
【候補2：中目標ごとの特性を考慮した指標案】社会・経済的に生み出される価値の内容等による指標
関係する論文が、Web of Scienceのサブジェクトカテゴリに広く浅く分散しているなどにより、サブジェクトカテゴリでは動向を把握できない分野については、研究開発の活動自体やその成果により社会・経済的に生み出される価値の内容（産業データベースや温室効果ガス排出量等）による指標を利用することも考えられる。
3 各委員会における検討結果（指標の候補案）
○情報科学技術分野
・各分野の研究内容（サブジェクトカテゴリ）ごとの論文数
「通信」「コンピューターサイエンス、人工知能」「コンピューターサイエンス、サイバネティクス」「コンピューターサイエンス、ハードウェア、アーキテクチャー」「コンピューターサイエンス、情報システム」「コンピューターサイエンス、学際的応用」「コンピューターサイエンス、ソフトウェアエンジニアリング」「コンピューターサイエンス、理論、手法」「情報科学、図書館学」「電気通信」「工学、電気電子」「数学」「統計、確率」
【情報科学技術委員会としてのコメント】
以下のような懸念があるため、指標の活用の仕方等については慎重にご検討いただきたい。
・政策が求めているような情報科学技術を用いた異分野融合、共創（Co-design）等の成果を把握できないのではないか。
・Web of Scienceが情報科学技術の分野を網羅できているとは限らないほか、カテゴライズ自体も定期的に変更されるもので、国の施策が一企業の掲げる指標に引きずられる形になるのは適当ではないのではないか。
・論文数はそもそもアウトプットであり、また、指標をそれだけに偏重することは、論文数至上主義による研究不正を誘発しかねないのではないか。
・オープンソースやオープン・プラットフォームの開発・公開が機械学習などの現在の爆発的な普及・発展を支えているように、研究成果の公表の仕方や社会への貢献の仕方は急激に変わりつつあるので、それらを適切に評価することも重要である。
○ナノテクノロジー・材料科学技術分野
・各分野の研究内容（サブジェクトカテゴリ）ごとの論文数
材料科学分野全て：「材料科学、総合」「冶金、冶金工学」「物理学、応用」「材料科学、セラミックス」「ナノ科学、ナノテクノロジ」「化学、物理」「材料科学、生体材料」「材料科学、複合材料」「物理学、凝縮物質」「材料科学、塗料、塗旗」「その他」
○量子科学技術分野
・各分野の研究内容（サブジェクトカテゴリ）ごとの論文数
「生物物理学」「化学、分析」「化学、応用」「化学、無機、核」「化学、医薬品」「化学、総合」「化学、有機」「化学、物理」「通信」「コンピューターサイエンス、人工知能」「コンピューターサイエンス、サイバネティクス」「コンピューターサイエンス、ハードウェア、アーキテクチャー」「コンピューターサイエンス、情報システム」「コンピューターサイエンス、学際的応用」「コンピューターサイエンス、ソフトウェアエンジニアリング」「コンピューターサイエンス、理論、手法」「工学、電気電子」「工学、製造」「地球化学、地球物理学」「地球科学、総合」「物質科学、総合」「光学」「薬理学、薬学」「物理学、応用」「物理学、原子、分子、化学」「物理学、凝縮物質」「物理学、流体、プラズマ」「物理学、数理」「物理学、総合」「物理学、核」「物理学、粒子、界」「機器、計装」「物質科学、特徴付け、検査」「数理生物学・計算生物学」
○環境エネルギー科学技術分野
・各分野の研究内容（サブジェクトカテゴリ）ごとの論文数
1 大目標[1]に対する中目標
「オートメーション、制御システム」「生化学、分子生物学」「生物学」「生物物理学」「バイオテクノロジ、応用微生物学」「細胞、再生医学」「細胞生物学」「化学、分析」「化学、応用」「化学、無機、核」「化学、医薬品」「化学、総合」「化学、有機」「化学、物理」「通信」「コンピューターサイエンス、人工知能」「コンピューターサイエンス、サイバネティクス」「コンピューターサイエンス、情報システム」「コンピューターサイエンス、学際的応用」「コンピューターサイエンス、ソフトウェアエンジニアリング」「コンピューターサイエンス、理論、手法」「電気化学」「エネルギー、燃料」「工学、化学」「工学、電気電子」「工学、環境」「環境科学」「環境研究」「林学」「環境、サステイナビリティ科学」「物質科学、生体材料」「物質科学、セラミックス」「物質科学、複合材料」「物質科学、総合」「物質科学、紙、木材」「物質科学、繊維」「数学」「数学、応用」「数学、学際的応用」「冶金、冶金工学」「微生物学」「複合科学」「菌類学」「ナノ科学、ナノテクノロジ」「光学」「寄生生物学」「物理学、応用」「物理学、原子、分子、化学」「物理学、数理」「物理学、総合」「物理学、粒子、界」「植物学」「リモートセンシング」「ロボット工学」「社会問題」「分光学」「電気通信」「熱力学」
2 大目標[2]に対する中目標
「農業経済学、農業政策」「化学、無機、核」「化学、総合」「化学、有機」「化学、物理」「コンピューターサイエンス、ソフトウェアエンジニアリング」「生態学」「経済学」「工学、土木」「工学、環境」「工学、地質」「工学、総合」「環境科学」「環境研究」「水産業」「地球化学、地球物理学」「地理学、自然」「地球科学、総合」「環境、サステイナビリティ科学、技術」「海洋生物学、淡水生物学」「気象学、大気科学」「複合科学」「海洋学」「物理学、応用」「物理学、原子、分子、化学」「物理学、流体、プラズマ」「物理学、数理」「物理学、総合」「植物学」「リモートセンシング」「社会問題」「社会科学、学際的」「社会科学、数学的手法」「社会学」「土壌学」「統計、確率」「熱力学」「都市研究」「水資源」
3 大目標[3]対する中目標
「農学、総合」「化学、分析」「コンピューターサイエンス、人工知能」「コンピューターサイエンス、情報システム」「コンピューターサイエンス、学際的応用」「コンピューターサイエンス、ソフトウェアエンジニアリング」「コンピューターサイエンス、理論、手法」「土木技術、建築技術」「生態学」「経済学」「工学、土木」「工学、環境」「工学、地質」「工学、産業」「工学、海洋」「環境科学」「環境研究」「水産業」「林学」「地理学」「地理学、自然」「地質学」「地球科学、総合」「環境、サステイナビリティ科学、技術」「ヘルスケア科学、サービス」「感染症」「陸水学」「海洋生物学、淡水生物学」「数学、学際的応用」「複合科学」「海洋学」「物理学、総合」「植物学」「心理学、社会」「リモートセンシング」「社会科学、学際的」「社会科学、数学的手法」「土壌学」「統計、確率」「交通運輸」「交通科学、技術」「都市研究」「水資源」「動物学」
○核融合科学技術分野
・各分野の研究内容（サブジェクトカテゴリ）ごとの論文数
「天文学、宇宙物理学」「化学、無機、核」「コンピューターサイエンス、学際的応用」「コンピューターサイエンス、理論、手法」「エネルギー、燃料」「工学、電気電子」「工学、製造」「環境科学」「環境、サステイナビリティ科学、技術」「機器、計装」「物質科学、セラミックス」「物質科学、特徴付け、検査」「物質科学、複合材料」「物質科学、総合」「力学」「ナノ科学、ナノテクノロジ」「核科学、核技術」「光学」「物理学、応用」「物理学、原子、分子、化学」「物理学、凝縮物質」「物理学、流体、プラズマ」「物理学、数理」「物理学、総合」「物理学、核」「放射線学、核医学、医用画像」「分光学」「熱力学」
○ライフサイエンス分野
・各分野の研究内容（サブジェクトカテゴリ）ごとの論文数
臨床医学分野全て：「腫瘍学」「外科学」「医学、一般医療、内科学」「心臓・循環器系」「複合科学」「放射線学、核医学、医用画像」「消化器病学、肝臓学」「小児外科学」「泌尿器学、腎臓学」「医学、研究、実験」「その他」
基礎生命科学分野全て：「生化学、分子生物学」「複合科学」「薬理学、薬学」「神経科学」「植物学」「細胞生物学」「食品科学、食品技術」「バイオテクノロジ、応用微生物学」「微生物学」「免疫学」「その他」
○脳科学分野
・各分野の研究内容（サブジェクトカテゴリ）ごとの論文数（P）
臨床医学分野全て：「腫瘍学」「外科学」「医学、一般医療、内科学」「心臓・循環器系」「複合科学」「放射線学、核医学、医用画像」「消化器病学、肝臓学」「小児外科学」「泌尿器学、腎臓学」「医学、研究、実験」「その他」
基礎生命科学分野全て：「生化学、分子生物学」「複合科学」「薬理学、薬学」「神経科学」「植物学」「細胞生物学」「食品科学、食品技術」「バイオテクノロジ、応用微生物学」「微生物学」「免疫学」「その他」
【脳科学委員会としてのコメント】
・論文の数のみに着目することは指標として不適切。インパクトファクターや引用数、掲載誌の「格」など、数に加えて質を担保する方策の検討が必要。
・単に論文数を評価指標とするのは、評価者の事業評価の権限と責務を限定的にするものではないか。
・クラリベイト・アナリティクス社のカテゴリ分けを流用して評価することは、研究の分類を外国に委ねることと同義。研究者の意識、ひいては研究の潮流にも作用する可能性がある。この重要性を認識した上で検討することが必要。
・異分野融合的な研究分野や、新たに創出される研究分野をこの指標で評価できるのか懸念する。
・論文数を指標とした場合、学術的な価値については評価の対象となるものの、経済社会的価値についての評価を欠く点は考慮が必要。
○防災科学技術委員会
・各分野の研究内容（サブジェクトカテゴリ）ごとの論文数
「地球科学、総合」「地球化学、地球物理学」「気象学、大気科学」「地理学、自然」「気象学、大気科学」「地質学」「海洋学」「複合科学」「水資源」「コンピューターサイエンス、人工知能」「コンピューターサイエンス、学際的応用」「コンピューターサイエンス、ソフトウェアエンジニアリング」「コンピューターサイエンス、ハードウェア、アーキテクチャー」「コンピューターサイエンス、情報システム」「コンピューターサイエンス、理論、手法」「力学」「音響学」「土木技術、建築技術」「工学、土木」「工学、地質」「工学、環境」「工学、海洋」「工学、電気電子」「工学、機械」「工学、船舶」「環境、サステイナビリティ科学、技術」「機器、計装」「都市研究」「リモートセンシング」「イメージングサイエンス、写真技術」「物質科学、総合」「作物栽培学」「生態学」「環境科学」「林学」「物理学、流体、プラズマ」「物理学、総合」「統計、確率」「電気通信」「行動科学」「教育学、科学分野」「社会科学、学際的」「社会科学、数学的手法」等
・引き続き、分野の特性を踏まえた適切な指標について、防災科学技術委員会での議論を踏まえて検討を進める。
○航空科学技術委員会
・航空科学技術分野においては、我が国産業の振興・国際競争力強化に資することを中目標としているため、これらの観点から我が国全体の傾向を把握できる指標とする必要がある。これは、必ずしも論文数だけで状況を把握できるものではないため、指標としては候補2（社会・経済的に生み出される価値の内容等による指標）を併用する。
・社会・経済的に生み出される価値の内容等による指標
「我が国の航空機生産（売上）高の推移」
社団法人日本航空宇宙工業会の航空宇宙産業DBより該当データを引用し、航空機産業の生産（売上）高の推移を確認する。
「航空分野の特許出願数の推移」
独立行政法人工業所有権情報・研修館が運営するwebページ（特許情報プラットフォーム）を用いて、特許庁に出願された特許のうち、国際特許分類（IPC）で航空分野に関連付けられた特許（※）の出願件数の推移を確認する。
※国際特許分類（IPC）のサブセクション「運輸」、クラス「B64（航空機 飛行 宇宙工学）」の中のサブクラスに登録している特許数
・各分野の研究内容（サブジェクトカテゴリ）ごとの論文数
Web of Science の航空科学技術に関連する論文としてのサブジェクトカテゴリは「工学・航空宇宙」等が挙げられるが、当該分野には航空だけでなく、宇宙など航空関連以外の論文も含まれている。このため、Web of Science に登録されている全論文の中から、航空関連の論文と推測されるもの（「Aircraft」、「Aeronautics」、「Helicopter」、「Micro air vehicle」、「Jet engine」等の用語が論文タイトル、概要、キーワード等に用いられている論文）を抽出し、推移を確認する。
○原子力科学技術委員会【検討中】
・原子力科学技術分野の今後の主要事項として、研究開発計画においても下記のとおり取り上げられている。
＜今後の主要事項＞
●福島第一原子力発電所事故の対処に係る、廃炉等の研究開発
●原子力の安全性向上に向けた研究
●原子力の基礎基盤研究
●高速炉の研究開発
●放射性廃棄物の処理・処分に関する研究開発等
●原子力施設に関する新規制基準への対応等
●核不拡散・各セキュリティに資する技術開発等
・研究炉等の研究施設の運転再開に向けた取組や、今後原子力分野の主要な部分のひとつとなる施設の廃止措置の取組、復興促進に寄与する除染や福島第一原子力発電所の廃炉の取組等は、必ずしも論文数だけで状況を把握できるものではないため、各事項の特性に鑑み、指標としては候補2（社会・経済的に生み出される価値の内容等による指標）が適当であると考える。
・また、原子力科学技術分野は、多様な研究の基盤を支えるものであり、構造材料等の材料科学分野、シミュレーション等の計算機・数学分野、復興支援等、広分野に裨益することも踏まえた評価を行う必要がある。そのため、論文数による指標を設定する場合であっても、多様な分野の広がりと融合に留意。
・引き続き、分野の特性を踏まえた適切な指標について、原子力科学技術委員会での議論を踏まえて検討を進める。
4 指標の活用及び留意点
サブジェクトカテゴリごとの論文数【候補1】は、「科学研究のベンチマーキング」が2年に1度公表された際に、全分野の状況を事務局（企画評価課）から当分科会及び各委員会に報告することとする。
サブジェクトカテゴリごとの論文数【候補1】を活用する場合は、「中目標達成のために重点的に推進すべき研究開発の取組」が関与するサブジェクトカテゴリごとの論文数の国際比較や状況の変化を確認することにより、研究開発の取組の寄与度について評価する。
研究開発プログラム評価においては、当該分野の状況を俯瞰し、当該分野の国際比較や国内における研究開発や産業・経済への貢献の観点についても検討するための参考指標として活用する。
我が国全体の状況を把握する指標候補については、（5）のような課題があることから、各委員会においては、これら以外にも、他の定量的なデータ、国際的な学会の情報等から、研究開発の特性や規模に応じて、対象となる研究開発の国際水準を踏まえた評価を実施する。
実際に指標を活用する場合には以下の点に留意する。
1 【候補1】、【候補2】共通の留意点
・研究開発の成果・効果となるまで時差があり、施策の実施の影響が含まれた状況とは異なっている可能性がある。
・指標の設定根拠や評価においての活用方法を明らかにしておく必要がある。
2 【候補1】の留意点
・施策の対象としている研究開発について、特定のサブジェクトカテゴリで範囲を押さえることができるものとできないものがあるなど、関係に濃淡があり、どのカテゴリまでを含めるべきか判断が難しい。
・異分野との融合を積極的に進める分野、新興領域が次々に生まれる分野などは、関係するサブジェクトカテゴリをあらかじめ決めておくことが難しい。
3 【候補2】の留意点
・研究分野によって、施策の結果が実用化、産業化に結びつくまでの過程に遠近や施策の対象とする主体以外の主体の影響の違いが大きい。
・景気、為替レートの外部要因の影響を受けやすい。
上記のような課題があるものの、プログラム評価の実施に当たって、中目標ごとの特性に応じて我が国全体の状況を把握するためのアウトカム指標を試行的に設定し、参考指標として、国際比較や国内の状況を踏まえた施策の評価に活用して行くこととする。
5 プログラム評価における指標の取扱い
我が国全体の状況を把握する指標は試行的に導入するものであり、各委員会及び分科会においては、3の参考指標案を国際比較や国内状況の把握に活用しながらプログラム評価を実施し、その中で状況を見ながら、別の指標やより良い評価の方法を検討して、段階的に充実化を図っていくものとする。
研究振興局参事官（ナノテクノロジー・物質・材料担当）付