平成29年12月22日（金曜日）14時～16時
文部科学省3階3F1特別会議室
東京都千代田区霞が関3-2-2
大垣分科会長、栗原分科会長代理、甲斐委員、春日委員、辻委員、雨宮委員、五十嵐委員、小川委員、長我部委員、北川委員、高梨委員、田中委員、土井委員、永井委員、長谷山委員、樋口委員、山口委員、李家委員
信濃大臣官房審議官、勝野科学技術・学術総括官、藤吉研究開発局環境エネルギー課長、松岡科学技術・学術政策局企画評価課長、坂本研究開発局宇宙開発利用課課長補佐、國分科学技術・学術政策局企画評価課課長補佐
【大垣分科会長】 それでは、年末の大変お忙しいところをお集まりいただき、ありがとうございます。ただいまから、第63回科学技術・学術審議会研究計画・評価分科会を開催いたします。
議事に入る前に、配付資料等について、事務局から説明をお願いいたします。
【國分企画評価課課長補佐】 科学技術・学術政策局企画評価課の國分でございます。
本日は、研究計画・評価分科会の委員・臨時委員25名のうち、現時点で17名に御出席いただき、科学技術・学術審議会令第8条に定める定足数の過半数を満たすことを御報告いたします。
なお、山口委員につきましては、三、四十分遅れるとの御連絡を頂いております。
また、今回はタブレットPCを御用意しており、可能な範囲でペーパーレス会議を実施させていただきます。本日の配付資料については、お手元にお配りしている議事次第の裏面、配付資料一覧のとおりで、全ての資料はタブレットPCでも御覧いただけますが、議題1、2の資料につきましては、紙でもお配りしております。
タブレットPCですが、卓上にスタンドを立てた状態で置いてございます。スタンドの角度は自由に変えられるようになっております。なお、タブレットPCに不具合が生じた場合や操作方法が不明な場合等は、挙手していただければお伺いしますので、適宜お申し付けください。
以上です。
【大垣分科会長】 新しいシステムになっているようですが。
それでは、議事に入ります。
議題1は、「研究開発計画における指標の再検討について」であります。まずは、事務局から、資料について説明をお願いいたします。
【國分企画評価課課長補佐】 お手元に紙の資料1－1、1－2、タブレットにつきましては、参考資料1を開いておいていただけますでしょうか。
研究開発計画における指標の再検討について、御説明申し上げます。
まず1番、これまでの経緯でございます。研究開発計画において、第5期科学技術基本計画を踏まえまして、「中目標達成状況の評価のための指標」としてアウトプット指標、アウトカム指標を検討し設定いたしました。検討過程で、指標に統一性がない（例えば、中目標によって特許数がアウトプット指標に記載してあったり、アウトカム指標に記載してあったりする。）などの指摘があり、研究開発計画策定後に引き続き検討することとしているところです。
また、その後、文部科学省の政策評価において施策ロジックモデル、参考資料1になりますが、こちらを作成したところ、施策によって、指標が対応していないと考えられるものやアウトカム指標の粒度に違いがあることが明らかになりました。
さらに、「中目標達成状況の評価のための指標」は、文部科学省の実施した事業に限定されておりますが、施策の継続や見直しを検討するプログラム評価を実施し、PDCAサイクルを効果的に回していくためには、文部科学省の施策の成果・進捗のみではなく、当該分野に関する我が国全体の状況を把握することが必要ではないかという御指摘がございました。
前回いただいた主な意見を2にまとめてございます。（1）から（5）までございまして、1つ目は、論文数や特許数等定量的な指標に偏りすぎると、数を出せばよいという風潮になる危険性がある。
2つ目としまして、定性的な指標（例えば、国際的プレゼンス）といったものをどう測定するのかという議論をむしろするべきではないか。
3つ目、指標には国際的に比較のできるベンチマークとしての視点が必要ではないか。
4つ目、指標は、中目標ごとに共通の考え方で設定するのがよいか、中目標ごとにその特性を踏まえて、それぞれの委員会で検討いただくのがよいのか。
5つ目、論文数や特許数のように時差のあるものを指標とする場合、どのように利用するかといったような御意見がございました。
3番目に、検討すべき事項としまして、大きく2つにまとめてございます。それぞれの御意見をどこに反映しているかを、後ろに括弧書きで付けてございます。
まず1つ目としましては、我が国全体の状況を把握するアウトカム指標の設定でございます。もう一つは、研究開発計画のアウトプット指標、アウトカム指標の見直しでございます。
このうち2つ目の研究開発計画のアウトプット指標、アウトカム指標につきましては、今後、引き続き専門家の意見等を聞きながら検討してまいることとしまして、本日は、我が国全体の状況を把握するアウトカム指標の設定について議論していただきたいと思います。
では、1枚おめくりいただきまして、資料1－2をお手元に御準備いただけますでしょうか。次に、タブレットの参考資料2を開いていただければと存じます。
研究計画・評価分科会における我が国全体の状況を把握するアウトカム指標についての案でございます。今回これを決定するものではなく、今後、本日の議論を踏まえ、各委員会で検討していただく際に御使用いただきたいと思っておる資料でございます。
まず、我が国全体の状況を把握するアウトカム指標の設定の目的です。「中目標達成状況の評価のための指標」としてアウトプット指標とアウトカム指標を設定しまして、文部科学省の施策の成果・進捗を測定することとしておりますが、プログラム評価を実施するに当たっては、これらに加えまして、当該分野に関する我が国全体の状況を把握するための指標を設定することで、国際比較、国内の状況を踏まえた施策の評価に資するということを目的としております。
論点としましては、2つ、1つ目が、国際比較ができることを前提とした指標のレベル感（例えば、研究開発活動に近い成果物である論文数や特許数がよいのか、研究開発活動から発展して効果として現れる、特許実施料収入、あるいは、関連する産業の売上高等がよいか。）2つ目が、統一的な指標とすべきか、統一性にこだわらず中目標ごとの特性に応じた指標とするかというところが論点になってくるかと存じます。
事務局と各委員会事務局で、前回の計評分科会の後に打合せをさせていただきまして、指標の候補としまして、大きく2つ、挙げさせていただきました。指標の候補としましては、可能な限り既存の資料で、各分野の研究開発の状況、研究開発による効果等を把握できるものとします。指標は、分野ごとの事情に応じて最適と思われるものを選択するということで、別紙に付けております。
候補の1つ目は、共通の指標案として使えないかと事務局として御提案したいのが、各分野の研究内容（サブジェクトカテゴリ）ごとの論文数でございます。このサブジェクトカテゴリと申しますのは、詳細な分野の情報でございまして、具体的には、クラリベイト・アナリティクス社のデータベースであるWeb of Scienceにおいて各分野の研究内容の詳細な分野情報としてサブジェクトカテゴリが設定されておりますので、この分類ごとの論文数を共通の指標として使えないかと考えております。
このサブジェクトカテゴリごとの論文数ですが、こちらは科学技術・学術政策研究所が2年に1度公表している「科学研究のベンチマーキング」におきまして2017年版から追加されておりますので、これを利用することを考えております。
具体的な資料としましては、参考資料2を御覧いただきますと、これが科学技術・学術政策研究所が発行している「科学研究のベンチマーキング」から抜粋したものでございます。図表90を御覧いただきますと、分野ごとに、化学、材料科学、物理学、計算機・数学とございますが、その中にサブジェクトカテゴリとして、ここでは大きく上位の10個しか書いてございませんが、このように化学で言うと、総合、物理、有機、工学、高分子科学、化学、分析といったように、その分野の中でも更に詳細に分けたものがサブジェクトカテゴリでございます。
このサブジェクトカテゴリですが、ジャーナルごとに付与されておりまして、1ジャーナルに原則最大6つのサブジェクトカテゴリが付与されるということになってございます。これが1つ目の候補でございます。
次に、候補2としまして、中目標ごとの特性を考慮した指標の案でございます。社会・経済的に生み出される価値の内容等による指標を使えないかと考えてございます。
例えば、その分野の関係する論文が、Web of Scienceのサブジェクトカテゴリに広く浅く分散している等により、サブジェクトカテゴリでは動向を把握できない分野については、研究開発の活動自体やその成果により社会・経済的に生み出される価値の内容（例えば、産業データベース、あるいは、温室効果ガスの排出量等）による指標を利用することも考えられます。
今、候補1と2を御説明申し上げましたが、その次のページ、別紙の方に、それぞれ例を記載してございます。サブジェクトカテゴリの例で申しますと、例えば、一番上の情報科学技術分野で言いますと、「通信」「コンピューターサイエンス、人工知能」「コンピューターサイエンス、サイバネティクス」といったように、これはこれから各委員会で議論していただくことになりますが、自分の取り組んでいる施策に関与する分野を選んでいただいて、その論文数を把握していくということを考えております。
別紙の次のページを御覧いただきますと、候補2としまして、社会・経済的に生み出される価値の内容等による指標とする場合の例を挙げてございます。こちら、航空科学技術分野と環境エネルギー科学技術分野の2つを例に挙げさせていただきました。
例えば、航空科学技術分野ですと、「科学研究のベンチマーキング」のサブジェクトカテゴリには航空分野のみの動向を把握できるものがないということで、候補としまして、我が国の航空機の生産（売上）高の長期推移、こちらは更に別添として、次のページに付けてございますが、こういったものが使えないかと考えております。
もう一つは、環境エネルギー科学技術分野におきまして、温室効果ガスの削減の取組に関与する分野はかなり多岐にわたりますので、日本の温室効果ガスの排出量を使用するということにしてはどうかという御提案でございます。
ページを戻っていただきまして、4番の留意点にお戻りいただけますでしょうか。
この候補1と候補2の共通の留意点としましては、研究開発の成果・効果となるまで時差がありますので、施策の実施の影響が含まれた状況とは異なっている可能性があるということがございます。
また、もう一つ、その指標をなぜ使うのかということで、指標の設定根拠、あるいは、評価においての活用方法をあらかじめ明らかにしておく必要があるということでございます。
候補1、サブジェクトカテゴリを使う場合の留意点ですが、施策の対象としている研究開発とサブジェクトカテゴリの関係に濃淡がございますので、どのカテゴリまでを含めるのか判断が難しいという問題がございます。
異分野との融合を積極的に進める分野や新興領域が次々に生まれる分野などは、関係するサブジェクトカテゴリをあらかじめ決めておくことが難しいという問題がございます。
次に、候補2の留意点でございます。研究分野によって、施策の結果が実用化、産業化に結びつくまでの過程に遠近や施策の対象とする主体以外の主体の影響の違いが大きいという問題がございます。
売上高等ですと、景気、為替レートの外部要因の影響を受けやすいといったことに留意する必要があります。
こういった課題はあるのですが、プログラム評価の実施に当たっては、中目標ごとの特性に応じて我が国全体の状況を把握するためのアウトカム指標を試行的に設定いたしまして、参考指標として、国際比較や国内の状況を踏まえた施策の評価に活用していくこととしてはどうかということを御議論いただきたいと存じます。
次に、指標の活用、どのように活用すると考えているかを御説明いたします。
5の（1）、サブジェクトカテゴリごとの論文数は、「科学研究のベンチマーキング」が2年に1度公表された際に、全分野の状況を私ども事務局から当分科会及び傘下の各委員会に報告させていただきたいと存じます。
次に、サブジェクトカテゴリごとの論文数を活用する場合ですが、「中目標達成のために重点的に推進すべき研究開発の取組」が関与するサブジェクトカテゴリを選んでいただきまして、そちらの論文数の国際比較や状況の変化といったことを確認することによって、研究開発の取組の寄与度について評価するということに使いたいと思っております。
3つ目、研究開発のプログラム評価においては、当該分野の状況を俯瞰（ふかん）し、当該分野の国際比較、国内における研究開発や産業・経済への貢献の観点についても検討するための参考指標として活用したいと考えております。
4つ目、我が国全体の状況を把握する指標候補については、4で示しましたような課題があることから、各委員会においては、これら以外にも、他の定量的なデータ、専門家の方がそろっていらっしゃいますので、国際的な学会の情報等、最新の情報を踏まえまして、研究開発の特性や規模に応じて、対象となる研究開発の国際水準を踏まえた評価を実施していただきたいと考えております。
今後ですが、我が国全体の状況を把握するための指標を今回候補で試行的に設定して活用することについて、特に反対の御意見がなければ、次回の計評分科会までに、各委員会において候補を御検討いただきたいと考えてございます。
事務局からは以上です。
【大垣分科会長】 ありがとうございました。
今回は、今説明がありましたように、研究開発計画に記載の指標の問題点について事務局で整理いただき、日本全体の状況を把握する指標を設定する必要性について説明いただきました。具体的な指標の候補の提案説明もありましたので、それらも含めて、今の説明について御質問あるいは御意見等を頂きたいと思います。いかがでしょうか。よろしくお願いいたします。
それでは、お願いします。
【北川委員】 参考資料をお示しいただいて、分野ごとの比較とか、国際的な他の国とか全体との比較で数字が出ていますが、それをどう使うかが大事だと思うのですが、そこがよく分からなかったので。
【國分企画評価課課長補佐】 分野ごとによっても、例えば、情報科学技術分野で言いますと、人工知能の部分であったり、情報システムの部分であったり、学際的応用といった部分、いろいろたくさんあると思うのですが、このサブジェクトカテゴリのいいところは、情報という1つの単位ではなくて、更にその他の細かい分野まで見られるということです。例えば、研究開発計画で、文部科学省の取組としては、例えば、学際的応用と情報システムに今力を入れていますといった場合に、その分野の論文の創出状況を確認できるといったような――情報分野で広く見てしまうと、情報全体の動きしか見えないのですが、サブジェクトカテゴリで見ると、もう少し細かく見ることができますので、それによって、日本の状況が今どうなっているのか、文部科学省の取組というところが伸びてきているのか、伸びてきていないのか、世界の状況を見たらどうなのか。世界の状況としては、もっと違うところがものすごく伸びてきているので、次に打つ施策としては、そちらについても着目して、研究開発計画を少し修正すべきではないかといったことに使っていただきたいと考えております。
【大垣分科会長】 どうぞ。
【北川委員】 よく分かりました。情報科学技術委員会でも、小さな分野に分けて見たりしております。
ただ、AI等を見ていれば分かるように、ある分野が急速に伸びてくることがあるので、事後的に評価する方は良いですが、それをもって次の施策を考えていくと、かなり遅れる可能性があるので、その辺、御注意いただければと思います。
【大垣分科会長】 ありがとうございます。
ほかにはいかがでしょうか。どうぞ。
【土井委員】 いろいろ検討していただいて、ありがとうございます。
このサブジェクトカテゴリで考えるというのは、確かにその考え方はあると思うのですが、例えば、今の別紙のところを見ていただくと、情報科学技術のところで出てくるサブジェクトカテゴリは、人工知能なり、コンピューターサイエンスなり、そういうものが他の分野でも使われますよね。いや、それは当然なのであって、要は、今、ディープラーニングとか、そういうのを使って、いろいろな材料とか、いろいろなところ、ゲノムの解析とかやっているので、それは当然なのですが、それを使ってその分野が伸びているかという話をすると、またちょっと違うような気もするのですよね。
だから、人工知能、コンピューターサイエンスというところを考えるのは、それはそれでいいと思うのですが、それが、例えば、量子科学なり、環境なり、防災なりというところと、もちろん、直接防災に関わっているもの、量子科学に関わっているものもあるかもしれないのですが、そうではないものもあるのですよね。なので、そういう基礎的な分野のサブジェクトカテゴリをどこに含めるかというのは、すごく難しいですよね。
だから、応用の分野は、たくさんそういうものをやれば、それだけ見かけの論文数は増えていくわけで。変な話ですが。それは、そういうことを意図されているわけではないと思うのですが、そのあたりのことはどのように考えればいいのかというのが、今の御説明の中で分からなかったのですが。
【國分企画評価課課長補佐】 私どもとしましても、これはまだやったことがないので、どういうふうに使っていけるかどうかというところも、各委員会で、例えば、うちの分野では、このサブジェクトカテゴリを使っても何の役にも立たないということであれば、もうそれは使う意味がないということにはなると思います。確かに、ナノテクノロジーさんですとか、量子さんなどは幅広く関わってくると思いますので、サブジェクトカテゴリを拾っても何も言えないと。数字が並んでいるが、これを見たからといって何も言えるものではないというようなことは、出てくる可能性はあると思います。ですので、各委員会において、どういった指標を使ったらいいのかというのも含めて、御検討いただきたいと思っています。
【土井委員】 そのときに、絶対数を重視されているのですか。それとも、そのサブジェクトカテゴリでやったところの変化を重視されているのですか。そのあたりが、サブジェクトカテゴリの論文数をどう使われるのかというところが具体的に分からないので、少なくともそれはもう少し具体的にしていただかないと、それぞれの分野で理解の仕方が異なると、異なってもいいという考え方もあるかもしれませんが、でも、逆に、そうなってしまうと、せっかくサブジェクトカテゴリで検討してみましょうと言っていることがなし崩しになってしまいますので、もう少し具体的にお示しいただけると有り難いかなと思いますが、いかがでしょうか。
【國分企画評価課課長補佐】 私ども、議論にございましたように、数にこだわってしまうと、論文の数を出せばいいのかという話になってしまう。それは望むところではないと。研究の質を上げていただく方が重要でございますので、絶対数で見ていくというよりは、状況の推移を、変化を見る、あとは、国際比較をして、動向を国際比較と比較しながら見るといったことに使っていくと考えておりますが、こちらにつきましても、各委員会等の意見も聞きながら検討してまいりたいと思います。
【土井委員】 すみません、重ねてで。
だとすると、今のお話だと、資料1－2の3の候補1の3行目と4行目のところに線が引いてございますが、論文数を共通の指標とするということではなく、今言っていただいたような、その分野での論文数の変化の状況とか国際比較を共通の指標とすると明確に書いていただいた方が、その真意が伝わるのではないかと考えますが、いかがでしょうか。
【國分企画評価課課長補佐】 修正させていただきたいと思います。ありがとうございます。
【土井委員】 どうもありがとうございます。
【大垣分科会長】 ありがとうございました。
田中委員、どうぞ。
【田中委員】 不勉強なので教えていただきたいのですが、このWeb of Scienceのサブジェクトカテゴリというのが、全体的にどういうカテゴリがあるのか。具体的に何が含まれているというのかどうかを確認させていただきたい。
【國分企画評価課課長補佐】 こちら、参考資料3に、実際のサブジェクトカテゴリの一覧をお示ししております。アルファベット順で、分野ごとに分かれていないので、少し見づらいですが、200以上のサブジェクトカテゴリがございます。
【田中委員】 ありがとうございます。
そうすると、少なくともこの4ページに挙げられているようなサブジェクトカテゴリがあるということを前提に考えると、今、研究開発全体として、サイエンスコミュニケーションとか社会的要請みたいな話が出てきています。それぞれの分野で、それに関連する領域で頑張っている方が全然評価されない、あるいは、そういう分野というのが、研究開発では言っておきながら、余り出てきにくいという側面があるのではないかという気がいたしますが、その辺はどう考えればよろしいのでしょうか。
【國分企画評価課課長補佐】 社会的にどのように貢献しているのかという部分の評価について、このサブジェクトカテゴリの評価等では見落とされるのではないかということだと思いますが、次の議題のプログラム評価の方で、指標以外の評価、定性的な評価の部分について御説明したいと考えております。そちらの方で御説明させていただくということでよろしいでしょうか。
【田中委員】 そちらの方で議論いただければいいかもしれませんけれども、もっと具体的に言うと、ここで防災科学技術分野というのが、比較的理学系・工学系研究から、工学・社会科学というものに対しての研究の幅のシフトをかなり促すような立て方をしているのですね。同様に、全般的に他の研究分野でもサイエンスコミュニケーションみたいなものに力点を置かれた計画になっていたと記憶しているので、そこは当然、単なる社会的な貢献とかではなくて、研究領域全体として、関連研究のウエートというのを高める・高めない、あるいは、きちんと基礎研究としても位置づけるという発想が要るのではないかという趣旨だったということだけ申し上げておきます。
【大垣分科会長】 それはサブジェクトカテゴリを、そういう分野を評価の中に入れ込んでいけばいいのではないかと思いますが、そうでもないですか。
【田中委員】 多分、そういうふうにもしするなら、された方がよいのかなという気がしたということです。
【國分企画評価課課長補佐】 こちら、クラリベイト・アナリティクス社が決めているものなので、こちらで加えることはできませんが、そういう分野、カテゴリがないかどうかも含めて、こちらとしても調べておきたいと思います。
【大垣分科会長】 栗原委員。
【栗原分科会長代理】 評価ということで、指標について工夫して御提案いただきありがとうございます。
それで、この留意点の4に書かれていることは、非常に重要なことではないかと思います。具体的に私たちがよく関わっているナノテクノロジーの分野ですが、今ここでキーワードに書かれているのは、主に材料科学のところのキーワードですが、例えば、化学もナノテクノロジーは非常に密接に関係しているのですが、ここにある化学のサブジェクトカテゴリには、物理化学、有機化学、化学工学という、本当に従来の学術の分類がそのまま書いてありまして、今のような先端的な研究の動向には余りなじまないものというように感じます。
ですから、留意点にもう既に書かれているところですけれども、新しい研究領域のようなもののキーワードが、本当にWeb of Scienceのカテゴリを用いるので適当なものが多いのか。特に文部科学省の多くの施策には先端的なものが多いはずですので、従来型あるいはそれに近いものを主要軸として使うということに関しては、かなり使い方に気をつけなければいけない可能性が大きいと思います。
それに対して、科学技術・学術政策研究所では、こういうカテゴリを使ったときに、カテゴリ間の近接性などを御検討だと理解しているのですが、そういうものを見て、もう少し細かい解析ができるのであれば、このデータベースを使ってどのように解析されているのかというような情報交換させていただけると、よりいい形が出てくるのかなと思います。補完的な視点が出てくると、大変幸いだと思います。
また、指標の活用の（4）の、これも留意点ですが、分野ごとに適切な指標を考えるということはやはり大事だと思います。定量的・機械的な視点で評価するというのはある意味で簡単ですし、客観性という意味では高いかもしれないですが、それぞれの研究の方向性とか目的に対して適切かということに関しては、やはり両面から指標を見ていくという意味で、（4）の部分をより大事にそれぞれの委員会で御検討いただきたいと、この委員会としては希望を出していただければと思います。
以上です。
【大垣分科会長】 ありがとうございます。
永井委員。
【永井委員】 私は厚生労働省の6つのナショナルセンターの評価委員長を六、七年担当しております。法人化のときにお願いしたのは、Web of Scienceを使って、いろんなデータを出していただきたいということです。その年の論文が何回引用されたかということです。これは放物線のようなカーブになります。このカーブを見ると、大体のアクティビティは分かります。使い方にはもちろん気をつけないといけませんし、ミクロで見る場合とマクロで見る場合、いろいろ考え方はあろうかと思います。しかし我が国全体の論文が今年何回引用されたかを毎年追っていけば、大体どの研究施設が活性化しているかは分かるはずです。
【大垣分科会長】 ありがとうございます。どうぞ。
【長我部委員】 指標として候補1と2が挙げられていて、1つ目が今話題になっているサブジェクトカテゴリです。候補2に関しては、ここにもありますように、かなり時間的にもラグがあるし、研究活動だけではなくて、ほかにも交絡（こうらく）因子がいろいろ入ってきます。PDCAを回すという観点においては、候補2は、どの時点で本当にフィードバックを掛けたら良いかが非常に難しくなるはずです。そうしますと、本来、候補1のような手前の指標で測ることが原則ではないかと思います。本来であれば、候補1のサブジェクトカテゴリごとの論文のアクティビティが候補2の指標である、研究開発後の社会・経済のファクターとどういう相関があるかということを、過去の例から評価しておく。すると、効果予測もできるわけです。このようなことが、本当は候補2の使い方かと思います。従って、候補2は、使い方をよく考えないと、短絡的にPDCAを回してしまい、誤ったフィードバックをかけるおそれがあるので、少し慎重に考えた方がいいのではないでしょうか。
【大垣分科会長】 ありがとうございます。
ほかには、御意見いかがでしょうか。よろしいですか。
それでは、ありがとうございました。
本件につきましては、ただいま頂いた御意見を踏まえて、分野ごとの委員会において指標の候補を検討していただき、事務局が集約の上、次回の分科会において改めて議論させていただければと思います。どうぞ。
【田中委員】 蒸し返すようですが、このサブジェクトカテゴリで拾い上げてきたときに、そのサブジェクトカテゴリごとにというか、今、200ぐらいとおっしゃっていましたけど、それの件数を全部集めるということなのでしょうか。その中のある特定のキーワードを掛けるということでしょうか。
【國分企画評価課課長補佐】 各委員会で選んでいただいたサブジェクトカテゴリについて、数をお示しするということを考えております。
【田中委員】 それをやると、多分、防災分野は、カテゴリが非常に増えてしまうんですよね。例えば、地震の断層モデルを考える上での下限域を決めるときなんかに、例えば、それは岩石学が入ってくる。それを鉱物全体の研究数が全部防災ですとは言えない。
【栗原分科会長代理】 それは化学もそうなのです。
【田中委員】 ですよね。
そういう意味では防災は、見かけ大きくなってしまう危険性があるので、これはかなり議論になってしまうという気がします。例えば、3・11で倫理学など多様な学問領域が入ってきておりますので、そこはあらかじめ議論になるなというので、確認させていただきました。
【大垣分科会長】 多分、そこはやはり各委員会でその問題点を示していただいて、あとはまた工夫をするということになるのではないかと思いますが。
では、取りまとめを事務局でお願いいたします。
それでは、議題2に移ります。「研究開発プログラム評価の実施方法について」であります。
まず、事務局から、資料について説明をお願いいたします。
【國分企画評価課課長補佐】 では、お手元に紙の資料の2－1と2－2、タブレットは参考資料4を御準備いただけますでしょうか。
では、研究開発プログラム評価の実施方法について、御説明申し上げます。
研究開発プログラム評価の目的ですが、文部科学省の取組が施策目標の意図する報告に進んでいるかを、研究開発プログラム単位で研究開発過程の有効性や効率性を確認し評価することで、研究開発プログラムの改善、研究開発の質の向上や計画の見直し等につなげる。研究開発プログラムは、中目標の単位での活動のまとまりを考えてございます。
前回までの主な議論としまして、大きく2つに分けて記載させていただいております。1つが方向性、もう一つが前回頂いた主な意見ということでまとめさせていただきました。
まず全体の方向性ですが、「国の研究開発評価に関する大綱的指針」及び「文部科学省における研究及び開発に関する評価指針」に基づきまして、当分科会においてプログラム評価を実施する。
2つ目、研究開発計画の中目標の単位を「活動のまとまり」として研究開発プログラム評価を実施し、中目標の達成度合いの判定を行う。
3つ目、評価は、必要性、有効性、効率性の観点から行う。
4つ目、次の施策につながる成果（実施したプロセスの妥当性、副次的成果、若手研究者の育成等）を幅広い視野から捉える。
5つ目、評価は、まず各委員会が行い、その結果を当分科会でも審議した上で決定する。これは個別の課題評価と同じ方法にしたいと考えているということでございます。
6つ目、評価票の様式は、作成する負担を軽減するため、政策評価の事後評価書の利用を検討したいと考えております。政策評価の事後評価書が、参考資料4でございます。
次に、前回頂いた主な意見でございます。
政策評価とプログラム評価の関係や実施の順番について整理が必要ではないかという御意見。
政策評価における有識者の意見等はプログラム評価に反映されないのかという御意見。
プログラム評価の結果をどこにフィードバックするのか明確にする必要がある。
プログラム評価の結果が悪かったからといって、目標も悪いとは限らないので注意が必要であるというような御意見を頂きました。
これらにつきましては、現在、政策評価の計画の5年に1度の大きな見直しが検討されているところでございまして、こちらも踏まえまして、次回以降議論させていただきたいと考えております。
今、検討が必要な事項としまして、3にまとめてございます。（1）から（6）までございますが、今回は2の（1）で今まで大きな方向性を決めてきたところ、ここについて今回審議いただきたいと思います。具体的には、プログラム評価の実施時期ですとか、評価票の様式、評価項目、評価基準といったところについて、御意見を賜れればと思います。次回以降、評価の実施体制ですとか、評価結果の活用、評価に当たっての留意事項という部分を、政策評価の方の計画を踏まえながら、また御議論いただきたいと考えてございます。
では、次に、資料2－2を御準備いただけますでしょうか。研究開発プログラム評価方法の案でございます。
評価の単位につきましては、先ほども申し上げましたように、研究開発計画の「大目標達成のために必要な中目標」を単位としたいと考えてございます。
評価の時期ですが、中間評価と事後評価を実施することといたしまして、中間評価は研究開発計画の策定後2～4年後を目安に実施いたしまして、研究開発計画の遂行状況の確認、計画の見直し等に活用するとともに、次期科学技術基本計画及び次期研究開発計画に反映したいと考えております。事後評価は、適切な時期に実施するということで、現段階では、まずは中間評価について検討したいと考えてございます。
評価票の様式ですが、次のページから添付してございます。
評価項目、評価基準につきましては、さらに、この様式の後ろに付けてございまして、「研究開発プログラム評価における評価項目及び評価基準（案）」として、別紙の6ページと7ページ、「目標達成度合いの測定結果の判定について（案）」として、9ページ目に記載してございます。
評価の観点としましては、文部科学省の評価指針等に基づきまして、必要性、有効性、効率性としまして、研究開発計画に記載のアウトカム指標等も活用の上、中目標に関する達成度合いを総合的に判定したいと考えてございます。
その他、評価の実施体制、評価結果の活用、評価に当たっての留意事項といったところにつきましては、政策評価の見直しに合わせまして、今後検討していきたいと考えてございます。
では、評価票の様式を御覧いただきたいと存じます。1ページおめくりいただけますでしょうか。研究開発プログラム評価票（案）でございます。
こちらにつきましては、政策評価の様式をベースに作ってございます。政策評価の様式との整理を引き続き検討しなければいけないところでございますが、今回、政策評価の現時点版の様式をベースに作っております。
ざっと御覧いただきますと、黄色に色が付いている部分がございます。この黄色に色を付けている部分が、政策評価の事後評価票、参考資料として4に示しているものですが、こちらにはなくて、かつ、今回御意見を賜りたい部分でございます。
では、頭の方から御覧いただきたいと思います。
こちら、前半につきましては、文言は政策評価とは違うのですが、記載する内容としては同じになってございます。研究開発計画の中で設定しているアウトカム指標が、左端のアウトカム指標として入ってくるということになります。
次のページに行っていただきまして、こちらが先ほど議論いたしました、我が国全体の状況を把握するための指標というのを、政策評価には欄がないのですけれども、ここに参考指標として記載する欄を作ってはどうかと考えてございます。
その次に、1つ飛ばしまして、中目標に関する評価結果の部分でございます。こちら、政策評価の方は、この中目標がたくさん集まったものが一つの施策の評価結果として判定されるのですが、計評分科会におきましては、中目標単位で評価をいたしますので、中目標ごとに評価結果を記載する、委員会ごとに記載するというイメージで作成しております。
中目標達成度合いの測定結果という部分は、政策評価と共通でございます。
その下に総合評価というものを加えさせていただきました。というのは、政策評価の方は、政策の達成目標が達成されたか・されていないかという視点のみの評価になります。なので、研究開発の特徴といたしまして、意図していた目標ではなかったけれども、副次的な効果としてすばらしい成果があったといったようなものが出てくるといった特徴がございますので、政策評価とは完全に一致はさせず、総合評価としまして、中目標の達成度合いだけではなく、総括的な分析、研究開発の企画・推進・評価を行う上で留意すべき推進方策への対応状況、その他定性的な評価を総合的に評価した結果を簡潔に、中目標の達成度合いの測定結果と併せてすぐに見えるところに記載してはどうかということで、させていただきました。
1ページおめくりいただきますと、この総合評価の基になる材料が、ここから以降でございます。
総括的な分析としましては、必要性・有効性・効率性ということで、ここは政策評価と共通の項目でございます。こちらにつきましては、必要性の項目、あるいは、判定といったところを、別紙の項目から選んで、選ばずに独自に設定してもいいのですが、記載いただくということを考えてございます。
必要性・有効性・効率性の項目ですけれども、別紙を御覧いただけますでしょうか。こちらに評価項目と評価基準の案を記載いたしました。評価項目の1、2、3とございまして、それぞれ必要性・有効性・効率性と分けてございます。
必要性に関する評価項目ですが、こちらは文部科学省における研究及び開発に関する評価指針の中で例として挙げられているものを、そのまま記載してございます。こういったことを参考に、適切な評価項目を設定していただきたいと考えてございます。
評価基準としては、A、B、Cの3段階を考えてございまして、必要性が高まっている、必要性がある、必要性は低下しているという3段階で評価することを考えてございます。有効性・効率性についても、同様に3段階で評価することを考えてございます。
こちらの項目をこの欄に記載いただきまして、判定も、A、B、Cで右端の方に記載いただくということになります。
必要性の部分については、評価項目について評価するとともに、プログラムの継続の可否、見直し等の方向性について記述いただきたいと考えております。
有効性につきましては、指標の状況との関連もここで記載していただくこととしまして、それらを踏まえて、継続の可否、見直し等の方向性について記載いただきたいと考えてございます。
効率性につきましても、評価項目について評価をした上で、効率性の改善の方向について記載していただきたいと考えてございます。
次もまた黄色の項目になりますが、研究開発計画では、文部科学省が中目標を達成するために取り組むべき事項のほかに、研究開発の企画・推進・評価を行う上で留意すべき推進方策を策定いたしました。例えば、人材育成、オープンサイエンスの推進、オープンイノベーション、知的財産、標準化戦略、社会との関係深化、その他追加で設定していただいたところもございます。こういった部分への対応状況もきちんと評価すべきではないかということで、案として入れさせていただきました。こちらについても、推進方策として対応したこと、見直しの方向性等について記載いただきたいと考えてございます。
次に、その他定性的な評価でございます。例えば、チャレンジングな研究開発によって得られたプロセスの妥当性や副次的効果といったものや、研究開発が社会に与える可能性のある影響等、上記以外に特筆すべき観点があれば、この欄に記載できるように記載欄を設けました。
最後、次期目標・今後の施策等へ反映するために検討すべき具体的な内容、例えば、こういった概算要求をすべきではないか、こういった法令がネックになっているので、こういった法令の見直しが必要ではないかといったような御意見があれば、ここに記載いただきたいと考えてございます。
その他の欄につきましても、研究計画・評価分科会における指摘事項を書く欄や、委員会における指摘事項を書く欄を追加してございますが、こちらにつきましては、また今後、事務局としても、政策評価の方の関係を踏まえた上で検討していきたいと考えてございます。
先ほど、評価項目、評価基準、必要性・有効性・効率性の部分は御説明申し上げましたが、最後のページを御覧いただきますと、「目標の達成度合いの測定結果の判定について」ということで、現時点の案を付けさせていただきました。
1、「中目標達成状況の評価のためのアウトカム指標」の達成状況の判定基準。こちらは政策評価と共通になってございますので、政策評価の方で使われているものをそっくりお持ちしたものが、こちらのS、A、B、Cでございます。こちら、研究開発プログラム評価票の1ページ目の中目標達成状況の評価のためのアウトカム指標について評価をする、判定をする基準でございます。Sが目標値に対する実績値が120％以上、Aが80～120％未満といったような形で政策評価の方で設定されておりますので、それと合わせた形にしてございます。
次に2の、中目標に関する達成度合いの判定基準でございます。こちらは今回新たに考えたものでございまして、まだまだ見直しが必要かなと考えているところではございますが、総合評価、先ほどのプログラム評価票で言いますと、2ページ目、ナンバリングしてある数で言うと3ページ目の中目標達成度合いの測定結果のところに黒い文字で目標超過達成、目標達成、進展が大きくないという3段階で記載してございます。これをどのように判定するのかというのを表にまとめたものが、この最後の8ページの2でございます。
目標の超過達成には、全てのアウトカム指標と評価項目で目標が達成されたと認められるもの。目標達成が、一部又は全部のアウトカム指標・評価項目で目標が達成されなかったが、おおむね目標に近い実績を示すなど、現行の取組を継続した場合、相当な期間を要さずに目標達成が可能であると考えられるもの。あとは、進展が大きくないが、目標達成には相当な期間を要したと考えられるもの、という3段階で今のところ考えてございます。判定方法としましては、アウトカム指標・評価項目の判定を基に判定したいと考えてございます。
以上でございます。
【大垣分科会長】 御苦労様でした。
それでは、来年度より実施予定の研究開発プログラム評価について、評価票の様式案、評価項目・評価基準の案、実施時期等についての説明でした。ただいまの説明について御質問がございましたら、お願いしたいと思います。いかがでしょうか。どうぞ。
【五十嵐委員】 御説明ありがとうございました。
こちらの必要性・有効性・効率性というところ、幾つか評価に立ち会わせていただいて、この辺の書き方が皆さん難しいということがあるようなので、その辺をもう少し具体的に、必要性という部分はよく分かるのですが、有効性・効率性ということは、どういうことを目標とし、何を評価するのかというところは、もっと具体的に分かるといいのではないかと思っております。
それと関連してなんですが、最後のページ、目標達成度合いの測定結果の判定について御説明いただきました。S、A、B、Cのところですね。達成度合いを定性的に判定する場合の表の右の方にランクというところ、A、B、Cがあるのですが、そこにまた有効、有効性の向上が必要であり、有効性に問題があると出てくる、この有効と、さっき私が前半で申し上げた有効性というのは、基本的には違うことですよね。だから、中と外に有効という言葉があるのは、ちょっと分かりにくいかなと思いますので、ここの達成度合いのランクのところは、何か別の表現があるといいのかなと感じました。
【大垣分科会長】 何か現時点で回答はありますか。いいですか。
【國分企画評価課課長補佐】 はい。ありがとうございます。
【大垣分科会長】 どうぞ。
【小川委員】 おおむねよくまとまっていると思います。特に後半部分の社会との関係の深化とか、人材育成とか、それから、副次的な効果とか、この辺も評価の中に入れるということは非常によいと思いました。
それで、1点、分からなかったのが、前半の議論のところで、当該分野に関する我が国全体の状況を把握することが必要ではないかということがあります。それに対応するという意味で、先ほど、我が国全体の状況を把握するための指標というのをここに書いてあるのですけれども、それが論文数になっているのですよね。各分野の研究内容ごとの論文数と。それで我が国全体を把握するための指標になっているのかどうかと、これがよく分からなくて。私の持ったイメージは、我が国全体として、ここの委員会以外も含めて、いろいろな省庁のプロジェクトはどういうのがどう走っているのかとか、そういうのがここに入るのかなと思ったのですが。論文数を見ても何が分かるのかなというのが、少し気になったという点でございます。
【國分企画評価課課長補佐】 こちらは例として記載してございまして、先ほど議題1で議論して、それぞれの委員会で我が国全体の状況を把握するために適切であろうと決めた指標がここに入ってくるというイメージでございます。
【小川委員】 そういうことですか。分かりました。
【大垣分科会長】 多分、委員会ごとに、その指標に対する解釈とか何かが入ってくるような欄になるのではないかと思っていますが、よろしいでしょうか。
【小川委員】 それだったら結構です。
【大垣分科会長】 どうぞ。
【甲斐委員】 1つ質問ですが、最後のページで、目標値に対する実績値の達成度合いをパーセントで示してランクを判定するというのがございますが、この達成値というのは、目標の設定根拠の方の2ページの○○計画の成果指標における何とかにおいて何々程度を達成した割合を何とかパーセントと規定する、これに基づいているのかなと思います。この評価指標の根拠の中に、論文数とか、あるいは、何とかの製品を作るのにどのぐらいの程度が達成できたら何パーセントとするというのは簡単だろうと思いますが、他の指標、ここに必要性・有効性・効率性に掲げられているたくさんの項目に関しては、達成度のパーセントを出しにくいものがたくさん混在していると思いますが、そういうことに関しては指標とはしないという意味でしょうか。
つまり、もう一つ言いますと、3ページの方には、例えば……3ページだったかな。ごめんなさい。何ページだったか。
【春日委員】 4ページの下？
【甲斐委員】 4ページの下の方？
【春日委員】 違いますか。
【甲斐委員】 ちょっと分からないのですが。例えば、チャレンジングなというのは定性的指標に入るとかいう項目がありましたが、例えば、若手研究者の育成などは、パーセントとか達成度では表せないし、計算もできないですよね。
だから、目標を掲げるときに、全てを総花的に書くと書きやすいですし、若手の研究者も一緒に入れてやっているということは書けるのですが、定量的に測れないものと測れるものと達成度の関係はどこでどう読み取ったらよろしいでしょうか。
【國分企画評価課課長補佐】 こちら、達成状況の判定基準で何パーセントと書いてある部分、これはどこで使うかなのですが、私、説明が不足しておりまして申し訳なかったですけれども、研究開発プログラム評価票の一番初めの1枚目にあります、研究開発計画で設定したアウトカム指標のマル1、マル2と書いてある記載欄があると思いますが、ここでの判定のみに使います。
必要性・有効性・効率性の部分につきましては、この何パーセントという目標値はございませんので、定性的に記載していただいて、それを総合的にA、B、Cで判定していただくというような形になります。
ですので、一番上に書いてあるS、A、B、Cで測るのは、あくまでも政策評価と共通している評価票の1枚目のアウトカム指標のみと考えていただければと思います。
【大垣分科会長】 よろしいですか。ほかには。どうぞ。
【山口委員】 いろいろ工夫していただいて、多分、実際にやってみたら、いろいろ見えてくると思うのですが、1点だけコメントしたいと思います。
これで言うと、6ページとかに評価基準というのがあって、先ほども御意見が出ていました必要性・有効性・効率性の定義がありまして、いろいろなことが書いてあるのですが。この中の有効性のところですが、これ、評価基準を見ると、有効性というよりも進捗度を見ているような形になっていて、結局、これは、要は、その研究プログラムに対する社会的なニーズとか政策的なニーズとかがどうかという話、それから、どんな効果があったかという話、それから、それをコストパフォーマンスなり効率がどうだったかと、その3点を書けばいいのかなという意味では、評価項目の2番の有効性が、少し評価基準のところを見直していただいて、進捗度と読むよりも、効果がどうであったかというのを判断する形にしていただく方がよいかと思いました。
【大垣分科会長】 ありがとうございました。ほかにはいかがでしょうか。
じゃ、まず、どうぞ。
【長谷山委員】 細かな点で恐縮ですが、1つお教えいただきたいのですが。
資料2-2の最終のページの1．「中目標達成状況の評価のためのアウトカム指標」達成状況の判定基準、に従って達成度合いを決めた後に、2．中目標に関する達成度合いの判定基準、に従って総合評価を行うとの理解でよろしいですか。
【國分企画評価課課長補佐】 はい。
【長谷山委員】 それでは、1．の基準に従って判定を行い、その判定に従って、2．の基準に従い総合評価を行うといたしますと、前者で判定のランクが決まると、一意に後者の総合評価結果が決まる仕組みになりますでしょうか。
【國分企画評価課課長補佐】 すみません、一意……。
【長谷山委員】 一意に決まるというのは、この場合、1．で中目標の達成度合いのランクが決まれば、2．で総合評価が、目標超過達成になるのか、目標達成になるのか、進展が大きくないと評価されるのか、ただ一つに決まると理解してよろしいでしょうか、と言う質問です。そのような理解でよろしいでしょうか。
【國分企画評価課課長補佐】 こちら、今、現段階で考えておりますのが、1番の指標のS、A、B、Cと、あとは、必要性・有効性・効率性のA、B、Cを合わせて総合評価としたいと考えております。
【長谷山委員】 例えば、中目標の達成状況の評価でBやCが付いた場合に、他に大変良い評価を受けた中目標があったとしても、総合評価が引っ張られてしまう評価の仕組みであったなら、チャレンジングな目標を挙げられないなどの弊害が生じるのではないかと懸念いたします。そのため、現状の案の評価方法のたてつけはどのようになっているのか質問させていただきました。
【國分企画評価課課長補佐】 今のたてつけは、そうなってしまっています。というのは、私ども、政策評価とできるだけ合わせて、政策評価に使えるようにということで検討しておりまして。そうすると、政策評価が何で見ているかというと、目標の達成度合いなのです。それだけじゃないよねという思いがありまして、達成度合いの測定結果の下に、総合評価で、目標そのものの達成は余りよくなかったけれども、研究開発プログラムとしてこんないい成果がありましたというものを総合評価のところで示せるようにということで、欄を1つ追加しているような状況でございます。
【長谷山委員】 私の先ほどの発言の心配はないと理解しました。ありがとうございます。
【大垣分科会長】 今の件はよろしいですか。
【栗原分科会長代理】 今の点についてですが。この中に定性指標ということを議論する以上は、この目標が全部パーセント、数字になるのかということは大いに課題だと思います。現在の研究計画も比較的それほど数字では表現されていないと見えるので、そこが本当にパーセントで表すようなものだけになるのかということが課題だと思います。
また、必要性とか有効性については、前回も申し上げたのですが、この資料の中にある「文部科学省の研究及び開発に関する評価指針」の中に、今、山口委員がおっしゃったような観点は割とよく書き込まれていると思いますので、そういうところをある程度留意して、それぞれの委員会で議論されると良いと思います。この青い冊子の28ページに、必要性の観点とか有効性の観点、効率性の観点というのは書かれております。
定性的な指標については、研究開発の独法評価の委員会では繰り返し定性指標について議論がありまして、かなり具体的に、例えば、世界初の開発がなされた場合にはSとか、Sを付ける場合の基準というのが、非常に具体的な言葉で、社会的な観点、サイエンス等の観点とか、いろいろ検討されて言葉になっていると思います。ですので、そういうものを議論に活用されていったらいいのではないかと思いました。
あともう1点ですが、今回の資料の8ページの総合評価のところのランキングですけれども、目標達成がBで60％以上80％未満というのは、数字として達成したというのが60～80％なのかというようなところがありますし、もちろん全部が定量指標ですとこういう基準もあるかもしれないですが、総合的に考えるということでプログラム全体を見たときに、これでいいのかなと思いました。
それから、ランクの方で言えば、これ、仮にAにして、上はSしかないとして、下に2ランクあるのがいいのか、あるいは、上の方に2ランク作って、何か割合とかいうところを工夫して、下は1ランクぐらいの方がいいのか、それも、いいのは平均に対して1ランクしかないよりは、なるたけいいものは区別して評価する、あるいは、平均に達しなかったのは1ランク程度で、非常に悪ければ言葉で示すとかあると思うので、ランキングについても検討の余地があるのではないかと思います。
これはまだ議論が続くということなので、コメントさせていただきました。ありがとうございました。
【大垣分科会長】 ありがとうございます。
それでは、土井委員、お願いいたします。
【土井委員】 今のような点に付け加えて、細かいことで気になるところがあるので。
1つは、先ほども御指摘がありました評価票の3ページですが、評価票の参考指標のところ、資料1の方で議論したように、ここは論文数ではなくて、論文数の変化とかで、その後、括弧して、例えば、それぞれの委員会で検討したものとかを書いていただかないと、これが全てかと思われてしまうと困るので、誤解がないように書いていただくのが重要かなと思います。というのが1点目です。
2点目は、6ページ、7ページのところの、先ほども有効性に関して御議論がありましたが、必要性のところのA、B、Cの、Cというところの書き方が若干気になります。なぜかと申しますと、文部科学省の目標としては、確かに必要性なのですよ。基礎科学としてのという意味では、文部科学省の中でやるということでは、ステージが変わっているかもしれないというものは、実際には経済産業省、あるいは、それぞれ他の省庁でその後投資がなされていくものがありますよね。だとすると、国としては、必要性は高まっているのですよね。ある意味、ここはそういうニュアンスですよね。文部科学省として中目標としてやる必要性があるかどうかという話なので、Cは、低下しているのではなく、文部科学省のステージを卒業したみたいな、そういうようなニュアンスのものを考えていただくのがいいのではないかと思います。逆に、それを基に積極的にそれぞれの実務を担う省庁にステージが移っていくというのを促進していただくということが非常に重要かなと思います。よろしくお願いいたします。
【國分企画評価課課長補佐】 ありがとうございます。
【大垣分科会長】 よろしいですか。どうぞ。
【山口委員】 改めて確認なのですが、先ほどから副次的効果云々（うんぬん）とか、そういう話があって、それはそれでもっともだと思います。
ただ、資料2－1でお聞きしたいことがあるのですが、資料2－1の一番初め、1の中に評価の目的がありまして、ここにあるのは、施策目標の意図する方向に進んで――これ、日本語がなかなか読みにくいですが、意図する方向に進んでいるかを評価するということが目的のように見えて、そうすると、副次的効果のようなものとかは、本来の意図する方向とはまた少し違う観点で見て光ったものがあると、そういう話だと思うのです。
それで、確認したいのは、ここの評価というのは、もともと立てた目標の方向に進んでいるのかを見るのか、成果が突出していたかとか、そういうことを見るのか、その辺を少しクリアにしたいと思いまして、御説明いただけないでしょうか。
【國分企画評価課課長補佐】 もともとは、そのプログラムが意図する方向に進んでいるかというのを評価するのが研究開発プログラムの評価ですので、基本的には、目標の達成状況を確認するための評価であると認識しております。
ただし、その中で、新たな副次的効果などがあって、新たにまたプログラムを立てることが文部科学省としていいのではないかというようなことにも使える評価だと思っております。
【山口委員】 分かりました。ということは、一義的には、当初の目標に沿って進んだかをしっかりと書いてくれと、その上でプラスアルファが出たら、それが新しい研究の素材になり得るので、それは特記事項的に書いてくれ、そういう理解でよろしいでしょうか。
【國分企画評価課課長補佐】 はい。
【山口委員】 ありがとうございました。
【大垣分科会長】 ありがとうございました。ほかにはいかがでしょうか。よろしいですか。
【栗原分科会長代理】 1つ質問してよろしいですか。
資料として施策マップのエネルギー分野というのが付いていたので。例えば、この分野についての今のような方針を適用するとすると、何をやることになるのか、ここの個別のプログラムについての評価を全部総合的にある時期にやるというふうに理解するのか、その場合に、日本全体の指標というのを集めたのは、これに対してどういうふうな位置づけで考えるのかなど、全体の研究推進と個別のプログラムと分野ということの関係はどのように捉えたらいいのかがよく理解できなくなったので、何かお考えがあれば御紹介いただければと思います。
【國分企画評価課課長補佐】 机上配付している資料の一番前に研究開発計画がつづってございます。こちらは研究開発プログラムの評価ですが、この研究開発計画の中の中目標の単位、各委員会が所掌している範囲で評価を行います。
実際の政策評価の方はどういう単位で評価されているかというと、政策評価の話になって申し訳ないですけれども、章単位、第1章、第2章、第3章といった単位でなされるのが政策評価でございます。
この研究開発計画、施策単位で章立てにしてございますので、実際にこの研究開発プログラムを各委員会でやっていただくのですが、文部科学省としては、各中目標を集めたもの、例えば、第1章で言いますと、情報科学技術分野、ナノテクノロジー、材料科学技術分野、量子科学技術分野、この3つ、プラス、当分科会に属していない数学という部分も入るのですけれども、こちらを合わせて、文部科学省の施策全体としてどうだったかという評価が実際にはなされます。
計評分科会については、そのような当分科会に属していないようなところも入っていたりしますので、当分科会としては、各委員会で中目標単位に評価していただくという形になります。そこで、その分野としてどうであったかというのを、まずは文部科学省の方に報告する、文部科学省の方でそれを使わせていただくということになります。
【栗原分科会長代理】 そうすると、個別に実施されているプログラム自体は、例えば、ここに幾つかありますが、それについては、現在議論している中には入らないわけですか。
例えば、この施策マップというものの個別施策は入るでしょうか。その中では、どう取り扱うのですか。
【國分企画評価課課長補佐】 この施策マップは、まさに中目標単位で書かれているものでございますので、このプログラム評価を各委員会でした結果が、今度はこの施策マップの方に反映されてくるということにはなります。
【大垣分科会長】 中目標とこれの関係を言っていただく。
【栗原分科会長代理】 中目標とこれとの関係は、時間的にも必ずしも一致していないですが、どういうふうに具体的には、ここの先ほどの評価のまとめのシートの中に入れていくのでしょうか。
【國分企画評価課課長補佐】 先ほどの施策マップの、ここに書かれているそれぞれの個別の事業があると思うのですが、これが評価票でいう2ページ目の達成手段、予算状況ということで、ここに入ってきます。
【栗原分科会長代理】 中に入ってくるわけですよね。実はそういうふうに思いましたので、そうなると、全国指標というのは、むしろ参考的になる部分もあるということになりますね。
【國分企画評価課課長補佐】 そうです。なので、参考指標として、文部科学省としてはこういうことをやっているけれども、日本の今全体の状況としてはこういう状況にあるよねというのを総合的に判断して記載していただく。
【栗原分科会長代理】 逆に言うと、個別のこれを見るために、先ほどの全体の総合指標みたいなものがあって、それを使って個別のものを見ていくというようなイメージになるわけですね。
【國分企画評価課課長補佐】 個別のものを見て。そうです。
【栗原分科会長代理】 はっきりしました。ありがとうございました。
【大垣分科会長】 どうもありがとうございます。ほかには。
【高梨委員】 ちょっと議論が戻ってしまうので申し訳ないですが。評価ですね。判定というところがメーンの目標値に対しどのくらいかというランキングとか、そういう議論があったかと思うのですが、留意すべき推進方策への対応状況のところも、例えば、ここは見てほしいみたいな、A、B、Cとは言いませんけれども、何か思いというものを表せるようなものが脇にあった方がいいかなという感じがしました。
【國分企画評価課課長補佐】 事務局でも、ここにもA、B、Cを付けた方が思いを伝えやすいのではないかという議論もあったところです。御意見いただきまして、ありがとうございます。また検討していきたいと思います。
【大垣分科会長】 どうぞ。
【田中委員】 研究開発計画の中目標に、対応するプロジェクトなり事業が必ず対応しているという保証がない気がします。少なくとも瞬間ではですね。その事業が発生するかどうかというのは、研究開発戦略を立てたということと、それから、社会だったり、財務であったり、いろいろなところとの関係で決まってくるところもあります。その辺のタイミングを考えると、どのタイミングでやるのかというのを考えると、やや不安が出てくるというのが1点あります。
あともう1点、特別なSが1個あって、Cが1個あって、ほかがBというのは、いいのか悪いのか。ある意味、いいかもしれないですよね。これは基礎研究というか、いわゆる科研費的なものではないので、ある程度標準的なのでしょうが、でも、何をもってよしとするのかというのが、本当にAが全部並んでいたらいいのかという感じがします。変な例なのですが、何となくサッカーで言うと、ディフェンスの評価だなと。もうミスしたらおしまい。フォワードはチャレンジして、99回失敗しても、1回成功すればいいわけですよね。だから、そのかみ合わせというのが実はこのレベルでも微妙に難しいような気がするので、そこは若干気になりました。
【大垣分科会長】 どうぞ。
【辻委員】 先ほど来からディスカッションを伺っていると、進捗度合いを測るところと、最後の総合評価を行うところというのが、必ずしも進捗だけで全てを測ってしまってはいけませんねというところにつながってくるのではないかなという気がしておりまして。だから、達成度合いに関して、それができたかどうかというのは、1つの指標としては必要だけれども、プラスアルファの部分やその達成度合いの中でも、かなりとんがった達成をしている部分というのを、やっぱり総合の中で何か評価できるというところが必要なのかなという気がいたしました。感想でございます。
【大垣分科会長】 ありがとうございました。長谷山委員。
【長谷山委員】 大きな点を議論しているところに、小さい点の確認で申し訳ありません。
参考資料2のサブジェクトカテゴリと8分野の研究ポートフォリオについて、両者の対応が参考資料に書かれておりますが、これはクラリベイトが定義しているものではないと思っていますが、そのような理解でよろしいでしょうか。
確認の意図ですが、クラリベイトのサブジェクトカテゴリには、ソーシャルサイエンスが含まれていると記憶していますが、研究ポートフォリオの8分野にはソーシャルサイエンスが含まれていないと記憶しており、両者の対応となると、ソーシャルサイエンスの分野は入っていないと考えて良いでしょうか。
【國分企画評価課課長補佐】 入れてないのですよね。
【長谷山委員】 やはりそうですか。
【國分企画評価課課長補佐】 人文科学が入っていないのです。
【長谷山委員】 この8カテゴリとサブジェクトカテゴリの対応というのは、クラリベイトのものではなくて、NISTEPが行ったものと理解してよろしいでしょうか。
【國分企画評価課課長補佐】 はい。
【長谷山委員】 混乱すると誤解が生じると思いますので確認させていただきました。
【大垣分科会長】 御指摘ありがとうございました。
今の議論で、目標達成ということがこの評価全体の、先ほどCとSがあるというので、やはり全体としては、多分、私の理解では、プログラムの目標を達成したかということが第一にあって、それに伴って、いろいろ、より優れた貢献があったという形はあり得るだろうけれども、達成したかどうかは示さないといけないということで。
そういう意味で、8ページの横の表に、下の表の真ん中は、目標達成というので、B以上が半分あれば目標達成という日本語のランクになると、そういう意味合いだという理解でいいですか。
【國分企画評価課課長補佐】 はい。
【栗原分科会長代理】 そういう意味ですか。
【大垣分科会長】 言葉で、片方は目標超過達成という不思議な言葉を使っているのですが。念のため。
【國分企画評価課課長補佐】 ここはもう一度よく整理させてください。
【大垣分科会長】 はい。
【田中委員】 了解しました。
【栗原分科会長代理】 なるほど。
【大垣分科会長】 大分議論したのですが、もうよろしいでしょうか。まだ御意見、よろしいですか。
どうもありがとうございます。
それでは、事務局では、今いろいろ御意見を頂いて、本質的なことに関わるものもありますが、次回の分科会で評価票、実施方法が決定できますように、引き続き各委員会と連携して、案の作成を進めていただきたいと思います。よろしいですか。
【國分企画評価課課長補佐】 はい。
【大垣分科会長】 それでは、議題3ですが、「研究開発課題の評価について」に入ります。今回は、環境エネルギー科学技術委員会の事後評価1件を審議いたします。
資料3－1から3－3により御審議いただきますが、一度事務局から説明をお願いいたします。
【國分企画評価課課長補佐】 資料の構成について、今回から変更がございますので、御説明いたします。
今回、評価に使用するのが資料3－1から3－3まで掲載してございます。今までは施策マップと評価案ということで二部構成であったのですが、二部構成にしてしまいますと、環境エネルギー科学技術委員会さんからの提出資料がどれで、計評分科会として審議しようとしている案はどれなのかというのが分かりにくいということがございましたので、あくまでも委員会から出てきたものは委員会から出てきたもの、計評分科会としての評価書案はこちらという形で、3つに分けました。といっても、中身は一緒ですので、資料3－3は、計評分科会としての評価書案として表紙を付けてあって、あとは資料3－2と中身は同じですという形にしてございますけれども、位置づけをはっきりさせるために、今後資料を3つに分けさせていただくという形にしたいと思います。
以上です。
【大垣分科会長】 ありがとうございました。要は、クレジットが委員会か計評かということです。
それでは、環境エネルギー科学技術委員会に説明をしていただいて、その後、質疑の時間を取りたいと思います。
資料は、各委員会宛てに事前に送っていただいておりますので、説明は、評価票の必要な部分のみを簡潔にお願いいたします。
それでは、環境エネルギー科学技術委員会から説明をお願いいたします。藤吉課長。
【藤吉研究開発局環境エネルギー課長】 環境エネルギー課長の藤吉です。きょうは、委員会の高村主査が御欠席ですので、私から御説明いたします。
それでは、資料3－2を御覧いただければと思います。
3－2、このプロジェクトは、「東日本大震災からの復興の基本方針」等に基づきまして、まず1つは、福島県において再生可能エネルギーに関わる研究開発拠点を形成する「革新的エネルギー研究開発拠点形成事業」、これがまず1つです。もう一つの柱は、東北の風土・地域性等を考慮して、新たな環境先進地域として研究開発を行う「東北復興のためのクリーンエネルギー研究開発推進事業」、この2つの柱がこのプロジェクトの中身でございます。この事業、平成24年度から5年間行いまして、中間評価を経て、今年の10月に事後評価を委員会で行いました。
それでは、6ページからが事後評価票となります。まず初めに、研究開発計画との関係を整理してございます。
そして、7ページ目から9ページにかけてが、課題のそれぞれの達成状況を書いてございます。
最初の革新的エネルギー研究開発拠点の形成事業について御説明いたします。
ここでは、経産省所管の産業技術総合研究所が福島県郡山市に設置いたしました福島再生可能エネルギー研究所の中で、最先端の研究開発の拠点を構築いたしまして、革新的な超高効率の太陽光電池の実現に資する技術の検証にまずは成功したこと、また、地元企業との連携も進めまして、新たな産業の創出への貢献が図られていること、さらには、事業推進委員会の助言等を踏まえて、技術の絞り込みを図るなど、効率的に行ったことから、評価できるとしております。
また、東北復興のためのクリーンエネルギー研究開発推進事業でございますが、ここは、被災地の地元自治体や企業と連携しながら、波力・潮力の海洋再生可能エネルギーですとか、微細藻類のエネルギーを利用した被災地のエネルギーの地産地消システムの基盤構築に貢献したこと、また、様々な事業の実装や運用を通じまして、被災地の活性化につながったこと、再生可能エネルギーの導入のための知見が被災地に蓄積されたこと、さらには、事業推進委員会による地元ニーズのくみ上げですとか研究内容の絞り込みによって効率的に行われたことから、評価できるとしてございます。
そして、9ページ目の後半から14ページ目にかけてが総合評価になります。
最初の郡山市での革新的なエネルギー開発拠点の形成事業でございますが、産業技術総合研究所の福島再生可能エネルギー研究所の中で、14か国、合計100名以上の研究者が参画する国際的な拠点を構築しております。また、具体的な研究開発でございますが、超高効率な太陽電池ということで、トップセルとボトムセルを組み合わせるタンデム型の構造の太陽電池につきまして、分光技術等ともあわせて、変換効率30％達成に資する技術の検証に成功するなど、高く評価できるとしてございます。なお、今後は、トップセルとボトムセルを重ねる技術等の課題の解決に取り組む必要があるとしております。
また、もう一つの柱、東北復興のためのクリーンエネルギーの研究開発推進事業でございます。これは、地元の海洋エネルギーを活用して、岩手県久慈市では波力発電、また、宮城県塩竈市では潮流発電、それぞれ実証試験を行いまして、共に地元漁協等への電力の試験供給に成功しております。また、宮城県仙台市におきましては、2つの微細藻類を用いまして、下水由来の無機物・有機物を燃料用の炭化水素に変換するシステムについて研究を行いまして、下水から有用物質を取り出すシステムについての解明と、微細藻類の大量培養手法の確立に成功してございます。また、廃棄物等を資源としてエネルギーを生み出すシステムの研究開発を実施し、宮城県大崎市等と話合いを進めるなど、再生可能エネルギーを用いた地産地消システムの構築を推進してございます。従いまして、東北の被災地における地元資源を生かした再生可能エネルギーの研究開発の進展に貢献できたとして、高く評価できるとしてございます。
最後、14ページの後半、今後の展望になります。
まずは、革新的エネルギーの研究開発拠点の形成事業でございます。本事業では、革新的な超高効率の太陽電池の実現に資する技術の検証には成功してございますけれども、引き続き研究開発を発展させて、システムとしての製造コストですとか、CO2の排出削減効果についても分析・評価することによって、この超高効率の太陽電池の実装や安定的な運用が実現することが期待されるとしてございます。
なお、今年度開始されましたJSTの未来社会創造事業の関連分野におきましても、本事業の研究開発拠点を活用していくとされておりまして、成果の活用が図られているところでございます。
また、東北復興のためのクリーンエネルギー研究開発推進事業でございますが、今回の5年間で得られました成果を、東北地方の更なる復興のみならず、他の地域への導入も視野に入れながら、成果の全国展開に関する取組を進めていくことが期待されるとしてございます。既に本事業で得られました成果は、一部地元自治体に移管されております。これに加えまして、更に企業等と協力しながら、成果の定着を図っていくことが重要であるとしてございます。
説明は以上です。
【大垣分科会長】 ありがとうございました。
それでは、ただいまの説明に関しまして、御意見あるいは御質問等ありましたら、お願いしたいと思います。いかがでございましょうか。
よろしいでしょうか。それでは、特に御意見、御異議もないようですので、ただいま御審議いただいた事後評価案につきまして、今、資料3－2で御説明いただきましたが、御承認いただくのは資料3－3、中身は同じで、表紙を変えたものということでございますが、3－3のとおり本分科会として決定したいと思いますが、よろしいでしょうか。
【土井委員】 ちょっと細かいことで恐縮なのですが。
【大垣分科会長】 どうぞ。
【土井委員】 予算が書かれている5ページですが、平成28年度分の執行額が調整中となっているのはどうしてですか。
【藤吉研究開発局環境エネルギー課長】 これは、額の確定がまだ済んでいないということでございます。
【土井委員】 そういうことなのですね。分かりました。
【大垣分科会長】 よろしいですか。
それでは、この資料3－3を本分科会として決定してよろしいでしょうか。
（「異議なし」の声あり）
【大垣分科会長】 どうもありがとうございました。それでは、分科会として評価結果を決定することといたします。
本日の議題は以上となりますが、その他、皆様から全体を通じて何か御注意あるいは御発言ありますでしょうか。よろしいですか。
それでは、事務局から、次回の予定等についてお願いいたします。
【國分企画評価課課長補佐】 次回の分科会の開催につきましては、2月下旬から3月頃を予定してございます。日程につきましては、後日、事務局にて調整させていただきます。
また、本日の議事録は、後日、事務局よりメールで送付させていただきますので、御確認いただきますようお願い申し上げます。
本日の紙の資料につきましては、机上に残しておいていただければ送付いたします。
以上でございます。
【大垣分科会長】 PCがいろいろ倒れたりしていますけれども、だんだんなじんでくるのではないかと。
それでは、これで科学技術・学術審議会第63回研究計画・評価分科会を終了いたします。
ありがとうございました。良いお年をお迎えください。
―― 了 ――
科学技術・学術政策局 企画評価課