平成30年11月9日（金曜日）10時00分～12時00分
文部科学省5階 5F2会議室
林座長，小湊座長代理，安藤委員，伊地知委員，遠藤委員，栗本委員，嶌田委員，高橋委員，花田委員，丸山委員
工藤科学技術・学術戦略官（制度改革・調査担当），國分企画評価課課長補佐，菊池企画評価課評価・研究開発法人支援室主任
事務局から資料1に基づき説明が行われた。各委員及び事務局の主な発言は以下のとおり。
【林座長】
本日はこれまで検討を重ねてきた今後3年間程度の研究開発評価人材育成研修（初級）のプログラム構成を確認した上で、今年度実施予定の研修の具体的なタイムテーブルや講義、ワークショップ等の内容及び担当について検討していく。前回の議論を踏まえて、講義1で政策動向、講義2で評価に関する基本的な話、講義3で研究開発課題の評価、講義4で機関評価、講義5でワークショップに続くロジックモデルの話等という構成である。講義3ではファンディング機関の立場等から実際に研究開発課題の評価に携わる方が、講義4も実際に機関評価に携わる方が講義するのが良いと思う。ワークショップ1は自己紹介のような形で参加者間での課題共有を行い、ワークショップ2において、ロジックモデルにつなげていくという流れで構成している。
【伊地知委員】
今後3年間程度のプログラムということだが、2021年度になった時、科学技術基本計画や国の研究開発に関する大綱的指針が変わるかもしれないという状況の変化であるとか、機関評価等のところに関係するビブリオメトリクス等は状況が変わるかもしれないので、その点は注意する必要がある。また、今般の委託事業において作成された研究開発評価研修プログラム教材については初級の受講者には難し過ぎるという感じがして、この研修においては参考程度にとどめ、この教材を明示しない方がよいように思う。事前学習用というよりは復習的に活用するのがよい。
【高橋委員】
講師が変わっても均質な講義を与えるためにジェネラルなテキストがあるのはいいことだが、初級の受講者に対してオーバービューするための講義をする時には、講師の属性は間違いなく出てくるので、そこまでテキストで規定するのは難しい。まず講師が講義によって概要を把握する枠組みを与えた上で、その枠組みの中で必要なところはテキストを参照してもらうことでよいのではないか。
【栗本委員】
プログラム・マネジメントは経営企画的発想を含む言葉であるが、この研究開発評価研修プログラム教材にはそうした観点が少し不足しているように感じられるので、この教材を検討会でアップデートしていくことはできないか。
【工藤戦略官】
研究開発評価プログラム教材は検討会名義で改訂していくことも可能である。
【林座長】
今年の研究開発評価研修においては、研究開発評価研修プログラム教材を参考資料としての配布にとどめることとする。
事務局から資料2に基づき説明が行われた。各委員及び事務局の主な発言は以下のとおり。
【小湊委員】
ロジックモデル・ワークショップについていつも悩ましいことは、グループを分けたときに、ファシリテーターがそれぞれ異なることと、大学とそれ以外の研究開発法人等々があるので、共通項が見付けにくいところがある点である。そのため一つのケースでロジックモデルの作成演習をやるのか、ケースの中に幾つか事例を散りばめておいて、その選択できる範囲の中からそれぞれのグループが興味を持つものを取り上げてやるのか、方向性を確認したい。
【栗本委員】
ロジックモデル・ワークショップの前に行う講義5では、ロジックモデルを作成する目的は経営企画に相当するものなので、研究開発評価だけではなく、教育のプログラム、行政や民間企業等のマネジメントにも通じるものがある。研究開発評価人材育成研修（初級）では、そういう業種業態を超えて共通するような経営企画に資するものである認識を深めたい。そうすることで教育研究以外の医療や行政でも、例えば政策構想や企画立案など様々な場面で応用できるものになる。
【林委員】
ロジックモデル・ワークショップでは、ケースについてはある程度しっかりしたものがないと、議論が発散してしまう一方で、研究開発評価人材育成研修（初級）の受講者同士でそれぞれの機関の課題を共有するということも大切なので、方向性としては簡素な事例を用意してその中で議論してもらうのがいいと思う。昨年度は独立行政法人・国立研究開発法人でグループを組んだが、独立行政法人・国立研究開発法人といっても機関の性質はまちまちの中で、このグループはどのようなケースを用意するのが良いか。
【丸山委員】
ロジックモデルの演習という点で考えるのであれば、大目標からバックキャストしていくのであれば、独立行政法人・国立研究開発法人のグループでも、同じケースを使ってもいいのではないか。独立行政法人においては例えば、中長期計画を作る場合においては大目標からどのように計画に落とし込んでいくときに利用するなど、どこの機関でも使えますよ、というように補足的にファシリテーターが説明すればよいのではないか。
【花田委員】
独立行政法人・国立研究開発法人のグループにどのようなケースが適切であるかは難しい問題であるが、今まで出てきたようなプロセスであるとかスキルであるとかを身に付ける方が大事なので、ケースにそれほどこだわる必要はないなと思う。また、独立行政法人・国立研究開発法人においても地域共生等の話は言われているので、大学等ともそのようなテーマで共通項を見つけることはできるのでないか。独立行政法人・国立研究開発法人だけで集めてしまうより、大学と合わせてしまって、普段とは全然違う、接触が余りないような人たちとやってみるのも広がりがもてるのではないかと思う。
【栗本委員】
花田委員と同意見で過去の受講者からの反応の中に、国立研究開発法人の方と直接お話しすることができたとか、文部科学省の担当者の方とお話しすることができたことがよかったという意見があった。広がりという意味では、異分野や異業種が同じ土俵で会するチーム・サイエンスのようなことが起こっているので、他機関との情報共有や意思疎通という新たな視点でこれからの研究開発評価をどうするかという一つの共通基盤を作るのも大事である。
【高橋委員】
方法としては両方あると思う。ただ、ワークショップで扱うケースとして、多様性がある人たちが4、5人、互いに言葉が通じないと思いながらワークショップをやる方がいいテーマなのか。国立大学、大規模、旧帝大系、地方、私立、公立、独立行政法人、国立研究開発法人等で違う意見が出てきてその結果を最後にレビューするときにぶつけ合う方が面白いのかによって、グルーピングは変わってくる。このプログラムは、今後3年程度は続けていくということなので、研究開発評価人材育成研修（初級）の受講者に、多様性があってみんなが悶々と話が通じない感を経験してもらうことがいいのか、それとも比較的同質性が高い人たちで、その特徴がグループごとに出てくることを経験してもらう方がいいのかという点から考えればいい。どちらでも学習効果はある。
【林座長】
これまでの御意見を踏まえて、研究開発評価人材育成研修（初級）のグルーピング等を検討する。
【安藤委員】
今年度の講義で、講義3の「研究開発課題（プロジェクト）の評価」を担当する案となっているが、アウトプット、アウトカム、インパクトなどの用語を講義1、講義2でどこまで説明されて、講義3で自分が説明する際どこまで概念整理をする必要があるのか確認しておきたい。
【栗本委員】
それらは2日目で担当する講義5とも関わりがある。ロジックモデルについての講義で、プロジェクト的な要素とかアウトプット、アウトカムが出てくるが、それまでの講義1から4での内容とどうすみ分けるか、講義3ではプロジェクト・マネジメントにおけるアウトプット、アウトカムの話になり、プログラム・マネジメントと上手く棲み分けてできるという認識は持っていた。
【伊地知委員】
自分が担当する講義2で評価の話をするときに、アウトカムやインパクトという用語を出さずに説明するのは難しい。安藤委員がそれらについて具体的に、個々のプロジェクト評価で話しをされるときに詳細に説明すればよい。前の講義を受けて、詳細については後の講義へつながるという程度でいいのではないか。
【林座長】
研究者はプロジェクトに従事しており、上位のプログラムの中でプロジェクトに対して何が求められているか、なかなか理解に至らないので、講義3では単に研究者は自分の研究の論文というアウトプットを出すという話ではなく、研究開発課題（プロジェクト）の評価という場面でアウトプット、アウトカム、インパクトの3つの概念が違うものだということを具体的に説明いただければいいのではないか。受講者は初級者を対象にしているので、講義に当たっては同じことが何度出てきてもいい。
【栗本委員】
用語に関しては、講師の間でニュアンスが微妙に変わってしまうのは良くないので、共通の概念整理をする必要がある。基本的には「文部科学省における研究及び開発に関する評価指針」が出ている以上、この用語集に照らして判断するのがいい。
【林座長】
講義で注意していただきたいのは、プロジェクトレベルのアウトプット、アウトカム、インパクトの話と、プログラムレベルの話は違うということ。例えば若手の研究を活性化するようなファンディングがあったときに、プロジェクトレベルのアウトプット、アウトカムは、その研究者がやった研究によるアウトプットと、その研究者が目指したところによる学術的なアウトカムだが、プログラムとしては若手研究者がどれほど育成されたかがアウトカムになるので、一つの定義で書こうとすると、どちらも含んだような定義になるので抽象的になってしまう。そのあたりはプロジェクトの話をするときと、プログラムの話をするときで、しっかりと受講者が分かるように整理していただきたい。用語の定義としては「文部科学省における研究及び開発に関する評価指針」を使う。
事務局から資料4に基づき平成30年度研究開発評価推進委託事業の経過報告が行われた。
事務局から参考資料1に基づき説明が行われた。各委員及び事務局の主な発言は以下のとおり。
【林座長】
第6期科学技術科基本計画の議論が本格的に始まるのはまだ先のことで、この研究開発評価推進検討会は科学技術基本計画に直接意見等を述べる委員会等ではないが、研究開発評価を検討している会ということでフリーディスカッションして、よい議論があれば、他の研究計画・評価分科会などの議論の材料になればと考えている。
【事務局】
第5期科学技術基本計画から「評価」という言葉を抽出して参考資料1にまとめた。全体を通して、研究開発に関する評価を特出ししているところはなく各所に点在している状況であり、文脈において「評価」という言葉が様々な意味で扱われている。
【林座長】
第5期科学技術基本計画は若手人材とか人材の話が強かったので「評価」という言葉もそれに寄っているという印象を受けたが、実際は色々な種類があって、個別の研究レベルの内容（研究者育成の評価、人材の評価、指標をどうするかという指標論、リスクテイクできるように評価をよりエンカレッジしていくような研究現場での評価）が一つである。二つ目が、大学改革や独立行政法人といった組織レベルの評価（特に交付金配分とか、仕組み自体をどうするかという内容）である。三つ目がEBPM（証拠に基づく政策立案）に象徴されるような政策レベルでの評価をいかに行っていくかという内容である。TA（テクノロジーアセスメント）やELSI（倫理的・法的・社会的問題）的な社会面を重視した評価が一つある。そのような論点を踏まえて10年後の日本を考えたとき、研究開発評価についてどのような議論をしていくべきか。
【伊地知委員】
第5期科学技術基本計画における研究開発評価が従来と大きく変わった点は、研究開発評価そのものに関する記述がなくなったことである。第1期科学技術基本計画の一番重要なことの一つは、研究開発評価システムの導入であった。科学技術基本計画と対になって科学技術白書があるが、科学技術基本計画に研究開発評価単体の記述がなくなるのに合わせて、科学技術白書からも記述がなくなって、研究開発評価のフォローアップをする仕組みがない。国の研究開発評価に関する大綱的指針は改定されているが、科学技術基本計画に記述がなくなるともう対応しなくなる可能性がある。科学技術基本計画に個々の色々な評価に関する記述はあるが、研究開発評価がシステムとしてどうあるべきかという記述はあってもいいのではないか。科学技術基本計画の中の位置づけとしては、論文データなどに振り回されないように、真に研究の成果あるいは開発の成果が出ていくようなものにする評価を行っていくべきということがもう少し再確認されるようなことになるといいのではないか。
【遠藤委員】
研究開発の現場に行くと、評価に対する負担は以前から話題になっている。過度な評価を行うことによってネガティブな結果を導くリスクがあるかもしれないという観点があってもよいのではないか。例えば米国国防高等研究計画局（DARPA）は、プログラムレベルにおいては積極的に評価しないことにより自由度の高い研究を可能としている。評価することが自己目的化しないようにする観点を示せたらよいと思う。
【高橋委員】
第1期から第5期までの科学技術基本計画では、1～3期まではディシプリンベースで構成されていた印象がある。第4期は、グリーン・イノベーションの推進のように、目的とするものから書き下しその要素分解がどうなっているか、というようなものに変わったので、「評価」という言葉が科学技術基本計画全体の構造の中で、それぞれの位置における意味を持って散在するような状況となっている。それが現場では評価が多すぎるという負担感や、評価をしても次につながらないと思われる一方、本当によく議論された評価が次に伝わらないというどん詰まり感を感じさせてしまうのかもしれない。評価のエフォートと重要さが認識され浸透したので、評価という活動を全体のために活かす書きぶりがあるとよい。
【栗本委員】
第5期科学技術基本計画では「評価」という言葉が多義的に使われているようにみえる。一つはEVALUATION（エヴァリュエーション）という意味で使ったり、もう一つはASSESSMENT（アセスメント）という意味で使ったり、更に考慮するという趣旨を評価という言葉で書いていたり、意図することが様々であるが、多くの人は「評価」ということをエヴァリュエーションだと認識していると思う。恐らく未来や将来の出来事は価値創造の世界になるので、エヴァリュエーションよりはアセスメントの方が重要になってくると考えられる。「評価」という言葉をエヴァリュエーション型評価、アセスメント型評価という型を付けて評価の概念を区別する必要があるのではないか。
【小湊座長代理】
評価をどの水準でやっていくのかということについては、幾つかの階層がある。研究現場レベルではアセスメント型評価は現状においても行われているが、これが機関レベルとか政策レベルとかより上位の階層になればなるほど査定的、管理的な色合いが強くなる。参考資料を見ると評価がどのレベルの評価なのかということの書き分けが明確でないという印象を受ける。これを読んだ担当者たちにとっては何をどのように評価するのかということがいろいろな階層からおりてきており、現場が非常に苦しくなっているという現実があるので、そこの書き分けをすることはできないか。
【林座長】
これまでの議論を聞いて、第5期科学技術基本計画の時の、全体の議論が個々のアクターが上手くできていないというところに原因を過度に置きすぎていたような印象がして、確かにシステムとしての評価の議論をしていなかったと感じた。一方で遠藤委員の言う過度の評価を行うことによるネガティブな結果を導くリスクということには賛成するところがある。例えば、大学へのパフォーマンス・ファンディングの点で言えば、何かプロジェクトを立てて、まずそれの大学上位10大学を足切り型の評価で選び、その実績を更に評価していくという評価の形をしていくが、ブロックグラント（使途を裁量にまかせる補助）は基盤の資金なので、学生数等のデータに則って配分すれば必ずしも評価をしなくてもよいのではないか。
また別の論点としてSDGS（持続可能な開発目標）やグランドチャレンジ等、研究が研究者だけでは閉じない大きな流れが確実に動いており、研究がビジョンからバックキャストするような方向にシフトしなければならなくなっている中で、論文指標をどうするか等、研究活動の変化に評価の議論が上手く対応できていない印象を受ける。そのような研究をいかに評価するのか、あるいは評価ではない形でやるのか分からないが、どうやってモニターしていくかというのは10年後を見据えたときには十分検討した方がいい。
またもう一点、政策レベルのマネジメントについて、他の国を見ると、もっと科学技術イノベーションを超えたところのデータを使ってモニタリングしたり、分析をしたりという、EBPMの範囲が全体的にもっと広い形で行われているが、日本はまだそこまで付いてきていないような印象があり、もう少し専門的な拡大というのは検討した方がいいと思う。
【安藤委員】
第5期科学技術基本計画では、「科学技術イノベーションと社会との関係深化」の中で共創的科学技術イノベーションの推進が掲げられたが、シーズを（企業に）橋渡しして社会実装するといったリニアモデル的な発想が主流で、それを共創と言っている場合も少なくない。しかし、何が問題かということから多様なステークホルダーと共に考えていくことが、SDGSを始め社会課題の解決に資する研究開発のテーマを見いだす上では重要だろう。このような研究やチャレンジングな取組をどのように評価しエンカレッジしていくかということは、今の仕組みの中では難しいと感じている。そのため、単に論文だけに拠るのではない評価の在り方が一層必要になってくると思う。
また、評価者もサイエンス・コミュニティーの中で選ぶことが多いと思うが、サイエンス・コミュニティー自体を少し変えていかないと、このような時代の潮流にはもう対応できないという現場もあるのではないか。時代の変化にどのように対応していくか、評価をどうすればよいかというのは大きな課題だと思う。
【工藤戦略官】
基本的には評価がパフォーマンス・ファンディングの流れに寄っていることは間違いない。それを補強する材料としてEBPMがある。林委員のおっしゃる学生数等に基づく資金配分といった、評価によらない形で配分するシステムは元々あって、これとのハイブリッドのものとして組み立てられてきたものがパフォーマンス・ファンディングに寄ってきたという現状がある。しかし、既存のサイエンスの枠組みでは捉え切れないようなものも確実に生まれてきていて、そういう中で評価という枠組みを考えたとき、パフォーマンス・ファンディングを組み入れる場合とそうでないものの割合を設定する、一定の枠内にどうなるか分からないものの余地が与えられていてそれはそもそも評価になじまないということ自体を含めて評価している、という大きなシステム論として捉えることができたらよいと思う。
【小湊座長代理】
パフォーマンス・ファンディングは、基本的にはエビデンスに基づいて行うものであるので過去の実績をどのように評価するかということであり、パフォーマンス・ファンディングの発想からは、どうなるか分からないが上手くこうなればよいという投資的な発想は見えてこない。このため、投資的な発想を評価にどのように組み込んでいくのかが重要ではないかと思う。
【嶌田委員】
大学の現場の立場としては、結局、評価等をいろいろ行って最終的にどうしたいのかというのがわからず、研究者が物理的に減っている中で、評価によってどこまでパフォーマンスを上げることができるのかということが問題である。地方大学では運営費交付金が減少したあおりで教員の数が減っている。教員の数が減っているのだから研究論文数は減るというシンプルなところをどうするのかいう時に、評価でどこまで何とかなるものなのかという悩みを抱えている。また現場では評価と次の計画が上手くつながっていないという感覚がある。
【伊地知委員】
研究開発評価の中では、単にアウトプットに拠るというだけでなく、社会的な目標だとかそうした観点を入れたメリットレビューやそれに類するものは、既に実践も情報もある。しかし、そうではない研究開発評価の枠を超えたところで、短絡的な用いられ方がされているというのがあるのではないかと思う。過去の実績だけに基づくのではなくて、将来の目標やそれに対する可能性に対応してものを見ることが重要だということを示し、また、評価システムにおいても、その中で得られる知見が重要だということを何らかの形で反映していくといいのではないか。例えば第6期科学技術基本計画の中で、「評価」という場合、アセスメント的な意味とエヴァリュエーション的な意味を区別していくことなどが考えられる。
科学技術・学術政策局 企画評価課 評価・研究開発法人支援室