評価システム改革に向けた論点整理

一 背景

1.現状

  • 我が国の研究開発評価制度は、最近では、科学技術基本法に基づいた科学技術基本計画の策定を受け、「国の研究開発全般に共通する評価の実施方法の在り方についての大綱的指針」(平成9年)、その後、大綱的指針の下で、各府省の評価指針(平成14年より)が整備され、その定着や改善が進められた。
  • 大綱的指針では、研究開発評価を、施策、課題、機関、研究者の4つを対象とするものに分け、それぞれの評価の実施責任を有する府省や機関等において評価システムの構築が進められてきた。しかし、国の研究評価の全体を見ると、評価コストの過重さが課題として顕在化しており、政策体系における階層構造を明確化し、各階層で真に必要な評価を検討する必要がある。
  • 研究開発評価は、研究開発の改善に役立てるとともに、社会的な説明責任を果たすことなどを目的としており、評価結果が適切に活用される必要がある。
  • 今回、海外の取組み状況等を踏まえつつ、現在の課題を浮き彫りにし、その改善方策をとりまとめる。

2.問題意識

・これまでの研究評価部会の議論において示された視点

(1)評価のあり方(a目的に応じた評価、b政策体系の階層構造ごとに適切な評価(特に施策・プログラムの
  評価)、c世界水準の視点での評価)
(2)評価の観点・基準・視点(a研究開発に適した評価の観点、b研究開発や施策・プログラムの
  目的の性格に応じた評価基準、c研究活動を支える組織、次世代の人材を育成する組織や
  プログラムの役割を重視する評価の視点)
(3)効果的・効率的な評価手法
(4)研究開発評価に係わる専門人材の育成

・個別課題の共通した問題

(1)政策から具体的な研究実施までの政策体系は概して、政策-施策(プログラム)-課題(プロジェクト)の階層構造にわけられ、評価もそれに即して行われる必要がある。上位階層を実現する一つの手段として下位階層が実施されるという構造を前提とすれば、評価基準は上位階層との関係から自然と策定されることになるが、現在は階層間の関係が明確となっていない場合もあり、評価基準が抽象的・一般的であったり、評価基準が評価対象の活動内容自体から逆に策定されたりと、評価が形式化・自己目的化することにつながっている。また、施策や政策の評価においても、その内部の具体的な研究課題について評価を行うなど、施策や政策というレベルでの有効性の評価が十分になされていない恐れがある。研究開発政策における政策目標の階層構造を明確化し、それに即した効率的かつ有効な評価システムを構築する必要があるのではないか。

(2)評価については、狭義での“evaluation ”だけでなく、“assessment ”も“ appraisal”も“estimate”も“estimation”も“judgement”も“opinion”も“ranking”も“valuation”も“monitoring”も“review” もいろいろあり、これらを相互に区別して認識できるよう、概念の分節化を促し定着を図る必要があるのではないか。また、関連ステークホルダー間において各評価が実施される目的を再検討し、その目的に適した必要十分な評価を実施する必要があるのではないか。

3.定義

(1)評価の階層

<政策>

  • 特定の行政課題に対応するための基本的な方針の実現を目的とする行政活動の大きなまとまり。(総務省「政策評価の実施に関するガイドライン」より)
  • 研究開発以外の政策との機能的連携を考慮し、各事業の政策的位置づけを行うとともに、政策全体のスケジュールも策定する。
  • その評価は、政策全体が国民生活等にどのように役にたったのかなど、国の目標がどのように実現されているかといった観点から実施する。

<施策>

  • 上記の「基本的な方針」に基づく具体的な方針の実現を目的とする行政活動のまとまりであり、「政策(狭義)」を実現するための具体的な方策や対策ととらえられるもの。(「政策評価の実施に関するガイドライン」より)

<プログラム・制度(政策評価における事業に相当)>

  • 上記の「具体的な方策や対策」を具現化するための個々の行政手段としての事務及び事業であり、行政活動の基礎的な単位となるもの。(「政策評価の実施に関するガイドライン」より)
  • 府省や資金配分機関において実施される提案型研究開発公募事業などの研究開発事業、競争的研究資金による研究開発制度が相当する。(大規模なプロジェクトであり、資金配分や運営の意思決定が単独のプロセスで行われるものはここに含まれる。)
  • 特に科学技術政策においては、プログラムや制度は、社会、経済、国際政治、環境、文化などの様々な政策的課題(学術政策の課題も含む)と、最先端の研究動向とを結びつけるインターフェイスの役割を担う点に重要性がある。
  • その評価は、プログラム・制度の設定、研究開発の質の向上や運営改善、計画の見直し等を図るとともに、評価の重複を避け、評価を効率的に実施するためにも極めて重要である。

<研究開発課題、プロジェクト>

  • プログラム・制度の中で選定・設定されて実施される個別の研究開発事業、課題。
  • プログラム・制度のもとで個々の研究課題を設定・選択し、その構成の適切さによって施策の目的を達成する。
  • その評価は、プログラム・制度の目的に沿って、採択評価(事前評価)、中間評価、事後評価が実施され、個別課題が、研究開発方法、成果の質などの内容的側面がいかに充実されるかを評価する。

<研究開発評価における機関>

  • 国から交付金等を得ている研究開発機関、資源配分機関、大学等。並びに、研究開発機関や大学内の内部機構・組織等。
  • その評価は、国の政策、機関の設置目的(ミッション)と、それから展開される研究目的・目標に即して実施する。

(2)研究開発を実施する政策目標-研究開発に対する投資(公的支援)の合理性・必要性-

(文部科学省の政策の範囲内で想定される目標の例示)
<研究成果の社会への還元>
・ 研究開発の成果をイノベーションを通じて、経済(市場(雇用)創出・拡大、コスト削減など)、社会(環境問題、エネルギー・問題への貢献など)、国民生活(生命・生活、利便性・快適性の確保など)に還元する。

<持続可能な成長と繁栄>
・ COE(センター・オブ・エクセレンス)における世界トップレベルの研究及び持続可能な大学等における研究開発は、現在及び将来のために、新しいアイディア、新しく訓練された人材、新しい技術を生み出す上で不可欠。

<産学連携・技術移転の持続的な発展>
・ 大学及び研究開発機関等における独創的・革新的な技術の創成に資する研究開発は、継続的な産学連携・技術移転を通じて知の創造、活用、継承・蓄積及び企業の技術提携戦略、経済活性化等に貢献する。

<多様な人材の養成>
・ 創造性豊かで国際的リーダーシップを発揮する世界トップレベルの研究者から、イノベーション創出を担う研究者や技術者等、多様な人材を養成する。

二 課題への対応

1.評価のあり方

(1)目的に応じた評価

(視点)
○評価は、何らかの意思決定(公的資金配分、各種の運営改善等)を行う目的のために実施される手段であるが、現状は、評価自体が目的化している場合や、「何のために評価をするのか」についての関係者間での共通理解が欠けているものもある。予め目的を明確化し、(潜在的)関係者に周知した上で、評価を実施していくようにシステムを再構築していくとともに、目的に応じて評価のあり方を再整理する必要があるのではないか。

(現状と問題意識)
・ 評価には、資金配分、改善、進捗度の点検、アカウンタビリティなどの目的があり、一つの評価に複数の目的が期待されることにより、評価が過重になったり、評価の焦点が不明瞭になる場合もある。「何に使うための評価」であるか、その活用(評価が実施される前提となる)目的の部分が概念整理されていないのが問題ではないか。

・ たとえば、配分する資金の性格やその資金が対象とする活動範囲を明確にし、それに適した評価基準や方法をつくることが必要ではないか。

(2)政策体系の階層構造ごとに適切な評価(特に施策やプログラムの評価)

(視点)
○政策体系を明確化し、上位の目的の実現の点から、施策・プログラム・プロジェクトをそれぞれ評価するあり方の検討が必要ではないか。

(現状と問題意識)

  • 施策の評価は府省において政策評価法にのっとり実施され、プログラムの評価は府省や資金配分機関、研究実施機関の内部で実施されているが、その実施方法についてはいまだ検討の必要がある。
  • 施策やプログラムの評価においても、その下位の研究プロジェクトの評価が行われる場合や、プロジェクトの評価結果が一覧化されるだけの場合がある。施策やプログラムにおいては、その目的に応じて、特定の方式により公的資金を研究活動に対して助成したことの適切性、それによって得られた国の研究システムへの効果・影響、複数のプロジェクトが集合した構成によって得られた成果等を検討することが求められる。
  • 個々の研究プロジェクトの評価は、各プログラムの目的に即した評価基準で評価されることになる(例えば、学術的な知の創出を目的とするプログラムでは科学的メリットに焦点がおかれ、社会的課題につながる研究への助成プログラムではその解決への寄与が基準に入る)。説明責任を評価目的とする場合や、長期的な社会的効果の評価を必要とする場合は、個々のプロジェクトに対して行政府から厳密な評価を求めるのではなく、プログラムや機関などの一つ上のレベルに説明責任を課すほうが有効であり効率的である。そのもとでプロジェクトの評価をいかに行うかは、プログラムや機関におけるマネジメントに委ねられるべきである。
  • 同様に機関レベルの評価についても、上位の目標に即して組織の階層構造に応じた評価が実施されるべきである。

(3)世界水準の視点での評価

(視点)
○世界的な視点での評価について、世界的なベンチマークの活用等、研究開発の特性に応じた世界水準の評価方法など、我が国にふさわしい評価方法を明確化する必要があるのではないか。

(現状と問題意識)

  • 一部の組織、研究開発課題等において、海外から評価者等を招へいし、世界水準の評価が行われており、第一線の研究者からのコメントが得られるとともに、日本の研究者と海外の研究者とのネットワーク形成や日本の研究機関のプレゼンスの向上に寄与している。一方で、日本と海外との背景の違いを考慮せずに指標などを用いた世界的ベンチマークを行うことや、分野による違いを十分に考慮せずに世界的に標準な評価方法を求めることには問題があり、我が国にふさわしい評価方法の検討が必要ではないか。
  • 世界水準の評価を実施するためには、招へい旅費の負担、日程調整、資料の英訳など、事務的な負担が大きい。また、競争的資金の審査を行う場合、公募の際、英語による計画調書等の提出が求められるなど、研究者にとって負担となる。

2.評価の観点・基準・視点

(1)研究開発に適した評価の観点

(視点)
○現行の「必要性」、「有効性」、「効率性」に代わる研究開発に適したよりふさわしい評価の観点があるのではないか。

(現状と問題意識)
・現行では、政策評価法及び大綱的指針等で定めるところにより、施策やプログラム、プロジェクトの評価は、「必要性」(重要性、緊急性等)、「有効性」(成果の有効性等)、「効率性」(実施方法、体制の効率性等)等の観点から実施されることとなっているが、この観点は、科学技術の実態を伴っていないとの指摘もあり、科学技術にふさわしい評価の項目を含め、観点を設計し直すことが必要ではないか。

・施策やプログラムにおいては政策的活動の評価という側面が強いために、この視点でも良いが、個別のプロジェクトの評価においては、研究の不確実性、研究成果がもたらすインパクトの多面性・長期性などを見越した基準とするべきではないか。

(2)研究開発の性格に応じた多様な評価基準

(視点)
○研究開発の性格に応じて、評価方法は異なるはずであり、性格に応じた評価基準を明確化する必要があるのではないか。

 a.「研究者の自由な発想に基づく研究」もあれば「政策課題対応型研究」もある。その研究が実施されているプログラムの目的が、学術的な知識の創出の支援にあるのか、政策課題対応(問題解決)にあるのかで評価方法・基準が異なるはずであり、それらに適した評価のあり方があるのではないか。

 b.基礎研究からイノベーション創出に至るまでの広範で多様な研究開発の局面にそれぞれ適した多様な評価の視点があるのではないか。

(現状と問題意識)
・ 施策やプログラムが、「研究者の自由な発想に基づく研究」の支援であるのか、「政策課題の解決に直接/間接に結びつく研究」の支援であるのかで評価基準が変わるべきであるが、必ずしも適正に行われていないのではないか。

・ 長期にわたる地道な研究活動が必ずしも評価されておらず、何の役に立つのか、いかに社会に貢献できるかといった短期的で実用的な成果ばかりを求める風潮があることから、研究者が、長期的な研究、重要ではあるが成果に現れにくい研究を敬遠し、目先の成果を重視する傾向にあるとの指摘もある。これらの説明責任の所在をよりプログラムや機関におくことで、長期的研究や地道な研究が実現可能なマネジメントが内部で実施されるようにするべきではないか。同時に、プログラム等のレベルにおいて総体としての研究活動の長期的な成果や文化的価値をいかに提示するのかを、検討する必要があるのではないか。

・ 研究者の自由な発想に基づく研究について、既存の分野優先ではなく、例えば、学際的な自由な発想がきちんと採択される状況になっているかなど改善すべきところがあるのではないか。

・ また、アウトリーチ活動、教育への効果のようなものをより積極的に位置づけるべきではないか。社会ニーズといっても自由な発想研究からでる人材育成・啓蒙のような効果をきちんと評価すべきではないか。

 c.学際・分野融合を指向する研究への挑戦を動機づけるような評価基準。

(現状と問題意識)
・ 学際・融合領域は、画期的な応用可能性や革新的技術のブレークスルーをもたらすとともに、関連領域の研究開発を相乗的に発展させ得るものとして重要である。

・ 我が国では、学際・分野融合を指向する研究を促進するような基盤が未成熟で、評価基準も不明確であることから、既存の研究分野の課題に比して、過度に低く評価される傾向にある。今のままでは、リスクが高すぎて若い優秀な研究者の参加が困難であることから、こうした挑戦の芽を摘むことなく、その可能性を見出し、支援を行っていく評価基準の設定が必要なのではないか。

(3)研究活動を支える組織、次世代の人材を育成する組織やプログラムの役割を重視する評価の視点(視点)

○第3期科学技術基本計画では、「モノから人へ、機関における個人の重視」の基本姿勢を示し、人材育成や競争的な研究環境の醸成が進められたが、一方で、現場では、個人を支える機関の脆弱や次世代の若手研究者が育つ環境になっていないといった状況が見受けられることから、個人を支える機関の役割を重視するような評価の視点、あるいは次世代の人材育成を重視する評価の視点が必要ではないか。

 a.“個人を支える機関の役割”を重視する評価の視点。
 b.“個人の重視”として、次世代の人材の育成を重視する評価の視点。
 c.学際・分野融合やイノベーションは、個人だけでできるものではなく、個人と組織との相互連携、
   それらをつなぐ人の役割が重要。

(現状及び問題意識)
・ 「モノから人へ、機関における個人の重視」は、革新的な方針であったが、結果として、“個人を支える機関”の役割が軽視され、バランスを欠く影響を起こしているのではないか。また、研究や評価の管理運営事務まで、個々の研究者に過重な負担をかける結果を招いている。

・ 個人の重視が、現世代の研究者個人の重視になって、次世代の若者の教育・育成への配慮を失わせている可能性がある。

・ 学際・分野融合やイノベーションは、個人だけでできるものではなく、組織とその相互連携、それらをつなぐ人の役割が重要である。

・ 我が国では、国の基準・方針が、そのまま現場を拘束しがちで、柔軟性、スピードに欠け、研究の効率・効果を落としている面がある。国と研究実施者の間にあって、機関、組織が、個々の目的や特性に応じて、評価の視点や基準を明確化することが必要ではないか。

・ 科学研究費補助金に相当するような研究課題への資金配分のプログラムであっても、研究自体の推進と同時に、若手研究者の育成等といった次世代の研究者・専門家等を養成する機能や、アウトリーチあるいは啓蒙等の機能を果たしえるかどうかについても、合わせて評価基準に組み込むようにしていくことが必要ではないか。

3.効果的・効率的な評価手法

(視点)
○評価者・被評価者の双方にとって、過重な評価作業負担を回避し、効果的で効率的な評価のあり方の検討が必要ではないか。

(現状と問題意識)
・ 評価における過重な負担を回避するため、階層構造の中での評価において既に行われた評価結果の活用や評価システムとして重複がある場合は、統合化・簡素化等の合理化を図るなどの取組みが行われているが、一方で、評価を実施する目的が見えず、さらに、中間・事後評価等の評価結果がどのように活用されるか(活用されたか)分らないといったことなどからによる、徒労感が指摘されており、評価者と被評価者にとって、評価が有意なものとなるようにシステムを改善し、評価に関わることの徒労感を払拭することが必要ではないか。

・ プログラムや施策の評価においても、具体的な活動を把握しようとするあまり、個々の研究課題の評価になり、評価を重複・過剰にさせてしまう傾向がある。各評価において、評価すべき範囲・階層を明確にすることが必要ではないか。

・ 評価に活用可能なインフラデータの整備、評価の頻度の見直しを考えるとともに、研究企画部署で実施されるような自己点検・自己分析や、アドバイザリー委員会による助言なども、大綱的指針が求める評価活動の一形態として積極的にとらえ、推進することが必要ではないか。また、プログラムや施策ならびに機関のマネジメントにおいてPDCAサイクルを回すことは重要であり、この観点から、評価をマネジメントに活かすことを奨励することが必要ではないか。

4.研究開発評価に係わる専門人材の育成

(1)評価者、評価事務局職員、評価の専門家

(視点)
○研究開発評価に係わる人材について、機動的かつ体系的に養成する仕組みが必要ではないか。

 a.機関等において、評価の実務や運営に携わり、評価運営の実務的専門性を有する人材の育成と
   キャリアパスの確立。
 b.評価対象を分析するための高度な手法を活かし、評価対象の実態を深く把握し評価作業を
   専門的見地から遂行する人材の育成。
 c.研究支援人材の充実が言われており、評価活動を支援することも研究支援の一環であることを
   明記すべきではないか。

(現状と問題意識)
・評価レビューアについては、評価に従事する者が質・量ともに不十分なため、過重な負担が一部の者にかかっている。また、評価者間で、評価の進め方や考え方に関する意思統一が不十分のケースが見受けられる。

・評価を担当する事務的職員はジョブローテーションで数年ごとに異動し、評価の経験・知識が蓄積されていない傾向がある。人材の集積や人材育成の体制整備が進んでいない。

・今後、プログラム評価や政策評価を充実していく上では評価の専門家の役割が重要になるが、現状では評価の専門家が極めて少ない。評価の専門家を育成するための環境整備が必要ではないか。

(2)PD、PO制度改革

(視点)
○導入段階を経て、プログラムの特性に応じたPD、PO制度の一層の拡充を図るために、評価の視点における現状把握や今後の拡充方策を検討することが必要ではないか。

 a.PD、POの権限と責任の明確化。
 b.持続的、安定的、発展的にプログラム・マネジメントを行うために、PD、PO制度、
   人事(キャリアパスを含む)の改革。

(現状と問題意識)
・ PD、POは、競争的資金制度の特性に応じて、制度毎に整備されているが、権限と責任が明確でなく、また、多くが非常勤であることから、2~3年で変わってしまうため、役割等が十分に果たせていない。権限、責任を明確化しつつ十分に配置し、常勤のPOの導入、及び非常勤POと常勤POの協力による実施方式の構築など、体制を強化・確立していくこと必要ではないか。

・ 持続的、安定的、発展的にプログラム・マネジメントを行うために、PD、POを持続的に養成・確保していくための有効な対応策及び、キャリアパスを形成することが必要ではないか。

 

お問合せ先

科学技術・学術政策局 評価推進室

(科学技術・学術政策局 評価推進室)