研究開発実施・推進主体及び第三者評価機関は、研究開発評価を適切に実施するために、あらかじめ評価対象、評価目的、評価者の選任、評価時期、評価方法及び評価結果の取扱いをそれぞれ明確にした評価の具体的な実施方法を定めるとともに、評価実施体制の充実を図る。
評価の実施に当たって、共通的に踏まえるべき原則は次のとおりである。
評価対象を明確かつ具体的に設定し、その内容を被評価者に事前に周知する。
評価は戦略的な意思決定を助ける重要な手段であり、それ自体が目的ではない。評価を実施する場合、このことを十分認識し、当該評価を研究開発活動の中でどのように戦略的に位置づけ、誰がどのように活用するかをあらかじめ明確にした上で、評価目的を明確かつ具体的に設定し、その内容を被評価者に事前に周知する。例えば、研究開発課題の中間評価では「研究開発計画の進捗度の点検及び情勢変化に対応した計画変更等の意思決定(中止を含む。)並びにこれに沿った資源配分に反映するため」、研究開発施策の追跡評価では「当該施策の実施による産業又は社会への影響及び施策実施上の問題点の把握並びにこれらを踏まえた新たな施策形成への活用のため」等が考えられる。
評価を実施するに際しては、自己評価(注1)を意図する場合を除き、評価の公正さを高めるために、評価実施主体にも被評価主体にも属さない者を評価者とする外部評価(注2)を積極的に活用する。やむを得ず内部評価(注3)とならざるを得ない場合も、可能な限り外部の専門家等の意見を聴いて評価を実施する。また、必要に応じて第三者評価(注4)を活用し、民間等への委託による評価の活用も考慮する。それらの際、利害関係の範囲を明確に定める等により、原則として利害関係者が評価者に加わらないようにする。なお、利害関係者がやむを得ず加わる場合についてはその理由を示すとともに、当該利害関係を持つ評価者のモラル向上や評価の透明性確保等を図る。評価の客観性を十分に保つため、例えば年齢、所属機関、性別等について配慮して、評価者を選任するよう努める。評価者には、一定の明確な在任期間を設ける。
なお、国家安全保障上の理由等のため機密保持が必要な場合には、この限りではない。
外部評価又は第三者評価を行う場合には、評価者は、原則として当該研究開発分野に精通している等、十分な評価能力を有する外部専門家(注5)とし、評価の質を高めるため、必要に応じて評価技術に精通している専門家や分野横断的専門家等の参画を求める。また、大規模なプロジェクト及び社会的関心の高い研究開発課題、研究開発施策並びに研究開発機関等の評価においては、研究開発を取り巻く諸情勢に関する幅広い視野を評価に取り入れるために、外部有識者(注6)を加えることが適当である。なお、研究者等の業績については、所属する機関の長が、自ら定めるルールに従い評価を実施する。
また、研究開発の性格や目的に応じて社会・経済のニーズを適切に評価に反映させるため、産業界や人文・社会科学の人材、研究開発成果の産業化・市場化の専門家等を積極的に評価者に加えることが必要である。さらに、国際競争・協調の観点や研究開発水準の国際比較等の観点からの評価を行うために、必要に応じて、海外の研究者に評価への参画を求める。加えて、独創的で有望な優れた研究者・研究開発を発掘し、育てるといった資質をもつ優れた評価者を選任することが重要であることを十分認識しなければならない。
研究者間に新たな利害関係を生じさせないよう、評価者に評価内容等の守秘の徹底を図る。
(注1)評価の対象となる研究開発を行う研究開発実施・推進主体が自ら評価者となる評価をいう。
(注2)評価の対象となる研究開発を行う研究開発実施・推進主体が評価実施主体となり、評価実施主体自らが選任する外部のものが評価者となる評価をいう。
(注3)評価の対象となる研究開発を行う研究開発実施・推進主体の内部のものが評価者となる評価をいう。
(注4)評価の対象となる研究開発を行う研究開発実施・推進主体とは別の独立した機関が評価実施主体となる評価をいう。
(注5)評価対象の研究開発分野及びそれに関連する分野の専門家で、評価実施主体にも被評価主体にも属さない者をいう。
(注6)評価対象の研究開発分野とは異なる分野の専門家その他の有識者であり、評価実施主体にも被評価主体にも属さない者をいう。
研究開発施策及び研究開発課題については、原則として事前評価及び事後評価を行う。特に、事前評価は、府省等として予算要求等実施に向けた意思決定を行う以前に、可能な限り外部の専門家や有識者の意見を聴きつつ実施する。5年以上の期間を有したり、研究開発期間の定めがない場合は、評価実施主体が、当該研究開発の目的、内容、性格、規模等を考慮し、例えば3年程度を一つの目安として定期的に中間評価を実施する。その場合、特に成果が短期間で現われにくい基礎研究(注)等、研究開発の性格等によっては、性急に成果を求めるような評価を行うことが適切ではないことに留意する。また、優れた成果が期待され、かつ研究開発の発展が見込まれる研究開発課題については、切れ目なく研究開発が継続できるように、研究開発終了前の適切な時期に評価を実施することが必要である。
さらに、研究開発機関等については、研究開発をめぐる諸情勢の変化に柔軟に対応しつつ、常に活発な研究開発が実施されるよう、評価実施主体は、3年から6年程度の期間を一つの目安として、定期的に評価を実施する。研究者等の業績の評価については、研究者等が所属する機関の長が自ら定めるルールに従い、評価を実施する。
研究開発施策、研究開発課題等においては、終了後、一定の時間を経過してから、副次的効果を含め、研究開発の直接の成果(アウトプット)から生み出された社会・経済等への効果(アウトカム)や波及効果(インパクト)を確認することも有益である。このため、必要に応じて、学会における評価や実用化の状況、研究開発を契機とした技術革新や社会における価値の創造、さらに、大型研究施設の開発・建設等の場合は当該施設の稼動・活用状況等を適時に把握する等により、追跡評価を行い、研究開発成果の活用状況等を把握するとともに、過去の評価の妥当性を検証し、関連する研究開発制度等の見直し等に反映する。なお、追跡評価については、その実施状況にかんがみ、今後、その一層の定着・充実を図ることとする。
(注)本指針において、「基礎研究」には、純粋に知的探求のために行われるものと、将来の応用を念頭に行われるものを含む。以下同じ。
評価実施主体は、評価における公正さ、信頼性、継続性を確保し、実効性のある評価を実施するために、評価目的や評価対象に応じて、あらかじめ評価方法(評価手法、評価の観点、評価項目・評価基準、評価過程等)を明確かつ具体的に設定し、被評価者に対し周知する。特に、当該評価に当たって被評価者に求める重要な要求事項、例えば「他国の先進研究開発との比較における妥当性」や「目標の実現可能性やその達成のための手段の存在」など、個別のケースに応じて具体的かつ明確に被評価者に伝わるよう配慮する。
評価については、評価に先立つ調査分析法から評価法そのものに至るまで、さまざまな手法がある。評価の実施に当たっては、その対象や時期、評価の目的や入手可能な情報の状況等に応じて、適切な調査・分析及び評価の手法を選択する。その際、評価における観点は、研究開発の必要性、効率性、有効性など、多岐にわたるため、各々の場合に適した調査・分析法又は評価法を適切に選択する必要がある。
特に、成果に係る評価においては、研究開発には最終的に優れた成果を生み出していくことが求められるため、成果の水準を示す質を重視した評価を実施する。その際、研究分野ごとの特性等に配慮しつつ、評価の客観性を確保する観点から、具体的な指標・数値による評価手法を用いるよう努める。例えば、あらかじめ設定した明確な目標(計画途上の達成目標及びそれらの達成時期を含む。)の達成度、特許等の活用状況等に関する数量的指標、公表された論文の質を把握する客観的手法による分析結果を、評価の参考資料として活用することができる。ただし、研究者の自由な発想に基づく基礎研究等のように、定量的な評価手法の適用が困難である場合があることに留意する必要がある。その場合であっても、可能な限り、客観的な情報・データ等を活用しつつ、定性的な評価手法を併用する等の工夫をする。
また、評価の質を高めるためには、優れた評価者や場合に応じた適切な評価体制の選択が重要である。
今後、評価においては、その信頼性を高めるため、従来にも増して評価に先立つ調査分析を充実させ、判断の根拠となる客観的・定量的なデータを組織的に収集・分析するなど、その質の高度化が求められる。当面、現在入手可能な手法の中から適切なものを選択して行うが、今後は、事前評価や追跡評価における効果や波及効果等の社会・経済への還元等に係る評価手法や、基礎研究についての定量的又は客観的な評価手法等についても、それらの開発・改良を進める。
評価は、「行政機関が行う政策の評価に関する法律」に示されている政策評価の観点も踏まえ、必要性、効率性、有効性の観点から行う。また、評価は、対象となる研究開発の国際的水準に照らして行う。さらに、研究者が、社会とのかかわりについて常に高い関心を持ちながら研究開発に取り組むことが重要であることから、研究開発によっては、人文・社会科学の視点も評価に十分に盛り込まれるよう留意すること、評価を通じて研究開発の前進や質の向上が図られることが重要であることから、評価が必要以上に管理的にならないようにすることや、研究者が挑戦した課題の困難性も勘案することが重要である。
また、特定の研究者への研究費の過度な集中を防ぎ、効果的な研究開発の推進を図るため、研究代表者及び研究分担者のエフォート(注)を明らかにし、新規の研究開発課題の企画立案、競争的研究資金制度における新規課題の選定等の際に活用することが重要である。
(注)研究専従率をいう。研究専従率とは、研究者が当該研究開発の実施に必要とする時間の配分率(パーセント)。研究者の年間の全仕事時間を100パーセントとする。
評価は、必要性、効率性、有効性の3つの観点の下、研究開発の特性に応じて、適切な評価項目及び評価基準を設定し実施する。
評価項目としては、例えば、「必要性」については、科学的・技術的意義(独創性、革新性、先導性、発展性等)、社会的・経済的意義(産業・経済活動の活性化・高度化、国際競争力の向上、知的財産権の取得・活用、社会的価値(国民の健康・安全等)の創出、国益確保への貢献、政策・施策の企画立案・実施への貢献等)、国費を用いた研究開発としての妥当性(国や社会のニーズへの適合性、機関の設置目的や中期目標等への適合性、国の関与の必要性・緊急性、他国の先進研究開発との比較における妥当性等)等が、「効率性」については、計画・実施体制の妥当性、目標・達成管理の妥当性、費用構造や費用対効果の妥当性、研究開発の手段やアプローチの妥当性等が、また「有効性」については、目標の実現可能性や達成のための手段の存在、研究者や研究代表者の能力、目標の達成度、新しい知の創出への貢献、(見込まれる)直接の成果の内容、(見込まれる)効果や波及効果の内容、研究開発の質の向上への貢献、実用化・事業化の見通し、行政施策実施への貢献、人材の養成、知的基盤の整備への貢献等が挙げられる。
また、評価基準については、設定された各評価項目についての判断の根拠があいまいにならないよう、あらかじめ明確に設定する。
研究開発評価は、その目的、評価の対象、評価時期や研究開発の性格(基礎、応用、開発、試験調査等(注))に応じて適切な評価項目、評価基準、評価手法の設定を行う等、柔軟に実施する。また、科学技術の急速な進展や、社会や経済の大きな情勢変化に応じて、評価項目や評価基準等を適宜見直すことが必要である。
特に、新しい知の創出が期待される基礎研究については、主に独創性、革新性、先導性、発展性等を重視する必要がある一方、その成果は必ずしも短期間のうちに目に見えるような形で現れてくるとは限らず、長い年月を経て予想外の発展を導くものも少なからずある。このため、画一的・短期的な視点から性急に成果を期待するような評価に陥ることのないよう留意する。
また、成果を比較的見極めやすいと思われる研究開発であっても、基礎研究、応用研究、開発研究等の各性格が混在する等、単純な区分が困難な場合も多く、個々の研究開発の内容を見極めて、具体的な評価方法を設定する必要がある。
さらに、短期間で論文、特許等の形での業績を上げにくい研究開発分野や試験調査等、各種の研究開発の基盤整備的な役割を担うものについては、個々の業務の性格を踏まえた適切な指標を用いることに配慮する。
一方、研究開発の性格や進展段階によっては、研究開発体制や管理運営の適切性、目標達成に向けたアプローチの妥当性等を重視した評価を行うことが有益な場合があることも考慮する。
(注)各種観測調査、遺伝子資源の収集・利用、計量標準の維持、安全性等に関する試験調査、技術の普及指導等、相対的に定型的、継続的な業務をいう。
評価に伴う作業負担が過重となり、本来の研究開発活動のための時間や労力を著しく費やすことのないように留意する。例えば、複数の評価実施主体が同一の評価対象についてそれぞれ異なる目的で評価を実施する場合や、研究開発課題・施策・機関といった階層構造の中で複数の評価を実施するような場合等において、評価の重複を避けるよう、既に行われた評価結果を活用する等、互いに十分な連携を図って評価を実施する。また、評価目的や評価対象、評価時期等に応じて可能な限り簡略化した評価を実施する等、評価実施主体の判断により、適切な方法を採用し、効率的に行う。例えば、大規模なプロジェクトと短期間又は少額の研究開発課題では評価の方法に差があるべきである。
なお、評価方法の簡略化や変更を行う場合は、評価実施主体は変更の理由、基準、概要等を示す。
また、一般に、研究開発実施・推進主体や第三者評価機関は、評価が自己目的化しないよう関係者の意識を統一すること、評価に習熟した評価担当者及び評価者を配置すること、さらに評価の質を維持しつつ作業負担を軽減できる評価手法を開発・活用することに努めることも有益である。さらに、各研究開発実施・推進主体が、あらかじめ自らの研究開発について自己点検を行い、適切な関係資料を整理しておくこと、評価の実施に当たって評価者側も可能な限りこのような資料の活用に努めることは、外部評価及び第三者評価を効果的・効率的に活用する上で有益である。
評価が、マネジメントサイクル(注)の一環などの形で戦略的な意思決定を助ける機能を十分に発揮するためには、あらかじめ明確に設定された評価目的及び評価の活用方法に沿って評価結果が確実に活用される必要がある。
研究開発施策、研究開発課題及び研究開発機関等の評価については、研究開発実施・推進主体は、評価実施主体が得た評価結果について、それぞれの特性に応じて予算、人材等の資源配分への反映、研究開発の質の向上のための助言等、より良い研究開発推進のインセンティブにもなるようにも配慮して活用するとともに、国民に対する説明責任を果たすためこれらの活用状況をモニタリングし、公表する。評価結果の具体的活用の例としては、評価時期別に、
○ 事前評価では、採択・不採択又は計画変更、優れた研究開発体制の構築等、
○ 中間評価では、進捗度の点検と目標管理、継続、中止、方向転換、運営の改善、研究開発の質の向上、研究者の意欲喚起等、
○ 事後評価では、計画の目的や目標の達成・未達成の確認、研究者又は研究代表者の責任の明確化、国民への説明、結果のデータベース化や以後の評価での活用、次の段階の研究開発の企画・実施、次の政策・施策形成への活用等、
○ 追跡評価では、効果や波及効果の確認、社会への説明、次の政策・施策形成への活用(政策・施策の目的自体の見直しを含む。)等
が挙げられる。
また、研究者等の業績の評価結果については、その処遇等に反映させる。具体的な活用の例としては、昇格やポスト登用の審査への活用、勤勉手当や年俸への反映、研究費の追加配分、自由な研究開発環境などの特典の付与、研究開発の継続や次の段階の研究開発の実施等が挙げられる。
(注)典型的なマネジメントサイクルとして、計画(plan)、実行(do)、評価(check)、改善(action)のプロセスを順に実施して最後の改善を次の計画に結びつけ業務改善活動などを推進する手法がある。
評価実施主体は、評価実施後、被評価者からの求めに応じて、評価結果(理由を含む。)を開示する。評価結果は、被評価者による説明や情報提供の努力と、評価者が評価対象を理解する努力を前提とし、評価者がその責任において確定するものであることから、厳粛に受け止められる必要があるが、評価結果について被評価者が説明を受け、意見を述べることができる仕組みを整備する。また、被評価者が評価結果について納得し難い場合に、評価実施主体に対し、十分な根拠をもって異議を申し立てることができる途を開いておくことが望ましい。なお、研究者等の業績の評価については、所属する機関の長が定めるルールに従う。
評価結果を評価報告書等の形で広く公表することは、研究開発及びその成果等について、国民に対する説明責任を果たすとともに、研究開発評価の公正さと透明性を確保し、また研究開発の成果や評価結果が社会や産業において広く活用されることに役立つ。
評価実施主体は、個人情報や企業秘密の保護、国家安全保障、知的財産権の取得状況等に配慮しつつ、研究開発の成果や評価結果をインターネットを利用する等により、分かりやすい形で国民に積極的に公表するとともに、必要に応じて国民の意見を評価に反映させる。なお、研究者等の業績の評価の結果や競争的研究資金制度における採択審査の結果等については、個人情報の秘密保持や知的財産の保全等の観点から慎重に取り扱う。評価報告書等は、少なくとも次に示す標準的要素を含む形で一体的にわかり易くとりまとめる。
○ 評価対象として、研究開発名、実施者、研究開発の概要、予算等。
○ 評価目的として、評価結果の活用を念頭においた明確かつ具体的な目的。
○ 評価者として、評価者名簿、評価者選任の考え方。
○ 研究開発成果として、研究開発の成果、その他の効果又は波及効果。
○ 評価結果として、評価方法(評価手法、評価の観点、評価項目・評価基準、評価過程等)、評価者の評価意見、評価結論。
評価者の評価に対する責任を明確にするために、評価実施後、適切な時期に評価者名を公表する。また、競争的研究資金による研究開発課題の評価の場合、研究者間に新たな利害関係を生じさせないよう、個々の課題に対する評価者が特定されないように配慮することが必要である。
研究開発評価は、その実施主体や評価対象、評価時期等において極めて多様である。特に、国費を用いて実施される研究開発は、さまざまな機関間の階層構造や機関内の階層構造の下で重層的に実施されていること、さらに研究開発は時系列的にも相互に関連しながら連続して実施されていくことから、それらを全体として効果的・効率的に運営していく必要がある。
このため、研究開発実施・推進主体は、評価システムの運営に関する責任者を定め、それぞれの主体の責任の範囲において、評価の相互連携・活用や評価のための体制・基盤の整備等によってその評価システムの機能や効果を全体として向上させていくことに努める。
研究開発は、それらを実施・推進する諸機関の面からみると、科学技術政策全体を俯瞰する立場の総合科学技術会議、具体的な科学技術政策等を分野で分担して実施する府省、さらに府省の所管の下にあって研究開発等を実施する独立行政法人等というように、階層構造の中で行われている。
また、評価の対象となる研究開発の面からみても、例えばある研究機関の下には、その任務の下での基本方針などの大本の施策から、具体的な制度、その下での個々のプログラム、さらにその下で採択される個別課題といった階層構造がしばしば見られる。
このような場合に、評価は各々の階層レベルで重層的に実施されることが多いが、評価の重複が問題となり易いため、個々の評価が担う責任の範囲の明確化と評価相互の有機的な連携・活用を図る。
例えば、ある制度を評価する際に、その下にあるプログラムの中の個々の課題まで詳細に点検することに代え、プログラム単位で行われた評価を活用する等によって効率的に行う。その際、各階層で行われる評価が統一性や一貫性をもち、かつ責任をもって実施されていなければならない。また、各階層で行われる評価を効果的・効率的に行うため、自己評価や内部評価、外部評価等を適切に組合わせて活用したり、評価に必要とされる情報を共通に使えるような形で整理しておく。
このような評価の連携・活用を具体的な機関や研究開発の特性に応じて各階層で進めていくことにより、個別の課題から上位の機関や施策・政策に至る効率的な評価システムを作る。
研究開発施策や研究開発課題等は、そのライフサイクルの中で事前評価、中間評価、事後評価、追跡評価というように、時系列の中で一連の評価の対象となることが多い。
このような場合に、各々の段階における評価をばらばらに行うのではなく、後の段階の評価では前の段階の評価結果を活用し、あるいはチェックする等、時系列的にも有機的に連携して行うことによって、評価に連続性と一貫性をもたせるよう図る。
例えば、機関や研究開発の特性に応じて、事前評価から追跡評価までの一連の評価における評価者として新たな評価者を加えつつ一部共通の評価者を残す等によって、場合に応じた評価体制の柔軟性と評価の一貫性を追求する。
また、一連の評価に係る情報を一括管理し、当該研究開発の過程をたどることを可能としたり、事後評価や追跡評価の結果を次の段階の課題や施策がより良いものになるように活用されるよう運営する。
このような評価の運営を図ることによって、個別の研究開発や上位の施策等の質が次第に向上していくような評価システムの運営を行う。
研究開発実施・推進主体は、その評価システムの運営及び機能の状況を当該機関や研究開発に応じた視点から適切な時期にレビューし、必要に応じて見直す。
その際、必要な視点としては、例えば、各階層における評価が指針等に沿って適切に行われているか、無駄な評価や形式に流れた評価になっていないか、評価に係わる関係者の役割分担は明確かつ適切か、評価実施主体、評価者及び被評価者の間で十分なコミュニケーションがとれているか等が考えられる。
前記の1.から7.を担保するため、評価実施体制を充実する。
研究開発実施・推進主体は、研究開発の特性に応じて、質の高い実効性のある評価が行われるように、評価実施のための具体的な仕組みを定め、公表する。また、評価やこのために必要な調査・分析、さらには評価のために必要な体制整備等に要する予算の確保、質の高い評価を実施するための人材の養成・確保等を通じて、世界的に高い水準の評価を行う体制を整備することが必要である。その際は、必要に応じて研究費の一部を評価の業務に充てることも考慮する。
研究開発実施・推進主体においては、評価部門を設置し、その責任者を定めるとともに、国の内外から若手を含む研究経験のある人材を適性に応じ配置し、効果的・効率的な評価システムの運営と評価の高度化を推進する体制を整備する。なお、競争的研究資金の配分機関においては、競争的研究資金制度の適切な運用、研究開発課題の評価プロセスの適切な管理、質の高い評価、優れた研究の支援、申請課題の質の向上の支援等を行うために、研究経験のある人材を専任のプログラムディレクター(注1)、プログラムオフィサー(注2)として充てるマネジメントシステムの構築を図る。
また、若手を含む評価人材(評価に精通した個別分野の専門家や研究開発実施・推進機関の職員、評価を専門分野とする研究者等)の養成や評価能力の向上のための体制整備として、研修やシンポジウム等を通じた評価技術等の普及、評価システム高度化のための調査研究の実施、評価を実施する第三者機関の育成・活用、評価部門に専門性が蓄積するような人事制度での配慮、評価者の社会的地位向上と評価に参加することが評価者個人に有益となるようなインセンティブの検討、評価者を評価する仕組みの整備その他評価支援体制の全般的整備に努める。
さらに、評価者や評価業務に携わる人材として、独創的で優れた研究者・研究開発を見いだし、育てることのできる資質を持つ人材を養成・確保するよう努める。
(注1)競争的研究資金制度と運用について統括する研究経歴のある高い地位の責任者をいう。
(注2)各制度の個々のプログラムや研究課題の選定、評価、フォローアップ等の実務を行う研究経歴のある責任者をいう。
評価者の選任、評価者の評価等の評価業務の効率化、研究開発の不必要な重複の回避、効果的・効率的な研究開発の企画立案等を図るため、各府省及び関係する研究開発機関等は各課題等ごとに研究目的、研究分野、研究者(エフォートを含む。)、資金(制度、金額等)、研究開発成果(論文、特許等)、評価者、評価結果(評価意見を含む。)等を研究者が自ら入力すること等により収録したデータベースを構築・管理するとともに、総合科学技術会議のイニシアティブにより、これらを府省横断的に活用できるよう、内閣府が中心となってシステムを共通化し、国費を用いて実施される研究開発の進展状況等がリアルタイムかつ継続的に追跡できる体制を作る。
さらに、審査業務・評価業務を効率化するため、申請書の受付、書面審査、評価結果の開示等に電子システムを導入する。
研究振興局振興企画課学術企画室