科学技術戦略推進費及び科学技術振興調整費による実施プログラムにおけるプログラム評価の進め方について

平成27年8月26日
科学技術・学術政策局
政策課
企画評価課
人材政策課 

  「国の研究開発評価に関する大綱的指針(平成24年12月6日内閣総理大臣決定)」及び「文部科学省における研究及び開発に関する評価指針(平成27年4月1日最終改定)」(以下、「大綱的指針等」)において、研究開発施策における研究開発課題の位置づけを明確にし、研究開発課題の総体としての効果を十分に発揮させるとともに、次の研究開発につなげていくこと等を目的として、「研究開発プログラム評価」(以下、「プログラム評価」)を実施することが盛り込まれた。
  これを踏まえ、科学技術戦略推進費及び科学技術振興調整費による実施プログラムについて、平成27年度は研究開発課題の評価(以下、「プロジェクト評価」)とあわせ、プログラム評価を以下のとおり実施することとする。

1.プログラム評価の基本的考え方
○プロジェクト評価では、個別の研究開発課題が評価対象となる一方、プログラム評価では、研究開発プログラムを推進する主体である府省等を対象として実施する。
○プログラム評価は、大綱的指針等を踏まえ、主に以下の観点から実施することとし、各プログラムにおいて「評価の視点」を設定する。

  1. 政策課題を解決し、イノベーションを生み出していくため、プログラム評価を通じて次の研究開発等につなげていくこと
  2. 個別の研究開発課題の成果を問うことに終始するのではなく、プログラム全体としての制度設計や達成度等について評価を行い、今後の政策の企画立案に向けた示唆等を抽出すること

○プログラム評価の結果は、大綱的指針等を踏まえ、研究開発に関係する施策等の企画立案やその効果的・効率的な推進に活用することとする。また、研究開発の成果や評価結果が社会や産業において広く活用されるよう、プログラム評価の結果を積極的に公開することとする。
○本方針に基づき実施するプログラム評価の対象は、以下のとおりとする。


気候変動に対応した新たな社会の創出に向けた社会システムの改革プログラム
安全・安心な社会のための犯罪・テロ対策技術等を実用化するプログラム
健康研究成果の実用化加速のための研究・開発システム関連の隘路解消を支援するプログラム
地域再生人材創出拠点の形成
戦略的環境リーダー育成拠点形成
若手研究者の自立的研究環境整備促進
イノベーション創出若手研究人材養成
女性研究者養成システム改革加速



2.評価の実施体制
○プログラム評価は、「科学技術戦略推進費及び科学技術振興調整費による実施プロジェクトの評価の進め方について」等に基づき、文部科学省より事務委託を受けている科学技術振興機構が設置・運営する評価作業部会(以下、「作業部会」)を活用して行う。
○作業部会には、当該プログラムを担当するプログラムオフィサー(以下、「PO」という)が参画し、作業部会主査の議事運営を補佐するとともに、これまでのプロジェクト管理等で得られた情報を含め、作業部会において必要となる情報を提供する。なお、作業部会にPOが参画するにあたっては、大綱的指針等において、プログラムを推進する主体が被評価者とされていることに留意する。

3.評価の実施方法
プログラム評価の実施方法は、原則として以下のとおりとする。

(1)POは、作業部会開催前に、作業部会委員に対し、評価方法やプログラムの主旨について、事前に説明等を行うこととする。
(2)作業部会は、プログラムごとに設定された「評価の視点等」(別紙)に基づきプログラム評価を実施する。評価方法の詳細については、プログラムごとに柔軟に対応する。なお、プログラムによっては、プロジェクト評価の結果がプログラム評価の結果になりうる場合があることにも留意する。
(3)作業部会におけるプログラム評価は、適宜、プロジェクト評価の結果や「行政機関が行う政策の評価に関する法律」に基づく評価の結果等を活用しつつ、大綱的指針等を踏まえて実施する。なお、POは、すべてのプロジェクトが終了していないプログラムについて、作業部会において必要と判断した場合には、実施中のプロジェクトの実施者に対し、現状の報告を求めることができる。
(4)作業部会は、評価結果を報告書にとりまとめ、原則として作業部会主査から研究開発評価部会に報告する。
(5)研究開発評価部会は、作業部会主査からの報告を踏まえ、評価結果を取りまとめる。
(6)その他プログラム評価にあたり必要な事項は、プロジェクト評価に準じつつ、柔軟に対応できることとする。

4.その他
○科学技術戦略推進費及び科学技術振興調整費による各実施プログラムはプログラム評価を実施することを前提としていないことに留意することが必要である。
○プログラム評価は、試行的・段階的に進めることとされており、今回のプログラム評価によって得られた知見を活用しつつ、今後のプログラム評価の実施の在り方等も含め、今後更なる検討が必要である。

以上


<別紙>

科学技術戦略推進費及び科学技術振興調整費による実施プログラムにおけるプログラム評価の視点等

1.評価報告書

各プログラム評価報告書は、以下のような構成を基本とする。

  1. プログラムの概要(プログラムの目的、政策との関係等)
  2. 公募実施年度及び採択機関数
  3. 総括的評価
  4. 評価の視点別所見
    (1)設計面
    (2)運営面
    (3)成果面
  5. 実施プログラムの現状等(参考エビデンス、データ等含む)

2.プログラム評価に際しての留意事項

  科学技術戦略推進費及び科学技術振興調整費による実施プログラムにおけるプログラム評価に際しては、「文部科学省における研究及び開発に関する評価指針」の記述及び第54回研究開発評価部会(平成27年6月19日開催)の議論を踏まえ、研究開発の現場に与える影響等も十分考慮して画一的・短期的な観点から性急に成果を期待するような評価に陥ること等のないよう留意するとともに、以下のような評価の視点(例)にも適切に留意して評価を行う。

【設計面】(例)

  • プログラムの目的とプロジェクトの構成や実施との関係
  • 公募を複数回(複数年度)行った場合、申請件数、申請の提案内容、申請機関 の設置形態・規模、地域毎の特徴などにどのような推移が認められたか

【運営面】(例)

  • 環境変化に対応した採択課題の動的な変化
  • PD,POのプロジェクト採択の視点
  • PO間の横の連携

【成果面】(例)

  • 成果全体がプログラムの目的等に照らして十分なものであるか
  • 成果全体からどのようなアウトカムが期待できるか

3.各プログラムにおける個別の評価の視点

  プログラムは、それぞれ以下の評価の視点に適切に留意して評価を行う。

≪気候変動に対応した新たな社会の創出に向けた社会システムの改革プログラム≫

【設計面】

  • 事業の目的が応募者に適切に伝えられたか(募集要領の記述、その後の説明等において)
  • プログラムの目的を踏まえた長期的な事業推進ストラテジーが構築されていたか

【運営面】

  • 実施機関に対する指導・助言等は適切に行われたか
  • プロジェクト中間評価や社会実証戦略委員会といった外部意見活用の仕組みは、目的達成のためのガバナンス機能を発揮したか

【成果面】

  • 今後のモデルケースとして展開が可能なシステムの枠組が示せたか(実装・運用の実現可能性や要素技術の有機的結合の観点から)
  • 今後の取組に活用できるような、「社会システムの変革」を行う上での隘路問題の抽出・整理が行われたか

≪安全・安心な社会のための犯罪・テロ対策技術等を実用化するプログラム≫

【設計面】

  • 関係府省との連携体制の下、具体的な現場ニーズに基づいた研究開発テーマの設定は適切であったか
  • 産学官連携で、実用化・事業化を目指す研究開発システムは有効であったか

【運営面】

  • 実施機関に対する指導・助言等は適切に行われたか
  • 実施期間5年の内、技術開発期間(3年)と実証期間(2年)との間に再審査システムを導入したことは、有効に機能したか

【成果面】

  • 実用化・事業化を目指す研究開発目標は達成されたか
  • 国民との科学・技術対話が有効に行われたか

≪健康研究成果の実用化加速のための研究・開発システム関連の隘路解消を支援するプログラム≫

【設計面】

  • 研究開発における隘路解消や成果の実用化加速という目的を達成するため、適切な公募要領・審査要領・採択条件を定めたか
  • 採択課題数や予算規模等は、プログラムの目的を達成するためのものとして適切であったか

【運営面】

  • 実施機関に対する指導・助言等は適切に行われたか
  • 関係省庁間における情報共有や推進支援は、プログラムの目的達成のために適切に行われたか(実施ワーキンググループや推進委員会等)

【成果面】

  • 本プログラムの成果として、研究開発の加速の状況、隘路解消に向けた対応状況、実用化展開加速に向けた見通しはどうであったか
  • 本プログラム成果等の社会等への波及効果はどうであったか

≪地域再生人材創出拠点の形成≫

【設計面】

  • 事業の設計にあたり、実施機関を「地域再生計画」における主要な実施主体の一つとして位置付けられたか

【運営面】

  • 実施機関に対する指導・助言等は適切に行われたか
  • 実施機関は、自治体と密に連携したうえで事業を推進したか

【成果面】

  • プログラムの実施によって、「地域再生計画」をどの程度達成したか
  • 実施機関は支援終了後も必要な体制を構築し、取組を継続しているか
  • 他地域への波及やグローバル展開などの発展性や事業実施者である大学等自身の変化の状況はどうか

≪戦略的環境リーダー育成拠点形成≫

【設計面】

  • 実施機関は途上国の環境分野におけるニーズを適切に把握して取り組んだか
  • 効果的かつ実践的な育成に向けて、人文・社会科学分野や産業界等との幅広い連携が視野に入れられていたか

【運営面】

  • 実施機関に対する指導・助言等は適切に行われたか
  • 実施プロジェクト間や関係省庁間における情報共有や推進支援は、プログラムの目的達成のために適切に行われたか(合同会議、実施ワーキンググループ)

【成果面】

  • 我が国の優れた環境技術や政策を活用した環境問題への実践的取組を介して、国際的な視野を持つ課題解決型の人材を育成できたか
  • 実施機関は支援終了後も事業を継続するための体制を、研究組織の改革や組織運営の改善を通じて構築できたか

≪若手研究者の自立的研究環境整備促進≫

【設計面】

  • プログラムの目的を踏まえて実施機関を採択したか

【運営面】

  • 実施機関に対する指導・助言等は適切に行われたか

【成果面】

  • テニュアトラック制の導入はどの程度進展したか
  • 若手研究者に自立と活躍の機会を与えたか
  • 実施機関は支援終了後も事業を継続するための体制を構築できているか

≪イノベーション創出若手研究人材養成≫

【設計面】

  • プログラムの目的を踏まえて実施機関を採択したか

【運営面】

  • 実施機関に対する指導・助言等は適切に行われたか

【成果面】

  • ポストドクターや博士課程(後期)学生が産業界など多様な場で活躍できるような教育・養成システムの構築はどの程度進展したか
  • 若手研究者等が国内外の多様な場で創造的な成果を生み出す能力を身につけるのに寄与したか
  • 実施機関は支援終了後も事業を継続するための体制を構築できているか

≪女性研究者養成システム改革加速≫

【設計面】

  • プログラムの目的を踏まえて実施機関を採択したか

【運営面】

  • 実施機関に対する指導・助言等は適切に行われたか

【成果面】

  • 女性研究者の採用・養成・登用を加速する人事システムの改革はどの程度進展したか
  • 女性研究者の採用・養成・登用に寄与したか
  • 実施機関は支援終了後も事業を継続するための体制を構築できているか


(参考1)文部科学省における研究及び開発に関する評価指針(平成27年4月1日最終改定)(抄)

  政策的に推進すべき具体的な科学技術イノベーション創出へ向けてのゴール(目標)及び時間軸が明確に設定できる場合、国民や社会が解決を必要としている具体的な政策課題について明確なゴール(目標)を設定できる場合には、今回初めて「国の研究開発評価に関する大綱的指針(平成24年12月6日内閣総理大臣決定)」に盛り込まれて本格的に導入される、「研究開発プログラム」のレベルで時間軸を設定し各段階での達成度目標を踏まえて評価を行うことが、研究開発施策の評価に際して効果的に機能していくものと期待される。
  ただし、研究開発プログラム評価の設定・導入に当たっては、大綱的指針における「研究開発プログラムの評価」を踏まえつつ、合理的かつ実効的なものとすべく、文部科学省内部部局及び研究開発法人等は、以下の事項等について十分留意しながら試行的・段階的に進めていく

(a)政策、施策、事業等に係る諸評価体系(政策評価法に基づく政策評価、独立行政法人通則法に基づく独立行政法人評価、国立大学法人法に基づく国立大学法人評価、大学の認証評価、総合科学技術・イノベーション会議による評価、行政改革に係る行政事業レビュー等)と整合性をとりながら、合理的かつ実効的な形で研究開発プログラム評価の導入を進める。

(b)基礎研究、学術研究については、その成果は必ずしも短期間のうちに目に見えるような形で現れてくるとは限らず、長い年月を経て予想外の発展を導くものも少なからずある。このほか、独創性が重視されるとともに、人材養成の意義も重要である。このため、画一的・短期的な観点から性急に成果を期待するような評価に陥ることのないよう留意することが必要であり、研究開発プログラム評価においても、こうした特性を十分考慮する。

(c)文部科学省関係の研究開発施策について、時間軸を明確にした検証可能な目標・アウトカム指標を設定して研究開発プログラム評価を行うことの研究開発の現場に与える影響等も十分考慮し、また、公募により研究開発課題を採択する施策においては、施策立案側で予期していなかったような優れた提案についても適切に採択・実施していく可能性を排除しないためにも、定量的に評価できる指標をあらかじめ画一的に設定することに固執することなく、定性的な目標・指標を設定することを含め、有意義かつ実効的な形で目標・指標を設定するとともに、プログラムの進捗に応じた適切かつ柔軟な評価を行う。

(d)研究開発プログラム評価についても、一般の研究開発施策と同様に、責任主体の明確性を確保することが重要であることから、原則としてその研究開発プログラムの実施主体である事業推進部門が外部の専門家等を評価者とする外部評価を活用することなどにより実施し、必要に応じて評価部門による評価や第三者評価を行う。

(e)追跡調査・評価の実施の在り方等を含め、合理的かつ実効的な形で研究開発プログラム評価の導入を進める。



(参考2)国の研究開発評価に関する大綱的指針(平成24年12月6日内閣総理大臣決定)(抄)

1 研究開発プログラムの評価

研究開発プログラムの評価については、研究開発の目的・目標、政策上の位置付けを明らかにした上で、研究開発プログラムを推進する主体である府省又は研究開発法人等を対象として実施する。

1.研究開発プログラムの意義等
(1)研究開発プログラムの意義
  現状の研究開発は、研究開発課題の単位で行われることが一般的であるが、研究開発施策の目標に対する各研究開発課題の位置付け、関連付けが不明確であるため、結果として各研究開発課題の総体としての効果が十分に発揮されているとは言えない状況にある。また、競争的資金制度等の研究資金制度については、制度として終期が設定されていないものや目的は示されているが制度全体の目標が示されていないものも多い。
  政策課題を解決し、イノベーションを生み出していくためには、研究開発課題や競争的資金制度等の研究資金制度をプログラム化し、研究開発プログラムの評価を実施することを通じて、次の研究開発につなげていくことが重要であり、研究開発課題よりも上位の階層である研究開発プログラムの階層における評価を導入・拡大する必要がある。
  また、科学技術イノベーション政策を一体的に推進していくためには、「アウトプット」としての成果と「アウトカム」としての成果があることを認識し、それぞれを区分した上で、特にアウトカム指標による目標について、検証可能な範囲で設定することが望ましい。

(中略)

2.評価の実施主体
  研究開発プログラムの評価は、その研究開発プログラムを推進する主体である府省又は研究開発法人等が実施する。
  研究開発プログラムにおいては、研究開発プログラムを推進する主体である府省又は研究開発法人等における事業推進部門が被評価者となるため、評価部門の運営の独立性の確保に配慮するなど、より一層、評価の信頼性及び客観性を確保する。

3.被評価者
  研究開発プログラムの被評価者とは、研究開発プログラムを推進する主体である府省又は研究開発法人等における事業推進部門を指す。
  被評価者は、自らが推進する研究開発プログラムの進捗状況を的確に把握し、その改善に向け、人員や予算等の資源配分を適切に見直すことを通じて、研究開発プログラムの成果を最大化するよう努める。

4.評価者の選任
  評価は、外部の専門家等を評価者とする外部評価により実施する。
  評価を実施する主体は、評価の客観性を十分に保つため、年齢、所属機関、性別等にとらわれず、評価対象ごとに十分な評価能力を有する専門家等を評価者として選任する。特に、研究開発プログラムの評価に当たっては社会・経済上のニーズを適切に評価に反映させるため、産業界や人文・社会科学の分野などの幅広い分野の専門家を積極的に選任する。
  また、公平性を確保するため、利害関係者が加わらないようにするとともに、評価者名を公表する。さらに、開始前の評価から追跡評価までの一連の評価における評価者として新たな評価者を加えつつ一部共通の評価者を残す等によって、評価体制の柔軟性と評価の一貫性を確保する。

(中略)

6.評価方法
  評価を実施する主体は、評価における信頼性、継続性を確保し、実効性のある評価を実施するために、あらかじめ評価目的及び評価方法(評価手法、評価の観点、評価項目・評価基準、評価過程等)を明確かつ具体的に設定する。この場合、評価の目的、評価の対象、評価時期や研究開発の性格などに応じて適切な評価項目、評価基準、評価手法の設定を行う等、評価の柔軟性を確保する。
  また、科学技術の急速な進展や、社会や経済の大きな情勢変化に応じて、評価項目や評価基準等を適宜見直す。

(1)評価手法
  評価の手法は、その対象や時期、評価の目的や入手可能な情報の状況等に応じて、適切な調査・分析及び評価の手法を選択する。その際、評価の客観性を確保する観点から、アウトプット指標やアウトカム指標による評価手法を用いるよう努める。
  研究開発プログラムの成果に係る評価については、総体としての目標の達成度合いを成否判定の基本とする。また、併せて、調査・分析を充実させ、実施したプロセスの妥当性や副次的成果、さらに、理解増進や研究基盤の向上など、次につながる成果を幅広い視野から捉える。この場合、成否の要因を明らかにし、個別課題の研究開発成果等に対して繰り返して重複した評価が実施されないよう、個々の個別課題等の評価結果を活用するなどして効率的に評価する。

(2)評価の観点及び評価項目・評価基準
  評価は、政策評価法において示されている政策評価の観点も踏まえ、必要性、効率性、有効性の観点から、また、対象となる研究開発の国際的な水準の向上の観点から行う。特に施策目標との整合性を重視して行う。また、それに必要な評価項目及び評価基準を設定して行う。
  特に、複数の個別研究開発課題等から構成される研究開発プログラムについては、それぞれの個別の研究開発課題等の目標が達成されることにより当該研究開発プログラムの目標が達成されるなどの関連付けが明確になっているか、さらに、関連施策との連携を保ちながら効果的・効率的に推進されているか、などを重視する。

(3)自己点検の活用
  評価は、府省などの被評価者等が、自らの研究開発プログラムの実施計画において具体的かつ明確な目標とその達成状況の判定指標等を明示し、研究開発プログラムの開始後には目標の達成状況、今後の発展見込み等の自己点検を行い、評価者はその内容の確認等を行うことにより評価を実施する。

7.評価結果の取扱い
(1)評価結果の活用
  評価が有効に機能するためには、あらかじめ明確に設定された評価目的及び評価の活用方法に沿って評価結果が確実に活用される必要がある。
  研究開発プログラムを推進する主体は、その評価結果について、研究開発プログラムの構成・運営の見直し、研究開発プログラムを構成する研究開発課題の新設又は中止など、研究開発プログラムの改善又は中止に反映していくとともに、国民に対する説明責任を果たすため、これらの活用状況をモニタリングし、公表する。さらに、研究開発に関係する施策等の企画立案やその効果的・効率的な推進に活用する。

(2)評価情報の国民への積極的な発信
  研究開発への国費の投入等に関する国民に対する説明責任を果たすとともに、研究開発評価の公正さと透明性を確保し、また研究開発の成果や評価結果が社会や産業において広く活用されるよう、評価を実施する主体はその実施した評価の結果を国民に積極的に公表する。この場合、個人情報の秘密保持、知的財産の保全、国家安全保障等に配慮しつつ、評価の結論だけではなく、研究開発の目標、実施内容、得られた成果、自己点検の内容、さらに、評価結果に基づく新たな研究開発の展開や政策への反映なども含めてわかりやすくまとめて公表する。


お問合せ先

科学技術・学術政策局企画評価課評価・研究開発法人支援室

(科学技術・学術政策局企画評価課評価・研究開発法人支援室)