“evaluation”
“assessment”
“appraisal”
“estimate”
“estimation”
“judgment”
“opinion”
“ranking”
“valuation”
“monitoring”
“review”
厳しい決断
科学者は、研究資金についてより効率の良い使い方を見出ださなければならない。もしそうしなければ、その使い方を決めるのは、政治家ということになりかねないからだ。
バラク・オバマ大統領が提出した2013年度予算教書に米国の科学者が目を通せば、そこに数多くの良い知らせが含まれていることに気づくだろう。随所で大幅な削減が行われているほか、共和党員から一層の削減を求める激しい圧力がかかっているにもかかわらず、オバマ大統領は基礎研究と理科教育の両領域において、堅実な全体的増額を要求している。
しかし、その良い知らせも現実によって調整される。オバマ大統領の予算教書は、停滞する米国経済への刺激と年間1兆米ドルを超える財政赤字の削減という、対立する二つの目標の間でバランスをとろうとする長い努力の結果であった。科学と理科教育は一つ目の目標に寄与すると広く考えられており、11月の大統領選挙で誰が勝利することになっても、そうした見方はまず変わらないだろう。
激しく対立している米国の諸政党の間でも、科学が繁栄の原動力になるという点では珍しく見解が一致している。だが、各種の科学資金配分機関自体も、決して二つ目の目標の対象にならないわけではない。予算削減が厳しくなれば、より多くの機関が運営を合理化し、プログラムを併合したり中止したりするようになる。
今週提示された予算教書では、随所に「厳しい決断（tough choices）」への言及がみられ、既にこうした動きが進行中であることが示されている。例えば、米国エネルギー省（DOE）は、研究上の重要な成果が上がっていない、あるいは将来性に乏しいと考えられる数十のプロジェクトに対して研究費の配分を中止する意向を示している。同様に国立科学財団（NSF）は、教育、アウトリーチ、研究に関する優先度の低いプログラムを対象に6,600万ドルという巨額の助成削減を進めている。国立衛生研究所（NIH）は、新規助成の件数を7％増加させるために「助成金管理に関する新方針（new grant management policies）」を進めるよう指示を受けている。また、NASAは、主力宇宙望遠鏡となるジェームズ・ウェッブ宇宙望遠鏡の建設を完了させるために、火星探査プログラムの予算を大幅に削減せざるを得なくなった。
もしかすると、こうした動きはより徹底的な経過をたどるかもしれない。先月、オバマ大統領は議会に対して、諸機関の統合整理と合理化を大統領主導で実施できる権限を要求し、一例として早期に米国海洋大気庁を商務省から内務省に移設する考えを示唆した。議会がオバマ大統領に、あるいは将来の共和党の大統領にこの権現を与えた場合、大統領は科学の管理効率を向上させるとの名目で、NSFの科学教育プログラムをすべて教育省に移転させる、あるいはDOEの素粒子物理及び原子核物理に関する調査研究をNSFに併合することが予想される。
ホワイトハウスの担当官らは、そうした大規模な再編は政府内で全く検討していないと主張している。しかし、それでも資金不足であることは変わらない。個々の研究者、学会、科学資金配分機関に、言い渡された削減をそのまま受け入れて対応する余裕はもはや残っていないのである。科学者側もプログラムやさらには機関全体の再編成についての議論に参加し、いかに乏しい財源での運営を効率化するか、またいかに優れた科学活動を効果的に推進するかを組織的に考える必要がある。
そのために、また、政治家と有権者から次第に強くなりつつある、基礎研究の有用性についての証拠を求める声に対応するために、科学者は国民による科学分野への投資の有効性を測る適切な方法を探さなければならない。これまでは、研究代表者により多くの報告書を提出させる方法がとられていたが、このやり方は関係者全員の時間の浪費につながる。2010年、NIHの主導により、六つの大学で構成されるコンソーシアム「スターメトリクス（Star Metrics）」が開始された。スターメトリクスは、自然言語処理やその他のツールで諸機関が収集済みのデータを報告書とすることで、従来に比べ優れた測定が可能になるとしている。しかし、これはまだ始めの一歩にすぎない。研究者と研究機関は更に優れた方法の開発に協力する必要がある。なぜなら、研究者側が自分たちでそうした方法を考案しなければ、恐らく政治家やその他の科学に詳しくない人々が、代わりにその課題を非常にうまく達成するからである。その結果がどうなるかは誰にもわからない。
「研究者、学会、科学資金配分機関は、もはや単なる受け身ではいられない。」
（本文は、” Tough choices” Nature 482， 275～276 （16 February 2012）”の記事をNature Publishing Group社の許可を得た上で再掲している。なお、この日本語訳は、Nature Publishing Group社による翻訳ではなく、当該社より、翻訳の正確性を担保されたものでもない。重要な事柄においては、Nature Publishing Group社により出版されたオリジナルの英語版を御参考いただきたい。）
米国の大学において実施される基礎研究に対する米連邦政府からの支援のうち、およそ20％を担当しているNSF（National Science Foundation）では、1997年以降、NSFの研究費助成に係る全ての提案プロジェクトの採択審査システムである「メリット・レビュー・システム」の基準を、知の発展につながる「固有の知的メリット（Intellectual Merit）」及び、教育や社会的便益等の向上につながる「より広範な影響（Broader Impact）」の二つの基準へと改定し、同一分野の専門家による評価・検証である「ピア・レビュー・システム」の改革を図っている。「より広範な影響」基準については、これまでに、応募書類に実際に記載された内容や評価における取扱い方等に問題があることが議論されてきたが、2013年1月から適用された「メリット・レビュー・システム」の基準でも、これらの基準を維持している。
全ての学問分野をカバーして英国の大学や研究機関の研究プロジェクト等に対して助成を行っている各リサーチカウンシル（Research Councils：研究会議）では、基本的に「ピア・レビュー・システム」による審査・評価が行われているが、近年、研究プロジェクト等の応募の際には、「学術的便益（Academic Beneficiaries）」に加えて、経済的・社会的な影響も含む、「影響要旨（Impact Summaries）」、「影響への道筋（Pathways to Impact）」についても記載して提出しなければならないこととされている。このことを通じて、研究者自身が、自らの研究活動がどのような卓越した科学的、経済的、社会的影響をもたらし、また、それを実現していくかについて考え、積極的に関与していくことが促されることを期待するような審査・評価システムを採用している。
英国では、高等教育資金配分会議（Higher Education Funding Councils）が、各高等教育機関の研究の質を分野別に評価し、評価結果に応じて、研究に係る基盤的経費を各機関に配分するResearch Assessment Exercise（RAE）を行ってきたが、Research Excellence Framework（REF）という新たな評価方式に移行することが決定している。2014年に実施されるREFでは、outputs（研究成果の質）、environment（研究環境）に加えて、impact（研究のインパクト）を新たな評価基準として導入する。
NSF（National Science Foundation， 全米科学財団） では、米国議会より、ハイリスクであるが、科学を変革し、経済を支え、社会的に重要な課題を解決することにつながるようなハイリターンを期待することができる、大胆な発想を基に行われる研究活動を積極的に支援すべきと強く要請されてきたこと等を踏まえ、2012年度予算より、INSPIRE （Integrated NSF Support Promoting Interdisciplinary Research and Education） プログラムを進めており、この下で、CREATIV （Creative Research Awards for Transformative Interdisciplinary Ventures） という試行的な助成制度を始めた。
CREATIVは、存在が認知されていないような新たな学際領域研究を生みだし、並外れて創造的でハイリスク・ハイリターンな学際領域研究提案に対して、NSFが支援する全ての研究領域に開かれた形で実質的な助成（予備調査的な助成ではなく）を行うことを目的としている。研究提案は、学際性を担保するため、事前にNSFの二つ以上の部門やプログラムのPDの了解を得ることとしており、その後の審査は、原則として、外部評価委員による審査プロセスを経ずにNSF内部のメリット・レビューシステムのみで、知の発展につながる「固有の知的メリット（Intellectual Merit）」及び、社会的便益につながる「より広範な影響（Broader Impact）」の2つの基準をベースとして行われる。採択された課題は、一般的には、個人のPI（Principal Investigator， 研究代表者）又はPIを含む小さな研究チームに対して、最高100万ドル、最長5年間の助成がなされることとされている。
CREATIVは、2013年度は、INSPIRE Track1という枠組みに継承され、INSPIRE Track1には、NSFの他のプログラムとは異なり、「知的メリット」基準においては「学際性（interdisciplinarity）」及び「変革潜在性（transformative potential）」が、「より広範な影響」基準においては「社会的便益に対する並外れた有望性（unusual promise for societal benefit）」が、特別の評価（審査）基準としてより明確な形で付加されている。（INSPIREプログラム全体の予算は2,910万ドル（FY2012））
【「学際性」の例】
○新しく驚くべき方法による複数の分野の概念や手法の結合
○大きな挑戦的課題に対する包括的・統合的なアプローチを要する課題解決型研究の提案
○新しい根源的な問いの提起や領域・分野境界での研究の新たな方向付け
○複雑な現象を解決に向けた既存の概念や方法に対する理解や活用の大きな転換
【「変革潜在性」の例】
○（社会）通念への挑戦
○新たな技術や方法論を可能とする洞察への導き
○科学、工学、教育の領域・分野境界の再定義
科学システムの再考
科学技術を取り巻く米国の予算状況が悪化することが懸念される中、科学コミュニティには、特定の問題に関する啓発活動だけでなく、それ以上の行動をとることが強く求められる。長期的な経済成長と社会福祉の基盤として、科学技術に対する投資を維持することが重要であることは明らかである。しかし資金面の制約が厳しい状況下で、科学活動の衰退を食い止め、科学技術の持つ可能性から最大限の便益を社会に還元させるには、資金を無駄なく有効に利用しなければならない。科学コミュニティに、削減された予算をそのまま受け入れる余裕はないのである。予算削減が目前に迫っている中、科学技術の資金調達と運営の方法を根本的に再考することで、その影響を少なくとも部分的には緩和することができるだろう。ここでは米国の状況を例に挙げるが、同じ問題が世界の様々な国や地域にも当てはまるはずである。
比較的コストのかからない範囲で手続と方針を変更するだけで、大きな違いが生まれることもある。例えば、連邦政府実証パートナーシップ（Federal Demonstration Partnership）の報告によると、米国の科学者は研究時間の42％を管理業務に費やしている。これらの負担の多くは、報告と保証に関する多大な要求事項から発生しており、求められる内容は助成機関や大学によって様々である。全米の研究資金配分機関を代表する全米科学技術会議（National Science and Technology Council）は、労力の無駄を削減するために、各助成機関に強く働きかけて資金提供と報告に関する方針を調和させる必要があるだろう。また別の例として、補助金申請書をより短い書式に改める、あるいは予備申請方式を採用する方法もある。これらの方法を導入すると、審査対象となる申請書の数が増加して採択率の低下を招く可能性もあるが、一方で資金配分機関のプログラム・オフィサーや既に過剰な負荷がかかっている評価者、あるいはプロジェクト研究者らの負担を大幅に軽減できる可能性がある。さらに、ピア・レビューの合理化や一括処理が可能になるようモデルを一新すれば、効率も大幅に向上するだろう。
長く議論されている他の問題にも触れておこう。それは助成を採択する際に、プロジェクトの詳細な説明と研究者の業績のどちらを主な基準とするかという問題である。資金が厳しく制限される状況で、より簡素な手続でも十分に資金配分の更新を判定できるのであれば、実績のある研究者にプロジェクトのさらなる説明を求め、時間を使わせるのは得策ではない。例えば、国立科学財団の達成度に基づく更新（National Science Foundation's Accomplishment－Based Renewal）では、まだ実施されていないプロジェクトではなく、最近の実績に基づいて研究助成金の更新が決定される。こうした方法を検討する際には、実績のある研究者ばかりが重視され、若手研究者にほとんど機会が与えられない事態が起こらないよう、審査決定の偏向を避ける仕組みをシステムに含めることが重要になる。このときに検討すべき方法は、一人の研究者が獲得できる助成件数や金額に制限を設けることである。こうすることで、若手研究者や新規参入の研究者がより多くの助成を受けられるようになるだろう。
まさに今、このシステムを根本的に見直す時期にきている。危機は困難を引き起こすが、好機にもなり得る。現在、米国の科学技術事業に対する綿密な分析が幾つか進行しており、これらの分析は今後議論を継続していく際の出発点となる検討課題を提供してくれるであろう。例えば、大統領科学技術諮問会議（President's Council of Advisors on Science and Technology）は、米国の科学技術事業に対する調査を進めており、既に報告書の作成段階に入っている。また、全米研究評議会（National Research Council）は、研究大学の将来についての調査をほぼ完了している。もちろん困難な決定を最終的に下すのは政策決定者であるが、これらの決定はすべての利害関係者、すなわち政府機関とその他の政策決定者、産業界、学界、患者団体、研究者を幅広く含む対話により周知される必要がある。国立衛生研究所（National Institutes of Health）が最近、財政的に厳しい時期の運営でどのような取り組みができるかに関して、様々な情報を募集している。科学技術コミュニティの諸氏は、この求めに応じてほしい。細部にわたって合意を得ることは難しいが、新たな予算状況の中で進展を図るには、科学技術システムの関係者全員が真（しん）に大胆で革新的なアイデアを受け入れようとすることが重要である。
（本文は、”Rethinking the Science System” Science 334， 738 （11 November 2011）の記事をAAASの許可を得た上で再掲している。なお、この日本語訳は、AAASによる翻訳ではなく、当該社より、翻訳の正確性を担保されたものでもない。重要な事柄においては、AAASにより出版されたオリジナルの英語版を御参考いただきたい。）
《プログラムディレクター（PD）の基本的役割》
《プログラムオフィサー（PO）の基本的役割》
○研究開発プログラムとして備えるべき構成要素及び基本的な枠組みは以下のとおりである。
○研究開発プログラムの設定においては、以下の類型が考えられる。
○研究開発プログラムにおいては、その特性に応じて、特にプログラムディレクター（PD）の当該研究開発プログラム期間中の専任化も含め、研究開発プログラムの推進主体等におけるマネジメント体制を強化する。
○研究開発プログラムの評価は、その研究開発プログラムを推進する主体である府省又は研究開発法人等が実施する。研究開発プログラムにおいては、研究開発プログラムを推進する主体である府省又は研究開発法人等における事業推進部門が被評価者となるため、評価部門の運営の独立性の確保に配慮するなど、より一層、評価の信頼性及び客観性を確保する。
○評価を実施する主体は、研究開発プログラムの開始前に、上位施策や他の施策との関連に基づき、定量的な目標・機能等、達成すべき政策課題を明確にした上で、国の施策や機関等の設置目的に照らした実施の必要性、目標・計画・実施体制・執行管理・費用対効果等の妥当性、研究開発課題の構成の妥当性等を把握し、予算等の資源配分の意思決定等を行うための評価（事前評価）を実施する。
○中間評価においては、目標の達成に向けた推進体制及び方法の妥当性、進捗状況を踏まえた工程表の見直しの必要性について検証する。
○研究開発プログラムの終了時に、目標の達成状況や成果、目標設定や工程表の妥当性等を把握し、その後の研究開発プログラムの展開への活用等を行うための評価（終了時の評価）を実施する。終了時の評価は、その成果等を次の研究開発プログラムにつなげていくために必要な場合には、研究開発プログラム終了前に実施し、その結果を次の研究開発プログラム等の企画立案等に活用する。
○研究開発プログラムが終了した後に、一定の時間を経過してから、その波及効果や副次的効果の把握、過去の評価の妥当性の検証等について、アウトカム指標等を用いた追跡評価を実施する。追跡評価については、国費投入額が大きい、重点的に推進する分野などの主要な研究開発プログラムから対象を選定して実施するとともに、その対象を拡大していくことが望まれる。また、追跡評価の結果は、その後の研究開発プログラムの形成や評価の改善等に効果的に活用する。
○研究開発プログラムを推進する主体は、その評価結果について、研究開発プログラムの構成・運営の見直し、研究開発プログラムを構成する研究開発課題の新設又は中止など、研究開発プログラムの改善又は中止に反映していくとともに、国民に対する説明責任を果たすため、これらの活用状況をモニタリングし、公表する。さらに、研究開発に関係する施策等の企画立案やその効果的・効率的な推進に活用する。
科学技術・学術政策局企画評価課