○ 会社では、レレバンシー（計画やプロセスの評価）、アカウンタビリティー（得られた内容と質がそれぞれの段階でのアカウンタビリティーを満足しているか、説明責任、納税者の期待に対する答えになっているか、）、コンプライアンスの3つ観点から評価に相当する内部監査を厳しくやっている。ここでも、これらの観点をバックグラウンドに議論を進めてはどうか。
○ 文部科学省、大学の研究の特性を伸ばすための評価という視点を常に持った議論が必要。特に大学での研究評価は、大学院の教育、高度の人材育成という視点も入れた議論をすべき。
○ 評価は、将来的に10年後の日本の大学教育なり研究開発なりの方向性を決める最も大切なところで、この作業部会が、さらに一歩上を目指して、政策、方向性にまで提言できるような評価システムを構築する方向に貢献する必要があるのではないか。
一 基本的考え方
○ 独立行政法人評価では、2年前に大くくりの評価、骨太の評価という方針を出した。非常に大きく見た評価が大事。現在の評価のやり方は積み上げ方式で、非常にディテールから入って、それを毎年繰り返しており、評価の負担を大きくしている。
○ 評価は、上位の視点からそれがどう進んでいるかを見て、あまり細かいところは必要なときにアドホックにやるというやり方で、なるべく大事な点がどこにあるかを考えるべき。そのためには、定量的ではなく、定性的にほんとうにこれが役に立っているかどうかということを文章で表現するほうが役に立つ。
二 評価システムの当面講ずべき改革の方向性
○ 日本の研究開発システムがこれからも先、持続可能であるということを目指した上で、どういったことをすべきなのかという持続可能性ということを出してもいいのではないか。
丸3 新たな研究領域を開拓する挑戦的な研究を促すような評価基準が必要ではないか。
○ 研究開発の内容と質を評価するのは、ピアレビューでやらなければいけないが、新しい領域や、境界領域になると、ピアレビューできる人がいない。この部分についてどう担保していくか議論すべき。
○ 海外では、学際・分野融合のより上位の概念として、新しい分野の開拓をいかにアプレシエートするか、世界レベルでの研究におけるリーダーシップという観点がある。他方、そういった先端的な研究をしている機関やチームもあると思うが、その基盤になる多様な活動もあり、その多様性もきちんと把握しておかないといけない。日本の中でもいろいろ多様であり、その状況にあったシステムを意識し検討を行うべき。
○ 最近、特にポスドクの問題が表面化しており、大学院生の意欲や後期課程まで進む学生の数にも影響を及ぼしている。日本の大学の場合、ポスドクの役割は高度な研究の推進役として大事であり、そのポスドクがハッピーな状態でないと、幾ら高度な研究とか最先端のことをやっていても、ほんとうの意味で長く続く、次世代につなげていくのは難しい。例えば第一線の大型のプロジェクトの中で、ポスドクのクオリティー・オブ・ライフ（QOL）にまで目を配ったような評価がなされているかということが気になる。大学院生の研究を通じた教育にも反映し、かつ高度な研究者の育成にも関係してくるものであり、そこの研究に携わる、特に若手の研究者のQOLにまで目を配ったような評価の視点を加えるべき。
○ 観点、基準、視点として、現行の必要性、有効性、効率性よりは、もう少し将来に向かっての視点を入れられないか。やはり研究を育てていくための評価ということをもう少し具体的に、できるだけ可能な範囲で考えられたらいいのではないか。
○ 世界的な視点での評価は非常に重要な視点だが、今は研究をやっている方たちの自己申告制になって、それにコメントをして何となく終わっているところがある。評価委員の中には、自分では甘い評価をしているなとかいうのはあるかもしれないが、少しそこの議論が不十分。その部分の議論をある程度活性化するためには、若干客観的なことも含めてやる必要がある。
○ 科研費の特別推進の審査は、外国人からコメントをもらうことになっているが、みんないいことを書いてきて、差がつかず、ほとんど役に立たない。しかし、WPIのサイトビジットで、プログラム委員が集まると、非常にクリティカルな、いい意見が出てくる。単に外国人に審査を依頼するということで、コメントを数行書いてもらうということだと、ほんとうに形だけで役に立たないのが出てくるというのが現実だと思う。
○ 海外の方は、我々が見逃しそうないいところを突いてくることも多く、大きなプログラムについては世界的な視点の評価も必要ではないか。
○ 審議会の研究費部会では、国際的な審査について、最先端でいくところのアイデアが抜ける、これをどう抑えるかという懸念する面と、また、何の役割もお願いしないで審査だけ書類を送って、まじめにやってもらえるかという問題が議論されていた。
○ 世界水準の評価については、先日科研費の会議に出たが、個別の申請に対しては、ほとんど褒めてくるものしかなく、個人が英語でプロポーザルを書かなければいけないことを考えると、プログラムのようなものはともかくとして、個別の研究提案に関しては、議論が必要なのではないかという意見が出ていた。
○ 政策の構造の中で、上位のプログラムが、その目的、ミッションに従ったことをしているかどうかをきちんと見るためには、サイトビジットで現場を見ることが非常に大切。
○ 評価者が評価した結果が、評価される、報われるフィードバックシステムが必要。
○ 政策の責任を誰がとっているのか、あるいはその政策のもとにこういうことがやられたことの結果がどうとられているのかという、その結果責任をとるという意味でのフィードバックが何らかの形で働くような知恵を出すこと必要。
○ 評価の基準、やり方について、評価者同士が議論する機会をつくることも大事なのではないか。海外では、研究者が、自分の判断を非常にチェックしたいと思っており、実際に、日常会話の中で行われている。将来に対して確実な100％という評価手法は必ずしもなく、そういう部分をカルチャーとして育てることも大事。
○ 我が国は評価の文化が醸成されていない。文化を求めていくわけではないが、ゴールとしては評価の文化がきちんと定着し、人もその中に育ってくといい。
○ 評価の文化ができていない現在は、ここで議論した結果が、方法論、ガイドラインとなって、評価者がマニュアルや何かを見て評価することが評価であるみたいな方向に行ってしまうことが心配。
○ 大学の教員は、評価されることになれていく、評価を受け入れるという姿勢を持つことが大切。例えば研究費を提案して、認められたらそれをやる、認められなかったら足りないところがあるということで、訂正をして、直して改善して、また提案するという、提案をされ、評価を受けて研究をするというスタイルになれていく、大学教員の変化が必要。
○ 評価の多様化は非常に大事。評価は、その課題設定、プログラムの内容によってかなり違ってくる。考え方としては、多様性を持たせた形で整理し、それがなるべく文字のとおり、ひとり歩きしないような形で整理できるとよい。
○ 評価者を評価するという一種のメタ評価のような議論があったが、例えば評価者カレッジ（評価者候補群）をつくっていくということを通じて、ピアレビューの中で、評価者と被評価者の立場が相互に循環するようなシステムもあると思う。この観点ではいろいろ多様な方法があり得ると思うで、模索してもいいのではないか。
○ 米国では、NIHやNSFの審査は、真剣勝負でしかも、どの階層でやるにしても、その評価者自身が、そのプログラムを審査することによって政策までかなり影響を及ぼすなど相当権限が与えられている。審査する側が、自分は審査している、その資格があるということを非常に名誉に思ってやっていることが日本との違い。
○ 本来、評価を通して次のプログラム、あるいは施策に反映をするのが大事なところで、評価者もそういう意見が通ってくれれば、誇りを持ち、さらに責任を持って動いてくれる。そういうことが順次積み重ねられるのが、評価の文化には入っている。
○ 評価の審査員をやって感じるのは、一つ目は、評価をするのに、選ぶ件数や予算額に応じた審査体制になっているか、二つ目は、一生懸命評価をして結果を出したら、この審査がドラスティックに結果に反映するかどうか、三つ目は、この評価の一般性、コミュニティのコンセンサスと乖離する評価をしていないかどうかということ。
○ 大綱的指針、評価指針と、国立大学や独法の法人評価との関係について、評価指針の評価の中には機関評価があるが、全く別の体系として、法人評価がある。現場で意見・クレームが出てくるときはその両者が切れていないという問題があり、この関係をどうするのかは、ここの議論の範疇を超えると思うが、整理が必要ではないか。
○ この議論の中でも、狭い意味でのevaluationと、この先、例えばどこに研究資金を投下するとかいったことを判断するassessmentとがあって、それらはやはり目的が違っている。議論が交錯したままいくと、なかなか共通の認識が得られないと思うので、できれば明確にどちらのことの話をしているのかと意識して分けながらいくと、議論がもう少し整理しやすくなるのではないか。
○ 評価に当たる英語がさまざまあるといった視点については、日本語で正しく理解するという意味においていいことが書いてあり、評価にはこういう側面があるということを整理できたらいいのではないか。
科学技術・学術政策局 評価推進室