平成15年9月12日（金曜日） 10時30分～12時
霞ヶ関ビル東京會舘 35階 エメラルドルーム
石井部会長、生駒委員、石井委員、加藤委員、北澤委員、国武委員、榊委員、島崎委員、永田委員、中村委員、西島委員、平澤委員、古市委員、宮崎委員、元村委員、柳川委員、若見委員
科学技術・学術政策局 林局長、井上次長、河村政策課長、川端計画官、土橋調査調整課長、舟橋政策課企画官、内丸評価推進室長、増子科学技術振興調整費室長、内田科学技術振興調整費室補佐
資料2‐1、資料2‐2、資料2‐3に基づき平成15年度科学技術振興調整費の中間事後評価の進め方について、事務局より説明を行った後、質疑応答に入った。
委員
資料2‐3の利害関係者の範囲で、評価者が民間企業人になることもありうる。文面上は知り得た情報を他に漏らさないものとしても、努力目標的な意味合いが強い。
このような情報は、むしろ漏れることを前提に管理を考える必要があり、例えば文章にして評価者に一文をもらっておき、なおかつ民間企業の場合はプロジェクトをまたがる可能性がある場合については、評価者をおりてもらうことをあらかじめガイドラインで決めておかないと、利害関係に相当するかはっきりしない場合対応できない。
また、境界領域のプロジェクトはこれからのテーマなので、明らかに利害だというものはむしろ少ないという前提で考えた方がよいのではないか。
事務局
利害関係者の範囲は毎年ワーキンググループで一番の論点になる。例えば、3年前に研究担当者と共同で論文を書いたが、それでもいいか等。その場合、その課題が共同論文になっていなければいいとか、かなり際どい議論をしながらそれぞれ決めていたという経緯がある。
今、指摘のように、利害関係があいまいな点もあるし、漏らしてはいけない情報はかなりある。
非常勤の国家公務員でも、守秘義務はかかるので、専門委員の方は全員該当するということでご理解をいただきたい。
委員
まず一般論で、今、あちこちで評価をやっており、効率的に評価をやることが必要である。階層構造を持って評価をやるべきである。
一層目は研究関係であるが、コミットメント、マニフェストに対してどこまでできて、その内容がサイエンティフィックあるいはテクニカルにちゃんとしているかという、いわゆるピアレビューと言われているものであり、研究そのものを評価する。もう一層は、ファンディングエージェンシーとして、アカウンタビリティーという言葉を最後につけ加ているが、その支出がちゃんと社会的にコントリビューションしているかという、2層に分けないと、混乱も生ずるし、むだな評価をやることになる。
文科省の今の評価は多分後者で、主として社会的な責任の部分を評価するべきであると思っている。前者はピアレビューであるから、利害関係は生じない。論文を共著しているから利害関係であるという考え方は間違っているのではないか。研究プログラム自身、最近は第三者評価とか事後評価をいろいろやっているが、いわゆるサイエンスメリットの部分とアカウンタビリティーの部分で分けるべきである。
サイエンスメリット、ピアレビューの結果を使い、アカウンタビリティーを評価する。足りない部分はもちろん主張して良い、そうしないと同じことを何度も何度も書かされ、評価されるほうもするほうも非常に無駄が多くなる。
あちこちで評価しているので、何でもかんでも書くのではなく、各層でもっとクリアに目的を分けるべきであるということが1点。
もう一つは、審査と評価を分けてほしい。審査はお金を出すか出さないか、ゴー（Go）・ノーゴー（No Go）であるから、利害関係が大きい。評価は元来客観的か、主観的かで分けるべきである。従って、自分も共著でしたというと主観が入るが、その人にできるだけ客観的に評価してくださいという個人の問題としてお願いする。元来、評価に、利害関係という言葉自身がおかしい。
その点を切り分ける必要があるが、審査も評価も一緒で、お金を出すか出さないかを決めるのも審査評価部会と言っている。今後、そこはますます混乱するので、ゴー・ノーゴーを決める部分と、それが社会的責任を果たしたかどうか、これは審査委員会に対する評価でもあり、アメリカのサイエンティフィックオフィサーはまさにそういう任務を負ったものである。これは経産省でも混乱してやっており、せっかく評価推進室があるので、そこをもっとクリアに発信し、できるだけ小さいロードで、きちんとした評価ができるようなシステムをつくってほしい。
もう一つ違うことを言うと、ここでのサイエンティフィックオフィサーは2年で、しかもデディケーティッドではない。これは、総合科学技術会議の考えているものと随分違うのではないか。
アメリカのサイエンティフィックオフィサーは多分デディケーティッドで、自分がいくらファンディングし、その分野がどれだけ成果が上がったかという評価を受ける立場の人である。そこも、アメリカのものを形だけまねて入れたのでは違った趣旨になるので、きちんと切り分けていただきたい。
事務局
まず、階層構造の話であるが、無駄を避けるという観点で、特に先ほど最後に説明した戦略拠点の育成では、確かに2面ある。
今回の評価対象である東大先端研の例では、ちゃんと外部評価委員会を持っており、プロジェクトの中身をみずから評価しているということで、ピアレビューに近いものだと思われる。そういう意味で、先端研から評価委員会の成果を出していただくので、できるだけ重複がないように進めたい。
2点目のPOの位置づけであるが、確かに総合科学技術会議から出ている方向はまさにアメリカのNIH、NSFを意識したもので、相当強い権限を与えるというものである。
実際のところ、振興調整費のPO27名は非常勤であり、評価を助ける、協力するという立場でしかない。アメリカやイギリスのPOは自分が採択するということであるので、採択した課題が最終的に厳しい評価を受けることになれば、みずから採択したPOの責任になる。そういう意味では、社会的責任をすごく負うことになりますが、今の調整費のPOはそういうふうにはなっていない。
ただ、実際のところ、16年度の課題採択からは、POも採択の段階から相当絡めて、課題を管理する責任をできるだけ認識させるようにしたいと思っている。この中から何名かは常勤化を図ろうと考えている。
そういう中でできるだけ米国、英国に近づけたいとは思っているが、委員ご指摘のとおり、相当無理があることは認識している。
委員
POに関しては無駄なことをやっているのではないか。評価委員に同じような有識者を集める一方で、POとして若い先生を採用している。せっかく研究をやらなければいけないのに、こんなことに無駄な時間を使わせて、最も悪いタイプになっているのではないか。POはいらないのでは。こちらにシステムをつくって、またこちらにつくったら、研究は一体誰がやるのか。そこをよく考える必要がある。
委員
まず、第1の話はちょっと複雑であり、振興調整費の配分事務がJSTの方針で新しくできる機構にある部分が移される。そうなると、アカウンタビリティーの話はその法人の評価の問題になってくる。
ここでやろうとしているものは、基本的にサイエンスメリット、つまり採択したものが計画通りきちんと行われているかどうかを見るための評価であると理解している。これを採択した時点での機関は文部科学省なので、文部科学省がアカウンタビリティーを問われる仕組みになっている。これは行政評価の問題になるのではないか。
行政評価については、今のところ独法と違い、はっきりした評価委員会とか評価のシステムが確立しているわけではない。これは日本の全行政機関に対する行政評価の問題であると、理解している。これは政府全体として、あるいは国民が、どういうシステムが必要であり、かつ望ましいかを判断して、改善していくべきことであろう。
配分したもののポリシー、責任は、ここの評価委員会が考えるミッションとしてやっていく評価とは次元が違うと理解している。
委員
私と随分考えが違う。要は、自分のところが第三者評価をやっているのがサイエンスメリットであり、文科省という国の機関がJSTに移管しても、サイエンスメリットまで踏み込んで評価してはいけないのではないか。
その評価を使って支出が正しいかどうかという、行政評価はもう1段上と考えている。行政評価とピアレビューの中間に、科学技術は非常に特殊なものだからこういうものがあるのだとしないと、文科省がサイエンスの中身にまで口を突っ込んで、いくら外部の有識者を使っても「このサイエンスは役に立たない」ということを言うべきではないのではないか。
委員
「役に立つ、立たない」ということではない。
委員
サイエンスメリットがなかったということである。
委員
こういう研究をやると言い採択された課題がその通り達成されているかどうかである。
委員
今、委員がおっしゃっておられるようなことは、以前この委員会で指針をつくるときに随分議論されたと記憶している。
実際にはこの委員会がどういう機能を果たしているかというと、個々のプロジェクトの評価結果について、善し悪しを議論するというよりも、そのプロジェクトを並べてここでもう一度見直す、つまりプログラムや制度という上のレベルで見直して、それの善し悪しを議論していくという機能を果たしていると考えている。ですから、個別のプロジェクトはそこに設定された個別の評価委員会でピアレビューをやる。その結果を集めることで、いろいろなことが見てくる。この委員会はその知見を議論する場としての機能を十分果たしていると認識している。
委員
今の意見は、私の意見に近いものである。
委員
ワーキンググループがやるのはサイエンスメリットの評価だということである。それを前提に、この委員会でどう見る、すなわちプロポーザルの達成具合はまた別の次元である。
ただし、振興調整費がやっかいなのは、総合科学技術会議が基本的なデザインをしている点にある。従って、そこに対して意見を具申するとか、こちらとして現場の評価をしてみたらこうなるということは十分言えると思われる。
ワーキンググループで項目を立てて評価するのは、基本的にはサイエンスメリットの問題である。しかし、戦略的拠点についてはまた別の視点が必要だと思われるということである。
委員
どこをどう評価するかを、もうちょっとクリアにして頂きたい。人材育成については、何を評価するのか。
委員
ワーキンググループをつくって、そのワーキンググループに評価をお願いするそのやり方を議題している。そこでは主として達成度が問題になる。科学研究費の評価もそうである。
委員
PO・PDを導入したのは非常に大きな評価体制の変化だと思っている。
かねてから疑問に思っているのは、PO・PDと従来の省庁の担当課の役割である。どちらがどういう責任を持つのかについて切り分けができているのかということである。
今の説明で、PO・PDは助けていただくのだという立場だとすれば、依然として担当課に責任があることになるが、説明の中ではPO・PDに責任を持ってもらうと読めなくもない。問題は責任体制をどういうふうに持つかということが評価において一番重要である。ここのところを明確にするべきだということが1点。
もう一つ、総合科学技術会議での議論もそうであったが、アメリカの制度は、ここに例が挙がっているDARPAとかNIHとかNSFが一様であるわけではない。PO・PDの権限と事務方との権限の割り振りは、一様であるわけではない。これを一色で議論しているのではないか。
もう一つは、外部から研究経歴がある人のみを任命するが、アメリカではそうではない。ほぼ100％任命しているのはDARPAだけで、NSFだとそういうケースは3割ぐらいである。逆に言うと、官庁の中の専門家がPO・PDに相当する役割を担う、そういう位置づけを明確にすることは非常に重要なことで必要ではないか。
事務局
役所の行政官との切り分けという点に関して、サイエンスメリットを中心に評価する場合は、行政官の限界がある。そういう意味では、サイエンスメリットを中心にするものは、POに相当部分やっていただこうと考えている。
一方、戦略拠点の育成とか新興分野の人材養成についてはかなり政策誘導的にやっている部分もあるため、フォローアップを含め役所が相当やらなければいけないと考えている。
そういう意味で、使い分けが中途半端だというご指摘を受けるかもしれないが、プログラムによって役所側が主導でやるのか、PO主導でやるのかは違ってくるとご理解いただきたい。
PO・PDの位置づけに関しては、委員ご指摘のとおり、NSFの場合は3分の1が大学出身で、残りはパーマネントの人である。イギリスの場合も、同様である。
研究経歴だけにこだわる必要はないと考えている、例えば今後はJSTに事務の一部を委託するが、JSTには技術がわかる人が多い。そういう人たちが最初はPOを補佐的にやっていく中で、POに育てていくことも考えなければいけない。あくまでもPO導入1年目であるので、相当試行錯誤の1年間になると思われるが、その中で日本型のPO・PDの確立を目指す。
今回、ワーキングでPOにいろいろやっていただくが、実際、今年3月に導入し、審査の段階ではPOの方々にワーキングに出席していただいた。その時、ただ3時間座っているだけで何のためにいたのだというクレームも来た。そういう意味では「せっかくPOになったのだから、役立つ仕事がしたい」と言われているので、今回は相当仕事をしてもらっている。しかし、今度は逆に悲鳴を上げているところもあり、非常勤の方々の中でどういうふうにPOの仕事を位置づけるかも考えていく必要がある。
委員
PO・PDの話は非常に難しく、モデルは明らかにアメリカのものである。アメリカも機関によって違いがあり、NIHとNSFは異なっている。
日本は総合科学技術会議の提唱でこれを導入することになったが、具体的な運用について、まだ確固たるイメージが成立しているとはとても言えない状態である。
また実際問題として、今もお話があったように、非常勤職が非常に多い。非常勤は、大体週に1日程度というめどでお願いしているところが多いだろうと思われる。私が知っているのは日本学術振興会のほうであるが、大体がそうである。常勤は数人の方にお願いし、この方がディレクターとなっている。オフィサーは非常勤で、もっと数が多い。現在、こういう構成でスタートしようとしている。
常勤でお願いするのが理想かもしれないが、常勤だと「とてもそんなところへ行けません」とおっしゃる方が非常に多い。自分の大学、自分の研究、自分の研究室を空（から）にするわけにはいかないと。週に1日ぐらいだったらなんとかなりますが、という言い方をされる。さまざまな不確定要因があり、一同がみんな手探りでやっているのが実情だろうと思われる。
委員に実情をお聞きしたいが、これと決めつめるのはなかなか難しいという点はご理解いただきたい。今、事務局も言われたが、日本の実情に合ったものをこれからつくっていくのだというぐらいのことで考えないと、あるモデルに従ってこうあるべきだということを言ってしまうと、後でかえって動きがとれなくなるおそれがある。
教授のポストについてのものの考え方がアメリカとは異なり、ドイツとも異なっている。例えばドイツであれば、一定の期間ほかの仕事に移ると、代理教授をさっさと雇ってしまう。代理教授は、少なくとも授業に関しては全部引き受ける。しかし、研究室をメンテまでその代理教授にできるかというと、それはなかなか難しいであろう。若い人たちの育成等について、全部代理教授が引き受けることは実際問題として難しい話である。
その辺の細かいこと、あるいは研究室の現場の問題を十分検討した上でこのシステムが導入されたわけではないことは、否めない事実だろうと思っている。私が知っている限りのところで議論を始めてみて、問題が多数あることを感じている。
PO・PDをどうしていくかについては、まさにこの委員会で実情を把握しながら分析しないと行けない。PO・PDが片一方で不十分だという意見があるのと同時に、片一方でこれでは忙しくてやっていられないという意見もある。その原因が個人の事情か、システムの問題か、大学の問題か、こちらの問題か、きちんと分析して議論をお願いしたいと考えている。
委員
委員が言われたことは、まさにそのとおりだと感じている。これはとても難しい問題である。
今までPO・PDを導入していく過程において、アメリカの制度は日本から見ると理想的な制度だということを前提にして導入されている経緯がある。それは導入するという立場からは、そういう形で議論が進んできたことはいいと思うが、実際にはアメリカにおいてもPO・PDの問題点は聞く人によって評価が全く異なっている。
日本から行く調査団の多くは、例えばNSFとかNIHで推進している人たちの評判を聞いて、とてもいい制度だという形でまとめている面がある。実際に評価を受けている側の大学の教官とか、関係のない人たちに聞くと、また評判が全然違う面もでてくる。
日本がこれを導入していくに当たり、現在は日本型PO・PDができていくときの試行期間であるということを明示し、POやPDをお願いする人たちには、そういう苦しみの中であなた方にその次の姿を見出してもらう試行期間であることをはっきり示しつつ、やっていくほうが良いのではないか。
そうでないと、POやPDの人から「一体、我々は何なのだ」という形のクエスチョンばかりが出てきてしまう。それがあるのかないのか、あるとしたらどういうことかを探してもらう期間でもあるということで、実態を彼らにも伝えて進めていくほうがいいのではないかということを最近考えるようになった。
もともと評価そのものの目的は、アカウンタビリティーが一番大きなものである。アカウンタビリティーは中に二つあり、研究のコミュニティーで評価をきちんとやることと、もう一つそれと同じぐらい大事なのは、評価をきちんとやっていることをわかってもらうということである。
昔であれば、よらしむべし、知らしむべからずぐらいの形で、多くのお上の仕事がやられていたところがある。民主化が進むにつれて、きちんとやっていることを知ってもらうことが非常に大事になる。もしかすると、POの役割の最も大事な部分は、むしろ評価をきちんとやっていることを若手のコミュニティーあるいは学問のコミュニティーに、彼らがふだん語る中でそれが伝わっていく、そのアカウンタビリティーの後者の伝えるという部分が非常に大きいのではないかと考えている。
これまでPOやPDになられた方々は、いかにこれが不合理であるかということで、逆の宣伝効果を持っていたようなところがあると思われる。これから彼らにも一緒になってそういうことを考えてもらうということで、PO・PDの初期の役割はそこが非常に大きいのではないかと思っている。
委員
私のポイントは、PO・PDをどういうふうに機能させるかということではない。大学の先生の最大の問題は、研究や教育以外の雑務に追われすぎているということである。しかも、それは政府関係のいろいろな委員会に出ていることが非常に多い。
PO・PDのリストを見ると、研究の脂の一番乗ったところの先生をつかまえてきて、こういうことをやらせている。いま聞くと、必要がないのに導入して、何をやらせようか考えようという議論であり、これはすごく間違った考え方である。
いかに先生にそういうものを押しつけないかを考えないと、特に独法化の動きの中で、組織づくりや制度づくりで30代や40代の先生まで駆り出されてやっているわけで、2～3年間、日本の大学の研究力はものすごく落ちると考えられる。
むしろ、総合科学技術会議の先生方は、全部ではないが皆さん大学の出身であるので、もっと大きな観点からの制度づくりをやらないと、細かい制度一つひとつを見て最適化しようとしても、全体としては非常にまずいことになっている。今、そういう改革が起こりつつあると私は見ている。
しかも30代、40代の人が何％いるよということであるが、評価に30代や40代の先生を入れるべきではない。終わった先生を入れるべきである。そこをもっときちんと考えて、トータルな設計をしてから制度設計をしていただきたい。特に、総合科学技術会議の先生方にはぜひお願いしたい。
すごくローカルなことを一生懸命やり、全体として大変大きな誤謬をしているのが今の大学である。
委員
本年の1月5日までに起きたことについては、私も責任をシェアしております。
事務局
さきほどの委員のご指摘は、いわゆる評価疲れが評価にかかわる最大の問題だと認識している。
前回の部会でもご発言をしていただき、本日もこの後の審議になるが、これから評価をめぐるさまざまな問題点の調査をやる予定である。その一つの大きな項目は、評価疲れをどうやってなくすかということで、前回もこの部会で議論していただいた。
いろいろな評価疲れの問題で、絶対量を減らす、むだをなくす方法、また評価者を選ぶ際の選び方の問題など、幾つか指摘頂き、これから検討しようとしている。
一つ、委員から大前提となる非常に大きなご指摘をいただいたのは、評価と審査は違うのだという点である。これはそのとおりで、文部科学省の評価指針の議論の中でもまずそこが議論になった。今まではその点が混在一体となり、だれが最後に責任を持っているのかがわからないという議論があった。
文科省の指針の中では評価の実施主体という用語と評価者を切り分けている。評価の実施主体は、最終的に評価の設計をしてその責任を負う者であるが、この場合でいえば我々になる。そういう評価実施主体が設計したもとで実際に評価者を選ばせていただいて、評価者の方にやっていただくことはまさに事実をつまびらかにすることであり、それが評価の役割である。
いろいろな客観的な評価の結果をもとに、その判断として、ある課題を取り上げたり、もしくはお金をふやしたり、いろいろなことを決定するのは評価実施主体の責務であるということは明白にさせていただいている。
まだ過渡期であり、文科省内でもその辺の混同が一部見られる。評価推進室長として、そういうところを直していくべき努力をしているので、今後もよろしくお願いしたい。
委員
ただいままでに出た意見は、日程としてはワーキンググループの仕事が終わり取りまとめられ、この委員会に再び上がってくる12月以降にきっちり議論するべきことであろうと思われる。
ワーキンググループの仕事の過程で、単に評価をするだけではなく、そのプロセスにおいてどういう問題をワーキンググループの方々が感じられたか、PO・PDの方がいかに感じられたか、例えば30代、40代の方が多く登場されるということであるが、やってみないうちはやらせてもらいたいと思うが、やらされてみたらとんでもないというのはよくあるパターンである。そういうことは我々もさんざん経験してきたところであり、事務局でそれも聞くつもりであれば、材料はいろいろ上がってくるだろうと思われる。
a、b、c、dをつけました、結構です、どうもありがとうございました。それでは問題は終わらないことを今日の議論で事務局が十分わきまえ、まさに本質的な問題をここで議論できるように材料を上げていただきたい。
何か他に御意見はありませんか。
委員
資料2‐2、最後のページの7であるが、評価結果の取扱いのところで、被評価者からの意見を反映させるとなっている。指針の議論をするときに、こういう部分を入れるべきだということは、最後の段階でかなり重要だと認識されるようになったが、どのようなメカニズムで反映させるか、どのように意見を取り次ぐかまでは深まらないまま来た。実際にやる段階でちゃんと設計していきましょうという、いわば後に残された問題であった。
こういう公募に応じて落とされたときの審査の結果については、簡単な場合もあるし、審査内容についてある程度長い文書が来たりするように最近はなってきている。しかし、その内容に関して、どう考えても誤解しているとしか思えないような審査員の意見もある。このようなクレームを持っていく先として、現状では制度を担当しているPOかPDのところに行くことになるが、これは問題であろう。PO・PDに関してもやはり何らかの別の形で評価される、そういう評価の関係ができていかないといけない。そうだとすると、PO・PDという評価の責任を持つ人の判断の妥当性を、一つの情報としながら考えていくことは必要だろうと考えられる。
政府全体でクレームはここで受け付けるというところを別に作るのが良いのではと考えていた。この点についても、実施しながら考えていただきたい。
委員
実権を持たないのにクレームの対応だけをやらされるのは、一番損な役目かもしれない。世に言うアメリカ型の責任を持っているPDなら、自分でかぶるのもしょうがないかもしれない。しかし、それは全体の設計の問題として、あるいはデザインの問題として、これから十分議論していかなければならない。
ほかには何か。
委員
別添2の事後評価の評価項目に関して、PO・PDなどが意見を言い、最終的にこれに丸をつけていくようなことになるのか。また、この紙は誰がどのように利用するのか。また、全部aだったほうがいいのか、ある項目がaで、あるところがbだったらどうなるのか。
事務局
各ワーキングの委員の先生がヒアリング後、評価の項目についてa、b、c、dをつける。その上で集計し、総合的な評価を行う。例えば、簡単にいうと、ある項目についてaが幾つある、bが幾つある、その中で総合的にどこに位置づけるかをワーキングの全員で議論していただく。
例えばaの数が多いから単純に総合評価もaになることもあるが、最終的には点数だけではなくて、そこは総体的な議論の中の結果を踏まえることになる。
委員
ただ、点をつけるだけではなく、おそらくコメントを求めるのではないか。
事務局
コメントも求める。
委員
これが大事である。こういうところがあるから自分はbとつけた、cとつけたと。ところが、全委員の採点を集めてみると、大半がaをつけているのに1人だけbだとか、あるいはbが2人でcが1人で、ほかの10人ぐらいはaをつけている場合がある、これは私の経験に即して申し上げているが、ワーキンググループ全体としては一応aとする。しかし、ワーキンググループの総合的なコメントとしては、こういう問題が指摘されているので十分注意されたい等、最終的な結果として単純にaとかbという記号で出てくるのではなくて、大事な点だと思われれば議論し、少数意見であれ何であれ、そこの意見がコメントの中に組み込まれるべきである。
これは各項目についても、全体についてどう評価するかについても同様である。
委員
それを期待している。もし苦労して採択した研究をこれで丸をつけるように評価をされて、それが公表されただけだと、あまりにも報われないというか、寂しいものがある。
公表するときはマイナスのコメントも、少数のコメントも含めて、わかりやすい形で公表されるべきだ。中間評価であれば後半に生かせるので救われるが、事後評価で結果的に総合評価でdになっても、評価の過程ではaという評価もあったよという部分まで公表されるほうが、有効に活用されるのではないか。
事務局
公表する資料では、最終的には各項目についてa、b、cのいずれかだけである。aが幾つかいうところまでは出さない。
ただ、それ以外に、評価報告書という形で、一つの課題についてA4で2～3枚の紙を出す。その中で、そういう評価の中でどういう議論があって、こういう形で評価したということで出していきたいと考えている。
事務局
いずれにしても12月に報告する際に、プレスの出し方も委員のご専門であるから、その辺の観点からいろいろアドバイスをいただきたい。
今事務局の申したのは昨年のやり方である。毎年毎年いいやり方はあるので、考えていきたい。
委員
いろいろな評価をやった経験から言うと、ただ点をつけるだけではなくて、こういうところに問題があるよという、血も涙もある評価がやはり出てくるものだなという実感は持っている。この辺はワーキンググループにも無言で期待したい。
ほかには何か。
委員
評価基準・評価の視点の別添3であるが、「世界的な研究水準から見て十分に高いものか」という評価をする場合、国内の学者のワーキンググループだけではなく、外部の専門家として、その分野の海外の世界的な第一人者からも評価をしていただく必要があるのではないか。
次に「論文の発表は質・量ともに十分か」とあるが、もちろん質は一番重要である。数だけで評価ではなく、たった1本の論文でも十分に高い質であることもあり得るので、量にあまりこだわらないほうが良いだろう。
もう一つ質問だが、ワーキンググループが11あり、各ワーキンググループに対してプログラムオフィサーは1人か。
事務局
2人、3人の場合もある。
委員
去年、1年間アメリカに在外研究で行ったが、情報通信分野は随分調査した。この分野だけでもすごく細分化されており、NSFでは何人もいる。たった1人や2人では少ないのではないか。
事務局
まず一つ、世界的水準の話であるが、メールレビューの過程で、できるだけ最高水準のレベルの評価ができる人も考えたい。外国のメールレビュアーを探してやるというところまで考えると、予算の関係等なかなか難しいところがあるが、今後検討していきたい。
質と量の話は、ご指摘のとおりである。たった一つの論文でも非常に高い質のものも見落とさず、評価できるようにすることは重要である。各ワーキングの委員の先生も当然研究者中心であるので、理解いただいていると考えている。
委員
別添3の中間評価と事後評価に関する評価の視点のところで、例えば7ページにある中間評価の場合、研究の進捗状況がどの程度かというところのほうが論点になるのではないか。この中で見ると、中間でありながら研究成果がかなり重く書かれている、物によっては中間評価で研究成果がまだ出ていないところもあるわけである。中間評価の項目が研究進捗だとか、中間アウトプットが何かという定義がまず必要ではないか。その辺の整理とともに、修正する必要が行けないものがあるのではないか。
事務局
ご指摘のとおり、中間評価の段階で確かにそう大きな成果は期待できない面もあるであろう。当初の予定どおり、計画どおりに進捗しているかどうかが一番重要だと考えている。
項目もある程度行政側として社会的に説明する観点から落とすことができないものもあるが、ご指摘の点を踏まえ重みづけを考えていきたい。進捗状況が特に重要だと考えているので、その中で副次的に成果が出ていればそれはそれで高く評価できる。各ワーキングで横の関係も留意しながら、重みづけを中心に議論していきたい。
委員
中間評価と事後評価が同じ表現の項目で評価されるのも、逆に言うと変かもしれない。この辺の改善の余地は、もうすこしあるだろう。
委員
中間評価を充実していただきたいというのは同意見である。企業などでも評価はみんな嫌なものだが、評価する側もされる側も給料がそれで決まるので結構時間をかけてやっている。
まず、最初のテーマを決定する審査とテーマの進捗をチェックする評価が異なるメンバーで行う体制になっている。このこと自体も検討すべき課題ではある。審査で決まったテーマを開始するにあたり、事前のテーマの計画評価が重要で、徹底的に議論をすべきである。それで実際に実施者が進め、中間評価、事後評価を行うことになる。企業では製品化され、売れたかどうかで、事後の結果ははっきりわかるので事後評価はさほど重要でない。
一番重要なのは、事前に決めたことと中間の時点でどうかという場合、世の中が大きく変化しているのに、決めたことが計画どおりされているから中間評価はオーケーであるというのはおかしい。
ぜひとも中間評価のところで、社会的、経済的という項目があるが、世の中の変化に対してどうかとか、研究で言えば他の機関は同じような内容でそれ以上のことをやっているとか、そういうチェック項目を必ず入れて、続けるべきかどうかという観点でも中間評価を充実させていただきたい。
委員
世の中が違う方向に進歩し、相変わらずのんべんだらりと同じ研究をやっていていいのかは、この振興調整費というものの性格・目的に照らしてみると、非常に難しいところであろう。
ここでは基本的には計画どおりのことができていない、あるいはそれと違う方向に行っているから改善するべきであるとか、あまりひどければ打ち切りますよということで、a、b、c、dの項目が立てられている。
問題はプログラムをデザインして、採択したほうのポリシーがそもそもおかしかったのではないかというのは、一応括弧に入っている。従って、ワーキンググループにお願いするべきことかどうかも非常に難しい。この振興調整費をどうやって有効に効率的に運営をしていくかという、大きな残された問題であろう。
政策的に振興調整費はデザインし運用していく。緊急に必要だというような政策的考慮である。例えばバイオインフォマティクスで必要だということになれば、その人材をとにかく早くつくろうということで行う。5年もたたないうちに、それがまた違う方向に行くかもしれない。それを一体だれがどこで評価するのか。
「総合科学技術会議はだれが評価するのだ？」と言われ、「多分、国会ではないですか」と答えたことがある。議員人事は国会の承認を受けるので、紋切り型に言うとそういうことになる。文部科学省が評価するわけにもいかないわけである。ただし、問題の提起だけはできる。そこの点はぜひここで活発にお願いしたい。
委員
振興調整費の委員をやっているある部会で、非常にできの悪い中間評価のプロジェクトが出てきた。委員全体で話をした結果、やめてしまったほうがいいのではないかということになった。
担当の行政官は大変びっくりし、何とか立て直す方法はないだろうかということで、構成する班員をかえるとか、班長をかえるとか、そういったことを提言として入れた。
単に評価をし、点をつけるだけではなく、せっかく10名ぐらいの人がそのプロジェクトを読んで、研究代表者に来てもらって、話を聞いている。確かにやめるのは非常に難しいことであるが、どうやったらよくなるかということは提言できる。
中間評価のところに、委員あるいは委員会の強いアドバイスを盛り込めるようにしたほうが良いのではないか。それが普通になるようにする必要がある。
委員
今の意見で、別添2の12ページの1の進捗状況でeを入れられたのは画期的なことである。「客観的情勢の変化により目標変更が必要である」という考え方は、過去にあまり行政にはなかった。決めたとおりにいけば成功、いかなければ失敗としていたのを、目標変更をしろと行政側から言えるようになったのは随分フレキシブルになったなと思われる。これはすごく画期的な進歩と言える。
この分野が大事だからとファンディングしておいて、世の中が変わったから目標を変えてください、ストップするのではなくて変えてくださいとリコメンデーションするのは、非常にフレキシブルです。そういう意味である。
事務局
そこまで見ていただき感謝する。
委員
これは中間評価の考え方として、大きな進歩だと思われる。ワーキンググループもここをよく考えるべきである。
委員
それがごく普通に起こるようにする必要がある。
委員
企業では当たり前のことである。すぐやって、すぐ修正する。
委員
大分時間が押してきたが、特に意見がないようであれば、中間・事後評価の進め方についてご承認いただいたものとして扱わせていただきたい。
（「異議なし」の声あり）
委員
ありがとうございます。
あわせて、ワーキンググループの名簿が机上配付資料として置いている。これは、部会長がワーキンググループのメンバーを指名するという規定になっており、これに従って指名させていただきたい。
その他議題として、資料3に基づき文部科学省における研究及び開発に関する評価指針のフォローアップ活動の進め方について、第12回研究評価部会で議論いただいた点を中心に事務局より説明を行い、了承いただいた。
また、資料4に基づき概算要求前の事前評価結果の事例について、資料5に基づき平成14年度の科学技術関係の独立行政法人に関する業績評価結果について、資料6では総合科学技術会議がまとめた競争的研究資金制度の評価について、事務局より紹介を行った。
今後の予定
次回第14回部会は12月に開催予定。議事としては以下を予定。
科学技術振興調整費による実施課題の中間・事後評価の結果のまとめ。
―了―
科学技術・学術政策局計画官付