| 分類番号 | 内容 | 項目数 |
|---|---|---|
|
1 |
評価システム（評価の評価、評価者の選任等）に関連するもの |
9 |
|
2 |
評価方法（評価基準等）に関連するもの |
8 |
|
3 |
評価結果の公表・活用に関連するもの |
5 |
|
4 |
その他 |
2 |
| 意見 No |
所属 | 指摘箇所 （分類番号） |
寄せられた意見（概要） | 対応案 |
|---|---|---|---|---|
|
1 |
大学 (海外) |
草案に書かれた内容は評価の指針として概ね妥当 | ||
| 評価の評価の視点
1 |
「評価の評価」あるいは「評価者の評価」が重要であり、すべての評価や評価者もまた評価される対象になることを明記すべき。「評価の質の向上のための方策」の項で次のような1項目を設けていただきたい。 評価の評価の視点 「評価の質を向上させるためには、評価者や評価もまた評価を受けるという「評価の評価」のシステムを確立していくことが求められる。評価実施にあたっては、このことに留意した組織を確保することが求められる。」 |
ご指摘の趣旨を踏まえ、「2．6．3評価の検証」として以下の項目を追加します。 「2．6．3 評価の検証 評価実施主体は、評価システムの適切な運用を確保するとともに、その改善を図る観点から、評価の在り方について評価者や被評価者等からの意見の聴取に努めるなど、評価の検証を適時行い、評価の質の向上や評価システムの改善に努める。」 また、評価結果を公表することも、評価の検証につながるものです。 |
||
|
2 |
大学 |
2．2．2 評価の観点に応じた評価者の選任 |
「共通事項」2．2．2は、大学に適用すべきではない。「成果を享受する産業界、一般の立場で意見を述べられる者や波及効果、費用対効果等の分析の専門家等の外部有識者」も評価者に加える指針を国立大学に適用することは、国立大学等の独立行政法人化に関する調査検討会議の報告書「新しい「国立大学法人」像について」との関連で大きな問題を孕む。すなわち、同報告書では、大学運営の諸レベルに学外者を参加させることを義務付けているので、両者を組合わせるとき、「産業界・学外有識者」が、大学の企画立案から評価までのすべてに亙って参画することになり、大学の自主性・自立性は形骸化される。 | 前半の段落で、評価には科学的・技術的観点からの評価と社会的・経済的観点からの評価があり、評価対象に応じて適切に評価者を選定することとしています。 「成果を享受する産業界、一般の立場で意見を述べられる者や波及効果、費用対効果等の分析の専門家等の外部有識者」は、社会的・経済的観点からの評価が必要な場合に、加えることが適当であるとしているものであり、これにより大学の自主性を形骸化するものではありません。 また、「4．1．1．2学術研究における評価の基本理念」においても、「評価にあたっては、専門家集団における学問的意義についての評価を基本とする。」と明記しています。 |
| 2．3．4．3 客観的な情報・データ等の活用 2 |
「数値データ」利用への歯止めが必要 「数値データ」へ安易に走る評価の現場の実情を考えると、力点を逆転して次のように書くことが望ましい。 「評価の客観性を確保する観点から、論文被引用度、特許の活用状況等の客観的な情報・データ等を評価の主な資料とする傾向が強いが、研究開発分野毎の特性等に配慮しつつ、評価実施主体は、評価者の見識に基づいて総合的に判断することを評価の根幹とすることを忘れてはならない。 |
原文において、評価の基本は、評価者の見識に基づく判断であり、参考資料として客観性のあるデータ等を活用することとしておりますが、ご指摘の趣旨を踏まえ、参考資料としての活用も評価対象や目的に応じたものであることを明確にするために、以下のように修文を行います。 「評価実施主体は、評価者の見識に基づく判断を基本とするが、評価の客観性を確保する観点から、評価対象や目的に応じて、 |
||
| 2．3．4．6 基礎研究等の評価 2 |
基礎研究の評価における「社会的・経済的観点」とは何か 2．3．4．6において「その際、科学的・技術的観点からの評価が基本となるが、社会的・経済的観点からの評価を考慮すべきものがあることに配慮する。」の部分が、この項における基礎研究の評価についての留意すべきことの趣旨とは相反するものである。基礎研究も特別視はしない、ということを強調しているとしか聞こえない。言葉を補うか、最後の文を削るか、いずれかが必要ではないか。 |
基礎研究においても、目的指向型の研究等の社会的・経済的な面での貢献が期待されるものがあります。ここでの趣旨は、そのような研究については、科学的・技術的な観点に加えて、社会的・経済的な観点からの評価が必要になるものがあるということを記述したものです | ||
| 2．4．1 評価結果の公表、資源配分等への反映プロセス 3 |
評価の資源配分への反映は、場合によっては評価の意義が台無しになる点も「指針」の中で警告して置くべきではないか。 2．4．1において「・・・・それらの部門は、評価結果を受け、研究開発施策や機関運営等の改善や、資源配分等への反映について検討する。」とあるが、反映のさせかた次第では評価はネガティブな役割を果たすようになるという点にも触れるべきではないか。 |
評価結果の反映を通じて、優れた研究開発が推進されることを意図しているので、ご指摘の趣旨も踏まえ、以下のように「適切な」という語を追加します。 「・・・・それらの部門は、評価結果を受け、研究開発施策や機関運営等の改善や、資源配分等への適切な反映について検討する。」 |
||
| 2．4．3 被評価者からの意見の提出 3 |
評価結果の情報開示を評価主体に義務付けるべき。 2．4．3において「評価実施主体は、評価実施後、研究開発の規模等を考慮しつつ、被評価者からの求めに応じた評価結果（理由を含む）の開示、被評価者が説明を受け、意見を述べることができる仕組みの整備に努める。被評価者からの意見を受け、必要に応じ評価方法等を検証する。」とあるが、「努める」では弱い。情報開示は不可欠な事項とすべきである。 |
「2．4．3被評価者からの意見の提出」の記述では、評価結果の公表を原則とすることを踏まえた上で、評価結果の理由を含めた開示の拡充や、被評価者への説明等の機会の確保に努めることを求めたものです。 | ||
| 4．1．1．4．2 評価の方法 2 |
大学の評価の特性への配慮のための具体的方法は記されておらず「精神論」に留まっている。 力点を逆にし、次のような書き方が望ましい。 「評価の客観性を高める観点から、論文被引用回数、特許の取得状況等の客観的データを収集・蓄積し、これらの資料に基づいて安易に評価する傾向が強まることが予想されるが、定量的指標による評価方法には限界があることをふまえ、ピア・レビューによる研究内容の質の面での評価を定性的に記述することを重視することが重要である。 特に、人文・社会科学の研究は、人類の精神文化や、人類に生起する諸々の現象や問題を対象とし、これを解釈し、意味付けていくという特性を持った学問であり、個人の価値観が評価に反映される部分が大きいという点に配慮し、評価者と被評価者との公開される議論が可能なように配慮することが不可欠である。」 |
本指針は、評価を行っていく上での基本的な考え方をまとめたガイドラインであり、具体的な評価手法については、評価実施主体が多様な評価手法を検討し、評価対象や目的に応じて、最適な評価方法を設定することとなっております（2．3．3．2評価手法の設定）。ご指摘の点については、評価実施主体が本指針を踏まえて適切に定めていくことになります。 | ||
|
3 |
大学 |
「評価は無謬ではないという謙虚な立場にたつ」、基本的な姿勢と、「基盤的研究」に対する理解は評価できる。細やかな配慮もあり、かなり成熟した指針であると思う。 | ||
| 1．4 評価システムの構築 1 |
評価システムの構築は、評価する側とされる側の体系的コミュニケーションなしには不可能であろう。しかし、1.4においては「適切に」「積極的に」と抽象的な表現に止まっている。評価される側からのフィードバックの仕組みが必要であることとそれに対する評価する側の義務を明記すべきである。2.3.5の評価方法の見直しが意味をもつ必要条件でもある。「状況に応じて、評価方法を見直す」というのは、十分でない。また2.4.3にある「評価者からの意見の提出」では、評価の結果に対する意見に限定しているので不十分である。評価システムに関する意見を吸い上げる仕組みが必要である。 | ご指摘の趣旨を踏まえ、「2．6．3評価の検証」として以下の項目を追加します。 「2．6．3 評価の検証 評価実施主体は、評価システムの適切な運用を確保するとともに、その改善を図る観点から、評価の在り方について評価者や被評価者等からの意見の聴取に努めるなど、評価の検証を適時行い、評価の質の向上や評価システムの改善に努める。」 |
||
| 評価の公表
3 |
評価結果の公表の仕方については細心の注意が必要。そうでないと、前提抜きの数字が一人歩きする事態がおこり、研究者あるいは研究機関がダメージを被ることもありうるので、どのような前提条件で設問された結果の評価なのかを明示することが必要。例えば以前掲げた目標よりも改善したということを評価したものか、あるいは絶対評価したものなのかなどを明確にすべき。 また、公表の仕方を不当と考えた研究機関等が異議申し立てをして、評価機関に是正措置を取らせることができるシステムを構築する必要がある。 |
評価結果の公表に当たっては、その結果が正確に伝えられることを意図しておりますので、ご指摘の趣旨を踏まえ、「2．4．2公表における留意事項」に以下の文章を追加します。 「その際、評価の目的、前提条件を明らかにするなど、評価結果が正確に伝わるように配慮する。」 ご指摘の趣旨を踏まえ、「2．6．3評価の検証」という項目を追加します。 |
||
|
4 |
大学 |
4.1.2.3 研究者の業績評価 2 |
4．1．2．3において「競争的資金の獲得実績」が業績評価の活用の一つにあげられているが、別の評価の視点もあってよいのではないかと思われる。 「競争的資金の獲得実績」をあまり重視するようになると、「競争的資金獲得」が目的化する恐れがある。国の現在の財政状況を考える時、大学等の研究者といえども、研究経費の節減に努め、国全体で研究資金を有効かつ効率的に利用するように、それに合わせた評価も考える必要がある。企業におけるコスト/パフォーマンスの考え方は、大学等には必ずしもなじまないとしても、研究分野によってはそうした考え方の導入はある程度必要であり、また研究者もそうした意識を持つことが重要。例えば、成果（論文、特許、社会貢献等）当たりの研究費というのは極端であるとしても、何らかの評価が考えられてよい。 成果をあげるには、「競争的資金」が必要である一方、工夫次第で「競争的資金」をそれほど必要とせずに十分成果をあげられる分野もあり、これからは同等に評価されてよいと思われる。 |
本文中で挙げた項目は、業績評価を行うに当たっての例を示したものであり、これら以外の評価の視点を妨げるものではありませんが、ご指摘の趣旨を踏まえ、例示であることを明確にするために、「例えば」を挿入します。 「各大学等においては、例えば学会等を通じた研究者間の相互評価や競争的資金の獲得実績も活用して・・・」 |
|
5 |
大学 |
指針として高く評価できる内容 | ||
| 評価目的等の明確化
2 |
評価目的及び評価結果の活用に関してこれを事前に明確化すること。 | ご指摘の点に関しては、「2．3．2評価の対象、目的の設定」の部分で、「評価結果をどのように活用するかを念頭に置いて、評価の目的を明確かつ具体的に設定し、その内容を被評価者に予め周知する」と明記しております。 | ||
| 評価基準の作成
2 |
科学的・技術的観点からの評価と社会的・経済的観点からの評価を区別することが明記されている。分野の異なるプロジェクトの比較や、分野優先度の設定が必要な場合に社会的・経済的観点からの評価が重視されることになる。これは評価基準に拘ることである。2つの異なる基準の配分比率が重要であり、それ次第で短期的結果重視・基礎的研究軽視とならぬよう評価基準の比重を明確にしてほしい。 | 評価基準は、評価の対象により異なるものであり、本指針では、評価基準を含む評価方法を予め設定し、周知することとしています（「2．3．3．1評価方法の設定及び周知」）。また、基礎研究等への配慮についても指針に明記しております（「2．3．4．6基礎研究等の評価」）。 | ||
| 評価者の選任
1 |
評価対象の研究開発及びそれに関連する分野の研究者（ピア・レヴュー者）と社会・経済的観点から外部有識者（他研究開発分野の研究者、産業界、一般の立場で意見を述べられる者や波及効果・費用対効果等の分析専門家等）の評価チーム構成における比率がポイントであり、場合によって評価者と被評価者のミスマッチングが起こり得るので慎重なる配慮が望ましい。 | 評価者の構成比率を含め、適切な評価者の選任の在り方は、評価の対象により異なるものです。その趣旨を明らかにするため、「2．2．2評価の観点に応じた評価者の選任」の記述を「評価実施主体は、評価対象・目的に照らして、それぞれの観点に応じた適切な評価者を選任する」と修文します。 | ||
| 評価の質的向上に関する方策
1 |
評価者の研修、人材養成等を行い評価者の評価システム、評価基準などの共通認識を徹底する。 | ご指摘の趣旨を踏まえ、「2．2．2評価の観点に応じた評価者の選任」に以下の記述を追加します。 「なお、評価実施主体は、評価の目的や方法等に関して、選任した評価者に対して周知するとともに、相互の検討等を通じて、評価について共通認識が醸成されるよう配慮する。」 また、評価者を含め評価に関係する者が、評価方法等の見直しや改善に努めることの重要性については、「はじめに」の中で「評価に責任を持つ者は、・・・・・評価方法等を常に見直していく姿勢を保持することが重要である。」と記述しています。 |
||
| 評価者と被評価者とのやり取り
1 |
評価者と被評価者の相互やり取りが可能となるシステムの整備 被評価者からの評価結果に対する意見の申し立てでは、事実誤認に基づく記述のみに限定するのではなく、評価のポイントなどに関する要望などの意見を逆提案できればこれが望ましい。 |
ご指摘の趣旨を踏まえ、「2．6．3評価の検証」として以下の項目を追加します。 「2．6．3 評価の検証評価実施主体は、評価システムの適切な運用を確保するとともに、その改善を図る観点から、評価の在り方について評価者や被評価者等からの意見の聴取に努めるなど、評価の検証を適時行い、評価の質の向上や評価システムの改善に努める。」 また、評価結果を公表することも、評価の検証につながるものです。 さらに、本指針では、評価結果を企画立案に反映させる「マネジメント・サイクル」と「評価の階層構造」を重視しており、その中で評価の検証も行われていきます。例えば、評価結果について、より上位の階層の評価において検討することにより、ご指摘の点はカバーされると考えます。 加えて、第5章において記述された評価のフォローアップを行う中で、評価実施主体とは離れた立場で評価の検証が行われることとなります。 |
||
| 第三者機関による点検
1 |
評価システム、評価結果の活用などを含め当研究及び開発に関する評価全体を第三者機関によって事後的に点検を行う必要がある。 | |||
| 評価の方法
2 |
定量的指標（citation index, impact factorなど）のみによる評価方法の限界を認識して、ピア・レビューによる研究内容を重視するとしたことは高く評価できる。さらに人文・社会科学をはじめとして定量的指標のような客観的基準が設定しにくい分野では、評価基準の多様性を尊重し、決して評価が難しいと言うことから評価の利用（例えば研究資金の配分）において不利な取り扱いがされぬように注意してほしい。 | 「2．3．3．2評価手法の設定」において、「多様な評価手法を検討し、評価対象や目的に応じて、最適な評価手法を設定する。」と記述することにより、評価対象や目的に応じて、多様な評価手法の中から、最適なものを設定するようにしております。 また、「4．1．1．2学術研究における評価の基本理念」においても、「評価を通じて研究活動を鼓舞・奨励し、その活性化を図る」よう、また、「画一的・形式的な評価」に陥らないよう指摘した記述があり、これらを踏まえて、適切に評価を行うこととしています。 |
||
| 研究と教育との関係
4 |
大学附置研究所などで教育義務の比重の少ない研究所等では、研究の比重を高めるなど教育偏重への配慮が望ましい。 | 評価については、大学等の諸機能全体の適切な発展を目指すものであり、機関等の特性に応じて、適切に評価を行うこととしています（「4．1．1．4．3研究と教育の有機的関係」）。 また、「4．1．2．3研究者の業績」の（注）書きにおいても、大学等は多様な内部組織から構成されており、その設置目的も、教育、研究、社会貢献など多元的な要素を総合したものであることから、一面的な評価にならないように留意することが明記されています。 |
||
| 評価結果の活用
3 |
組織ならびに研究者個人の評価結果は、組織運営に活かされると明記されている。本文が「評価指針」であることから、これ以上具体的に評価結果がどのように実際使われるか書かれていないものと考えられるが、これは重要な点である。少なくともマイナスの評価を受けた機関や研究者への対応をある程度ガイドラインとして明記するか、あるいはできれば評価結果の活用に関する具体例があればなお望ましいと考える。 | マイナスの評価結果についても、機関運営の改善等に活用されます。また、「1．3評価の対象とその基本的な考え方」において、研究者の業績評価に関して「機関における不活性な部分の活性化に役立てる」といった記述もあります。さらに理由を含めた評価結果の開示に努める旨の記述は、マイナスの評価結果を以後の改善に役立てることも念頭に置いたものです。 評価結果の活用に関するより具体的な事項に関しては、各制度や機関等の評価に当たり、本指針を踏まえて適切に定めていくことになります。 |
||
|
6 |
大学 |
評価活動の意義
4 |
研究者の評価活動への貢献を義務にすることで、評価活動自体が優秀な人材の流出を招く危険を指摘したい。この種の貢献はある恣意への盲目的貢献になりがちであり、その不毛さと全体主義的傾向から距離をおきたい欲求は有能な研究者ほど高い。 経済・産業の偏った視点が重視された場合、数学のように2千年余の伝統をもつ学問の存続さえ危機的立場にたたされる。 評価のありかたが将来的に是正されたとしても、現在の体制では人的不足により基礎的研究への負の影響が大である。過去数百年にわたり、諸学問は自律的に研究の価値を定める仕組を模索してきており、屋上屋を架すかのような新たな評価活動に人的資源を割くことは大いなる無駄である。 |
本文中において記述しているとおり、国費を用いて研究開発が行われていることから、国民に対する説明責任の観点や、評価を通じて研究開発をよりよいものとするなど、多様な観点から評価は重要なものであります。 また、ご指摘の評価活動に対する負担に関しては、評価に伴う過重な負担を避ける旨の記述を設け、また、特定の研究者に評価者としての負担が集中しないよう、評価者の層の拡大を図ることについても言及してあります。 |
| 評価者による署名
3 |
新たに研究評価を行う場合は、評価結果を文書ごとに署名入りで作成することを求めたい。評価の結果は評価者の個々の価値観に基く振れの大きいものになる可能性が大きく、文書の責任の所在を明確にし、その価値を無限定にしないためには署名が必要である。 一方で政策的に支援されている分野については、関係者の甘い評価によって問題点が温存されることが懸念される。そのような場合でも、署名入りとすることが第三者性を確保することになるだろう。 |
評価者名につきましては、適切な時期に公表することを本文中に明記してあります。 | ||
|
7 |
大学 |
指針として概ね良くとりまとまっている。 | ||
| 2．3．5 評価方法の見直し 1 |
「評価実施主体」を現場研究者が「評価する」しくみを必ずもうける必要がある。例えば、文部科学省内部部局や、大学評価機構を評価する仕組みが必要である。そうでないと、評価実施主体がよいとしない研究が、実は重要であるにも関わらず継続が困難になり国益を損ねることにもなりかねない。 この指針の2．3．5を次のように変更してはどうか。 2．3．5 評価方法の見直し 「評価実施主体の評価方法が適切であったかどうか、被評価者と評価者以外の研究者が検証する。この結果を参考にした上で、評価実施主体は、・・・・・・・見直す。」 このような制度は「評価先進国」のアメリカにおいて既に行われている。 |
ご指摘の趣旨を踏まえ、「2．6．3評価の検証」として以下の項目を追加します。 「2．6．3 評価の検証評価実施主体は、評価システムの適切な運用を確保するとともに、その改善を図る観点から、評価の在り方について評価者や被評価者等からの意見の聴取に努めるなど、評価の検証を適時行い、評価の質の向上や評価システムの改善に努める。」 また、評価結果を公表することも、評価の検証につながるものです。 さらに、本指針では、評価結果を企画立案に反映させる「マネジメント・サイクル」と「評価の階層構造」を重視しており、その中で評価の検証も行われていきます。例えば、評価結果について、より上位の階層の評価において検討することにより、ご指摘の点はカバーされると考えます。 加えて、第5章において記述された評価のフォローアップを行う中で、評価実施主体とは離れた立場で評価の検証が行われることとなります。 |
||
| 4．1．1．4．2 評価の方法 2 |
「客観的データを評価に用いる場合は、各専門分野内の特性を十分配慮する。」との文が必要である。 特に大学の執行部が判断を誤る可能性が強いからである。具体的には、各学会、学術会議等に各分野ごとの指標をあらかじめつくってもらうとよいと考える。例えば数学分野では著者名はアルファベット順で第1著者という概念はない。また論文のページ数も5ページ程度から100ページ程度まで長短様々である。したがって数学分野では、論文件数を指標とするのは書いた量の見積りとしても不適切である。他分野と同一指標を用いるのは、サッカーのスコアとバスケットのスコアを比較するようなものである。 |
2．3．4．3において、「研究開発分野毎の特性に配慮」すべきことを盛り込んでありますが、評価対象や目的に応じたものであることを明確にするために、以下のように修文します。 「・・・評価の客観性を確保する観点から、評価対象や目的に応じて、 また、「4．1．1．3学術研究の特性」において、「学術研究は人文・社会科学、自然科学のあらゆる学問分野にわたるものであり、その性格、内容、規模等が極めて多様である。」とし、学術研究における評価に当たっては、その「特性に配慮する必要がある。」としています。 |
||
| 2．5 評価における負担の回避 1 |
現在でも評価に伴う作業負担が過重になっている。 評価をされる機関、部門には一時的にでもよいから作業をする事務員を配置する必要があろう。 また各学会、学術会議等に各専門分野ごとの簡潔かつ有効な評価基準を作ってもらうことも検討すべきである。ともかく一流研究者が評価に忙しく、研究・教育に時間を投入できなくなるような事態を引き起こし（既に外国では、そのような事例が多い）てはならない。 |
ご指摘の点につきましては、「1．4評価システムの構築」において、「必要な予算、人材等の資源を確実に拡充し、充実した評価体制を整備する」という記述を行っております。 また、「2．6．1評価人材の養成・確保」において、「評価者の層の拡大に努める」という記述を行っております。 |
科学技術・学術政策局政策課