平成29年6月30日（金曜日） 10時00分～12時00分
文部科学省生涯学習政策局会議室（東館9階）
【今野座長】
皆様、おはようございます。ただいまから第7回検定試験の評価等の在り方に関する調査研究協力者会議を開催いたします。
お忙しい中、お集まりいただきまして、誠にありがとうございます。
本日は、検定試験の評価に関するガイドラインの素案について、審議したいと思います。
なお、報道関係者より会議の全体についてカメラ撮影と録音したい旨、申出があり、許可しておりますので、御承知おきください。
それでは、配布資料の確認を事務局よりお願いいたします。
【伊佐敷民間教育事業振興室長】
それでは、お手元の資料の確認をさせていただきます。議事次第、座席表及び資料1をお配りしております。お手元にございますか。過不足がございましたら、事務局までお知らせください。
【今野座長】
それでは、議題1に入ります。本日は、検定試験の評価に関するガイドラインの素案について事務局から説明を頂き、それを踏まえて項目ごとに御議論いただきたいと思います。
それでは事務局から、資料1「はじめに」と「1．検定試験の現状と評価の必要性について」の部分の御説明をお願いいたします。
【伊佐敷民間教育事業振興室長】
まず1ページ目に目次として構成を示しております。こちらはこれまで御議論いただいた検定試験の自己評価と情報公開、それから第三者評価について、ローマ数字の2と3がございまして、それに加えて、今回冒頭のところに「はじめに」とローマ数字1、検定試験の現状と評価の必要性についてという項目を置かせていただいております。また、最後のところにローマ数字4、国に求められる役割についてという章を追加させていただいております。
2ページ目のところが、「はじめに」でございます。こちらは、これまでの検定試験の評価に係る議論の経緯を説明している章でございます。平成20年2月に中央教育審議会の答申で検定試験の質を確保する仕組みを構築する必要性などについて提言がなされまして、この答申を踏まえて、平成22年6月に「『検定試験の評価ガイドライン（試案）』について（検討のまとめ）」が取りまとめられました。また、これを受けて、平成23年2月に「検定試験の自己評価シート」が有識者、検定事業者等の研究会によって取りまとめられたといったことが書いてございます。
また、3ページ目に移りますが、平成28年5月の中央教育審議会答申で、自己評価・第三者評価の相互の体系やその詳細について、更に国において検討を深め、その結果を踏まえて「検定試験の評価ガイドライン」を策定することが求められる提言されたといったことが書いてございます。この有識者会議は、こうした経緯を踏まえて平成28年12月より検討を行ってきて、その成果をこの度ガイドラインとして取りまとめたといったことが書いてございます。
次に4ページでございますが、検定試験の現状と評価の必要性についてということで、こちらには第1回の協力者会議でお示ししたバックデータや背景的なデータが記載してございます。特定非営利活動法人全国検定振興機構が調査したところ、平成25年において1,163の民間検定試験が存在しているといったようなこと、そして民間検定事業者に対するアンケート調査を行ったところ、自己評価を実施している団体の割合が約7割で、第三者評価の必要性について肯定的意見の割合が約6割であったといったようなことを記載してあります。
そして検定試験の受検経験者に対して、今後自己評価を行うということについて肯定的な回答は約7割あって、第三者評価の安心度に対する肯定的な回答も約7割だったということで、民間検定事業者や受検者の多くが、自己評価・第三者評価の実施の必要性について肯定的に捉えており、適切な自己評価や第三者評価の普及に向けた取組が重要となっているといったことについて記載してございます。
「はじめに」とローマ数字1についての説明は以上でございます。
【今野座長】
ありがとうございました。
それでは、これから自由討議に入ります。ただいま事務局から説明がありました資料1に基づいて、評価のガイドラインの素案について、まずは「はじめに」の部分とローマ数字1の検定試験の現状と評価の必要性についてのところで御意見を伺いたいと思います。どなたからでも結構ですので、御発言をお願いいたします。なお、発言の際には、お手数ですけれども、ネームプレートを立てていただければと思います。よろしくお願いします。
萩原委員。
【萩原委員】
素案ではありますが、文章の表現で意見を申し上げます。2ページ目の一番下の丸の、「検討のまとめ」を受け、平成22年11月に、有識者、検定事業者等とありますが、下から2行目には、検定実施団体と表記されています。これは同じことを指しているので、「事業者」で統一した方が良いかと思います。
次のページの最初の丸のところですが、最後の行のところで、「検定事業者の自主的な判断で取り組むことは有意義とされた」とありますが、これは関係者評価のことを指していると思いますので、どのように有意義であったかも書き加えておくと良いかと思います。例えば、「自主的な判断で取り組むことは、更に検定試験の質を高める意味でも」とか、どのように有意義であるかというのは書き加えておいた方が良いかと思います。あと、この文章が全体的に長過ぎるので、例えば下から3行目のところの「ガイドラインを策定することを求められるとする一方で」の、「求められる」のところで1回文章を切ると非常に分かりやすくなると思います。
もう一つ、その次の二つ目の丸の出だしのところで、「具体的には、国において」とあるのですが、ここが前の文章とつながりが悪いので、例えば、最初に「同答申では」と入れると、非常に分かりやすくなると思います。
【今野座長】
ありがとうございます。
他に、いかがですか。
【乾委員】
同じような内容なのですが、ローマ数字1の最後の丸、「このように、民間検定事業者や受検者の多くが、自己評価・第三者評価の実施の必要性について肯定的に捉えており」というところも、どのような観点で肯定的に捉えていらっしゃるのかという内容が入っていれば良いと思います。
【今野座長】
他、いかがですか。
【沖委員】
では、1点お願いします。内容面は、私は特段問題はないと思うのですけれども、1点、近年文部科学省から出ているこの手の文章ですけれども、大体補助資料が付いていたり、ここでどのような調査によるとというようなものについての出典ですとか、それを見るためのウエブサイトのアドレス等が出ているかと思いますので、全体として、できれば表記であるとか、出典を明記するという方向で、省全体として統一していただけると良いかと思いますので、御検討いただければと思います。
【今野座長】
ありがとうございます。
この部分、他に何か気になるようなところがあれば、出していただければと思います。どうぞ、片桐委員。
【片桐委員】
先ほど出ておりました、2ページの「検定実施団体において」という表現は、「検定事業者において」というのが統一されておりますので、その形でよろしいのではないかと思います。
それから、4ページの5番目の丸、最後のところ、少し細かいのですけれど、「民間検定事業者や受検者の多くが、自己評価・第三者評価の実施」と書いてあるのですけれども、ここでは正式に「自己評価及び第三者評価」と、二つの項目をここで出しておりますので、ポツではなくて、「及び」と表現された方が、より具体的に表現されるのではないかと思います。
【今野座長】
ありがとうございます。
他、いかがですか。萩原委員。
【萩原委員】
2ページ目の一番下の丸の5行目、「検定試験の自己評価シートが取りまとめられるとともに、文部科学省に提供された」というのが、「提供」というのが、「提言」とか、別の表現が良いかと思います。
【今野座長】
他はいかがですか。
では、私の方から1点。3ページの最後の丸で、「検定事業者が効果的・効率的に自己評価・情報公開・第三者評価を行えるよう」と書いてあるのですけれど、検定事業者が第三者評価を行うというのは、文章としてつながりがどうかと思います。第三者評価は、事業者は受ける側ではないかと思うので、少し表現を最後に考えられた方が良いかと思いましたので、申し上げました。
その他、何かありますか。それでは、又後で戻ることもあり得ると思いますので、次に進みます。事務局から、ローマ数字2の検定試験の自己評価についての部分の御説明をお願いします。
【伊佐敷民間教育事業振興室長】
5ページ目、ローマ数字2、検定試験の自己評価についてでございます。こちらは今年の2月までのこの会議で御議論いただいて、おまとめいただいたものを基本的に付けてございます。若干加筆修正を行ってございまして、まず、この5ページですと、評価の目的のところでPDCAサイクルを書いてございますが、こちらにPDCAサイクルとは何かという説明がなかったものですから、そこを記載しているというのと、6ページ目、情報公開のところも特段説明がなかったものですから、ここも初めて見て分かるように記載をしていくというところでございます。
あとは、7ページ目の自己評価の進め方の例ですとか、8ページ目以降、検定試験の自己評価シート、そして18ページの検定試験の情報公開チェックリスト、こちらは今年の2月までの会議でおまとめいただいたものとほぼ同様のものでございます。こちらは改めて御覧いただいて、もし、御意見があるようであれば御指摘いただければと思います。
【今野座長】
ありがとうございました。
それでは、ローマ数字2の検定試験の自己評価についての部分で御意見を頂きたいと思います。どうぞよろしくお願いします。
柴山委員、どうぞ。
【柴山委員】
改めて拝見して、細かいところなのですが、自己評価シートの、別紙2の通し番号の最後の方です。46番。コンピューターを使って行う検定試験のところで、「通常の紙による試験と同様の結果が得られるような配慮」の「同様」という言葉ですが、「同等」とされた方が、より実態に近いかと思います。異なる試験のスコアをどう扱うかというところで出てくる問題でして、一番条件の厳しいのが「交換可能」です。どちらのスコアを使っても同等な情報を持っている。もう一つが「比較可能」で、それよりは条件が緩いという感じです。
コンピューターと紙の試験の場合は、どちらかというと「交換可能」に近い感じです。具体的には、TOEFLなどでいうと、TOEFLのスコアとTOEFL iBTでしたか、そのようなコンピューター、インターネットを使っているような場合で、どのように対応しているかというようなことなのです。
多分これからコンピューターを使って実施する試験というのはどんどん出てくると思います。そのときにコンピューターを使うか、紙を使うかという媒体の違いに関わらず、結果の交換可能性というような話になってくると思いますので、1字なのですけれども、「同様」というよりも「同等」というような言葉に替えられた方が、これからの時代に合うかと思いまして提案させていただきます。
【今野座長】
ありがとうございました。
林委員、お願いします。
【林委員】
今の柴山委員のお話の続きなのですけれども、コンピューターのテストと紙のテストの関係で、我々も少し困っているのが、コンピューターを使うテストというのは、紙のテストをそっくりそのままコンピューターに張り付けたという状況ではなくて、コンピューターでなければできないことをやっている部分もあるわけです。その場合、当然測定の尺度というのは少しずれるものがあって、一般の人からいうと、同じ名前のテストはPBTとCBTでやった場合、この結果は直接比較できるのかとなると、もしかしたら、そのまま単純な話ではないかというところは、当研究所も実際の事業者としては悩んでいるところがあります。普通の受検者は、そのように取られてしまいますから、その辺が気になっているところでございます。
【今野座長】
ありがとうございます。
他に、いかがですか。どうぞ、乾委員。
【乾委員】
5ページ目、評価の対象のところなのですけれども、改めて自己評価シート全体を見たときに、特に民間の団体が実施するということについて、「法令等に基づかず、民間の団体が実施する検定試験」と限定している項目がないのです。「法令等に基づかず、民間の団体が実施する検定試験」が、もちろん対象の中心となってくるわけですけれども、その前提として、学習者の学習成果を測って達成した水準の程度を示す検定試験というものを全て対象として想定した上で、特に民間の団体が実施するものと限定をする。一番有効に使っていただけるのが、そのような検定事業者の方々だというようにしていった方が、より目的が明確になってくるのかと考えます。
【今野座長】
具体的にはどこの場所とか、どのようにというのをもう一度言っていただけますか。
【乾委員】
ローマ数字2の（2）の評価の対象の一つ目、「評価の対象」で、「学習者の学習成果を測り、一定の基準に照らして合格・不合格の決定や達成した水準の程度を示す検定試験が広く想定される」というのが、まず1文目に入った上で、「特に法令等に基づかず、民間の団体が実施する全ての検定試験が対象となる」、そのような文章だと良いかと思います。
実質的には変わらないのですけれども、ガイドラインそのもの、自己評価の項目全体としては、検定試験というものについて全て議論の対象にして作成されているものなので、そこは最初に宣言しておいた方が良いかと考えた次第です。
【今野座長】
分かりました。
他、いかがですか。小嶺委員、お願いします。
【小嶺委員】
5ページの（1）の二つ目の丸です。「これに加えて、自己評価を行い―PDCAサイクル」というようにあるのですけれども、ここは文章として、もしかしたら日常的に行っている自己点検では気付かない新たな視点からの改善を図るために、多分自己評価を行うのだと思うのです。その自己評価を行うときには、PDCAサイクルを回すというところなのですけれども、PDCAサイクルはもう回っているので、ここはいつも表現が、私も個人的に書くときに迷うのですけれども、例えば「PDCAサイクルにより自己評価を行う」とかいう表現の方が、もしかしたら正しいのかと思いましたので、改善を図るためにPDCAサイクルによって自己評価を行うというようにした方が分かりやすいかと思いました。
【今野座長】
柴山委員。
【柴山委員】
先ほどのコンピューターの話に戻るのですが、林委員の御発言を聞いていて、私、「同等」というのを提案したのですが、修正させていただきます。どうしても発想が、現在ある紙によるテストが基準になって、次に出てきたコンピューターが、その基準に対してどうかというような発想になってしまいがちなのですが、このようなとき、英語ではコンパチビリティという言葉を使いますので、そのまま日本語に訳して、「通常の紙による試験と比較可能な結果が得られるような配慮がされているか」というようにすると、新しい技術でしか測れないようなところも含めて表現できるので、先ほどの提案を修正して、「比較可能な結果が得られるような」というように書くのはいかがですかということにします。
【今野座長】
なかなか難しいのですけれど、大体そのような感じですか。「同等」というよりは、「比較可能な」の方が適切ということですね。分かりました。
宮井委員。
【宮井委員】
コンピューターベースのテストのことで質問にも近くなってしまうのですけれども、ペーパーテストをそのままコンピューターで置き換えたときには、先ほど柴山委員がおっしゃったように「同等」ということで、とても分かりやすいと思うのですけれども、コンピューターの良さを反映して試験の方法を変化させていくことになった場合、その試験とペーパーテストは違う試験になってしまうのではないかと思うのですけれども、その辺りは、特にこの自己評価シートの場合、それは又別の試験なのではないかと思ったのですけれども、どうですか。
【今野座長】
お願いします。
【柴山委員】
これは1か0かの問題ではなくて、程度問題なのです。例えば、名前を出して悪いですけれども、TOEFLと英検といった場合に、大きくは英語の4技能を測っている。でも、それぞれの対象も違うし、標本集団も違う。さらにiBTなど入ってくると、また少しずれてくるというような程度問題で、余りゼロ一で考えられない方が良いのではないかというのは私の立場です。
ただ、程度問題だと言ってしまうと、では、どうするのだというような、そのような判断の難しさはあるのですけれども、この場合は自己評価ですから、あくまでも民間団体の方で、自分の立ち位置はこうだというようなところで評価されていくという形で良いかと思います。
【今野座長】
他にいかがですか。
6ページの一番上の丸ですけれども、「企業・学校・地域等広く社会で活用されることを目指している検定試験は、自己評価シートの番号欄が灰色の項目についても自己評価を行うことが期待される」というようなことで、自己評価をするときに、かなり幅広く厳密にやるものと、簡易で良いのではないかというものと、あるだろうということで、しっかりやるものについては、広く社会で活用されるというような言い方で区別をするというようなことについて、前回も、その前もいろいろ議論がありましたけれど、今回はこのような表現で、「社会で広く活用されることを目指している検定試験は、灰色の項目についても自己評価を行うことが期待される」というような表現に素案ではなっておりますけれども、この辺り、このような書き方で良いかどうか、少し御議論いただければと思うのですけれど、いかがですか。特に大きな違和感のようなものはないですか。
では、関連する同じような表現が後の方でも出てくるので、又そのときにでもと思います。どうですか、このローマ数字2の部分、全体的な考え方と、別紙で進め方の図表があって、それから個別の自己評価シート項目、ずっと議論をいただいて整理をしたものですけれども、これが挙がっております。
どうぞ、片桐委員。
【片桐委員】
言葉の表現というような形なのですけれども、細かくて申し訳ないですけれど、6ページの3段目の（5）評価となっていますが、この場合は、いわゆる4段階の結果なのです。表現なので、単なる評価ではなくて、22ページの方になりますと、評価の方法ということで、こちらの方は第三者評価ではしているのです。ですから、この6ページの方は、「評価の方法」か、あるいは「評価結果」というような、もっと詳しい言葉の表現の方が、より分かりやすいのではないかと感じております。
それから、7ページの自己評価の進め方の例ということで、「前年度の自己評価の結果・第三者評価の結果」となっておりますが、私はポツではなくて、「自己評価の結果及び第三者評価の結果」と具体的に強調された方がよろしいのではないかという感じもしました。
【今野座長】
ありがとうございます。
柴山委員、どうぞ。
【柴山委員】
今の御発言の評価の4段階のところなのですが、学力検査なら成績表示というような言葉を使うことが多いのです。例えばなのですけれども、評価結果の表示というような形で、少し限定的に書くというのが一つ案としてあるかと思いました。
【今野座長】
ありがとうございます。
柴山委員、どうぞ。
【柴山委員】
更に遡って、先ほど企業・学校・地域と広く社会で活用されることを目指している検定試験なのですが、確かにこの表現だと広過ぎるかということもあるのです。なぜこの自己評価が期待されるかというと、その検定試験が社会で広く活用される結果、その試験を受けた人にとって、いろいろな意味で、例えば新しい資格を付与されたことによって新たなキャリアを積めるとか、そのような影響力が多いというようなニュアンスも入ってきていると思います。社会的に影響が大きければ大きいほど、きちっと第三者評価あるいは自己評価も含めてなのですが、そのようなことをしておいてほしいという願いのようなものが入っているように思います。ですが、この文章のままだとそこがうまく表現できていないので、例えば「活用され、その結果の影響が大きいと予想される」などとするのはいかがでしょうか。
コメントです。
【今野座長】
ありがとうございます。なかなかどのように書いたら良いのか難しいところなのです。
乾委員、どうぞ。
【乾委員】
先ほどと同じ項目に関連してですけれども、確かに企業・学校・地域等、広く社会で活用されることを目指しているとなったときに、では、そうではない検定試験というのが存在するのかというと、それは存在しないでしょう。広く活用されたくないと思っている検定試験は想定できない。ということは、実は全ての検定試験は灰色の項目の対象でもあるという意味になってしまう。当初想定していたのは、学校現場の中での活用、点数として活用されたり、あるいは企業の採用試験の具体的な評価、人事評価に採用されるということであったり、数字が独り歩きしていくような形での活用が想定されている試験というのが、ここに当たる内容、議論の中では、そのような形での線引きはされていたかと記憶しております。
ということは、例えばここは、採点結果であったり、合否の判定の結果がというような形で、それが活用される、結果の数字が活用されるというような形の表現が入っていたら、色分けが鮮明になってくるのかなと思うのですが、いかがですか。
【今野座長】
どの検定試験も広く活用されたいとは思っていますね。
柴山委員、お願いします。
【柴山委員】
これも又横文字ばかり持ってきて恐縮なのですが、この会議の最初にも出ましたハイステークスなという、そのような言葉なのですが、日本語にはなかなかなじみにくい言葉なのですけれども、その人の人生を左右するような可能性のあるテストということなのですけれど、難しいですね。
【乾委員】
ハイステークスのところで、実際に企業採用試験であったり、入学試験は少し質が違いますけれども、クローズドの中での評価によって合否が決まるような試験も世の中にはありますし、業界の中で、例えば段位のような形で上がっていくものについても、客観的な評価、何勝以上のような形で段位が上がっていくものと、メンバーの中で、何となくあの方はそろそろ3段だというような形でなんとなく上がっていくものと、そういう、数字が独り歩きするかしないかという差の方が、こちらの内容にふさわしいのかと。
クローズドの中での人物評価で段位が上がっていくようなタイプの試験だとしてもハイステークスはハイステークスになり得ますし、そのような部分と、純粋に客観的な何点以上というような基準によって運用されているような試験というものは、質的に異なっています。
この場合の灰色の項目の内容というのは、どちらかというと数字であったり、信頼性だったり、そのようなものについての項目が多く含まれていることを考えると、自分でもその先、数字という言葉以外に何という言葉を使えば良いのか、なかなか穏当な表現が見当たりにくいのですけれども、内容的には、そのような部分での色分けではないかと思います。
【今野座長】
萩原委員、どうぞ。
【萩原委員】
今のお話のところで、結局、この答申の文章を読んで伝わらないといけないと思いますので、もう少し具体的なものを例示した方が良いと思います。先ほど乾委員がおっしゃったように、例えば、今度、名称は変わりますがAO入試や、入社試験、昇進試験など、また、二つの検定試験に合格した結果として別の資格が付与されるものとか、ある仕事に就くのに必須になっている資格・検定試験とか、そのようなものを例示したら良いと思います。余りに抽象的になり過ぎて受検者、活用者等に伝わらないと意味がないので、そのような例示を挙げた方が良いのかと思います。
【今野座長】
林委員、どうぞ。
【林委員】
確かにここは非常に難しいと思うのですけれども、今、萩原委員がおっしゃったような、仕事に就くために必要なテストというのは、どちらかというと国家試験のような気がするのですけれども、検定試験というのは、使う側がどう使うかの問題なので、そこでどこまで使用方法というものが限定できるのかなというところは、少し難しいかと思いました。
【今野座長】
なかなか難しいですね。これは自己評価をどうするかというのは、やっている事業者の話だし、それを区別するときに、活用される度合いによって区別するというのは、そこはなかなか難しいですね。
この辺りで気が付くところだけ御意見を頂いておいて、残りは後で又ということにしましょう、まだ次もありますので、それまでに更に考えていただくことにして、この部分に関連して何か更にございませんか。
では、この部分については宿題にするとして、その他のところではどうですか。第2章の項目は取りあえずよろしいですか。では、次に進みます。それでは次の御説明をお願いします。
【伊佐敷民間教育事業振興室長】
次に20ページのローマ数字3、検定試験の第三者評価についての御説明をさせていただきます。こちら第三者評価のところは、前回まで御議論いただいたところですが、前回5月の会議での御意見も入れて、又加筆修正をさせていただいたものでございます。
まず、評価の目的ですが、冒頭に自己評価との関係として以前書かせていただいた1文を入れております。「検定試験の評価は自己評価が基本であるが、その自己評価結果への評価も含めて第三者評価を実施し、それに基づいて検定試験の改善を行うことで、検定試験のPDCAサイクルの質を一層向上させることが重要である」というのを冒頭に入れてございます。
また、追加したところとしては、四つ目の丸の最後のところですが、「あわせて、評価によって検定事業者が国際的な競争や激しく変化する経済社会の環境に対応することも重要である」という1文を追加してございます。
次に（2）評価の対象ですが、二つ目の丸ですが、こちらも先ほど御議論いただいた、「広く社会で活用されることを目指している検定試験は第三者評価を受けることが望ましい」というように書いてございます。その後に、こちらは追加した1文としまして、「なお、この第三者評価は誰でも直接受検機会が与えられているような検定試験が念頭に置かれており、特定の講座の修了を条件に受検資格が得られるような検定試験には適さない部分もあるが、これらについても当該事業者の判断により第三者評価を受けることが考えられる」という1文を追加してございます。
次に、21ページに移ります。こちらでは（4）の評価の負担の適正化のところで、フルセット版と簡易版の関係につきまして、二つ目の丸で記載を追加してございます。「企業・学校・地域等広く社会で活用されることを検定事業者が目指している検定試験、国の後援を受ける検定試験、その他検定事業者が希望する検定試験については、簡易版ではなく実地検査を伴うフルセット版による評価を行うこととし、これら以外の検定試験については簡易版による評価を行うことが適当である」という記載を追加してございます。
次に（5）の評価主体・評価者でございますが、一つ目の丸のところで、最後に、「現状ではこのような第三者評価体制の整備は十分には進んでおらず、今後実施体制が更に充実することが望まれる」という記載を追加してございます。
また、二つ目の丸では、修正したところとして、「当該試験分野の学識経験者などを必要に応じて含めることが適当である」としておりまして、三つ目の丸では、「研修においては属性が多様な人々を講義者として選ぶことが望ましい」としてございます。
次に（6）の評価内容・項目でございます。こちらは今回、別紙4、別紙5として具体的な評価項目のイメージを追加してございます。まず、検定試験の運営組織に関する項目としましては、別紙4に示した項目が考えられるとしました。こちらは昨年度、特定非営利活動法人全国検定振興機構に委託しまして、この会議でも御報告いただいた調査で作成いただいた評価項目を抜粋したものでございます。23ページからでございますが、下線部は簡易版の評価では省略してよいと考えられる項目としておりまして、実施主体、組織、財務、実施内容、目的、内容、手段、実施手続、事前準備、試験実施、事後対応等、検定結果の活用促進・継続的な学習支援、そして情報公開といった項目がございます。
そして検定試験の試験問題に関する項目については、27ページからの別紙5に示した項目が考えられるとしてございます。こちらは一部の項目で網掛けを付しておりますが、これは評価が困難であると考えられる項目のため、特に御議論いただきたいと思いまして網掛けをしたものでございます。まず大項目1としてテストの妥当性、その中項目としてテスト設計、測定内容、尺度構成、また大項目2としてテストの得点の信頼性、その中項目としてテスト設計、問題制作の信頼性、採点手続の信頼性がございます。
特に検定試験の試験問題に関する項目については、前回までもいろいろ御議論があったところでして、今回の素案では、「他方で個々の試験問題に関しては、各検定事業者の独自の専門性や経験を尊重することが特に重要であること、作問の体制や分析手法の妥当性を評価すれば足りると考えられること、また評価に多大な労力と費用を要することなどから、一律に実施を求めるのではなくて、知識を測定するものであっても、技能を測定するものであっても、その実施の有無は第三者評価機関及び検定事業者の判断によるものとすることが適当である」という文案をお示ししております。
次に、22ページの評価の方法でございます。こちらは別紙6、29ページに示す検定試験の第三者評価の流れを参考とするということで考えてございます。
評価結果につきましては、先ほどの特定非営利活動法人全国検定振興機構の調査でお示しいただいた段階を記載しているのですが、「フルセット版による評価の場合は4段階（S、A、B、C）で、簡易版による評価の場合は3段階（A、B、C）で示すことが考えられる」としてございます。
第三者評価について、前回から変わった点を中心に御説明させていただきました。
【今野座長】
ありがとうございました。ここが非常に本日の中心になろうかと思いますけれども、新しく提示された部分もございます。御意見を頂きたいと思います。よろしくお願いします。
柴山委員。
【柴山委員】
多分かなり全般にわたって順番で御意見申し上げた方が良いかと思いますが、まず、本文の方です。20ページなのですけれども、（1）番、評価の目的の四番目、最後の丸のところの「あわせて」以降の書きぶりなのですけれども、「評価によって検定事業者が国際的な競争や激しく変化する経済社会の環境に対応することも重要である」というので、正にこのとおりだとは思うのですけれども、JABEEの認定などのことを考えますと、例えばなのですけれども、「評価結果に基づき検定事業者が国際的な競争や激しく変化する経済社会の環境に対応できることも重要である」というようにされた方が、この第三者評価を受けるモチベーションにもつながるかと思います。提案です。
【今野座長】
ありがとうございます。
その他、いかがですか。乾委員。
【乾委員】
同じ20ページ、評価の目的の第1文のところなのですけれども、一つ目の丸、こちらで行くと、最後の文章が「PDCAサイクルの質を一層向上させることが重要である」となっております。PDCAサイクル自体は、それが目的なのではなくて、あくまで質の向上のための手段がPDCAサイクルという形ですので、ここの文章は、例えばなのですけれども、2行目、「第三者評価を実施することで、それに基づいて検定試験の品質を一層向上させることが目的である」というような形に、端的にしていった方が良いかと考えます。
続いて別の件なのですが、これは21ページ（4）番のところで、一つ目の丸の4行目は「実地調査」となっております。一方、二つ目の丸の3行目が「実地検査」、あと、後ろの方のチャートの中では「現地調査」という言葉になっていまして、それぞれ同じ調査、検査のことを意味しているのか、それとも違うものなのかというのは、ここは定義を合わせる必要があるかと考えます。
【今野座長】
これは大体同じものだということですね。
【伊佐敷民間教育事業振興室長】
はい、同じことです。また用語を整理させていただきます。
【乾委員】
取りあえずは、その2点です。
【今野座長】
その他、お願いいたします。萩原委員。
【萩原委員】
21ページの（5）の最初の丸の2行目なのですけれども、少し意味が通じにくいかと思います。「民間の多様な主体が特色のある第三者評価を実施」というところが、意味が読み取りにくいかと思います。「民間の多様な主体が」の箇所の「主体」は検定試験のことでしょうか。「特色のある第三者評価を実施」のところの「特色ある」というところを、分かりづらく、教えていただけますか。
【伊佐敷民間教育事業振興室長】
こちらは第三者評価機関が民間によって複数設立されて、多様なものを検定事業者が選べる状況になっているという理想的な形態を書いたつもりです。
【林委員】
これは私も、この前から引っ掛かったのですけれども、いろいろな第三者評価機関ができてきたとして、それらが特色のある評価をしてはいけないような気がするのです。ワンスタンダードで評価してくれないと、このようなものはまずいのではないかというのが疑問でした。
【今野座長】
特色のあるというのは、余り良くないということですか。
【林委員】
評価基準が決まっているのだから、それに基づいて評価していれば良いのではないかという気がして、勝手なことをやってはまずいのではないかということがあります。
【今野座長】
特色あるというのは、どのような意味合いなのか。
萩原委員。
【萩原委員】
特色あるというのは、例えばパフォーマンス評価とか、筆記試験の評価とか、そういうことなのか。そのようなパフォーマンス評価等、民間の特色ある試験方法に合せた特色のある評価をするという捉え方をしておりました。
【萬谷生涯学習推進課長】
ここの特色のあるという表現は、去年5月の中教審答申で使われていた表現を、この辺のワーディングはそのまま引用しておりまして、したがって、趣旨としては複数のいろいろな機関がそれぞれの特性を生かした評価を行っていて、そこから受ける側が自らに合ったところを選ぶ、そのような将来像が本来望ましいという趣旨で書かれているのではないかと思われますけれども、又表現については御指摘いただけたらと思います。
【今野座長】
その他、いかがですか。
【萩原委員】
（5）の二つ目の丸のところで、「評価者として、組織・運営に関する評価については会計と法令の専門家などを」とありますけれども、特に運営関係に関しては、検定事業の経験者が入っていただいた方が良いと思っています。ここに「など」と書いてありますから、そのようなものも含まれているのだと思うのですけれども、そのことも入れておくと、より明確になるかと思います。
【今野座長】
乾委員。
【乾委員】
後ろを含めて、全て議論の対象ということで考えてよろしいですか。
【今野座長】
はい。
【乾委員】
先ほどの、ひとまとめに自己評価の部分と第三者評価の部分を併せて見ていったときに、項目が似たような項目が違う番号順で並んでいくのが非常に分かりにくいと思います。番号を合わせるというのは非常に大変な作業になることは承知はしているのですけれども、例えば自己評価の方での1番に当たる項目は、第三者評価の別紙4の方を見ると、1－1の（1）から（3）ぐらいに当たる。4に当たるのが、後ろの方の項目の三十何番とかに当たるというような形。ほぼ書いてある表現であったり、検定事業者の方々が受けるに当たって参照すべき項目というのは、同じ項目になっていきますので、今後の運用の確実性などを高めていくには、ここの番号というか、項目の体系を整理して統一しておく方が望ましいのではないかと考えるのです。
【今野座長】
それぞれ別に議論してきましたので、これから少し合わせて番号の振り方も工夫できるところは工夫して、連関が分かるようなことができるか、少し次回までに検討していただきたいと思います。
その他、いかがですか。
【萩原委員】
（5）の三つ目の丸のところですが、私の理解が足りないのかもしれないのですが、「第三者評価機関により、評価者に対する研修が行われるとともに、評価者が一定の知識を得たことを示すことが必要である。また、評価内容に偏りが生じないよう、研修においては属性が多様な人々を講義者として選ぶことが望ましい」、この場合の研修というのは、評価内容に関する知識をきちんと学びましょうということですね。最後の、「属性が多様な人々を講義者」というところが分かりにくく、多分ここでは評価の内容項目についての確認と、評価基準のすり合わせなどを行うというイメージがあったのですけれど、「属性が多様な人々」というのが、意味が通じにくいような気がいたしました。
【今野座長】
確かに、属性がとか言われると、何か分かりにくいですね。「属性が多様な人々を講義者として」というのは、これはそもそもはどのような意味内容を意図してのことだったのでしたか。
【萬谷生涯学習推進課長】
前回の会議では、こちらの文言は「属性が多様な人々を評価者として選ぶことが望ましい」という文言だったのですけれども、前回の会議で御指摘を頂いて、今回このような表現に修正させていただいているというところでございます。
【今野座長】
前回の意見で、このように変えたということなのですね。
どうぞ。
【宮井委員】
前回の意見は、評価者の方がいろいろな属性を持った方にしてもらうということだったのです。今回入っているのは、評価者の研修をするときの講義者も属性が多様な人を選んでくださいということだと思うのです。評価者がいろいろな属性を持った方であるから、その方々を指導する講義者もいろいろな属性を持った方が望ましいのだろうということで書かれているのかとは思ったのです。違いますか。
【今野座長】
柴山委員、どうぞ。
【柴山委員】
今の御議論の文章なのですが、そもそもこれが入ってきたのは、検定の質の評価の正にその知識が、まだ検定事業者の方にも余りよく行きわたっていないので、それを行きわたらせるような研修があれば良いのではないかというようなところから始まったような記憶があるのですが、それで、「また、評価内容に偏りが生じないように」というのも、多面的に知識というものは身に付けておかないと、検定事業というのは総合的なものですから、偏りが生じてはいけないというので、講義する人もいろいろな人を多面的なところから選んできてくださいというような、そのようなニュアンスだったかと思うのです。それで、「研修においては属性が多様な人々」というのは、それを含めた表現だと思うのですけれども、確かにこれだけ読むと、属性という言葉がかなりきついので、そこのニュアンスがずれてしまうのかという気はしました。
【今野座長】
このところは、又少し表現も含めて検討しましょう。
【乾委員】
項目異なりまして、同じ21ページですけれども、（4）の一つ目の丸のところです。こちらで1行目のところで、「小規模な検定事業者でも受けられるよう」となっていて、3行目のところには、「例えば趣味・教養的な性格の強い検定でも」となっております。実際の規模の大小と、趣味・教養か、仕事・キャリアかというところは厳密には全く連動していないものです。趣味・教養の内容と思われているものが、かなり大規模な運用をされているケースもありますし、今は趣味目的だと思われていたとしても、二、三年たって、それが仕事目的で活用されることも十分にありえます。ですからここは純粋に、目的にかかわらず、規模に関わる話なのではないか。
例えば、「趣味・教養的な性格の強い検定でも」という1文は完全に削除してしまって、小規模な検定でも活用しやすいようというのは1行目に入っていますので、その点だけで表記するべきではないかと思います。
【今野座長】
ありがとうございました。そこのところは削っておいた方が良いですね。
今のところのすぐ下の丸のところにも、先ほど議題になりましたフルセット版か簡易版かという区分けをする説明ですけれど、「企業・学校・地域等広く社会で活用されることを検定事業者が目指している場合に」というような、同じような言い方をしておりますので、先ほどのものと併せて、宿題の項目になっていると思います。
【萬谷生涯学習推進課長】
今のところに関連して、よろしいですか。21ページの二つ目の丸の1行目のところでは、企業・学校とともに地域という言葉が入っているのですけれども、これは昨年5月の中教審答申でも、このフレーズで地域という言葉が入っていまして、実際、例えばご当地検定のようなものもあるものですから、地域という言葉を入れているのですけれども、先ほど自己評価のところでいろいろ御意見を頂いた中で、又文言は工夫させていただこうと思うのですが、その中で、例示を入れた方が分かりやすいのではないかという御意見も先ほどありまして、そのときに企業であれば採用試験とか昇進試験とか、学校では例えば単位認定とか入試とかありますけれども、地域というのがなかなか例示が入れづらい面がありまして、更に「地域」という言葉が、そもそも「等」の中に含めても良いものか、それとも特出しした方が良いものかについても、又御意見をお聞かせいただけたらと思うのですけれども、いかがですか。
【今野座長】
いかがですか。企業・学校・地域の地域を例示として掲げた方が良いのか、あるいはその意味があるのかどうかということです。
乾委員、どうぞ。
【乾委員】
こちらは自己評価の段階でも議論をされていた内容だと思います。そのときに想定されていた例というのが、具体的にはなかったとは思うのですけれども、地域活動を行う上で、例えば社会教育団体の選定あるいは入札応札であったり、何とか検定に合格している人たちが何人もいらっしゃるような任意団体であれば、社会教育活動の中での公民館の運営団体に応募が可能であるというような、想定するとしたら、例えばそのようなことなのだろうと思います。
実際、この活用というところでいうと、受け手個人の活動と、受け手が団体であったり、グループを作って、あるいはNPOを結成した上で参加をする、活用をするということも想定することはいろいろできるかと思いますので、例えばそういった内容の例示を具体的に想定した上で記述していくというのはいかがかでしょうか。
【今野座長】
更に例示をするのですか。企業と学校、地域と並べて表示をするのは、今のようなお話であれば、意味があって良いということですか。
どうぞ、片桐委員。
【片桐委員】
この「地域」というのは、もっと広く見ますと、これからは生涯学習と社会の実施というものが文部科学省の中でもあると思うのです。それも踏まえてという段階であれば、私は企業・学校、それと地域というように広範囲にわたっても、生涯学習社会の建設というか、そのような意味も含めてのことだと理解できると思います。ですから地域という言葉は、ここで入っていた方が、より具体的になるのではないかと思います。
【今野座長】
萩原委員、どうぞ。
【萩原委員】
私も片桐委員と同意見で、昨年の中教審の答申の中に、学習成果を地域課題の解決にというところが根底に流れていますし、「地域」という言葉を落としてほしくないと思います。
例えば、地域といった場合に非常に広いのですが、あるご当地の検定を学習し合格して観光ガイドをしているとか。また、福島県だと思うのですが、傾聴の検定というものがあり、それを取得して震災にあったお子さん方や、いろいろな方の心の声を聞いてセラピスト的なことをなさっている事例もあります。そのような検定試験結果と地域のニーズがマッチングをしている事例は現実にあります。このような事例は全国に結構あるのではないかと思います。
【今野座長】
ありがとうございます。むしろ、是非あった方が良いという感じのようですし、具体的な内容も想定されるということのようです。
その他、いかがですか。沖委員、どうぞ。
【沖委員】
今のところについて、基本的には今までの御意見で問題ないと私も思っております。その上で、先ほどから出ている表現、「社会で活用されることを」というのを、結局、検定事業者側が目指しているからということなのですけれど、実際には実は企業や学校、あるいは先ほどの福島であるとか、そのようなところの使用者側が何らかに対して使用する場合に説明をしなければならない。このようなものを使うのが妥当であるというような説明責任と言ってしまうと固過ぎるのですけれど、説明を必要とするようなタイプのものということで、主語が入れ替わってしまうのだろうと思います。二重になっていて、学校側から見たときに、このようなものを単位認定で使うとか、入試で使いますよと、対外的に説明できますよというような形の表現を入れていただくと良いかと思います。表現が長くなりそうなのですけれども、考え方としては二重になっているという点は注意した方が良いかと思いましたので、申し上げます。
【今野座長】
そうすると、活用する側から見て非常に重要だと思うので、事業者は第三者評価を是非受けてほしいと、何かそのような言い方ですか。
【乾委員】
あくまで検定事業者側が主語になるのであれば、検定事業者がこういった形の活用を想定して、その検定事業を行っているというように明記すれば、主語は一つになって通りがよくなります。「想定」について、例えば事業者が想定しているというふうになると客観性が持ちにくいので、このガイドラインでは、内容を例示した上で、想定しているような事業者は第三者評価までフルセットで実施することが望ましいという文章構造だと、分かりやすいのではないかと考えます。
【今野座長】
ありがとうございます。大分ヒントが出てきましたので、どちらを主語にするかも含めて、少し文言を検討していきたいと思います。
他に。萩原委員。
【萩原委員】
22ページの上から3行目、これは確認なのですけれども、「その実施の有無は、第三者評価機関及び検定事業者の判断によるものとする」ということなのですけれども、これはこれでよろしかったのですか。「その実施の有無」というのは、検定事業者の判断によるものということが、まずあるのかと思ったのですけれど、「第三者評価機関及び」とあるので、ここはどのようなことでしょうか。今までの議論の中で出ていたのかもしれないのですけれども、確認したいです。評価機関も判断をするということですが、検定事業者の判断が、まずあるのかと思ったのですが。この文章だと、第三者評価機関と検定事業者が協議をして判断するようなイメージがあり、ここを確認したいと思います。
【今野座長】
どのような第三者評価の内容にするかは、第三者評価機関が決めるべきもので、それを受けるかどうかは、検定事業者が決めれば良いということですね。
【萩原委員】
そのようなことかと思ったのです。
【今野座長】
その辺りが明らかになるように、表現を改善できるかもしれません。少し検討させてください。
柴山委員。
【柴山委員】
これは多分、いわゆるペーパーテストというか、余り好みではないのですけれど、知識とか、そういったものを測る試験と、それからパフォーマンスを見る試験とでは少し対応の仕方が違ってきます。その辺りのところが、かなりグレーな部分もありまして、それで一応このような基準でやりますというように事前にはお知らせしておいても、受ける側が誤解されて、違うところで受けてしまったりされるとよくないので、第三者評価に協議が入って良いのかは、又少し問題があるのですけれども、実際に評価に入る前にどのポイントで評価しましょうかというのを、それこそ協議して、それでそれ以前の最初に示しておいた観点から実際に入っていくというようなイメージで書かれているのかと、私は読みました。
【今野座長】
他にいかがですか。
私の方から、22ページの（7）の評価の方法のところですけれども、二つ目の丸で、フルセット版の場合には4段階だと、簡易版は3段階だということでどうですかと書いてあるのですけれど、この辺りはいかがですか。このような考え方でよろしいのですか。
林委員、いかがですか。4段階、3段階。
【林委員】
私は今までの議論でこうなったものだと思い込んでいました。
【今野座長】
特にこのようなことで違和感はないと。
柴山委員、どうぞ。
【柴山委員】
恐らく、4段階、3段階でちょうど良いかと思うのです。むしろ重要なのがS段階というのはどのような水準になるのか、A段階はどのような水準になるのかというのを、余り狭く定義してしまうと、又それはそれで問題が生じてしまいますが、例えばS段階であれば、本当に例えばなのですけれども、国際水準で争うことができるとか、そのような感じで、中の定義の方が重要ではないかと思ったのです。
【林委員】
この結果というのは、表示というのは、この団体は簡易版で評価されました、フルセット版で評価されましたということが明示されるのでしたか。この前も聞いたかと思うのですけれど、この二つの関係は、その価値はどうなるのかと思ったのです。
【萬谷生涯学習推進課長】
一応どちらで受けたかということは明らかになるという認識で書いたものです。
【林委員】
利用者は、それをどう解釈するのだろうと思ったのです。簡易版だから駄目だというレッテルを貼るのか、それが少し気になったのです。
【萩原委員】
今、お話があった4段階の中身の件ですが。Sはどのようなものか、これは相当難しい話だろうと思っていて、このガイドラインの後に具体的になっていくと思いますが、この審査基準は相当難しいだろうと思います。
あと、審査結果の公表方法ですが、これはS、A、B、Cということで、ストレートに出すということで良いのか、それとも、「適している」というような表示にするのか、そこも考えておく必要があるのかと思います。多くの様々な検定事業者に第三者評価を受けてもらうようにするのであれば、私としては「適している」「適していない」というような表示で始めた方が良いと思います。最初からA、Bという表記をして、それが独り歩きするのを危惧しています。結局、それが民間の検定事業の発展を阻害する要因になってしまう可能性もあるかと感じております。
【柴山委員】
確かに、ここの段階というのは慎重に書いた方が良さそうです。今ここで4段階、3段階、確かにそのように決まってきたという経緯はあるのですけれども、おっしゃるように、適か不適か。ただ、適か不適かとすると許認可になってしまいます。その問題もありますし、フルセット版か簡易版かで、フルセット版でS、A、B、Cと評価を行った場合と、簡易版で評価を行った場合のA、B、Cが、同じAというように解釈されると、フルセット版の意味は何かとなりますし、おっしゃるとおり、後で考えられるように、もう少し抽象的に書いておいた方が良いかもしれないですね。
【萩原委員】
影響が大きくなる可能性があります。
【柴山委員】
前回の議論でもありましたけれども、フルセット版で評価を行った方が偉いというような議論になってしまうと、小規模で実施している特色のある検定の方が偉くないというような話になって、それは全然話が違うので、フルセット版と簡易版というのは切り分けてやろうというようなことには、方向性としては意見として出ていたのです。でも、他にも、今御指摘のとおり、いろいろな問題が出てきそうなので、少しフレキシブルな形で書いておいた方が良いかと、思いました。
【萩原委員】
本当に、独り歩きした場合のマイナス面を危惧しています。例えば、検定試験のランキングのようなもの、そのようなランク付けをされてしまう危惧がございます。現時点で、S、A、B、Cの審査基準の内容が明確化されていない状況ですし、恐らく、そこも試行しながらやっていくのではないかと思いますので、それで、Aだ、Bだということが、独り歩きして、逆に、検定事業者が第三者評価を受けることを躊躇（ちゅうちょ）する可能性もございます。そのようなことも考慮して、なるべく、最初は緩やかにスタートをして、また数年後に見直すということにした方が良いかと思います。
【今野座長】
そうすると、先ほど出ましたように、一定のラインはクリアしているかどうかというような表示にとどめることもあるのですか。
乾委員、どうぞ。
【乾委員】
先ほどの独り歩きの話がありますけれども、受け手からすると、確実に独り歩きします。Sランクのものの中から選ぶというような形でピックアップしていくことに、恐らくなるであろう。それを考えていったときに、それは適合、不適合であったり、曖昧な形にしても同じことは起こっていくとは思います。むしろ、その方が、先ほど許認可に近くなってしまうというのもあって、それ自体は事業主としてというか、事業者としての質の向上を図るための項目のものであって、必ずしもそれはイコール受検者にとっての利益と一致するわけではありませんから、そこでいうと、学習者をミスリードしかねない。
そうなってくると、例えば、より細かい段階にしてしまって、全部で50項目あるうちの42項目適合ですよと、S、A、B、Cという表現の仕方ではなくて、50分の42だったり、更に点数をもっと細かくしてしまって2,600点分の2,423ポイントというような、そのような形の方が、むしろスタートには適しているのではないか。ジャストアイデアで申し訳ないのですけれども、そのように感じました。
【今野座長】
そうですね。結構難しいですね。これも宿題という形で。済みません、宿題ばかりで。
それと、本日改めてというのか、23ページ以降、項目のイメージということですけれど、組織・運営の関係だと、できるのではないかと。それから27ページ以降で、試験問題についても、評価を行おうとする場合には、このようなことが考えられるでしょうということで、一応イメージ案が出されているということなのですけれども、特に試験問題の方については、ここでは網掛け部分がどうなのかということでお示しもしてあります。こちらの別紙4なり、別紙5なりで御意見を頂ければと思いますが、いかがですか。
柴山委員。
【柴山委員】
今、別紙4と別紙5というものがございましたけれども、まず別紙5について、実は私の専門にかなり近いところで、逆に余り意識していなかったのですけれども、実際このようにイメージとして書いていただくと、まだいろいろ考えないといけないところがあるというのが正直なところです。例えば、試験というものを見るときに三つの見方があって、これは専門用語なのですけれども、一つが妥当性、それから信頼性、もう一つが有用性、ユーザビリティですが、その三つの柱で試験の質を評価していくというのがテスト理論などでの定石になります。具体的に第三者評価での作業に落としていくとなると、イメージとはいえ、具体的に書いてくださったので、その三つの柱にどう合わせていくかという作業が必要かと思います。別紙5につきましては、全体的なところでもう一度考え直した方が良いかと。コメント、感想です。
それと、あとは、別紙4なのですが、今度は逆に細かい話になって恐縮ですけれども、24ページの、例えば14番の「他に類似試験がある場合」というのがよく分からなかったのですが、これは例えば、英検とTOEFLは類似試験なので、その関係性を示せということなのでしょうか。
それから16番なのですけれども、「学習指導要領等に準拠している明確な」というよりも、これは「した」というように、好みの問題だとは思いますが、言い切ってしまった方が良いかということ。
それから18番、20番にも出てくるのですけれども、測定手法というのも、測定手段というように表記した方が、より明確になるかと思いました。
それから、飛んで25ページの40番です。これは公平性・公正性という言葉が出てきているので、少し例示なども慎重にされた方が良いかと思います。公平性も公正性も基本的には同じようなことを言っていて、公平性の方が大きく見て偏りがないこと、公正性というのが大きく見て正しいというニュアンスがそれぞれ強調されている言葉なので、要するに、社会的に見て、常識から考えて、何かずるいことをしていないとか、歪みがないとか、そのようなニュアンスの言葉だと思います。例えば公平性・公正性の括弧の後の例示を取られて、「社会的常識に基づいた公平性・公正性が確保されている」というような表現にされた方が良いかと思います。例示してしまうと、試験日が2日だったら公平で良いのかというような議論に入ってしまうのではないでしょうか。
最後、26ページの42番なのですけれども、「事後の作問等に影響を及ぼさない範囲で」というのも、これは文章として句点が入っていませんが、事後の作問に影響を及ぼすというのが、先ほど申し上げた公正性に関わってくる部分になります。公開できない理由の一つはテスト項目の開発にすごくお金が掛かる、コストが掛かるということで、できれば良い問題というのは何回も使いたい。逆に、公開すると何が問題になってくるかというと、コストが掛かり過ぎることによって、本来の試験の公平性・公正性が歪められてくるようになる、そのような影響があるのです。
文章として、「公開することができないものを除き、試験の公平性・公正性担保の観点から、事後の作問等に影響を及ぼさない」というような形で、間に試験の公平性・公正性担保の観点からというようなものを一言入れておいていただけると、何で公開しないのかとか、何で事後の作問に影響を及ぼさないようにするのかという理由が割合明確になるかと思いました。これは意見です。
【今野座長】
ありがとうございました。
どうぞ、後藤委員。
【後藤委員】
別紙4の運営組織に関する項目の実施内容のところの中に、後ろの別紙5の試験問題に関する項目に該当するような内容も入っているような感じがしているので、もう少し整理した方が良いという感じがします。
例えば、16番の、学習指導要領等に準拠しているとかというのは、問題の中身の内容に入ってくる気がしたものですから、そこの整理が少し必要なのかと。入り混じっているような感じがしています。
【今野座長】
今、お二方からいろいろ出ましたけれど、コメントがあるものがあればお伺いしますけれど、特にないですか。
他の委員の方、いかがですか。どうぞ、乾委員。
【乾委員】
2点ありまして、一つが、今委員がおっしゃったことに近いのですけれども、試験問題に関する項目のところに入るべきものとして、自己評価体制というのは、試験問題の内容に関わるところに直結してくるのではないか。今、運営・体制のところの組織の（5）というのがそれに近いのかもしれませんが、問題に関する項目の中にも、自己評価を行ってPDCAを日常的には改善しているというのも、こちらの項目の中の大きなポイントではないかと思います。
もう1点は、24ページの別紙4の方です。手段の（19）のところなのですけれども、ITなどの技術革新が著しい分野の場合という形で特定をしていますが、20ページの評価の目的の1番の丸の四つ目のところで、国際的な競争や激しく変化する経済社会の環境に対応できるようにというところが入っております。ですから、ここの例として技術革新のみではなくて、国際化であったり、環境の変化などに対応する場合という形で合わせていった方が望ましいのではないか。
その2点でございます。
【今野座長】
その他、御意見等ございますか。
どうぞ、萩原委員。
【萩原委員】
先ほど柴山委員からもお話があった、別紙5のところですけれども、検定事業者としても、ここはなるべく分かりやすい文章で表現してほしいと思います。例えば（8）ですが、「テスト得点あるいは合否基準等の水準の一貫性が保持されている」ですが、意味がよく分からなかったり、（9）も、「信頼性係数が数量的に明示されている、あるいはそれに準ずる証拠が明示されている」ということですが、これだけではなかなか伝わりにくいかと思いました。検定事業者としてと申し上げましたが、受検者や活用者等にとっても分かりにくいので、もう少し分かりやすく表現をしていただければ、というのが希望です。
【今野座長】
林委員、どうぞ。
【林委員】
今のお話なのですけれども、例えば（8）の「テスト得点あるいは合否基準等の水準の一貫性が保持されている」というのは、簡単に言ってしまえば、合否ラインがしっかりとした基準でできていますということを、多分言っているのだと思うのです。
あと、この部分なのですけれども、21ページの（6）評価内容・項目の2番目の丸で、「試験問題に関しては、各検定事業者の独自の専門性や経験を尊重することが特に重要である」で、「作問の体制や分析手法の妥当性を評価すれば足りる」ということが書いてあって、足りると書いてありますけれども、あえてやるとどのようなことができるのかということで、恐らく特定非営利活動法人全国検定振興機構が提示してくれたものを、ここに示していただいたのだと思います。多分この網掛けというのは、そうは言っても、この第三者評価機関が、このようなものは分からないのではないですかということで、示していただいているのかという理解をしましたということだと。
【今野座長】
この辺りはすごく専門性の高いところで、書いてあることを理解するのもなかなか難しいところはありますね。
【萬谷生涯学習推進課長】
今おっしゃったことの関連で補足いたしますと、別紙5というのは試験問題に関する項目ということでお付けしておりますけれども、この位置付けとしては、前段の本文の21ページから22ページのところで、個々の試験問題については一律に実施を求めるものではないと書いておりまして、したがって、個々の試験問題に関するものについては、別紙5とは別に、更に加えて評価すべきものだということで、別紙5に書いてある項目については、基本的には第三者評価の対象とすべき項目だという意味で付けておりまして、そのうちの網掛けについては、果たしてそこまでできるのだろうかという問題提起として、又御意見を特に頂きたい場所として記載をしております。
【柴山委員】
今の萬谷課長のお話で思ったのですが、まず具体的な例として、学びの基礎診断などで検定を使っていこうというので考えていきますと、例えばですけれども、出題範囲が当該検定試験で定義されたものに合致しているというのは、学びの基礎診断では指導要領に関わってきますから、多分、第三者評価機関では、そこまで見るのは難しいかと思います。
これも例えとして良いのか悪いのか分からないのですが、教科書検定というのがあります。あれは指導要領に沿っているかどうかというので、それこそ適合を判断しているわけですけれども、その教科書会社から出しているワークブックの類いというのは、指導要領準拠などになっていますけれども、それを誰か第三者が厳しくチェックしているのかというと、多分そこまではしていないと思うのです。そのような感じの構造が、ここでも出てくると思いますので、合致しているかどうかのその判断を、どのようにしたのかというのは第三者評価では評価できても、合致しているかどうかそのものの評価はできないと思います。
それから、テスト得点あるいは合否基準等の水準の一貫性が保持されているというのも、合否ラインが常に毎年同じようにしておくというのは、どこかで標準化をしていないと、それは原理的にはできないので、その標準化の手続がしっかりとやられているかどうかの評価は第三者評価でできるのですけれども、実際に一貫しているかどうかというところまでのチェックはコストの点からもできないと思います。
それから信頼性係数が数量的に明示されている、あるいはそれに準ずる証拠が明示されているという部分も、これも学力をどのように数値に表現するかという話で、信頼性係数というのが出たときには、我々のイメージとしては物差しになっているのです。物差しということは一次元、その一次元性が担保されているかどうかというのが、信頼性係数という言葉で表現されている部分なのですが、パフォーマンスアセスメントのように、非常に多様な複雑なものを評価するときには、とても一次元では評価できなくて、パフォーマンス評価ですと人が評価した、その複数の人が評価した結果が一致しているかどうかという、そのような手続きになります。多分ここの書き分けは、それを念頭に置かれての書き分けだと思いますので、そのような補足説明のようなものは必要かなと思ったのです。大体この網掛け三つのところでの私のコメントです。
【今野座長】
ありがとうございました。今の説明を聞いて、何となく分かってきたようになりました。
今のことに関連して御意見等ございますか。乾委員。
【乾委員】
先ほどの萬谷課長の説明をもう一度伺いたいのですけれども、僕も認識が外れていたと思っていまして、フルセット版、簡易版に関わらず、試験問題に関する項目についても評価基準の中に入っているということになるのですか。別紙5の内容というのは、私のもともとの理解でいくと、試験問題に関する項目についても第三者評価を受けることを決めた特定の事業者について、別紙5があるものなのだという理解でいたのですけれども、それは違っていますか。
【萬谷生涯学習推進課長】
ここで意図しているイメージとしましては、試験問題については、まず個々の問題を評価の対象にするかどうかというメルクマールがあると思うのですけれども、評価しない場合においても、試験問題について、こういったことを評価項目としてはどうだろうかというイメージとして提示をさせていただいておりまして、また、フルセット版、簡易版というものについては、現時点では、ここは特にそのような区分けを設けていないので、したがって、すべからく対象にするような前提になっておりますけれども、ただ、この中で、簡易版では要らないといったような項目があれば御指摘を頂きたいという趣旨で提示をさせていただいております。
【乾委員】
分からないので重ねての確認で申し訳ないのですけれども、ということは、ここの試験問題に関する項目を分類すると、試験問題に関する項目の中に、今の別紙5に関する項目と、具体的な個々の作問についての項目と、その2種類あって、個々の問題についてはそれぞれの機関ではやらないにしても、問題についてはやるのだよという理解ですか。
【萬谷生涯学習推進課長】
21ページから22ページの本文で書いてありますのが、試験問題に関する項目ということをどう考えるかということなのですけれども、これについては体制とか、あるいは分析手法の妥当性が例示として書いてありますけれども、要するに、一定のものを評価対象とすれば、個別の問題の中身について評価対象とする必要はないのではないかということ、これまでの議論ではそのような流れだったのかなと受け止めておりまして、したがって試験問題に関する項目を全く入れないという趣旨ではないと受け止めたものですから、その場合に、どういった評価項目が考えられるのかということで、イメージを別紙5として付けさせていただいているという趣旨であります。
【乾委員】
そうだとすると、私の理解は違っていた形になっていまして、私はこの前段の内容であったり、（6）の21ページから22ページにまたがった項目のところで、あくまで試験問題については、正直、第三者機関が評価を実施できるのは、かなりディシプリンの確定しているジャンルのものに限られているので、試験問題に関する項目そのものは第三者評価の対象になっていないケースというのが多数を占める。それは大多数であって、特定のジャンルのみ、試験問題に関する項目そのものが登場してくるというような理解を私はしていたのですけれども、今の御説明を聞くと、違ってきている形になるかと思ったのです。
【今野座長】
今我々が考えている一般的に第三者評価をするものに必要な要件として課すのは無理だと。ですから課さない。だけれども、特定の分野で第三者評価を是非やろうと、このような設問の内容も対象にしようという場合があるときに参考になるのではないか、ここは、そのような提示の意味ではないですか。そうではないですか。そのように読んだのですけれど。
【柴山委員】
これは試験問題に関する項目と書いてあるので、少し紛れるのですけれども、試験問題の質保証の仕組みに関する項目とか、先の部分が運営・組織に関する項目ですので、試験問題の質をどのように保証するか、その仕組みを持っているのか、持っていないのか、その仕組みがしっかりと動いているのか、動いていないのかという、そのレベルの話のかなり大きな話をここでは取り上げようとされていると思います。我々は試験問題の質を向上させるために、項目分析というような専門的な事後分析をやるわけですけれども、それそのものを第三者評価でやるというわけではなくて、その項目分析という仕組みがしっかりと担保されているのかどうかというところを評価するという、視点の違いかと思いました。
【萬谷生涯学習推進課長】
説明が十分でないかもしれないですけれども、ここで別紙5として記載しておりますのは、今、柴山委員から御指摘いただいたように、試験問題について仕組みと申しますか、要するに全体的なことについて考えられる評価項目を提示したものでありまして、したがって、一つ一つの問題の確認とか、そういったレベルに属するものについては落とした上で提示しているつもりで記載しております。
【今野座長】
乾委員、どうぞ。
【乾委員】
ということは、先ほど柴山委員の御説明であったように、問題について質保証の仕組みを持っているということでいくと、あくまで運営組織に関する項目のように近く見えているけれども、問題に関する運営の項目という理解が、この別紙5のところであるという形になっているということですね。ようやく理解をいたしました。
【今野座長】
ありがとうございました。この部分は、よろしいですか。
それでは、最後に残っておりましたローマ数字4章の説明があります。
【伊佐敷民間教育事業振興室長】
最後に、30ページのローマ数字4番、国に求められる役割についてでございます。これは今回加筆した章でございます。まず、検定試験について、検定事業者等に対して、本ガイドラインの内容について丁寧に説明して理解を得ることが求められるということ。また、国が第三者評価事業を後援することですとか、国による積極的な広報・啓発が必要であること、また、第三者評価については、小規模検定事業者等に対する経済的負担・事務負担の軽減などを求められる一方で、このような広報・啓発などの取組が重要であるということ。
そして検定試験の評価が円滑に実施されるためには、本ガイドラインを踏まえた第三者評価の試行的な事業の実施や、自己評価の手引きの作成など、評価の普及・定着に向けた更なる取組が期待されるといったことを記載してございます。
【今野座長】
国に求められる役割というところですが、何か御意見ございますか。
よろしいですか。ありがとうございました。それでは一応全体についてお伺いしたのですけれども、改めまして、全体を通じて何か言い残したこと、是非ということがあれば、お伺いしたいと思います。
【萬谷生涯学習推進課長】
一つだけ、御意見を伺いたいのですけれども、22ページの第三者評価の（7）のところなのですけれども、（7）の二つ目の丸で、評価結果の表示の仕方についていろいろ御指摘を頂きまして、宿題として受け止めるのですが、方向性については大きなところなので、どういったお考えかということを確認させていただきたいのですけれども、御意見の中では、ここは昨年度の委託調査の結果などを踏まえて、全体として4段階なり3段階で表示してはどうかという案だったのですけれども、そうではなくて、例えば各評価項目のA、B、C、Dが結果的にそれぞれ幾つだったとか、そういったことで表した方が望ましくて、余り全体のS、A、B、Cとか、そのような書き方は避けた方が良いのではないか、そのような御意見だったというように受け止めてよろしいですか。
【今野座長】
皆様、そのような理解に集約させてよろしいですか。
どうぞ、柴山委員。
【柴山委員】
多分ここはいろいろな御意見が出てくると思うのですけれども、使う利用者側にとっては、先ほど出てきた2,400分の2,320と言われても、多分、分からなくて、この検定はSですよ、Aですよと言われた方が分かりやすいと思うので、段階にせよ、私はこの4か3かというようなことで、最後集約するという方が良いと思うのですけれども、もう時間がないところでこの議論を始めると意見の収れんは難しいと思います。
【今野座長】
個々の項目では、項目ごとにA、B、Cとか出てきて、トータルでA、B、Cとかいうのが問題になりそうですね。
【乾委員】
トータルでやるときには、結局42番でのS、A、B、Cと、44番でのS、A、B、Cというのが、そこの比重も本当に1対1で良いのかというようなところまで議論していかないといけなくなります。果たして、それを入れてバランスも含めて考えて、国としてSを与えるに足るガイドラインというのは、この項目であるという切り方をやっていくことができるということであれば、受け手にとっても有用なS、A、B、Cのランクになっていくとは思うのですけれども。
【柴山委員】
多分それは評価における分析的評価と総括的評価の話になってきて、分析的評価の各評価点を足し合わせて上位何点まではS、その次はAというようにやるのか。あるいは分析的な観点を総合的に評価してSとやるのか、Aとやるのかという、そちらの議論になってくると思いますので、これも時間がなくて、今ここですぐに結論は出せないと思います。
【萩原委員】
結果の公表をどうするかということは、「検定事業者を育てていこう」ということが、今回の答申の重要な流れの一つですから、それを阻害しないような表示でお願いしたいと思います。
【乾委員】
受け手側からすると、事業者を育てるという観点や、事業者全体を質保証の観点でS、A、B、Cを付けているのだけれども、受け手からすると、どうしても、このSがすばらしい試験なのだというように見えてしまいます。それは本当に良いことなのかどうかという議論になって、結局S、A、B、Cのランクを付ける効果というのは、何を目的にランクを付けるのだというところに、又戻ってきてしまうのではないでしょうか。
【萩原委員】
今から第三者評価を始めていくのですから、多分、試行錯誤しながら実施していくことになると思いますので、そうすると、最初からS、A、B、Cの審査基準の内容を完璧なものには絶対できないと思っています。そうすると、スタート時の公表の表示の仕方とか、ある程度考えながら決めていかなくてはいけないだろうと思うのです。
【乾委員】
始まってから、振り返りしながらということですね。
【今野座長】
少し時間が掛かって、議論が必要かもしれません。
萬谷課長、よろしいですか。今のところ多少ニュアンスの違いがありますけれど。
ありがとうございました。それでは、時間が来ましたので、そろそろこの辺りにしたいと思います。本日お示しいただきました御意見を踏まえて、萬谷課長に知恵を絞っていただいて原案を作っていただいて、そして次回、できたら最終的なものにしたいと思っております。事前にいろいろ御相談をさせていただきたいと思いますので、よろしくお願いしたいと思います。
最後に、今後の予定等について、事務局から説明をお願いいたします。
【伊佐敷民間教育事業振興室長】
次回の会議は7月の開催を予定しております。具体的な日程や会場などについては、改めて事務局から御連絡させていただきますので、よろしくお願いいたします。
なお、本日の資料につきましては、机上に置いていただければ、後日郵送させていただきます。
【今野座長】
活発な御議論、ありがとうございました。閉会とさせていただきます。
―了―
民間教育事業振興室 民間教育事業第一係