令和2年6月29日（月曜日）15時～17時
Web会議（文部科学省 15階特別会議室）
※YouTube配信にて公開
大津主査、石田委員、礒部委員、宇佐美委員、川口委員、柴山委員、寺尾委員、冨山委員、耳塚座長
・資料4に基づき、本WG委員である石田委員より説明があった。関係委員の意見は以下の通り。
【委員】 資料4のスライド58においてソフト開発経費について触れられていたが、こういったCBTシステムを運用する場合、IRTパラメーターの推定プログラムなどを含めた様々なアプリケーションを開発する必要があると考えられる。このようなアプリケーションの開発はどのような方法で行われたのか。例えば、現場へ要求性能要件を提示し、それに基づいて開発していったのか。
【石田委員】 基本的にはこちらで要求要件を定めて仕様を作成し、それに基づいて開発をするという体系で動いている。
【委員】
・共用試験は、医者になるために必要な知識の有無を評価するという試験目的が明確で、これに特化した制度設計になっていることがわかった。目的が明確であるからこそ、システム開発や仕様等を決める際にも、容易に優先順位が決まっていくのだろう。
・共用試験の受験生に対する試験結果のフィードバックはどういったものなのか。総合的なスコアの返却になるのか。現在の全国学力・学習状況調査のように問題をすべて公開した上でのフィードバックになると、共用試験とは異なる制度設計にしなければならないと考えられる。
・OSについて、ブラウザではなく、windows限定のシステムになっているという理解でよいか。
【石田委員】
・受験生へのフィードバックは、個人成績表として、コアカリキュラムの領域別に成績（得点）や学内での位置づけ、基準集団（過去の実施試験から推測される集団）における位置づけを提示している。また、コアカリキュラムの領域別にレーダーチャートを記載している。
・OSについて、現時点ではwindowsにしている。当初、プロトタイプおよび正式実施後数年はブラウザ準拠(IEのコンポーネントを利用)で設計していたが、ブラウザの仕様によって見え方が違うといった問題があった。そのため、OSを固定して、誰が、どういう形で見ても、同じ画面表示になるように設計した。今後、次世代CBTの構築を考えており、WBT（Web Based Testing）やIBT(Internet Based Testing)などブラウザに準拠したようなものになるだろう。
【主査】 複数の問題セットを使用した場合、どのような利点、問題点があるか。また、調査結果を現場の指導に活用していく際、どのような意味合いやハードルがあると考えられるか。
【石田委員】 各大学への試験結果のフィードバックとして、コアカリキュラム別の学生集団の成績、得点率、位置づけ等を提示している。このフィードバックから、大学別ないし学内の講義別の得意分野や弱点となっている分野がわかるようになっており、試験後の指導に活用できるようにしている。
【委員】
・全国学力・学習状況調査を複数の問題セットで実施する場合、分野ごとの児童生徒の得点率が明らかになり、学級・学校ごとの理解の傾向を把握することができれば、指導改善に生かすことができるだろう。
・複数の問題セットが用意できれば、複数回調査を実施することが可能になる。そうすると、例えば昨今のような社会状況と学力の関連について、各自治体の状況に合わせた日程で調査を実施できるようになることはメリットにあたるのではないか。
・フィードバックの方法について、大学生にフィードバックすることと、小・中学生にフィードバックすることは分けて検討する必要があるのではないか。大学生は、得点や順位等から自分の得意分野、苦手分野等を把握し、今後の学習に生かす方法を考えることができると思うが、小中学生が問題を見ることなく、数値だけをもって自身の現状を把握し、今後の学習に生かす方法を考えるのは難しいと考える。
【委員】 現行の全国学力・学習状況調査は、A問題（主として知識・技能を問う問題）とB問題（主として活用を問う問題）を統合した出題形式になっており、出題数が非常に限られていることが課題の1つであると思っている。教育委員会の立場で考えると、複数の問題セットで調査を実施する場合、自治体ごとに児童生徒の傾向や、分野ごとの理解度を把握できるため、指導改善への活用できるのではないか。ただし、全国学力・学習状況調査の実施当初からの目的である、目の前の1人1人の子供たちの課題を具体的に特定し、指導改善に生かすことが難しくなってくるかもしれない。
【事務局】
・CBT化した場合に出題できる問題の種類、制約について、資料4のスライド28に記載されている通り、CBTは知識を問う問題には向いていると感じた。全国学力・学習状況調査では、主に知識を問う問題と、主に思考力、知識の活用を問う問題を出題している。後者の思考力や知識の活用を問うような問題に、CBTでの出題は向いているのか。
・結果の分析、公表について。共用試験の場合は、個々の受験生の力が一定水準にまで達しているかどうかの確認が主目的なので、得点やそれぞれの位置づけ等のフィードバックを行う設計で実施可能である。一方、全国学力・学習状況調査の場合は、実施だけでなく、その後の分析や結果のフィードバック自体が、現場へのメッセージにもなっているため、それらの方法まで含めて検討する必要がある。例えばIRT（項目反応理論）を取り入れた場合、調査結果の分析・公表について、どういう方法が考えられるか。
【石田委員】
・資料4のスライド29に共用試験のブロック構成を記載しているが、ブロックの5・6は、鑑別診断、病態、または臨床推論に関する問題が出題されており、問題文に含まれる様々な情報を基に思考して解答する必要がある。また、その他のブロックで知識を問う問題についても、すべて解釈問題になっている。問題に対して即解答ができるものではなく、１から４ブロックは1問当たり1分程度、５・６ブロックは1問当たり1分半程度の時間を確保し、必ず問題が提示する情報を取捨選別しながら汲み取って、解釈し、その上で解答する形式になっている。そのため、CBTの場合でも思考力や知識の活用を問う問題の出題について、大きなハードルはないと考えられる。
・フィードバックの方法については、出題の意図、すなわち問題の領域や問うている能力、評価内容、属性等が明確になっていれば、調査問題そのものを提示する必要はないのではないか。
【委員】
・全国学力・学習状況調査にIRTを導入した場合、非公表問題の漏えいについて懸念がある。復元本による問題漏えいの確認や、大幅に正答率が変動した問題の削除を行っているとあったが、継続的に情報漏えいを確認する方法はあるのか。また、基本的に、問題漏えいの原因は持ち出しによるものと考えていいのか。
・PBTの場合に比べて、CBT化することで出題方法の増加が期待される。トライアルや信頼性向上委員会において、CBT化することで出題可能になる問題の中で、PBTの場合と測定している能力構造の範囲が違うのではないか、というような問題の妥当性の観点からこれまで検討されているものはあるか。
【石田委員】
・問題漏えいの確認について、正答率などの項目特性値を追っていると劇的に変化する問題がある。これらの問題については何らかのファクターがあったと推定して問題を削除している。
・リアルペイシェントの場合、一つひとつ判断をしていくと、後に戻ることはできない。ペーパーペイシェントだと、1問目を解答した後、それに関連する2問目を解答する場合、1問目に戻って回答を見直すことができてしまう。しかし、コンピュータで後戻りできないように問題をシリーズ化すると、1問目の解答後に、1問目の正答を提示しながら2問目の解答を行う、または見せる、といった方法で臨床現場の思考過程に即した出題ができる。
・共用試験は試行時を含めてPBTでの実施をやっておらず、最初からCBTでの実施を想定して設計したため、PBTとCBTの違いについての知見や、その蓄積がほとんどないのが現状ではないか。
【委員】 受験者の能力レベルでの解釈について、例えばCBTで行った試験の結果と診療参加型臨床実習の成績の連関といった、得点の解釈基準の策定や予測的妥当性の観点からの検討はどれくらい行われているのか。
【石田委員】 共用試験の結果と、診療参加型臨床実習の成績の関連については、思考力や知識の活用を含めて、知識、技能・態度等をCBTおよびOSCEのセットで評価しているため、CBT単独での一面的な判断はできない。サンプリング調査ではあるが、共用試験CBTの成績が優れている学生は、診療参加型臨床実習の成績および国家試験の成績も優れているといった傾向は出ているようだ。
【委員】 年度間等化について考える場合、調査結果の向上を児童生徒の発達と見るのか、それとも学力分布として比較をするのか、または経年変化分析調査でやっているように、母集団に対して細かい分野ごとの変化を見ていくのか、といった幾つかの要素が絡んでおり、なかなか議論が難しい。
【主査】
・共用試験と全国学力・学習状況調査との違いは、1人の受験者が解答する問題数にあるだろう。問題バンクを構築していく際、共用試験であれば1人の受験者に分野ごとに一定数の問題を受けてもらうことが可能だが、学力調査の場合、ある1人の受験者が多くの問題を解答することは想定されない。作問体制を整え、多くの人が動員されることで、はじめて共用試験のような問題バンクの構築が可能になると推測される。
・全国学力・学習状況調査をCBT化した場合の作問体制や作題の人材について、どのように考えるか。具体的に、誰に、どういう仕事の分担が考えられるか。
【委員】 従来の作題の体制のまま、共用試験と同様の規模の問題バンクを構築するのはかなり厳しいと感じている。現在、国研において、各自治体で行っている学力調査の問題傾向等を収集している。その問題をみると、作問の基準となっているのは全国学力・学習状況調査であり、その基準の上で各自治体が様々な工夫をして出題しているものが多かった。この現状をふまえると、共用試験のように各学校や教育委員会等が作成した問題を収集して精査していくという作問体制は踏襲しにくいのではないか。ただし、非公表問題が含まれている経年変化分析調査をすでに2回実施しているため、その問題セットと組み合わせて出題していくことはできるかもしれない。
【委員】 今回の発表において、最もインパクトがあったのは、共用試験での作問に対する組織的な取り組みである。裾野が広いところから様々な問題が集まってきて、それを精査、吟味していくという体制が出来上がっていることが、問題バンクの構築・活用のベースになっていることがわかった。そうした取り組みについては、全国学力・学習状況調査の作問体制の構築に当たっても、是非取り入れていくべきではないか。教員は調査問題を作成していく過程で、指導力を高めていくことがある。そうやって集まってきた多くの問題から、調査に活用できる問題を精査していく仕組みが全国学力・学習状況調査にも求められるのではないだろうか。
【委員】 共用試験において、各大学が作成している問題や、その問題が測定する能力について、大学ごとの認識に大きな違いはないのか。全国学力・学習状況調査において各学校が問題作成を行う場合、教員・学校によって育てたい能力に違いがあるのではないか。また、全国の教員が調査に活用できるような問題を作成することはできるのか。
【石田委員】 医学教育においてはコアカリキュラムが規定されており、そのうち3分の2はモデルコアカリキュラムとしてどの大学も共通して履修が必要になる。残りの3分の1については、各大学が独自のディプロマポリシー及びカリキュラムポリシーによって規定している。共用試験では、前者のモデルコアカリキュラムに基づいて、Minimum Essential Requirementsとして、診療参加型臨床実習開始前に最低限身に付けておく必要があるものを出題するため、全国学力・学習状況調査とは少し状況が異なる。
【事務局】 現行の全国学力・学習状況調査の国語では、大きな問いの中に、設定された場や学習活動の流れの中でいくつかの問いが設けられている。今後問題バンクを構築していく際、現行の全国学力・学習状況調査の問題がそのままプールされるのか、あるいは、資質・能力をより特定のものだけに焦点化させて、１問の分量がもう少し短いような形でプールされていくことになるのか、というようなイメージがつかめていない。問題をプールしていく際、どのように選別していくのか、各問題で問う資質・能力の等化をどう進めていくのかについて検討が必要になるだろう。
【委員】 全国学力・学習状況調査の問題作成に当たって、基準として学習指導要領がある。学習指導要領には、学年別の指導事項が記載されており、その項目と問題は必ず紐づけられている。それぞれ問い方に特色はあるが、基本的には学習指導要領の指導事項と照らし合わせて問題を作成しているため、そういった点では、今後も軸はぶれずに作問していくことが可能ではないか。
【主査】 共用試験においてIRTを導入しない場合の他の方法論についての検討はあったのか。
【石田委員】 システム開発の検討を始めた当初、IRTの導入は考えていなかった。しかし、異なる日に、異なる問題を用いて、異なる場所で受験するという試験実施要件が決まり、それらに対応するためにIRTが導入された。全国学力・学習状況調査は、現状1つの問題セットを全国一斉で実施しているため、そのままの実施要件であればCBT化のみ進めてIRTの導入は必ずしも必要ではないだろう。ただし、例えば規準集団を定めた年度間比較をやりたいと考えるならば、IRTの導入が必要になる。個人的な考えとして、問題の多様性に対応するためにCBT化することは賛成だが、IRTの導入については調査目的、実施要件等を含めた調査設計を検討した上での判断になるだろう。
総合教育政策局参事官（調査企画担当）付学力調査室