全国的な学力調査のCBT化検討ワーキンググループ(第8回)議事要旨

1.日時

令和3年3月30日(火曜日)10時~12時

2.場所

Web会議(文部科学省 17階F2会議室)
※YouTube配信にて公開

3.議題

  1. IRT(項目反応理論)について
  2. CBT化に向けた令和3年度試行・検証について

4.出席者

委員

大津主査、石田委員、礒部委員、宇佐美委員、川口委員、澤田委員、柴山委員、寺尾委員、冨山委員、耳塚座長

5.議事要旨

議事1:IRT(項目反応理論)について

 資料1に基づいて柴山委員、資料2に基づいて大塚先生、資料3に基づいて埼玉県教育委員会よりご説明があった。委員の意見は以下のとおり。

【委員】
・CBTとIRTの関連について、IRTを採用するかどうかという議論とは別に、関係者に求められるIRTの理解度という点について確認しておきたい。今回の報告もそうだが,IRTについて簡単に説明すると誤解や矛盾が生じてしまう可能性がある。一方で正確に説明しようとすればするほど,今度は難しすぎて伝わらないという事態が生じるだろう。できるだけ誤解せずに理解するためには、どの程度習熟する必要があるのか。たとえば、教育関係者や報道関係者はどの程度習熟すれば、IRTを扱えるようになるのか。
・IRTを採用した場合、一般に結果を返却できない理由として、推算値法、つまり、集団での能力推定を大事にしているところが影響していると考えられる。調査を実施する側はもちろん、結果を受け取る側もそういった理論を理解する必要があるだろう。教育委員会事務局の方がCBTやIRTを採用した学力調査の設計・運用に関われるようになるまでにどのぐらい習熟が必要なのか。
・IRTを採用した場合、1つの物差しで能力を測定するため、測定できる能力に上限がなくなる側面がある。そうなると、たとえば、小学4年生に小学6年生の問題を教えてもいい、できる児童生徒にはどんどんできることをやっていこう、といった状況になりかねない。そうなると、学習指導要領と矛盾が出てくることはないか。埼玉県では教育委員会としてどのように説明しているのか。また、調査設計や実施について、完全に業者任せになってしまうと、調査する側と指導する側とで、能力観や学力観の整合性が取れなくなるのではないか。たとえば測定誤差やIRTのモデル、推定法によって結果が変わってくると思うが、教育委員会としてどのように説明しているのか。

【柴山委員】
 一概に答えることは難しいが、IRTの基本を理解するには、大学のいわゆる初等統計レベルの知識は必要だろう。IRTはスライド2枚目にある「物理的には実体のない抽象的な存在の心理学的特性」、つまり、実体のないものをあるモデルを通して数値化していく、という考え方が肝になる。ここの部分を御理解いただければ、他の部分はあまり深入りせずに、専門家に任せてよいのではないか。

【大塚先生】
 実際に学校や教育委員会から質問があった際には「PISA調査では日本の母集団、日本全体の習熟度、学力を推定するために実施している」とお伝えしている。日本全体の学力推定値を算出するために各生徒の得点を算出しているが、各生徒の得点については、その生徒が実際に獲得した得点ではなく、調査を受けてない教科も推定で得点がつけられている。すべての問題を解いたわけではなくても、まるで解答したかのように推定された得点が出ている。それについては「日本の全体的な学力を推定するために、このような統計手法を使って得点を算出している」という説明をしている。柴山委員のご意見にもあったが、物理的に実体がないものを測定している上に、公表される調査問題が限られており、調査の枠組みもかなり理論的なものである。具体像を提示しながら状況を伝えることはなかなか難しい。

【埼玉県教育委員会】
・測定できる能力について、学習指導要領の関係で矛盾があるのではないかというご指摘について、埼玉県の学力調査では、調査を受ける前年度までの学習指導要領の内容・領域をカバーするように作成している。
・調査設計や実施体制について、埼玉県では事業者に業務委託している。また、県の対応としては、指導主事と行政の職員で体制を組んでいるが、IRTについて理論的な部分も含めて教育委員会の中でフォローするのは正直難しい。一方、例えば調査結果を見たときに、ある教科の中で正答率が極端に低いものがあれば、事業者に確認しIRTの設計等について説明を求め、誤差の影響や数値の妥当性について点検・確認している。

【委員】
 埼玉県教育委員会からのご発表において、課題として「特別な支援の必要な子供たちへの配慮」が挙がっていたが、PISA調査や埼玉県の学力調査では、現段階でどのような対応を行っているのか。

【埼玉県教育委員会】
 埼玉県の学力調査は、現在、紙ベースで実施しており、例えば特別な支援を必要とする児童生徒には拡大文字版の冊子を別途作成するなどして対応している。

【大塚先生】
 PISA調査においては、例えば言語的なハンディギャップがあって、この調査に参加するのが困難だと学校が判断された場合は、調査に参加しないようお願いしている。PISA調査の設計としては、通常の調査時間は2時間だが、1時間で解答できるような調査冊子を導入して実施している国もある。ただ、日本では総合的にいろいろな負担を考えて、1時間で解答できる調査冊子はまだ導入していない状況である。

【委員】
 埼玉県ではCBT化した際の調査において、特別な支援が必要な児童生徒への対応にはまだ取り組んでいないのか。

【埼玉県教育委員会】
 学力調査のCBT化については、現在は事業を開始するための予算を議会で認めていただいた段階。これからの実証における課題として、特別な教育的支援に関する点を検討していかなければならないと考えている。

【委員】
・埼玉県の小中学校において、県の学力調査がしっかり認知され、学習指導に活用されている状況をよく拝見する。今日のご発表を聞いて、しっかりとした制度設計や将来展望が学校にも理解されていることがよくわかった。
・学力調査は小中学校ベースで語られることが多いが、高等学校への展開や学校との連携、情報提供について、現在取り組んでいることや今後予定していることはあるのか。

【埼玉県教育委員会】
・高等学校との連携はなかなか進んでいない。課題の一つは、高等学校は、生徒の学力層が各学校で異なっていたり、専門的な分野に特化した学校があったり、それぞれ体系が異なる部分が多い。そうしたことから、県の学力調査は義務教育段階で実施している。

【委員】
 全国学力・学習状況調査でIRTを長期的に採用した場合、初年度の実施データを基準集団として、そこで推定されたアンカー項目母数なるものをとっかかりにして、次年度以降実施されたデータを等化し、伸びを比較することになるだろう。そういった調整をして、学力(IRTのスコア)が伸びた、ランクが上がったというような評価をするのが一般的だろう。普通は限られた数のデータで等化を行い、高い精度で項目の母数が推定されているが、必ず誤差がある。さらに、等化をする段階でもその等化に伴う誤差が出てくる。そもそも不確実な情報で等化を行っており、その作業自体に誤差が伴うため、IRTの運用は長期になればなるほど、誤差が蓄積していく性質のものであると考えられる。そのため、例えば数年に1度、なるべく誤差を小さくするために、今まで実施したデータを全て使って、項目の母数を再推定している。IRTを採用している自治体ではそういった作業を行っているという認識である。これは計算負荷が高く、簡単にできることではないが、再推定を行うと、これまで固定していた母数の結果が、当然変わってしまう。平均的な学力像の推定結果も大なり小なり変化し、これまで1、2程度変化したと考えていたものが、実は0.5しか変わっていなかったといった状況が起こり得る。限られたデータで統計モデルを作っている上、当然起こり得るため、IRTを採用する場合はやむを得ないこととも考えられる。こういった食い違いが生じ得る事象を認識することが重要である。特に全国学力・学習状況調査においてIRTを採用する場合、この点を踏まえて、どのように結果を公表していくのか、技術的な話として、どうやって等化していくのか、係留項目の数をどうするのか、というような等化デザインを事前に検討していくことが必要だろう。よくできた調査問題と係留項目、受検者があれば、等化はつつがなくできるものだと思われがちだが、それほど単純ではなく、経年での変化やEBPMを主軸とした場合は、等化の作業によって伸びや評価が変わり得る。そのことをどう認識して、伝えていくのかを事前に検討することが重要だろう。

【埼玉県教育委員会】
 埼玉県の学力調査においては、事業者で誤差の影響を定期的にチェックしている。例えば、基準集団を変えるべきかどうかについても事業者と一緒になって検討している。また、イレギュラーの結果や数値については、IRTの妥当性について確認するようにしている。

【委員】
・IRTについて検討する上で、地方で実施している学力調査と全国学力・学習状況調査の位置づけについて考える必要があるのではないか。地方学調においてはIRT、CBTを積極的に活用されている自治体が増えてきている。一方で、全国学力・学習状況調査、特に悉皆で行う本体調査には、「質の高い学力観を現場に伝える」というメッセージとしての問題の提示を行う側面を持つ。一方でデータとして活用している側面も大いにあるため、地方で実施している学力調査との関係は、検討が必要だろう。
・IRTの利用について色々な区分の仕方がある。分冊で実施するのか、問題バンクを少量ながら構築するのかという点も一つの論点になってくる。現在の経年変化分析調査の枠組みにおいて、国内の学力の全体像を把握することが目的であれば、少量の問題で分冊を使って、バランスよく領域にまたがって測定することもできるだろう。これから個別最適化、ほかには試験の場合には難易度や領域の制約を設けた問題冊子を複数ジェネレートするケースはあり得ると思う。そういった方向性についても、具体的な設計として議論をする必要があるのではないか。

【委員】
 埼玉県では、学力調査の結果を学力向上に関する施策にどう反映させているのか。指導主事の派遣や優れた授業の共有といった取組をご紹介いただいたが、教育指導の改善について、県全体で教職員の指標に関することや教職員の研修体系にまで踏み込んで施策を展開しているのか。IRTを採用して詳細に分析できることのメリットを一般化していくために、教職員の育成、教師教育に関することをどれぐらい進めることができるか。

【埼玉県教育委員会】
 特定の研修メニューとして県の学力調査だけを取り扱っているわけではない。ただ、例えば年次研修の中で、学力調査の結果を使った学力向上について教員に説明を行い、具体的なノウハウを伝えたり、学校訪問や市町村教育委員会訪問の中で、具体的な帳票の活用方法、ノウハウについても説明したりしている。

議事2:CBT化に向けた令和3年度試行・検証について

 資料4に基づき、事務局より説明があった。委員から質問等はなかった。

 

お問合せ先

総合教育政策局調査企画課学力調査室

(総合教育政策局調査企画課学力調査室)