全国的な学力調査のCBT化検討ワーキンググループ(第9回)議事要旨

1.日時

令和3年4月23日(金曜日)10時~12時

2.場所

Web会議(文部科学省 5階 5F1会議室)
※YouTube配信にて公開

3.議題

  1. CBTによる調査の実施体制について
    ① 教育データサイエンスセンターについて
    ② IRTを採用した調査に必要な実施体制等について
  2. 「全国的な学力調査のCBT化に関する調査研究」について(報告)
  3. その他

4.出席者

委員

大津主査、石田委員、礒部委員、宇佐美委員、川口委員、柴山委員、寺尾委員、澤田委員、耳塚座長
 

5.議事要旨

議事1:CBTによる調査の実施体制について

 ① 資料1に基づいて国立教育政策研究所(以下、「国研」。)より説明があった。委員の意見は以下のとおり。

【委員】
・教育データサイエンスセンターについては、大学等でも定数が縮小されている中で、新たに5名という定員をつけたところに意気込みを感じる。
・定員5名は毎年変わらずつけられるのか。
・定員5名の専門性は、例えば心理学者や統計学者、ITエンジニア等の博士号を持っているような高い専門性を持った人材なのか。

【国研】
・5名については、特段の事情がなければそのまま継続していく。しかし、5名という少ない人数で様々な業務にあたるのはなかなか難しい。引き続き定員要求を行い、増員していきたいと考えている。
・専門分野について、国研には、研究官、行政官、教育課程調査官と大きく3分野の職員がいる。国研内でより一層、研究分野、研究官、アカデミックな研究体制を整える必要がある。データサイエンスセンターは今年の10月設置予定だが、引き続き定員の増要求などもしながら、専門性の高い研究官が配置されていくよう、努力していく。

【国研】
・国研も非常に厳しい定員削減を課されており、国研の機能、とりわけ研究機能をどうやって維持・強化していくかは、組織の存続にかかわる大きな課題だ。そういう状況の中で、新たなニーズに対応するため、この教育データサイエンスセンターの設置を要求した。センターで認められた定員は5名だが、実際にはその5名だけでなく、国研内の関係部門と協力しながらやっていく。また、高度な専門知識を持った外部の研究者等の方々との連携・協力も必要。文科省全体の中での役割分担や協力体制も含めて考えていきたい。

【委員】
・5名というのは様々なデータを扱うことを想定するとかなり厳しい状況であり、正直足りないだろうというのが率直な印象である。基盤的なデータを取る研究部署で人員が足りていないというのは国の機関としてどうかという問題があるので、今後も定員要求については強く打ち出していただきたい。また、センターが果たすべき役割という点から、様々な外部の人材を取り入れていかないと厳しいのだろう。自分たちだけで何かするというよりは、様々な機関と協力・連携して、国研で仕切るような形で動かないと厳しいのではないか。定員は少ないにしても、例えば、各自治体や大学などの人材を一時的に入れるなどしなければ、5名で多様な業務を行っていくのはかなり厳しいだろう。データサイエンスセンターでできることと、業務内容に対して人手が必要である、ということをどんどん打ち出していただきたい。

【国研】
・外部の力を大いにお借りしながら進めていきたい。教育データサイエンスセンター及び国研の体制強化については、当WGでも体制強化が必要というご意見をいくつもいただいているので、そのこともアピールしていきたい。教育再生実行会議でも、教育におけるデータサイエンスの重要性が盛んに議論されている。我々自身も努力するし、関係者からの要望や応援もいただきながら、体制の強化を目指したい。

 ② 資料2に基づいて別府先生よりご説明があった。委員の意見は以下のとおり。

【委員】
・スライド8、9にある各役割に求められること、調査の実務に必要な体制はとても参考になる。
・私の経験上、日本国内には教育測定の専門家はそれなりにいるが、測定理論が分かる問題作成者と管理者、編集者が十分ではない。この三者を育成するための方向性や雇用機会等に関するプランなどがあればご教示いただきたい。

【別府先生】
・ご指摘いただいた点は、日々悩んでいるところ。IRT理論をきちんと理解している問題作成者、編集者は、きわめて少ない。まずは、作問できる人、編集できる人を雇い、その上でIRTについて知見を勉強してもらうしかないと思っている。管理者についても同じである。IRTは実務的に使うことができればいいので、高度で専門的な知見は必要ない。IRTを最低限使いこなせる程度の知識であれば、1~2年程度で何とかなるのではないかと思っている。少なくとも、専門家と普通に話ができる程度の知見を持ち、誤りがないようにうまく適用して使っていくためには、1~2年程度のトレーニングを踏まえ、しかるべきポジションに就いていくというようなことが必要なのではないかと思う。

【委員】
・IRTを採用する場合のそれぞれの役割について、問題作成者、編集者、分析者と管理者のうち、1人が2つ以上の役割を兼ねる場合もあると思うが、そういった重複はどの程度認めているのか、あるいは、独立して担うほうがよい役割はあるのか。
・役割間のコミュニケーションの取り方、あるいは、その共通言語をどのように持つのかが気になっている。例えば、問題作成者と分析者がうまくコミュニケーションをとるのはなかなか難しいと感じている。作問者と交渉することの難しさ、スキルの高さ、コミュニケーションの取り方について、お考えはあるか。
・スライドの9の「管理者」部分に記載されている「外部協力者」、「アドバイザー」について詳しく教えてほしい。

【別府先生】
・兼務について、どうしても独立でやらないとしょうがないだろうと思うのは管理者と分析者である。編集者は、テスト編集をしながら分析もやっている場合がある。ただし、どちらかに重心を置く意味で、主担当と副担当を分けることは必要。編集と作成についても兼務は可能で、編集者でありながら問題を作れる人間はいる。ところが、主担当で作問をやりながら編集もできる人はほとんどいない。これが兼務の在り様かと思う。
・分析者と問題作成者の間でのコミュニケーションが難しいこと、私も大変よく分かる。特にIRT分析を行ったとき、しかるべき基準に満たない問題はIRT分析から外すことを問題作成者に伝えるときに大変気を遣う。「一生懸命作った問題を分析対象から外そうなどというIRT分析自体がおかしい」とおっしゃる方もいる。そのため、事前にIRTを採用することや、実施目的、分析対象から外す理由等について、問題作成者と十分に話をして同意を得るしかないと思っている。いきなり分析結果を持っていき、分析対象から外すことになったことを伝える、ということだけは避けている。事前によく相談し、少なくともIRTをやる上で必要な共通言語については共通の認識を持つ必要があるだろう。難しいのは、識別力について理解を得ることである。ほとんどの作問者は、自分が作った問題の難易度を通過率から認識しているが、識別力について理解のある方は少ない。識別力がどういうものか、なぜ必要なのかということを事前に話しておくことが重要だと思う。
・「管理者」には、「教育に関する総合的な知見」をもった外部協力者がいるとよいと思う。問題作成や分析業務は、どうしても閉じこもりがちになる。特に、取扱うものの機密性が高い場合、外部の方とお話しすることも難しい場合がある。教育の総合的な視点を持った方に外部の知恵袋というような形でご協力いただくのがいいのではないか。

【委員】
・実際の実務の具体が非常によく分かり、参考になった。スライドの10の問題漏洩について、調査実施前に問題漏洩を完璧に防ぐことは困難だということは、別府先生がおっしゃるとおりだと思う。しかし、そうは言っても問題漏洩が起こったとき、例えば1問、2問抜かれたら、それは何とかIRTのほうでカバーできると思うのだが、例えば、分冊ごと抜かれるといったことになると、企業側としてはかなりの損害が発生すると思われる。そういった場合、企業としては損害賠償という形で訴訟に持ち込まれる、という認識でよいか。

【別府先生】
・問題漏洩の可能性は十分にある。問題は企業秘密で、企業が存続していくため必要な財産である。ただし、そのためには、漏洩などは絶対にやめてほしいということを明記したうえで、問題漏洩が原因で損害を受ける場合には、損害賠償もあり得る。国で全国的な調査を実施する場合、非常に極端な話だが、法律で規制するような状況もあり得るのではないか。そのようなことにならずに済むよう、意識を変えてほしいと思っている。

【委員】
・問題漏洩を完全に防ぐことは困難であるため、漏洩することを前提とした設計が必要だと思っている。調査や模試は、競争的試験ではないことを周知することも重要である。一方で、意識の浸透にはおそらく時間がかかるであろうし、競争的な要素を完全に排するのは、まだ難しい面があると思っている。だからこそ、具体的な漏洩対策を考えていかなければならないと思っているが、スライド10の①~③は、等化のデザインにかかわるところだと理解している。先ほど法的措置等の側面でのお話があったが、これまで、漏洩リスクを合理的に下げるための方法として、有効だと感じていることやノウハウを教えていただきたい。例えば、ネットなどの外的な情報を見て漏洩リスクを確認する、全体もしくは一部の受験者集団で正答率が大きく変わっている問題を削除するというような、事前の漏洩、対処としてシステム的な整備はあると思っている。テスト自体を開発されているわけではないということは重々承知しているところだが、ご経験の中で、もしくは今述べた方法やそれ以外のことでも構わないので、これは有効だとか、コストがものすごく大変だとか、差し支えないところでもう少し掘り下げて教えていただけないだろうか。

【別府先生】
 以前、ある団体でIRTを採用したテストをやり、学力実態を正確に測定する計画があり、そこに参加したことがある。IRTを採用すると、もちろんスコアが上がった、もしくは下がったという結果が如実に出てしまうので、そこは気を配らなくてはならない。しかも、問題を毎回変えられるだけの等化済み問題がないため、どうしても毎年同じものを使っていく。同じ学校でテストを実施していたため、先輩から後輩に問題が提供されてはいけないということで、関係者の間で、とにかくこの結果をもって生徒に説教したり、褒めたり、そういうことはやめようということになった。ただし、指導する側は結果を重く受け止めることとした。そうすると、意外なことに、子供たちは、「ああ、テストね」みたいに、しれーっと受けてくれた。生徒には結果を何気なく返却し、一切コメントしない、親にも何もしない。ところが、後で教員の勉強会を設けて、「なぜうちの学校はこんなに成績が伸びないのか」、「どうしてあなたの学校はこんなに伸びているのか」「どういった取組をしているのか」といった改善に関する議論にスコアが活用されていた。
 子供たちにこのテストでいい点を取らないといけない、悪い点を取ると何か不合理なことが起こるというようなことを思わせない、これが大事だと思う。教員も変に競争するというようなことをやめ、本来、学力の実態を「調査」するものなので、学力を向上するために、よりよくするために、お互い協力していこうという雰囲気を作ることは、問題漏洩を防ぐための一つのやり方だと思っている。調査を子供たちにとってのハイステイクスなことにできるだけしないこと。同じように、先生方にとってもハイステイクスなものにできるだけしないという働きかけも重要ではないか。

【委員】
 とても参考になった。学力調査の場合、競争的な雰囲気を出さないように、例えば国からの結果公表の示し方を工夫するなど、そういった検討が重要だと感じた。

【国研】
・別府先生にお伺いしたい。IRTを採用する場合、どの程度の問題数を用意する必要があるのか。例えば、全国学力・学習状況調査でやるとすれば、どうか。
・等化について、実務的にはどのくらいの手間がかかるのか。例えば、等化で困難度を算出するために、1つの問題につき、どのような専門性を持った人が何人くらい必要になるのか。

【別府先生】
・必要な問題数については、過去問をどれぐらいのインターバルで使うのかによって変わるだろう。例えば、1回出した問題は3年間使わない、など利用の方法がある程度見えてくると、トータル何問ぐらい必要であるかが見えてくる。それから、どうしても問題漏洩の影響が考えられる。毎年の正答率等を見ていくと、大体どのくらいのスパンで使えなくなるのか、といったことも見えてくるだろう。出題する問題や使用頻度について、事前によく調べ、検討していただくと、IRTを採用するにあたって必要な問題数が見えてくると思う。問題の使い方が一番大事だと考える。
・等化について、普段、依頼していただいたテストを改めて等化する場合には、このテストの調査対象者の相似形になるような学力分布の方々を集めてほしいということをまずお願いする。また、いろいろな専門的な本を読むと、300人~500人程度いれば、何とか等化できるといったことを目にしたことがあるが、私の経験からすると、300人、500人では少ない。1,000~2,000人ぐらいの受験者がいれば誤差がそれなりに抑えられた上で等化がうまくいくのではないだろうか。ただし等化するために「何万人」単位の人数は、まず必要ない。そういった意味では、等化するためのテスト冊子を何種類も用意して子供たちの学力分布がうまくばらつくようにすることで、できるだけ多くのテストを一度に等化できるのであれば、等化の効率が上がるのではないだろうか。

議事2:「全国的な学力調査のCBT化に関する調査研究」について(研究結果報告)

 資料3に基づいて加納教授、塩瀬准教授、後藤講師より説明を行った。委員の意見は以下のとおり。

【委員】
・出題に動画を使うという点で少し不安があったが、特別な支援の必要な児童生徒への配慮として、動画に字幕や補助的な説明を入れていただき、2パターンで設計していただいたことはすごくよかったと思う。Bパターンの検証は行ったのか。

【加納先生】
 今のところできていない。

【委員】
 解説のナレーションについて、専門的な知見と確認が必要であろう。また、Bパターンだけではなく、Aパターンについても、例えば、色遣い等のカラーユニバーサルデザインの観点からもしっかりと検討していかなければならないだろう。

【加納先生】
 特別な支援が必要な児童生徒に対しては、引き続き配慮を進めていく必要があると思っている。

【委員】
 問題作成にかかる負担について、相当数パターンが出てくるので、項目分析にも時間がかかると思う。実際に全国学力・学習状況調査に導入していく場合、問題作成にどのくらい時間がかかると想定しておけばよいか。実写の動画を作成するのにかかる時間や予備調査の実施等も含め、どれくらい時間がかかるだろうか。

【加納先生】
 今回の調査研究では過去問を使っており、問題ありきで実写化していくならどうするか、という点から検討したため、新たな問題を1問作成するのにどれぐらいの時間がかかっているのかは分からない。今回のように、PBTで実施した問題があると、実写動画に関しては、ペーパーを読み解きながら、台本作成・出演者募集・動画撮影・編集、ナレーションの吹込みといった一連の流れで、約2か月程度かかった。実際には、PBTで問題を作ってから動画にするのか、動画を撮りながら作問していくのかという作問方法の違いで工程は変わってくる。動画を作成してく中で、当然実験を行うので、その結果が非常にクリアに分かり、それがPBTでの作問にも好影響を与えるというふうに実感している。紙で作問して実写にするというようなリニアな発想ではなく、実写も撮りながら台本的なものを作るというような、行ったり来たりしながら問題を作成していく形になると思う。いずれにしても、ゼロベースから問題を作成するというのは非常に時間がかかるところ。実写撮影、編集だけで2か月かかったので、それ以上の期間が必要になるだろう。

【委員】
 特別な配慮が必要な子供たちに向けたような問題という点で、ものすごく今後の展開可能性のある取組をされていると感じた。全国学力・学習状況調査は、1教科1校時で15問という形でやっている。最初に見せていただいた実写化の問題だと、かなり時間がかかるので、もしこの実写化タイプの問題を入れるとしたら、1校時という制限の中で、問題数を減らしていかないといけないと思った。問題数を減らすということは、学力の測定精度を下げるということになるので、その辺りのところをどのようにデザインするのかが課題になってくると思う。

【加納先生】
 我々のほうでも動画作成時に解答時間について検討しており、標準的な文字を読む速度に基づいて動画の尺を決めるという形にしている。
 このPBTをそのまま動画にするのであれば、どうしても一定の尺が必要である。従って、テキストの量が増えるほど、動画の時間は長くなってしまう。動画を撮りながら作問もするという形で、うまく問題数を確保しながらも、よりコンパクトな動画で出題できるよう、出題方法を考えていかなければならない。そこは課題の1つであると認識しているところ。

【委員】
 スライド15には、児童・保護者の率直な感想が記載されているように思う。例えば、ヒント機能や進捗状況等に対して褒める、といった機能を搭載するには、一場面で学力を写し取るというより、特にeラーニングや学びの保障オンラインシステムといったシステムで実装する必要があるのかなと感じている。加納先生はどういうふうにお考えか。

【加納先生】
 学力調査と学びの保障システムのような、学力調査とドリル的なものとは分けて考えたほうがいいと思っている。一方で、今回の意識調査から見えてきたことは、ユーザーに関しては、そこまで意識的に分けて捉えているわけではないかもしれないということである。むしろ、学力調査がドリル的な形になっていくのであれば、学びの保障システムの方はこうなっていってほしいというような、より外装された形での願望や要望が読み取れるかと思う。

【塩瀬先生】
・今回のCBTに関する調査研究においては、これまでの調査とは違い、平均点よりも先に自分の点を知ることができるところの影響が大きかったように思う。普段のテストだと平均点が出てから自分のスコアと比較するため、常に相対的な位置を気にすることになるが、CBTだと自分のスコアだけが先に分かるため、相対的な位置よりも、自分の達成度と課題に向き合うことになる。「学力調査は継続的に自分の状態をモニタリングする手法である」というように認識してもらえれば、平均点と比較する前に、自分の学力と向き合え、教員の指導改善にも今以上に活用されるのではないか。現状では、児童生徒の中で調査とテストとは区別がついていないところがあるので、すごく身構えているところもあると思う。先ほど御指摘いただいたように、継続的に自分の状態をモニタリングする手法として理解されることが、今後のCBT、IRTがうまく導入されていく仕掛けになると思う。

【主査】
・医療系の教養試験でも動画出題されていると思うが、何か工夫されている点はあるか。

【委員】
・試験そのものではまだ動画の試験出題はしておらず、検討しているところ。動画をゆっくり見せるなどのスピード調整といったことも今後必要になってくるのではないかと感じた。

議事3:その他

 資料4に基づいて事務局より説明を行った。委員の意見は以下のとおり。

【委員】
・全国学力・学習状況調査のCBT化の目的は、あくまでも子供たちの学力向上に役に立つかどうかということである。そのことが一番クリティカルに問われるのが、特別な配慮が必要になる児童生徒だろう。おそらく児童生徒が潜在的に持っている能力を、ITを使ってオーギュメントするという観点から見ると、資料4の3頁にあることはとても重要だと思う。そのことに関してきちんと整理されており、かなりクリアに原理原則を踏まえた形で成されている。冒頭部分も含め、この方向性での議論を進めていくということで、賛成である。
 

お問合せ先

総合教育政策局調査企画課学力調査室

(総合教育政策局調査企画課学力調査室)