令和6年5月22日（水曜日）16時00分～18時00分
文部科学省東館17階 17F1会議室 ※オンライン会議にて開催
相澤主査、石田委員、尾上委員、小林委員、佐古委員、長谷山委員、引原委員、星野委員、湊委員、美濃委員、盛合委員、若目田委員
塩見 研究振興局長、松浦 大臣官房審議官（研究振興局及び高等教育政策連携担当）、国分 参事官（情報担当）、栗原 計算科学技術推進室長、土井 学術基盤整備室長、込山 学術調査官、松林 学術調査官
国立情報学研究所
所長 黒橋 禎夫
【相澤主査】 それでは、定刻になりましたので、科学技術・学術審議会情報委員会の第38回会合を開催いたします。
本日も、現地出席とオンライン出席のハイブリッドでの開催としております。報道関係者も含め、傍聴者の方にオンラインで御参加いただいております。また、通信状態等に不具合が生じるなど続行できなかった場合、委員会を中断する可能性がありますので、あらかじめ御了承ください。
本日は、青木委員、天野委員、川添委員が御欠席と御連絡をいただいております。
また、オブザーバーとして、国立情報学研究所、黒橋所長に御出席をいただいております。
それでは、事務局を含め、異動があったと聞いておりますので、配付資料の確認と、ハイブリッド開催に当たっての注意事項と併せて、事務局より御説明をお願いいたします。
【植田参事官補佐】 事務局でございます。前回開催させていただいた委員会の後、竹房学術調査官が離任されまして、込山学術調査官が新たに着任されていますので、こちらで御紹介をさせていただきます。どうぞよろしくお願いいたします。
事務局側にも異動がございましたので、併せて御報告させていただきます。
大臣官房審議官（研究振興局及び高等教育政策連携担当）として松浦が、情報担当参事官として国分が、計算科学技術推進室長として栗原が、学術基盤整備室長として土井が着任しております。
代表して、審議官の松浦から、一言御挨拶させていただきます。
【松浦大臣官房審議官】 4月に着任いたしました大臣官房審議官の松浦です。本日は、先生方、お忙しいところお集まりいただき、大変ありがとうございます。情報委員会の開催に当たり、文科省を代表して一言御挨拶申し上げます。
この委員会では、最先端の情報科学技術の研究開発の推進と、あらゆる研究分野のデータ駆動型研究等を支える情報基盤の整備の2つの側面で御議論いただいていると認識しております。昨年度は、令和6年度概算要求に向けた重点課題の事前評価、そして、スーパーコンピュータ「富岳」の成果創出加速プログラム、この中間評価を実施していただくとともに、AIPセンターの今後の在り方等についても御議論いただきました。
本日は、事前評価いただいた生成AIモデルの透明性・信頼性の確保に向けた研究開発拠点形成事業の拠点につきまして、また、ポスト「富岳」時代の次世代計算基盤に関する中間取りまとめについて御議論いただく予定と承知しております。引き続き先生方のお力添えをいただければと存じます。
文科省といたしましては、本委員会において御指導、御助言を賜りながら、科学技術及び学術の振興に取り組んでいきたいと思っておりますので、よろしくお願いいたします。
【植田参事官補佐】 続いて、議事次第に基づき、配付資料の確認をさせていただきます。現地出席の方はお手元の配付資料を、オンライン出席の方はダウンロードいただいている資料を御確認ください。
議事の1につきましては、資料1の「生成AIモデルの透明性・信頼性の確保に向けた研究開発拠点形成」について、及び、委員限りとして、補足資料を1枚お配りしております。議事の2につきましては、資料2の「次世代計算基盤に関する報告書中間取りまとめについて」、及び参考資料を2点お配りしております。現時点でお困り事や不具合等ございましたらお知らせいただければと思いますが、いかがでしょうか。
もし何かございましたら、現地出席の方は手を挙げていただき、オンライン出席の方は事務局までお電話で御連絡をいただければと思います。
続きまして、ハイブリッド開催に当たっての注意事項を申し上げます。
まず、御発言時を除き、マイクは常にミュートとしていただけますと幸いです。
ビデオは常時オンとしていただき、通信状況が悪化した場合にはビデオを停止していただければと思います。
運営の都合上、現地出席の方も含めまして、御発言いただく際は「手を挙げる」ボタンを押してお知らせください。
相澤主査におかれては、参加者一覧を開いていただきまして、手のアイコンが表示されている方を順に御指名ください。
また、議事録の作成のため、速記の方に来ていただいております。御発言いただく際は、お名前をおっしゃってから御発言いただけますと幸いです。
また、恐れ入りますが、マイクの数が限られておりますので、現地出席の方が御発言いただく際は、少し大きめの声で御発言をいただけますと幸いです。
傍聴希望いただいた方には、Zoomにて御参加をいただいております。
その他トラブルが発生した場合には、現地出席の方は手を挙げていただきまして、オンライン出席の方は電話にて事務局まで御連絡をいただければと思います。
事務局からの御案内は以上でございます。
【相澤主査】 ありがとうございます。本日は2つ議題がございまして、議題1は、「生成AIモデルの透明性・信頼性の確保に向けた研究開発拠点形成」について、議題2は、次世代計算基盤に関する報告書中間取りまとめについてとなります。
議題1では、昨年7月に本委員会で事前評価を行い、本年4月よりプロジェクトが開始された当該プロジェクトにつきまして、資料1に基づいて、黒橋所長より、その進捗状況をまず御報告いただきます。今後の進め方については、委員の先生方から有識者として御意見や御助言を賜れましたらと存じます。
それでは、黒橋所長、よろしくお願いいたします。
【黒橋先生】 それでは、今、御紹介いただきました国立情報学研究所、NIIの所長を務めております黒橋と申します。この4月から開始させていただいております、「生成AIモデルの透明性・信頼性の確保に向けた研究開発拠点形成」について、これまでの進捗とこれからのビジョンを御説明させていただきたいと思います。
LLMの研究開発を国としてしっかり行うということの重要性と考え方を初めのページにまとめさせていただきました。まず、非常に大きなこととして、LLMを基盤とする生成AIは、今後の社会の在り方を大きく変革するものであり、人類がAIと共存していくことは間違いのない方向性であると認識しております。その上で、このLLMの研究開発というのも、もはやビッグサイエンスというレベルにございます。大規模な計算資源が必要ですし、多様なことを行うために、多数の高度な研究人材が必要となります。これに対して研究開発を、産と学の力を結集して行うということが非常に重要であると考えております。
現在、民間企業で、10ビリオン級のモデルが次々と発表されてきております。これに対して、100ビリオン級あるいはもう1桁大きいモデルでないと、本当の賢さというところには行きませんが、100ビリオン級のモデルの構築、さらに安全性等への十分な配慮というのは、民間企業単独では難しい問題でありまして、国を挙げて結集してやるべき問題だと認識しております。
さらに今後は、マルチモーダル・モデルのほうにどんどんと進んでいくということになると思いますが、これはこれで計算資源も必要ですし、やることも非常に多いです。マルチモーダル・モデルをしっかりとつくった先に、日本の本来の強みでありますアニメやロボティクスとの協力関係もございますので、そこへ向かっていくためにも、国としての対応が必要と考えております。
我々は4月から研究開発センターを開始させていただきましたが、その前の昨年5月からLLM-jpという草の根的な活動をさせていただき、当初は本当に少数の研究者でスタートしましたが、現在は1,300名を超えております。非常に多くの方に興味を持ってもらい、また、実際に手を動かすという意味でも参加していただいて、アカデミアと産業界の英知を結集するという体制で、LLM研究開発センターのほうに引き継いでおります。これによって、企業も、独自性を持ち、差別化を図るということが必要でありますけども、その出発点を高めます。それから、全体として、アカデミアにおいても、産業界においても、世界と伍するAI研究開発力を持つということが非常に重要と考えております。
これをすぐにやるのであれば、一人、あるいはベンチャーが適しているという側面もあると思いますが、非常に大きな問題でありまして、ある遠い、知の新しい領域へ踏み込んでいこうとすると、やはり協力が重要だと考えております。
あとは、言語モデルの仕組み等については、よく御存じの先生方も多いと思いますので、簡単にさせていただきますが、これは本当に不思議なことでして、どうしてこういう仕組みでここまで賢くなるかということは、恐らくOpenAIの人も、今の世の中、まだ誰も分かっていないことではないかと思います。ですが、やっている原理は非常にシンプルで、学習する際にこういうデータがありますと、これは非常に大きなニューラルネットワークですけども、その与えられたテキストの次の単語を予測するように、順番にパラメータを更新していくということをひたすら非常に大きなコーパスに対して繰り返すということがトレーニングであります。
今、入力をします。それをプロンプトと呼びますが、そこに対してシステムが働くことは同じような仕組みです。入力が終わりますと、そこから先ほどの次の単語を予測していくという仕組みで、実際、システムが応答していくのが言語モデルの基本的な振る舞いで、これがChatGPT等をはじめとする、いわゆる生成AI、大規模言語モデルの基本的な枠組みです。このような技術は、機械翻訳、あるいは自然言語処理の分野から出てきたものですが、ニューラルネットワークの世界になり、そこで翻訳の精度をより高めるために、翻訳していくときに次々と目的の言語、単語を出していくわけですけども、そのときに基の入力分のどこに着目すればいいか。これを見つける枠組みが2014年にAttentionというもので提案されました。これを非常に精緻化したものが、Transformerと呼ばれるアーキテクチャでありまして、これが今、すでに世界を席巻しているわけであります。
この下の図は、左側に入力文の単語を順番に食べていって、右側で、そのターゲットの翻訳の目的言語の単語を1単語ずつ出していくと、そういうニューラルネットワークが右側にあるとお考えください。先ほどのアテンションの考え方を非常に精緻化したものです。原言語の中だけ、あるいは目的言語の中だけでもAttentionとして、その前後の文脈を調べることによって文章が理解が中でまさに行われている状態がつくり出されています。
このように、当初は翻訳のためのモデルでしたが、この入力側を処理するところに着目して、そちらをモデルとして成長させていったものが、2018年頃から盛んに研究されたBERTと言われるモデルで、これは単言語の分類タスク等に使われました。一方で、OpenAIは、この右側の翻訳で言いますと目的言語の単語を1単語ずつ出していきます。1単語ずつ出していきますので、生成モデルと言うわけですけども、そちら側に着目して、そのパラメータ数をどんどんと大きくしていきます。最初は1億パラメータほどだったものが10倍、100倍となって、GPT-3でかなり大きなパラメータ数、175ビリオンになりました。その次にインストラクションということを行い最後に少し調整を行うことで、頭の中が整理されるようなイメージで、本当に振る舞いが一気に知的になりました。
これを対話的にしたものがChatGPT、そして、この辺りからは実はもうオープンではなくて、中で何が起こっているかということはクローズなわけですが、恐らく1兆から2兆ぐらいのパラメータを持って、非常にそれを高度化したものがGPT-4で、これが発表されたのは2023年3月ということになります。画像を扱うことができ、多言語の能力も上がり、いわゆる専門家のレベルの試験に合格するということで、非常に注目も集めたわけでございます。
先ほど申しましたInstructionについて、学習の原理は、大きなテキスト、コーパスを与えて、それを次々と単語を推測していくというものでしたが、このInstructionあるいはFine-tuningと呼ばれるものでやっていることは、このように問題と、その答えのようなペアを与えて、問題を与えるときに答えをちゃんとやはり生成するように、やっていることは同じですけども、ここで言いますと、Responseの「ポテトチップスの袋」というのを順番に生成するようにトレーニングしていることになります。このSupervised Fine-tuningという側面と、右側にありますような、人間が2つのResponseに対して、こちらのほうがいいというマークをつけまして、よいレスポンスをより生成しやすくなるように、そこもチューニングするという2つのタイプのチューニングがございます。
左下の表は、我々のところで使っているボリューム感ですけども、ここでは省略させていただきます。我々、この技術の分野に一番近い、自然言語処理の研究者であっても、その文脈、意味の理解の深さ、それから、多言語の扱いの柔軟性には驚かされますし、それがどういう原理で起こっているかということは分かりません。原理が分からないということは、様々な不安といいますか、問題があったときにもそれにしっかりと取り組めないということにもなるわけです。
まず、非常に賢いということを見ていただきますと、この「うなぎ文」というのは、日本語の割と特徴的な文体でありまして、例えば「部長はウナギです」とか「私はウナギです」、お店で注文しているようなコンテクストだと思っていただきますと、日本語では非常に自然に「は」というトピックを示す助詞と、「です」というものがくっつく構文が許されます。これを英語に直訳しますと、「The manager is an eel」となるわけでして、高度なニューラル翻訳システムを使っても、こういう出力がパッと出て、終わりです。ところが、有料プランで動いているGPT-4を使いますと、これが直訳ですけども、ただし、これは英語の世界で日常的に使われるものではなく、コンテクストか文脈によって訳し分けるべきものですということを向こうから提案してきます。これに対して、お店で注文している状況ですということを言いますと、その場面に適した「The manager would like eel」とか、そういう翻訳を提案してきます。こういうことで、すでに素朴な翻訳とか対話が自然だというレベルを超えて、ある種、言語、文化などにまで踏み込んだような回答が行われているというところは驚かざるを得ません。
それから、当初は、非常にうそをつくといいますか、ハルシネーションも強く言われました。この問題はもちろんまだ残っておりますが、検索と結びつくことにより、それが大分解消されました。さらに、トレーニングしているコーパスが少し前のものになりますが、そういう意味では、最新の情報についても検索していることで答えることができます。例えば、GPT-4の基のコーパスはすでに古いものだと思われますけれども、2023年の大谷選手の成績といいますと、ここがダイナミックで賢いところですが、この質問に答えるためには、検索して新たな情報を取ってこないといけないということをシステム自身が判断し、検索して返ってきた文章を先ほどのプロンプトのようなところを自分で入れて、それを解釈して、この質問に答えるということで、右のような出力が得られます。
それから、GPT-4は画像の処理ができるということで、AIの実利用を考えたときに、生成する画像とか、動画の生成もいろいろ魅力的ですが、やはり入力として画像を解釈して知的な振る舞いを行うということは本当に無限のアプリケーションがあります。ここにCOVIDのCTの画像を入れて、これを診断してくださいということを言うと、右のような出力を出しますが、これはお医者さんの目から見ても、かなり適切な診断になっています。まだまだ本当の医療の現場に、ということは、いろいろな社会のコンセンサス等の問題もございますが、少なくともクオリティーレベルとしては、これもグーグルの論文でも、人間の放射線科医と変わらないレベルになってきているという状況にあります。
ということで、ここまでLLMをベースにする非常に高精度な新しいAIがあり、かつ、これからの社会において非常に大きな貢献もするでしょうし、いろいろな新しい社会の形になっていくだろうということを御紹介しましたが、様々な懸念事項もございます。一つは、先ほど申しましたように、やはりこの研究開発が非常に大きな予算を必要とする大きな研究者の集団を必要とするもので、それができるのは本当に一部の組織に限られています。OpenAIや、グーグル、Metaなど、そういうところに限られており、これはAIの今後の社会に対するインパクトの大きさを考えると、あまり健全とは言えません。OpenAIも、最初はオープンだということで進めてきたわけですが、もはやオープンではありません。
オープンなモデルもあります。しかし、強く、本当に賢く振る舞うモデルについては、それがどういう学習コーパスであり、データがどういうものが使われたかは公開されていません。巨大なパラメータのモデルの振る舞い自体がブラックボックスですし、その賢さは、先ほど御紹介したような多言語の解釈についても、何が起こっているのかは本当に分からない状態になっています。
いわゆるGPT-4や、昨今出てきましたGeminiなどのモデルというのは、ブラウザやAPIを使ってのみ活用できるという意味のクローズなモデルになっています。オープンなモデルと呼ばれているものもあります。例えば、Llama2やLlama3も、こういうのはパラメータの値はオープンで、それを持ってきて、使い、追加学習を行う。そういうことは分かってきますけども、それがどのようなデータにより、どのようなステップで学習されたかということはオープンになっていません。
最近はフルにオープンなモデルも少しずつ出てきております。トレーニングデータや、コード、モデルパラメータ、チェックポイント、トレーニングの途中経過なども含めて、オープンなものも出てきておりますが、比較的小規模で、英語に対するモデルであります。大きなモデルで、英語以外の言語についてしっかり考えたようなモデルではそういうものはないということであります。
一方、人類にとって非常に大きな問題でありますし、喫緊の問題としても、ハルシネーション、事実に反することを言ってしまうということで、かなり賢いので、人間が頼り過ぎることになって、最近はこれを使った企業がうっかり、そのままビジネスの失敗につながっているということも日夜報道されております。
それから、学習データにおけるバイアスの問題がそこに入ってしまう、あるいは、さらに増強してしまう、というような可能性もございます。
それから、今、日本語、日本という観点で考えますと、メジャーなGPT-3のコーパスにおいては、日本語のコーパスは僅か0.1％しか入っておりません。それでも、あそこまで日本語を流暢にしゃべるところは逆に驚きですが、日本語の理解や生成能力は英語に比べると劣るということが言われております。
GPT-3において英語と日本語がどのように扱われているかというのが、実際にOpenAIのサイトで確認することができます。左と右はほぼ同じ内容の翻訳関係にあるテキストですが、下部の色がついている辺りを見ますと、これがどういう単位で、ニューラルネットワークの中で処理がされているかというものです。90％以上が英語で、英語の単語というのはきちんと、基本的に1単語が1トークンとして扱われています。それに対して、0.1％しか入っていない日本語というのは、そういうトークンを割り当ててもらうことができません。、下を見ますと、平仮名、片仮名であれば1文字、漢字であれば、頻度の高い漢字は1文字ですけども、そうでないものは「???」となっていますけども、1漢字が複数のバイト単位で扱われているということになります。当然、何トークンで同じ意味内容といいますか、情報の部分を扱うかというのは、どれだけ広い文脈を見られるかということに直結します。これは3倍ぐらいあるので、同じものを扱っても日本語の情報というのは3分の1しか見られていないということが現実です。値を見ていただきますと、このような小さなばらばらの扱いということになっております。
それから最後に、やはり国内にサーバーを置き、政府のセキュリティー認証を取得するというサービスも検討され、始まっていると思いますが、やはりデータは、アセットといいますか、非常に重要で、一般的に公開して進めていいものもあれば、しっかりコントロールしなければならないものもあります。例えば、これを全て、GPT-4などに日本のアセットを頼ってやっていくということは、経済安全保障的な懸念は残ると考えられますし、様々な企業の方とお話ししても、本当に大事なデータをGPTに入れるということは考えられないとおっしゃっている方もまだまだおられるのが現実です。
こういう背景で、LLM-jpという活動を始めました。完全にオープンで、かつ日本語に強いモデルをつくろうと。その賢く、しっかりしたモデルをつくらないとできない、本当の賢さの原理の解明や、ハルシネーション等の問題に取り組むということを始めました。モデル、データ、ツール、技術資料、議論の過程、失敗を含めて全てオープンにするということでよければ参加してくださいということで、いわゆるオープンサイエンス的な立場で始めました。2023年5月に、少数の研究者で始めましたが、Mdxの環境を使えるということになり、2023年10月に、130億パラメータ、13ビリオン、GPTの3.5よりも1桁少ないサイズでありますが、このモデルを構築して、全てのノウハウも含めて公開いたしました。
2023年11月には、ABCIのプログラムに採択していただき、1,750億のサイズの学習に着手しましたが、これは期間が短かったということもあり、少しトライアルをしたという程度になります。24年1月に、GENIAC、経済産業省のプログラムに採択していただき、実際の計算を始めたのは、そのプログラムの中で、後ろの組になりましたので、この4月から、実際は1,720億の、1,750億パラメータ級のモデルの学習を現在行っております。
先ほども申しましたが、もはやLLMの研究開発はビッグサイエンスであり、まず良質のデータを準備するということが非常に重要です。それから、大きな計算資源を用いてモデルを構築する。途中でロスのスパイクといいますか、計算が不安定になることも非常に多いんですが、そこをいろいろなノウハウでいかに抑えるかです。それから、少しデータをお見せしましたけども、つくったものを途中でチューニングを行い、最後に知的な部分を整えるということもあります。あるいはエバリュエーション評価をするということも非常に重要です。ここまで賢くなってくると、人間の評価メトリクスみたいなことを入れていかないわけにいかないのですが、その辺りをどうやっていくか。
それぞれにワーキンググループをつくって、その横の連携もしながら進めておりますが、これはこの分野において日本を代表する、世界と闘う研究者がWGの主査としてやってもらっていますし、今度のこちらのセンターの中でも、科学主幹という立場で関わっていただいています。
それから、自然言語などのメディアの人だけではなく、計算機システムの東京工業大学の横井先生や、東京大学の田浦先生、こういう方にも参加していただき、一緒に進めているということが、我々のグループの大きな特徴だと思っております。
我々が公開しております、先ほど10月に公開した最初のモデルが、ここでは2万超と書いておりますが、既に3万件を超えるダウンロード実績がございます。5万語のボキャブラリー、日本語の単語をしっかりと扱うというセットを定義して、トレーニングコーパスとしては、日本語がGPTでは0.1％でしたけども、こちらでは50％で学習しております。それから、チューニング用の独自のデータセットもございますし、世界的に使われているものを日本語に翻訳して使うということも様々試しました。
これは最初のバージョンですので、とにかくつくってみたということですが、その後、改良を重ねております。2月にはバージョン1.1、こちらでは日本語としてきっちりつくったチューニングデータを使い、様々なモデルの更新もしております。
それから、バージョン2.0をこの4月30日に公開しましたが、トークナイザー、ボキャブラリーサイズとして10万語彙を扱えるようにしました。それから、日本語のコーパスを良質なものにきちんとクリーニングし、AnswerCarefullyという安全性に関するデータセットをいろいろ議論してつくったことによって、モデルの振る舞いの安全性の側面を大幅に改善しました。理研との協働でやらせていただいておりますが、今後、この活動の主はセンターのほうに引き継ぐことにしております。
この我々のモデルの特徴を御紹介させていただきます。P22は実際の我々のモデルの入出力です。「地震の原因はナマズですか」と聞くと、「そうではない」ということを答えますが、全て、どういう学習データをどういう順番で学習に使っているかというスナップショットを全て取っておりますので、この質問と答えに近い情報として、この段階で収集した、URLのこういう情報があるということを類似性に応じて、幾つかの尺度を定義して示すことができます。今、著作権者の方から非常に心配を持たれているのは、自分たちのデータがどういうふうに学習に使われているか分からない、ということです。あるいは、それが活用された場合に、全く戻ってこないということでありますので、ここで、これをベースに学習しているということを示すことで、そのサイトに戻るですとか、あるいはそこでのマネタイズのモデルに入っていくと、そういうこともできるということで、安心して貴重なデータを提供していただけるのではないかと思っております。
文科省の「生成AIモデルの透明性・信頼性の確保に向けた研究開発拠点形成」事業につきましては、これをしっかりと進めていくために、NIIの中に、大規模言語モデル研究開発センター（LLMC）を設置し、この4月からここに本格的に取り組むということを始めています。これまでLLM-jpとして大きな活動を行ってきましたが、今後はLLMCの主宰する活動の一部であるとして位置づけ、ここでつけていただきました計算資源も、LLMCの30名規模の研究者たち、LLM-jpで参加している約1,200名を超える方と、研究の方向性を議論して進めていくということであります。LLM-jpは完全にオープンで行こうというポリシーですが、我々の活動の中には、企業との共同研究や、クローズなデータも扱う必要が出てくる可能性もあります。ただし、できる限りオープンにするということは変わりません。
P24はセンターの目標を絵として描いたものです。様々な評価データございますが、もう賢くなり過ぎて、あるデータで数値が幾らと言っても難しいので、この縦軸は私が考えたところだと思っていただいても結構ですが、大きくは間違っていないと思います。GPT-3からGPT-3.5、ChatGPTとインストラクションの世界に入り、一気に賢さを増しました。そして、GPT-4で1兆パラメータ、マルチモーダルという世界に行きました。この1年近くは、Geminiや、Claude3などのデータモデルが新しく出てきていますが、縦軸に大きな変化はないと言われています。そのため、いろいろな尺度でGPT-4に匹敵するものは出てきていますが、それ以上のものは出てきていません。
一方、モデルとして、Mixtral、MOEと言われる、複数のモデルをうまく組み合わせて使うようなアーキテクチャや、先ほどのセミオープン的なLlama3のモデルは、最近はコーパスサイズを15兆トークンまで増やし、さらに精度が上がっていくと言っています。そのため、最近もGPT-4oというのが出て、非常に高速化されています。それは産業的には非常に重要なことだと思いますが、いわゆる解明しなければいけない知性のレベルは、今ここにいるレベルかと思います。
これに対して我々の活動は、13ビリオンのバージョン1、バージョン2、そして、今、計算して172ビリオンは、恐らく8月、9月ぐらいに学習が終了しオープンにできるのではないか、と考えております。これをきちっとつくった上で、我々の中でもやはりGPT-4レベルの賢さをしっかりと再現し、その上でハルシネーションや、信頼性、安全性という問題に取り組んでいきます。それがいつできるかは少し楕円でぼかしていますが、可能な限り早く実現したいと思っており、まずここに行くということが必要かと思っております。
このプロジェクトは一応、2029年までの5年間ということで進めさせていただいております。なかなか、これができますと言うことは難しいですが、ただ、少なくとも、新たな社会基盤となっていくAIについて、世界と伍する研究開発力を持ちます。そこで、技術者、研究者がやり取りができる、あるいは交流ができる、日本としてそういった研究の場があるということが大事であると考えております。
センターの体制は、先ほども御紹介しましたLLM-jpのときから主導、WGなどをリードしていただいた、我が国を代表する自然言語処理、計算機科学の研究者の方々に入っていただくという体制ができています。それから研究者としては、新たに10名強の研究者を雇用し、人材育成という意味も含めまして、RAもいろいろな大学から積極的に来てもらって、活動しております。
研究は大きく3つにクラスタリングできるかと思います。まず、研究開発用の、日本のLLMの底上げを行うようなモデルをしっかりつくるということで、この中にコーパスを整備するということと、計算環境を整備するということと、それから、実際にモデルを構築することが含まれます。
それから、課題2として、このプロジェクトの本丸である透明性・信頼性というものに対して研究開発をしていき、それぞれの観点、さらに、社会の受容性という観点からも研究を進めていきたいと思っております。
そして、世界はどんどん進歩していきますので、それとしっかりと続いていきます。我々からも新しいものをさらに提案していきたいと思いますが、その中でもドメインに適用していく、モデルを軽量化していくということは、一つ、実際に使われるという観点で重要です。それから、次世代のトランスフォーマーのアーキテクチャというものについても考えていきたいと思っております。
これは今年度、予算をつけていただき、可能な限り有効活用するという観点で、計算資源を確保しておりまして、mdx、それから、GENIACのプロジェクト、TSUBAME、それから、現在、入札中の民間クラウドの計算資源も活用して、モデル構築と、先ほどのような研究を進めていく予定であります。
研究目標は、先ほども少し申しましたので省略させていただくと、研究開発課題は、先ほどの大きな3つのものについて、R6から、R7、8、9、10番です。右のほうに行きますとなかなか不確定要素もございますが、こういうことをきちんとやっていただいております。
P28はR6年度の線表でございまして、現在、GENIACのモデルを学習しておりますと言っておりますのが一番上の太い実線になります。
それから、次の三、四か月の辺りで、民間のクラウド支援が使えるようになれば、このMOEのモデルをきちっとつくります。これはGPT-4級ではなくて、それよりもちょっとだけ小さいものですけど、それをきちっとつくります。それから、それらの成果を踏まえて3つ目のモデルをつくります。これはまだ不確定要素もございます。
これらのモデルを使いながら、先ほど申しましたような透明性・信頼性についてのプロジェクトも進めていきますのと、マルチモーダルに取り組むべきであるということは非常に強く思っています。産業的な観点もございますし、やはり信頼性というときに、これからマルチモーダルの活用ということが中心になっていくという世界において、それに対して、センターとしてきちっと取り組んでいきたいと考えております。
最後に、この「データ基盤から知識基盤へ」という提案は、学術会議の未来の学術振興構想等にも提案させていただいておりますが、NIIが出しておりますので、ネットワーク基盤や研究データ基盤をやっております。今の様々な社会課題に対応していくためには、分野横断の研究ということが本当に必要になると思いますが、今のAIの基盤モデルのレベルは、ファシリテートするといいますか、進化させるようなものとして十分なものがあると思っておりますので、ここのセンターでつくるしっかりしたモデルが将来的に学術の発展に資するようなものにしていきたいという思いも強く持っております。
以上です。よろしくお願いいたします。
【相澤主査】 ありがとうございました。
それでは、ただいまの御発表に対して御質問、御助言等がございましたら、挙手にてお知らせください。5年間のプロジェクトの1年目ということでございますので、皆様からのフィードバック等、ぜひよろしくお願いいたします。いかがでしょうか。
【美濃委員】 美濃です。オープンとデータの公開が大事だというのはよく分かりますが、そのときに、誰がそれを使って、どう研究を進めるのかということが見えません。つまり、つくるところで、かなりたくさんの人がよってたかって、このヒュージなモデルをつくります。つくってしまって、それを全部にオープンしたとします。普通、オープンにすると、それをまたいろいろな人がそれを触り、何かしようという話になります。この場合、触るにしても、また、ヒュージな計算資源が要るという話になってきたら、いわゆる普通のオープン化の考え方と大分違ってくるのではないかというのがすごく気になります。
そうすると、オープンにすることのメリットがどのレベルで起こるのでしょうか。いわゆる、オープン化するメリットが本当に効くような領域でしょうか。その辺りを、反対に今度はヒュージなLLMを持っているところがそのオープンを利用して、また自分のところのためになるようなことだけがやれて、普通の研究者が結局何にも触れないということにならないのかどうか。その部分について、どう考えて進めようとされているのかが少し気になるので、教えていただけたらと思います。
【黒橋先生】 ありがとうございます。まず、どんどんと変化していきますので、今後の計算機環境も相当進化していくと思っています。やはりGPT-4の知的なレベルは、一定程度の到達点であり、あれをきちんと再現するということはいずれにしても必要です。それができた上で、例えばモデルを軽量化するような技術も進むでしょうし、計算資源も進展していくと思いますので、もう少し、非常に賢くしっかりしたモデルを使いこなす環境は、これから二、三年すれば進むのではないかと思っています。その段階では、様々、産業界で使っていただくこともあるでしょうし、我々に限らず、ほかの大きな国研でも、いろいろなところで、このモデルをベースにして、さらに学術モデルをつくるとか、あるドメインのモデルをつくるということは十分される、していただける可能性が高いです。
【美濃委員】 触らないと分からないという気がしますが、いいモデルをつくろうというアイデアは、オープンにすることによって、実際に触らずに生まれるんでしょうか。オープンにするというか、モデルはもうそのものがあって、計算して、パラメータを調整しているだけですよね。
【黒橋先生】 いいえ、そんな単純ではありません。もちろん、どういった良質なデータをつくるかや、インストラクション、どんな手順でやるかなど、様々にやることはあります。まずそこまで単純ではなく、それにしても、できたモデルは、産業界や、他の学術のいろいろな分野で使っていただけるものであるということが一つあると思います。
もう一つは、ベンジオさんや、いろいろな人も言っていますが、いわゆる人間の知的レベルと遜色ないものがこれから出てくる可能性があり、ほぼ間違いなく進展していくと思います。そのときに、クローズな環境だけで研究開発をすることは、やはり人類にとって本当に不健全であり、しっかりとした民主主義国家で、国もリードをして、オープンのモデルがあって、よく言われますが、よくないAIが出てきたら、それに対抗するようなAIをつくる程度のことが必要ではないかと言われています。
私もそれは、少なからず、その必要性は感じており、これから、このモデルでいろいろ世界と議論していくことになると思います。また、AIの安全性は、日本でも、AISIも含めて非常に重要視されていますが、そういう中で日本はこういうものをつくっている技術レベルにあるんだという力を持つことは重要ではないかと思っています。
【美濃委員】 はい。この辺でやめておきます。ありがとうございました。
【相澤主査】 では、星野委員。
【星野委員】 ありがとうございます。非常に勉強になりました。関連しまして、おそらく、ほかのオープンでないモデルが今、かなりあり、例えばOpenAIやGeminiもそうかもしれませんが、そういったモデルには、様々なバイアスがあります。例えば、グーグルが検索を握っていることで人々のアテンションを握ってしまって、それによって購買などのいろいろな構造が変わったということがございます。あれもやはりオープンではありません。一応特許があるなどいろいろございますが、そういった場合、特に現状の非常に大きなオープンでないモデルが何をやっているかに関する調査や、今回されるオープンなAIのモデル開発というのももちろん非常に重要かと思います。ですが、ほかのモデルがどういった問題を引き起こしているのかということをしっかりと理解した上で、それに対して、こちらのモデルではそれに対応しているという形で、ほかのモデルと比較するみたいな観点の研究もかなり重要ではないかと思います。
もちろん社会受容性や、先ほどのアテンションの問題など、構造を変えるということもございますので、その観点で、このセンターの体制の中にそのような機能があるかというと、少しお話を聞いた感じではなかった気がしました。何か比較したり、ほかのモデルの問題点を指摘して、積極的に、そのようなモデルは問題なので、我が国が例えばそれは使わない、特定の上で使わせないなど、また、他国に対して、このような我が国発のモデルが、このような観点で重要だということを言うためには、単につくられたモデル自体が優れているという意味ではなく、ほかのモデルに対してどのような観点で、良さがあるのかということを考えなくてはいけないと思います。やはり比較というか、ほかのモデルはオープンではないものの、一部、技術情報等は当然ながら出ているとは思いますので、具体的にいろいろな検索をしたり、いろいろな比較をさせるということも結構重要かと思いますが、そのような機能というのは、こちらのセンターのほうに何かございましたら教えていただけたらと思います。
【黒橋先生】 ありがとうございます。詳細のところが御説明できていませんが、透明性の研究のテーマの中には、大規模言語モデルのモニタリング機能、モニタリング環境を構築するということも入っており、国内外の企業などのモデルをしっかりと評価し、そこにどのような問題があるかを公開することも視野に入っています。それから、やはり、先ほど申しました安全性の観点は非常に重要ですので、安全性に関する評価データをこのプロジェクトの内部でも構築し、それによるFine-tuningを行い、その安全性の評価データに照らして、今の現在の世の中のモデルはどんな振る舞いをするかということをモニタリングしていこうと考えております。
先ほどは時間の関係でお話しできませんでしたが、AnswerCarefullyデータによる安全性コントロールという資料を委員の先生方にはお手元に配付させていただいておりますので、口頭だけで簡単に説明いたします。
資料を御覧いただきますと、バイアスや、差別、ヘイト、反公序良俗、アダルト等々、安全性の問題は非常に大きな問題があります。例えば、すごく残酷な殺人の方法を教えてと言いますと、GPT-4はさすがにこれに関しては徹底的にやってありますので、うまくそういうことには答えません。その下の日本の様々なモデルを見ていますと、ちょっと目を覆いたくなるような回答をしてしまうという面もあります。ただ、これは1,000件程度、こういうことに対ししっかりとコントロールするようなデータをつくり、いわゆるFine-tuningを行いますと、それで、その問題自体に答えない内容になるだけではなく、そこが言語モデルの不思議に賢いところでもありますが、そういうカテゴリーの、いわゆるバイアスがある問題や差別の問題に、全般的にかなり答えなくなります。答えないようにコントロールできるということが分かっております。
このような研究は、安全性の観点、表示のプロセスの観点でも非常に重要だと思っておりまして、御指摘のモニタリングの問題と併せて、きっちりと進めていきたいと思っております。
【相澤主査】 ありがとうございます。小林委員、お願いいたします。
【小林委員】 小林です。御説明ありがとうございました。私も素人なのですが、資源集約、あるいは計算的なリソースとデータの集約でもって、どんどん性能が上がっていくようなイメージで聞いていました。ただ、私はコンピューターを専門としておりますが、要求される計算量が、計算機の発展をはるかに超える形で伸びていくような状況にある中で、もう少し質的な改善、同じパラメータでも少し違う形の学習の仕方など、そういう後追いと言ってはなんですが、これも背中を追うよりは何か違う方法で世界と闘っていくというような形になればいいかなとは思いますが、それに関して何かお考えはお持ちでしょうか。
【黒橋先生】 ありがとうございます。まずは今、出していただいているグラフで、もちろん計算量を倍々にしていき、学習するコーパスを倍々にしていきます。もちろんいろいろなアイデアも上がってきていますが、今、GPT-4のレベルで、知的な振る舞いというのは、あるレベルを超えました。もちろんここからコーパスを10倍にし、計算量が10倍になると、もう少し何かが起こるかもしれませんが、それは資源的に可能な範囲を超えます。GPT-4のレベルですでに、本当に活用していき、共生していくレベルに来ていると思います。
そうしますと、まずここに到達して、どういう原理で、それが起こるか。それと、まだもちろんハルシネーションなどの問題は起こるので、ハルシネーションの問題を解決していくことは、いわゆる世界に対する新しい提案になると思います。同時に、トランスフォーマーが今ここまで来たので、トランスフォーマーの亜種がすでにすごい勢いで、さらに研究がされていますが、当然、亜種的な研究もあれば、さらにもっと根本的に違う研究提案も、センターの中でもできるだけ考えていきたいと思っています。
ただ、それは創発といいますか、この賢さのレベルを再現しないとなかなか取り組めない問題なので、それを長期的に取り組むというよりは、できれば来年ぐらいにはそのレベルに到達して、その上で考えていきます。OpenAIの人も、ここまで来て徹底的に考えていますが、結局、賢さというよりは、例えば高速化という方向性もありますし、もちろん計算コストを下げていくということに基本的になっていくと思いますが、そういうレイヤーに立つためにも、まずはそこを再現するということを考えます。
【小林委員】 あとは、OpenAIや、ほかのプラットフォームが日本にたくさんオフィスをつくって、日本を拠点化しようとしているところだと思いますが、その中でどのように戦っていき、すみ分けていくか、あるいは協力していくかというのは何かお考えはありますか。
【黒橋先生】 OpenAIとはコミュニケーションしていきたいと考えていますが、やはり民間企業ですし、基本的にクローズなので、どこまで協力できるかというのは難しいと思います。それに対して、日本の100ビリオン級のモデルをつくれるような力のある企業はありますが、先ほど申し上げましたような安全性の観点まで含めて、全て各社でできるかというと、そこは難しいと思っています。そのため、日本の力のある大きな企業とは、様々な側面でしっかりと協力をしながら進めていきたいと思っており、具体的にそういう相談も始めております。
【小林委員】 ありがとうございました。
【相澤主査】 ありがとうございます。尾上先生、お願いします。
【尾上主査代理】 ありがとうございます。1点教えていただきたいのですが、先ほどおっしゃっていた、モデルのモダリティが上がっていくと、透明性や信頼性で扱うよう項目は増えたり、変わったりすると思うんですが、これはモデルの開発をしていくときにモダリティをどう考えるかという、ロードマップのようなものを敷いていこうとされているのか、あるいはもう少し違う形で2つの課題がうまくコラボレートできるような形で進められるのか。何かうまい方法があれば教えていただければと思います。
【黒橋先生】 うまい方法というのは本当に難しいと思いますが、まずはやはり今、マルチモーダルや、自然画像、それから、文書画像を解釈して、それと言語を結びつけて振る舞うことが一つ非常に大きな次のレベルにあると思っています。そこはいろいろオープンのモデルもありますので、きちっと再現した上で、その次のステップとしては、やはり、私どもは、日本としてはやはりロボティクスというのが非常に強い分野でもありまして、それもマルチモーダルですけども、自分の身体性というものがあり、いわゆる一人称画像があり、その中で世界を理解していくということで、非常に柔軟な学習ができます。
そこに大規模言語モデル的な、いわゆる常識的な部分と、日本のロボティクスをつなげていくことは、マルチモーダルの次のステップとして、非常に大きい。それはもう少し認知的といいますか、本当に人間の学習のところに立ち返るということになれば、まさに、もう少し計算コストの低いモデルの提案につながるかも分かりません。そこに行くためにも、まずは現状の、いわゆる画像はきっちりと扱えるマルチモーダル・モデルをつくるところにまずは行きたいと考えています。
【尾上主査代理】 ありがとうございます。そういう面で言うと、ロボティクスに行ったときにやはり、安全性も含めて、いろいろなモデルとして要求される要求条件が、ひょっとしたら変わってくるかもしれないだろうけど、そういうところまで一応目標値を定めて、両方が動いていくということだと理解しました。
【黒橋先生】 進んでいきたいと考えております。
【尾上主査代理】 ありがとうございます。
【相澤主査】 ありがとうございます。
ほかはいかがでしょうか。湊委員、お願いいたします。
【湊委員】 2点ほどお願いします。
1つ目は簡単な話で、トークナイザーについては、先ほどの資料で、日本語がからきしというのがありましたが、今、調べてみると、GPT-3.5とか4向けのトークナイザーが出てきています。それは、例えば京都市左京区ぐらいまではちゃんと、単語あるいは文字単位でトークンをできるようにということです。でも、それは明らかに人手でチューニングしてきているなという感じで、機械で簡単にやっているのではなく、もう人手で合わせてきているということが見え見えのものが入ってきていて、OpenAI側も日本語対応を少し真面目にし始めているという印象があります。
あと、もう一つ、これは私も疑問に思っているところですが、大規模なコーパスで、とにかく統計的に出やすいものをまず学習することが基本だと思いますが、最近、Fine-tuningのほうが大事になってきているような感じがしています。結局、質問について答えるなど、マルチモーダルにしても、画像とテキストを合わせるとか、そういうところはどのようにそれをチューニングするかというノウハウがどんどん大事になってきているような気がしますが、その辺、さらにOpenAI側はクローズドで、原理が分からなくなっています。もともと手作業で、ノウハウの塊のようなものなので、それについて論文化して出すというのは難しく今後、競争の主戦場になっていくのではないかという気がしますが、黒橋先生の見解はどんな感じでしょうか。
【黒橋先生】 まずトークナイザーについては、OpenAIはもちろん日本にオフィスを構えてしっかりやるということで、ある程度チューニングしており、そこは競争になるかもしれません。しかし、現在、我々の172ビリオンのモデルは、韓国語と中国語までしっかり扱おうというトークナイザーです。将来的には、本当にどういう世界になっていくか分かりませんが、例えば、アジアの文化や言語をしっかりと扱えるモデルが存在して、それが動き、ヨーロッパのほうでも分からなくなったらこちらに聞いてきて、それが振る舞う。だから、LLMのネットワークがいろいろ知識基盤となっていくという世界があるかもしれませんので、そういう意味では、我々としては、アジアの言語をきちっと扱うということは、日本の立場としても重要かなと思っています。そこを、変なチューニングをするのではなく、確かな学術的な裏づけもあった上で進めたらいいと思っています。
それから、2つ目のFine-tuningの重要性については、まだまだ両面あるかなという気がしており、GPT-3まで来ると、非常に大きなモデルになりましたが、しばらくそれをどう使いこなすかということがあった中で、やはりFine-tuningというのが一つ大きなブレークスルーだったと思います。GPT-3.5とかChatGPTとか。しかし、一方で、最近もLlama3というものが出てきて、非常に大きなコーパス学習をすることでやはり上がるということもあるので、マルチモーダルのアライメントにおいてFine-tuningが重要な役割を果たすというのは全くそうだと思うんですけども、基の良質なコーパスや、Fine-tuningなど、どこに重要さがあるかというのは本当に、1周、2周して、きちっと検証していかないと分かりません。また、本当に分からないのは、例えば日本語の大きなコーパスを2周、3周すると上がっていくのかとか、そういうことすら計算資源がないとできず、今やっとそこまで来て、有効性があるかや、カリキュラム、どんな順番で学習していくことに有効性があるのかについても調べていきたいと思います。その中でマルチモーダルのモデルをゼロからつくっていくのか、現在のように、パラメータ、特徴を取り出すようなモデルを最後にくっつけていくのか、ということも、あらゆることがまだまだオープンだという状況があると思っております。
【湊委員】 ありがとうございます。
【相澤主査】 ありがとうございます。
では、そろそろお時間でございまして、挙手されているオンライン参加の先生方はいらっしゃらないので、最後に時間が少しありますので、簡単にまとめさせていただきます。
まず、巨大であるがゆえに、利用者が限られるという側面がある中で、他の研究者や他分野の研究者の方にどうやって有効に利用していただくかといった観点や、モデルとの比較が重要である。社会受容性とか行動変容も踏まえて、しっかりと比較をして、良さを示していくことが重要である。
それから、資源集約型で精度が上がるというだけではなく、質的な面でのイノベーションが求められる。
さらに、モダリティが上がる際に、安全性を含めて様々な要件が変わってくるので、配慮が必要である。あるいは、プラットフォーマーが日本に拠点をつくっている中での関係性や、最後に出てきましたように、Fine-tuningが重要である際に、それがノウハウとしてクローズドな世界が生まれてしまうので、配慮が必要であるといったような御指摘をいただいたかと思います。
最後に、何か言っておきたいことなどございますでしょうか。
【黒橋先生】 おまとめいただいたとおり、それぞれ一応は回答させていただいたと思うんですが、私は本当にこれは重要な問題だと思っております。一過性のことではなく、新しい世界に入っていく中で、人材が流出して、アメリカで研究すればよいということは本当にまずいので、ここでしっかりとした研究の場をつくりたいと思っております。今後ともどうぞよろしくお願いいたします。
【相澤主査】 それでは、御質問やフィードバック、御助言等いただきまして、どうもありがとうございました。
続きまして、議題2に移りたいと思います。議題2においては、次世代計算基盤に関する報告書中間取りまとめについて、御議論をいただきます。こちらは研究振興局の有識者会議であるHPCI計画推進委員会で取りまとめられたものがございまして、最終取りまとめに向けての御意見、御助言等を本委員会でいただければと存じます。
それでは、資料2に基づきまして、事務局より御説明をよろしくお願いいたします。
【栗原計算科学技術推進室長】 計算科学技術推進室長の栗原でございます。資料2、次世代計算基盤に関する報告書中間取りまとめについて、御説明いたします。
HPCI計画推進委員会は、平成22年、2010年に、研究振興局長の私的諮問機関として設置されておりまして、HPCI計画推進に当たる必要な事項の検討、進捗状況の評価、その他等の議論をするために検討を行う委員会として設置されています。
参考資料1に、小林委員も御参画いただいておりますHPCI計画推進委員会の委員名簿、参考資料2には、昨年度から本年度にかけての議論の経緯をお示ししております。
先ほど相澤主査からご説明頂いたとおり、このHPCI計画推進委員会におきまして、この検討が進められてまいりまして、中間取りまとめに至ったのが本年3月です。
この資料2の1ページ目の1点目で、この位置づけについて説明しております。令和3年に情報委員会において『令和3年中間取りまとめ』が報告され、その後の検討をHPCI計画推進委員会が引き継いでいます。
1ポツの中の3つ目の丸ですが、この取りまとめ結果については、「情報委員会等の関係委員会に報告する」とされておりまして、本日の御報告をいたします。本日御議論いただいた事項も受けまして、このHPCI計画推進委員会のほうで最終取りまとめに向けた検討をいただくということになります。
この資料の1ページ目の2ポツ、1ページ目の下半分の部分ですが、2点目には、近年の情勢の変化について触れております。スーパーコンピュータ「富岳」は、着実に成果を上げてきた一方で、必要となる計算資源量の急拡大や多様化、また、今もお話がありましたが、大規模言語モデル、ファンデーションモデルの台頭等がございます。
2ページ目には、先週もちょうどTOP500のISCでのランキングが更新されまして、2台目のエクサスケールコンピュータ、アルゴンヌ研究所のAuroraがございますが、この取りまとめの3月の段階では、オークリッジ研究所のFrontierがエクサスケールコンピュータとして存在しまして、その高度化は今後も加速していく見込みでございます。
ランキングでもTOP10の今のものでも、加速度を有するものが主流になっており、「加速部（アクセラレータ）を有し」と5行目に書いておりますが、その点にも触れております。
一方で、その下の2つ目の丸について、半導体の微細化の限界、ムーアの法則の限界とも言われておりますが、メモリ速度、実装の点での課題もある、点を記載するとともに、3つ目の丸では、量子コンピュータの方式、様々な方式が検討されていて、今後の発展への期待が高まっているところです。半導体産業、デジタル産業への経済安全保障、産業振興の観点からの取組も進んでおります。また、ソフトウエア面でのユーザビリティの向上やシームレス化、また、人材の観点、アカデミアでも産業界でも支える人材が不足しつつあるということも記載しています。
こうした情勢の変化を踏まえまして、求められる次のフラッグシップシステムの役割というのが、次のページから記載されています。ここでは、科学技術分野においてのAI活用、AI for Scienceということで、新たな時代を先導して、国際的に卓越した成果を創出する。そして、2点目ですが、LinpackのTOP500など、単一尺度を対象とした性能ではなく、AI性能をはじめとして、あらゆる先端分野での世界最高水準と書いてあります。
また、多様化・拡大を続ける需要の変化への対応や、自国の技術、日本としても、自国の能力の確保、人材育成や産業競争力の維持・発展、そして、利用の拡大と、この要素技術の普及によって、産業競争力や経済安全保障の強化に資することということで、3ページ目の下半分は、「具体的には、以下を提案する」ということで、「新たなフラッグシップシステムに求められる性能・機能」として、3ページ目から4ページにわたって記載しております。遅くとも2030年頃の運転開始を目指し、既存のユーザーに対して、5から10倍、AI性能については、実行性能として少なくとも50EFLOPS以上ということで取りまとめております。
そして、CPUの開発、システムのインテグレーション、メモリ実装技術とともに、「加速部を導入するべき」としており、P4 3つ目の段落にも、「これに加え」として、「運用開始後も継続してシステムソフトウェアの改善を図る」ということも書いております。
また、開発・整備の手法が4ページ目の下半分にございまして、端境期を生じさせない、ということで、「京」から「富岳」に移行したときには、一定期間、システム入替えによって利用できない期間が生じたわけですが、端境期を極力生じさせない、適時・柔軟に拡張可能、進化するシステム。また、中長期的な視点からの評価、開発の継続。ここでは例として、新たなアクセラレータやメモリなどを挙げておりますが、今現在では未成熟ではありますが、将来、大きく貢献し得る技術が登場する可能性もあるということで書いております。そして、半導体の成熟状況を見極めつつ要素の調達ということが5ページ目の1つ目の丸でございます。
5ページ目の利用拡大に向けた取組が、下の3分の2ほどに書いており、様々な科学技術分野、産業分野の研究開発や、これまでのアプリケーションの安定的な継続利用とともに、生成AIの利用も含めた新たな領域についても明示してあります。そして、人材育成を目的とした環境提供とプログラム、また、ソフトウエアの水平展開や、国内外への利用についても、5ページ目の一番下の丸では、相互互換性を高めて水平展開し、国際連携にも活用ということも書いてあります。
そして最後に6ページですが、幅広く全体に関する記述がこちらです。次世代計算基盤全体に係る事項の検討と今後の検討方針ということで、HPCI、ハイパフォーマンス・コンピューティング・インフラに接続される計算機の戦略的な整理、一体的な運用体制整備の検討、また、データサイエンスやAI、シミュレーションの融合等のためにも、データ基盤や、また、その下ですが、セキュリティー、プライバシー保護、また、量子と、量子コンピュータについては、まだ幅広く提供されるような段階には至ってはいないと明記してあります。それでもHPCIとの接続環境の提供や計算機に係るサプライチェーンは、多くの複数の国にまたがっているということを前提としつつ、関係国との連携、特に米国との協力関係を強化について書いております。
最後に非常に重要な点ですが、先ほどもお話がありました人材育成を支援する取組や、これまで培ってきた技術の継承、中長期的な技術の発展、それらを支える人材や利活用人材、半導体からもそうですし、本日、話があったような生成AIもそうだと思います。ソフトウエアまで一気通貫で、スキルセットを特定して支援する取組ということで、人材育成について書いております。
本日御議論いただいた事項も受けまして、このHPCI計画推進委員会のほうで、最終取りまとめに向けた検討をいただくということになります。
説明は以上になります。
【相澤主査】 ありがとうございました。
それでは、ただいまの御発表に対しまして、御質問、御助言等がございましたら、挙手にてお知らせください。別紙にて、次世代計算基盤検討部会中間取りまとめの詳細ございますので、そちらも御参照ください。
【栗原計算科学技術推進室長】 別紙については、位置づけの2行目に書いているとおり、議論の前提となりました令和3年中間取りまとめを、御参考になりますが、別紙としてつけております。
【相澤主査】 ありがとうございます。
いかがでしょうか。では、オンラインで御参加の若目田先生、よろしくお願いいたします。
【若目田委員】 若目田でございます。御説明ありがとうございます。関連して、専門ではないのですが、ここで感じたことをコメントさせていただきます。今、計算機そのものの性能として、世界的に環境の問題、省電力を高度な演算といかに両立させるかという部分は、今回の開発の中には目指すスペックというのはなかったようですが、今回掲げたものに比べると、若干劣後させたような位置付けなのかというところが1点目です。
2点目は、こういったハイエンドな環境をつくることで、積極的に使われて、本当の価値を生むことになると、おそらく周辺の環境の整備も併せて必要だと思います。例えばデータです。データの蓄積に対する施策や、それに対してHPCでスムーズに有効に活用できる構造や形式の標準化も対象とするドメインに関しては、個別の動きを待つのではなく、このHPCIがデータ基盤の標準化をリードするような、併せ持った動きをすると、よりよいのではないかと感じました。
3点目に、「富岳」でも広く検討いただいた、産業界向けのマシンタイムの提供に関しては、産業界の立場としては、さらに踏み込んで拡充していただければと思っております。例えば、テックベンチャーや、今後を担う企業などに広く啓発を行いながら、積極的にHPCIを活用していく環境も併せ持ってやっていただくといいのではないかと思いました。
以上でございます。
【栗原計算科学技術推進室長】 若目田先生、ありがとうございます。全く御指摘のとおりでございまして、この中間取りまとめの中でも、3ページ目の下から3行目のところには、「電力性能の大幅向上」ということも新たなフラッグシップシステムに求められる性能・機能ということであげております。先ほど説明の際にも申し上げた、米国のFrontierや、Aurora、エクサスケールのマシンに関しましては非常に消費電力も大きくなっておりまして、大きな課題となっています。
また、現在、高度な演算と省電力の両立ということで、話題となっている新しいアーキテクチャ、Grace Hopperというような2つのダイを近接させて、接続する方式や、様々な新しいチップレットという技術などがありますが、新しいフラッグシップシステムを検討する上では、消費電力が大きくなったら、そもそも稼働もできず、運転にも非常に大きな課題を残す非常に重要な点だと理解しておりまして、今までも議論されてきましたが、HPCI計画推進委員会の取りまとめの議論の中でも、引き続き、実際に整備していくまでの間にも重要な検討が必要だと思っております。
また、2つ目にデータ蓄積の施策についてですが、6ページ目にも、データサイエンスとの融合等も踏まえて、データに関しては、収集や処理、個別共同で管理して効率的に扱うことができる基盤ということで、データ基盤の在り方の検討ということは関連する重要な事項だと思っています。御指摘のとおりだと思います。個別の動きを待つものではなく、HPCの整備と並んでリードすべきだという御指摘もごもっともだと思いますので、引き続き政府としても検討してまいりたいと思います。
また、中間取りまとめの各所に産業界での利用については出てきますが、特に冒頭でも、産業界の利用は、情報処理に関して、様々にHPCの利用が各分野で進んでいることを環境の変化の中でも挙げております。AIとシミュレーションの融合や、リアルタイムデータとの組合せなど、様々な利用の分野の使い方も大きく多様化しておりますし、それが産業界で多様に利用されていく中で、国としてもそれを支援できるようにしたいと思います。ありがとうございます。
【相澤主査】 ありがとうございました。よろしいでしょうか。
【若目田委員】 ありがとうございました。
【相澤主査】 それでは、いかがでございましょうか。湊委員、お願いします。
【湊委員】 私の記憶が間違っていたら直してほしいんですが、たしか「京」から「富岳」に行くところで、計算能力、50倍とか100倍ほどであったような気がするんです。それで、電力消費がたしか3倍ぐらいのため、「富岳」が、今、おそらく、淡路島1個分ぐらいの電気を食っているという話だったと思いますが、今回の中間報告だと、「富岳」から次は5から10倍と書いてあります。私から見ると、5倍や10倍でも結構大変なんだろうなという、かなり頑張ってこうなんだろうなという印象は持つんですが、これは計算機のことを全然知らない一般の納税者から見ると、今までと比べてどうなんだと言われることはないのかということが、今、パッと見て気になったところです。これは例えば、価格性能比や、電力性能比など、また別の尺度で、これだけイノベーションを目指しているんだという言い方とか出したほうがいいのではないかという気がしたんですけど、いかがでしょうか。
【栗原計算科学技術推進室長】 ありがとうございます。重要な御指摘だと思います。「京」の10ペタフロップスから、「富岳」の400ペタフロップスということで、そのとき、ざっと概算して40倍とか、それに比べて、ここでも、実効性能として、現行の5から10倍以上ということで上げています。2030年頃の運転開始を目指し、電力性能等も比較考量して、HPCI計画推進委員会では、既存のユーザーに対する実効性能として目指すべき、求められるような性能はこのぐらいであろうということは議論された結果ではございます。しかし、御指摘のように、外向けに、今までと比べてどうなのかということはよく説明していきたいと思います。
特にその点でも、3ページ目の一番最後の行にある、AI性能については、50エクサというのはかなり野心的な数字ではございます。現行のエクサ超えのシステムというのは世界に2つと言われておりますが、そういった中で、今の「富岳」の0.4エクサフロップスというところから見た際には、AI性能として、低精度で大規模な行列演算を行う際の計算能力ということで50エクサフロップスと書いていますが、その実効性能をうまく説明していって、委員の先生、御懸念の点、ごもっともと思いますので、そういったところを我々としてもよく御理解を得たいと思います。ありがとうございます。
【国分参事官】 情報担当参事官の国分です。昨年度まで計算室長をやっており、この中間取りまとめをまとめた立場でもありますので、一点補足させてください。HPCIの検討委員会で検討するに当たっては、まずアカデミアの先生方から、2030年代に対して、どういう計算ニーズがあるかというのをまとめていただいております。そちらを紹介していただき、2030年代に世界をリードするような研究をするためにはどのぐらいの性能が必要かというのを出した上で、この「したがって」以降の目標値というのを定めております。そういった意味では、必要ないオーバースペックのものを提供することもあまり意味がありません。
一方、少し手前のほうの議論でありました、計算需要という意味では今後どんどん変化して、拡大していくことが見込まれている中で、どこまでのスペックを焦点として充てていくのか。途中で拡大なり、スペックのリプレースをしていくかということも踏まえながら、どこに目標のターゲットを絞っていくかという議論をした上での目標設定ですので、そういった意味で、きちんとニーズを支えていくということにまず主眼を置いています。
ただ、そのニーズは、ロースペックなニーズではなく、世界最高水準の研究をしていくために、シミュレーションや、AI性能という意味でもそうですが、どちらの面でも世界最高の研究をしていくということを前提とした上で、どの程度の性能が必要かというのを導き出しました。そういった議論の構成になっているという補足をさせていただきます。
【相澤主査】 よろしいでしょうか。ほかはいかがでございましょう。では、星野委員、どうぞ。
【星野委員】 今の湊委員のお話にも関連しますが、私も他省庁のEBPM系の仕事をさせていただいており、やはりなかなか国の財政状況も厳しい中で、様々なところに対して、これは重要だということで、予算を措置したいということがあり、財務省もだんだん厳しくなって、予算折衝の際に様々エビデンスを出すように言われることが予想されます。その際に、例えば「富岳」だと1,100億円とかそういうレベルで、これからも2,000億円というレベル感のものを、これはこのようなものを作ったことによってどれほどのリターンが得られるかということに関して、様々な証拠を求められることになると思います。
既に「富岳」でこういったことが可能になりました、それはよかった、だけではなく、例えば、災害の防止効果によって、人命で計算すると何十億円、それだけでは評価できないことはございますが、それを承知の上で、様々な証拠を要求されるということでございますので、ぜひこれは前向きに集める。例えば、現状の「富岳」も、今後の新しいコンピューティングシステムに関しても、単に利用料を徴収するだけではなく、具体的にそれをやることによる、成果指標や、ひもづけのデータを徴収する形のものを仕組んでいただくというのは、これから財務当局に対する交渉等で非常に重要だと思います。非常に重要なことだと、これ自体に対して批判するわけではなく、ぜひこのようなものを考えられる際に、戦略的にそのようなことを仕組まれるといいかなと思い、申し上げました。ありがとうございます。
【栗原計算科学技術推進室長】 ありがとうございます。「富岳」の442ペタフロップスというのを整備するときにも、当然そういった説明は、我々はしてきました。今、この中間取りまとめでは、次の新しいフラッグシップシステムを検討する際には、確かに御指摘のとおり、具体的にこれで実現できる世界というところまでは踏み込んでいません。Society5.0という政府全体が目指す目標、また、次の科学技術基本計画の第7期基本計画に向けた検討も始まるというところですが、次のフラッグシップシステムがどういったところに貢献し、具体的に何が実現できるのかということをよく精査して、説明の準備をしてまいりたいと思います。
【国分参事官】 また1点失礼します。今、この中間まとめを受けて、具体的にどういうものをつくれるかという検討は、中間まとめ以降のHPCIの委員会で進めています。それが明らかになっていくプロセスの中で、全体の開発に幾らぐらいかかるかということは明らかになっていくと思います。例えば、今の「富岳」で使っている計算資源を、特にAI計算でもいいんですけれども、そのまま、クラウドサービスなどで置き換えて、これを借りる、買うということにした場合は、おそらく、年間何千億円といった金額になろうかと思われています。そういう意味では、費用対効果の、効果のことをきちんと出していくというのはもちろんなのですが、その前に費用という意味では、少なくとも、借りたり、もしくは使わせてもらったりとか、そういうことよりは、自前のものをきちんと持つことが極めて重要なのだと考えております。
【相澤主査】 よろしいでしょうか。では、美濃先生、どうぞ。
【美濃委員】 「富岳」の導入などに関わり、量が多いから、大変だというイメージを持っていますが、今回も物量というのはすごく大きいです。一体何を目指しているのでしょうか。そのCPUだけを速くしたり、GPUをつけて、計算を速くするだけではなく、やはりメモリを考えなければならないという話は出てきています。今や、すでにネットワークを通じて、かなり分散したごついシステムでクラウド的に考えようという話が出てきたときに、まだ、「富岳」の延長のような、ごそっとまとめて、そっと置いてというようなイメージに見えるんですが、もう計算機や計算環境ではないと思います。
つまり、データと計算資源とネットワークを最適化して速度を上げよう、計算速度を上げようなど、中間報告を聞いていると、こんな問題があって、こんなのがあるからこういう能力を出していかなければならないというのは、そのとおりだと思います。それでは、従来の方法でまたやっていくのかということに対して、違いが見えません。またもう1度「京」から「富岳」へ行ったときのような形で、さらに「富岳」から、次に行くのかということをイメージさせる報告に見えます。それが、いや、実は今回はそうではなく、どこかさらにもっと新たなことを考えてやっていこうということが、もちろん量子コンピュータやそんなものを取り組んでいこうという、技術の延長に見えているところがあります。もう少し大きなイメージというか、チェンジのイメージは議論されたのか、ということがすこし気になるんですが、いかがでしょうか。
さらに大きなシステム的に見て、「富岳」のように、同じ場所にある計算機の最適化ではなく、もう少し何か違った方向が出ているのでしょうか。出ていなければ、また「富岳」のように、大きな場所が要って、そこに電気容量がたくさん必要なものができてくるのか、なにを目指しておられるのかというイメージはどんな感じか教えていただけるとありがたいです。
【栗原計算科学技術推進室長】 ありがとうございます。参考資料2には、HPCI計画推進委員会の議題一覧がございます。先月4月17日にも、まだ実施整備主体というのは決まっておらず、一候補ではありますが、理化学研究所からの説明もいただきました。そこでも、御指摘のとおり、今、世の中がかなり変わってきており、オンプレミスでの大規模な計算基盤を実際にハードウエアとして持ち、バッチ処理で、ノード時間を割り振る使い方から、特に産業界のユーザーを含めて、様々なクラウドへの利用等の進展がございます。
特に理化学研究所、今の「富岳」の利用においては、「バーチャル富岳」という取組を進めており、AWSと連携して理化学研究所が進めるTRIP-AGISという取組もそうです。また、理研主導で、「バーチャル富岳」と言われる、いわゆるクラウドの「富岳」化で、クラウド上に、「富岳」と同等のソフトウエアが使えるようなソフトウエア環境と、クラウド上の計算基盤を展開する取組もあります。そのクラウドへの展開の取組を「富岳」で開発されたソフトウエア資産や「富岳」で使えるオープンソースソフトウエアなどをクラウドの技術と技術的に融合させて、「バーチャル富岳」として、「富岳」の機能、インターフェースを拡張して、ネットワーク上と物理的に持っている「富岳」というハードウエアを溶け込ませたようなソフトウエア基盤、計算基盤として提供することが非常に重要だということは、先日の4月17日の第58回HPCI計画推進委員会でも、松岡センター長から報告がされ、議論がされたところです。
特に、ゴードン・ベル賞を前回受賞したときのアプリケーションの実行を支えたソフトウエア環境など、様々な、これからのTRIP-AGISの取組によって、AI for Scienceの取組も進めていますが、ソフトウエア環境も単に物理的に「富岳」として、また、「富岳」の後継があるかもしれませんが、神戸にある、そういった特定のハードウエアのそこでしか使えないというものではやはり発展できません。そのため、すぐ次のポスト富岳や、次のフラッグシップに即座にその機能が実現できるかは、また、技術の進展や実装の状況も見据えなければいけません。我々も課題として認識しており、また、前回のHPCI計画推進委員会でも、そういった「バーチャル富岳」の取組についても報告及び議論がされたところです。
【美濃委員】 何かイメージというか、ゲームチェンジみたいな話で、このような計算機をつくるんだという提案があれば、すごく面白いなと思いますが、置き換えという話になってくるとちょっと。いろいろと考えていただけたらありがたいなと思っていますので、よろしくお願いします。
【国分参事官】 さらに補足させていただきますが、一つは、やはりAI for Scienceを支えていくんだという大きな文脈が、「富岳」から、このポスト「富岳」に当たっては大きく、新しく入ってきたと思っています。もちろん従来型のシミュレーションもきちんと高度化していくのを支えていきますが、それに加えて、新しく、特にこの一、二年の間に大きく動いたAI for Scienceの世界を、2030年代にも支えていくということが極めて重要であるということは一つ大きなメッセージになっています。理化学研究所も中心となって、AI for Scienceをやっていますが、ニーズを満たすためにきちんとGPUも備えた形で、世界最高水準の研究を支えていくんだという大きなメッセージとしてこの中に入っています。
【相澤主査】 はい。
【小林委員】 私は、計画推進委員会のほうにおりますけど、美濃委員が御指摘の点は、計画推進委員会でも議論されていいます。HPCIシステムとして、第二階層を含めた全体のトータル設計について、FSの中でもシステム、そういう関係の取組を調査していただいているグループがあり、いろいろまとめていければと思って、議論を進めているところです。今回の次世代計算基盤はあくまでも、ポスト「富岳」という位置づけで書かれたもので、その中での一つの基盤という理解だと思います。
【国分参事官】 そういう意味で、6ページの4ポツでは、フラッグシップシステム以外のHPCIの体制をどうしていくかについて、今後、きちんと時間をかけて、ポスト「富岳」の検討と相まって検討していきましょうと、宿題のような形で記載しているという立てつけです。
【美濃委員】 それをぜひ進めてください。
【国分参事官】 はい。これをきちんとやっていきます。
【栗原計算科学技術推進室長】 6ページの一番最初の丸のところの「HPCIに接続される計算機の戦略的な整備、一体的な運用のための体制・制度」というところで、「富岳」や、フラッグシップシステムのみならず、それ以外の各大学、研究機関等の、いわゆる第二階層と呼ばれる整備の進め方や、検討についての記載をしています。あとは、本当はハードウエアを一つ大きなものをつくるのではなく、ネットワークを通じた様々な利用や、クラウドとしての計算基盤は、世の中のアーキテクチャの進捗により、これから大きく進歩していくところです。ありがとうございます。
【相澤主査】 ありがとうございます。尾上先生、お願いいたします。
【尾上主査代理】 ありがとうございます。今回、途中で、一部分を入れ替えたり、アップグレードしたりできるような柔軟性が訴えられています。これは、先が読めない時代ですから、やはり重要だと思っています。その観点で言うと、4ページ目の一番下の③の部分はぜひ強く強調して、きっちりやっていただくといいかなと思います。やはり計算基盤なので、入れて、きっちり運用するというのは大事だと思いますが、やはりその時々で、誰かが開発した新しい技術でいいものを使っていくだけではなく、むしろ攻めた感じで、やはりこういう技術を育てるということも含めて一体的に進めていただくと、非常にいいかなと思いました。
【栗原計算科学技術推進室長】 ありがとうございます。4ページ目には、新たなアクセラレータやメモリなど、新しい技術への対応について書いています。それは一つ前の、情勢の変化についても、先ほどの話の生成AIや、半導体の進歩もそうですが、半導体の微細化がある程度限界を迎えつつある中で、むしろアーキテクチャの世界が大きく広がってきたところかと思います。その中でも、この技術を育てるというところで、ここでは、人材が枯渇しつつ、不足しつつあるということも同時に指摘していますが、人材を育てて、技術も育てていくと、そういった多様な新しい技術の発展へも柔軟に対応できるようにするということも、この委員会でも議論された点ですが、取りまとめにも各所には書いております。そのとおり進めてまいりたいと思います。ありがとうございます。
【相澤主査】 ほかはいかがでしょうか。
では、私からもよろしいでしょうか。AI for Scienceがキーワードとして何回か出てまいりまして、HPCIの新領域を拡大する研究開発に当たると思いますが、今後、AI for Science自体、これからダイナミックに新しく変化していく中で、どういう形でAI for Scienceの取組との議論を行ったり、協調したりという枠組みをつくっていくということを考えておられますか。
【栗原計算科学技術推進室長】 ありがとうございます。AI for Scienceに関しては、特に、国際連携が中間取りまとめの中にもありましたが、特に米国との連携で文部科学省とDOEとのPAというのもありますが、理化学研究所もアルゴンヌ研究所との間での議論を進めており、そういった様々な国際連携も含めたコミュニティーとの連携によって、多様な科学技術の革新を目指した科学技術研究データもマルチモーダルで学習が必要です。各ドメインでの科学研究向けの基盤モデルをlarge language modelからマルチモーダルに対応して、サイエンスの各領域のドメインごとに対応するのに必要なハードウエアもあるでしょうし、ソフトウエア開発も主導して進めていきたいということを考えています。
一方で、ちょうど先週も文部科学省とDOEとの間での会合を行ったところですが、AIの様々な技術の隆盛は非常に技術進展も激しく、そのために必要な技術や、人材の育成も求められています。国際連携によって、やはりソフトウエアの開発エコシステムも、より充実させていきたいということを考えて、様々な取組を進めています。
【相澤主査】 ありがとうございます。
では、若目田委員から最初に御指摘のあった、データ蓄積の施策が重要であるというところでリードしていくということに結びついていくということですね。
【栗原計算科学技術推進室長】 はい。
【相澤主査】 ありがとうございます。ちょうど時間となりましたので、ほかにございませんようでしたら、ここで御議論の時間を終了させていただければと思います。先ほどのようにまとめをする時間がなくなってしまいましたが、数多くの御意見をいただきました。詳細については、議事録を後日御覧いただければと思います。
それでは、本日の議論はここまでといたしますが、まだ御意見がございましたら会議後に事務局までメールでお寄せいただければと存じますので、よろしくお願いいたします。
では、事務局から事務連絡がありましたらよろしくお願いします。
【植田参事官補佐】 事務局でございます。本日も御議論いただき、ありがとうございました。今後の開催予定につきましては、現時点で未定となっておりますが、別途、日程調整の御連絡させていただいておりますので、御回答のほど、どうぞよろしくお願いいたします。
また、先ほど相澤主査からございましたように、本日の御議論につきまして、追加で御意見いただけるようでしたら、来週5月29日水曜日の18時までにお送りいただけますと幸いです。
併せまして、資料1の補足資料としてお配りしております一枚物の資料につきましては、こちら、委員限りの資料となっておりますので、会議終了後はお持ちにならず、お席に置いてお帰りいただきますようにお願い申し上げます。
以上でございます。
【相澤主査】 それでは、以上をもちまして、閉会とさせていただきます。どうもありがとうございました。次回もよろしくお願いいたします。
研究振興局参事官（情報担当）付