5．「デジタルミュージアム」構想実現のための研究開発

　4．で述べたような、現在実践されている新しいデジタル文化の創造に向けた取組に加え、「デジタルミュージアム」構想を実現し、「動的」「静的」を問わずコンテンツに触れたときの臨場感や感動までを後世に継承するため、現代の文化芸術に対応したより高度な文化資源保存（次世代ストック）を実現していかなければならない。このための取組は、生活様式や経済活動様式を大きく変える可能性があり、イノベーションの契機となることが期待されるため、その実現に向け、以下に述べる技術的な課題に対して積極的に取組んでいく必要がある。
（内は、実用化に向けて研究開発に必要な最短タイムスパンを示した。ただし、どのレベルを達成目標に置くかによって、必要な研究期間やスケジュールは大きく変わり得る。）

（1）

超高精細映像 　現在開発中の超高精細映像（スーパーハイビジョン）技術は、肉眼で実物資料を鑑賞するのと変わらない解像度である3,300万画素（7,6804,320画素）の映像を実現し、ハイビジョンより広い視野角での鑑賞を可能にし、鑑賞者に高い臨場感を提供することができることから、世界を牽引する次世代の映像システムとして期待されている。 　超高精細映像による鑑賞システムを構築するために必要な研究課題としては、以下のようなものがある。   超高精細・高感度フルスペックカメラの技術開発の必要性5年） 　超高精細映像を撮影するには、3,300万画素の撮像素子を持ったカメラが必要だが、現在の技術では、800万画素の撮像デバイスを斜め方向にずらすことで、見かけ上の解像度を向上させた画素ずらし方式によるカメラしかなく、また、十分な明るさがないと鮮明な映像が得られない。超高精細映像の性能を十分に引き出していくためには、フルスペック（7,6804,320画素）解像度が得られ、美術品に照明をあてなくても鮮明な映像が得られる高感度特性を有する撮像素子と、その撮像素子に対応した光学系（撮影レンズ、分光プリズム）、そして通常の照明条件でも正確な色再現を可能にする信号処理技術が必要である。   高速大容量ストレージ5年） 　超高精細映像信号は膨大な情報量を有することから、撮影された超高精細映像信号を記録し配信するためには、ハードディスク装置のより一層の小型化、高速化、大容量化が必要である。また、それらの映像をアーカイブスとして大量かつ長期に保存するためには、高速大容量光ディスク、ホログラム記録など次世代の光記録技術の開発も必要となる。   ネットワーク伝送5年） 　大容量の超高精細映像信号を各地のシアターや一般家庭に配信するには、超高速光通信網を利用した伝送技術、およびアーカイブスやデータベースと利用者をインタラクティブに結ぶことのできる柔軟なネットワーク技術、様々な場所に散在する文化資源の記録・伝送を機動的に行うために必要な、超高速デジタル信号の長距離光伝送技術、圧縮信号をも考慮した、FTTH（Fiber To The Home）ネットワークを利用する光波長多重による低廉な配信技術等の技術開発が必要である。   圧縮符号化4〜5年） 　上記の記録蓄積やネットワーク伝送において、非圧縮の超高精細映像信号を記録できる十分な記録容量や、伝送できる十分な伝送容量が確保できない場合には、超高精細映像信号を圧縮符号化する必要がある。そのためには、符号化、復号化によっても画質劣化がほとんど生じない高画質高能率符号化方式を開発する必要がある。特に、アーカイブス記録においては、絵画の表面や文化財の外観をできるだけ忠実に記録し再現することが求められることから、圧縮しても画質劣化のない素材記録用高品質符号化技術を開発する必要がある。配信時の符号化については、ネットワークの帯域幅や受信側のディスプレイの解像度の違いに適応が容易な階層符号化が有効であると考えられる。   映像システム5年） 　博物館、美術館や市民会館等に附属するシアターで大画面スクリーンにより超高精細映像システム（スーパーハイビジョンシアターシステム）を実現するためには、高コントラストなプロジェクター、正確な色再現を可能にする技術、専門の技術者がいなくても機器を最良の状態に調整することを容易にするための技術、取り扱いが容易なスーパーハイビジョン信号源、シアター用のマルチチャンネル音響技術等の技術開発が必要である。   直視型超高精細ディスプレイ5年） 　一般家庭や学校、公民館等において超高精細映像の鑑賞を可能にするためには、その表示能力を十分に発揮でき、かつ設置スペースをあまり取らない100インチ程度の直視型超高精細ディスプレイの開発が必須である。この実現のために、例えば次世代型プラズマディスプレイや液晶ディスプレイの超高精細化の研究が必要である。また、このような100インチクラスの画面にふさわしい音響再生技術の開発も必要である。

（2）

超臨場感コミュニケーション 　文化資源をより精確にアーカイブ化するには、単に文化財等の精細な二次元映像情報ばかりでなく、立体映像として保存・再現することに加え、有形文化財であればその手触りや香り、無形文化財であれば音声や音楽、演技場の雰囲気といった多様な感覚情報を統合的に扱う技術が不可欠である。このような技術は、遠くにいてもあたかもその場にいるかのような自然でリアルな感覚を人間に味わわせることを可能とすることから、「超臨場感コミュニケーション」技術と呼ばれている。この技術の具体的な開発目標は、以下のとおりである。   立体映像システムの構築13年） 　多眼立体映像の撮像・伝送技術の開発や、より臨場感の高い立体映像表示の要求性能（画質の向上及び画面に対する観察可能な角度の広さの拡大）を満たす立体映像の表示方式（インテグラル方式やホログラフィ方式等）及び超高精細デバイスの開発、多眼立体映像コンテンツ制作手法の開発等、現在よりも高精細で視域が広い立体映像システムを構築する。その際、放送衛星を使用して、超高精細映像システムについての実証実験が必要となる。   多感覚を統合的に提示する技術の開発18年） 　波面合成技術やHRTF（頭部伝達関数）の個人適用技術等開発による立体音響、複数点での力感提示デバイスや触感提示デバイス等の開発による触覚提示、香りと音あるいは映像との融合提示技術等、多感覚を統合的に提示する技術を開発する。   遠隔協働・感動共有環境を実現する基盤技術の構築 　視覚・聴覚等の五感情報を高精度にデジタル化すること等により、視覚情報、聴覚情報、形状・触覚情報など複合した複合感覚情報を遠隔地にいる者同士が、リアルタイムで一緒に鑑賞・体験し、更には協働して創作すること等を可能とする基盤技術を開発する。

（1）	コンテンツ化   大型有形文化財のための高機能色彩センサーの開発5年程度） 　現在、大半の文化財では、色彩データは市販のカラーカメラを用いて測定されている。一方、カラーカメラから得られるRGB（色を赤（R）・緑（G）・青（B）の3つの色の組み合わせとして表現する表記法）は、メーカに応じてカラーフィルターの特性の差がある。また、カメラの水平解像度は年々進歩しているにもかかわらず、各画素の値は、8ビット256階調に固定されたままである。一点のスペクトルを測るスペクトメータもあるが、広域の全面のスペクトルを計測することは非効率であり、さらに、屋外の大型有形文化財測定の場合、太陽光などの環境光の影響を排除する必要もあることから、シーン全体のスペクトル・色を高速に測定するセンサーの開発が望まれる。なお、これらのセンサーは距離センサーの場合と同様に簡便・軽量であることも重要である。   計測技術5年） ・ マルチバンド画像計測技術：ナチュラルビジョンに代表されるマルチバンドカメラ等を用いて、高精度の色情報を非接触で入力する画像計測技術 ・ 透視投影型内部画像計測技術：文化財内部の幾何構造を計測し可視化する非破壊計測技術の開発   物体モデリング技術5〜7年） 　高精度かつ高圧縮の三次元物体モデリング技術：目的や用途に応じて、任意に指定される絶対的・相対的近似精度で視覚的に実物を再現することを可能にする三次元物体モデルを観測データから自動生成する技術の開発 ※ なお、物体モデルにおいては以下の属性が記述される必要がある。 ・ 物体「表面」の幾何・光学的特徴（「幾何的特徴（外観・見え）」を忠実に再現する。）   ； 三次元形状、テクスチャ特性（カラー、模様、反射特性、透過特性等） ・ 物体「内部」の幾何特徴（不可視な「内部の幾何的特徴」を可視化する。）   ； 人体や物体の内部（人体臓器アトラス、からくり人形等）のパーツ間の接続構造やボリューム情報等を対象としたボリュームモデリング技術の開発 ・ 物体の力学的特徴（触れたときの触感・触知感を忠実に再現する。）   ； 材質の物性、柔軟特性（粘弾性・レオロジー特性等） ・ 物体の力学的構造と機能（実物体とのインタラクション（現象・効果）を忠実に再現する。）   ； 物体を構成するパーツの接続構造やテコ構造、操作・把持の方法（道具としての）機能など 　これらの属性が与えられれば、物体に触れたり操作するために力を加えたときに、物体自身や操作対象に起こる変化（現象・効果）を体験させる、実世界に忠実なリアリティベースシミュレーションを実現することが可能になる。   データ・レンダリング技術10年程度） 　データ・レンダリング技術に関しては、通常、三次元データは仮想現実感システム等では、観測者の方向や光源方向に応じてデマンドベースでビジュアライゼーションされる。今後、大型有形文化財のデジタルコンテンツは、100TB（テラバイト）以上となると考えられる。この種の超巨大データをいかに表示するかが研究開発項目となる。サーバー側で集中的にレンダリングし、映像のみを各家庭に配信するという方式では、多くのユーザーのデマンドに応じることは難しい。一方、データをいったん各家庭に配信するという方式では、ダウンロードに要する時間や、クライアント側の計算能力の制限から現状では実現は難しい。結局、ある程度の中間処理されたデータをサーバー側におき、ある程度のレンダリングをクライアント側で行う方法が有望となるが、その際、どういった中間形式がよいのか、どのような配信方式がよいのか、レンダリングソフトとしてどのようなものを用意するべきかといったソフトウェア開発が必要となる。   可視化技術 ） 視覚的再現 ・   立体形状再現3〜5年） 　立体形状を再現するための立体画像生成法やVR（バーチャルリアリティ）/MR（ミックスドリアリティ）技術の品質や精度の向上 　立体形状を提示する裸眼立体視ディスプレイ装置等の品質改善 ・   色再現：　高品質マルチバンドディスプレイ装置の開発（3〜5年） 　マルチバンドカメラにより獲得された高精細大容量画像等を表示するディスプレイ装置の開発 ） 触覚的再現3〜5年） ・   タクタイル／ハプティックディスプレイの質と向上と普及 　現在は、プローブ（針）の先端の「点」に反される力フィードバック装置が普及されてきているが、文化財等に5本の指先で触れたときの表面のざらざら感（テクスチャ）や各指の腹で受ける反力をより忠実に再現するための、多指型かつ各指に面状の触覚情報が反される力フィードバック装置の開発と普及 ） 立体的再現3〜5年） ・   不可視報を可視化する技術の向上 　物体の内部を観測したボリュームデータやボリュームモデルを用いて、不可視報を三次元的に可視化するためのボリュームグラフィックス技術の高速化・高品質化
（2）	アーカイブ化   大型有形文化財の計測・復元等コンテンツ作成のためのソフトウェア技術開発センサー開発から2〜3年した時点からスタートして5年程度） 　大型有形文化財の測定では、現状の100倍〜1,000倍即ち50TB（テラバイト）から500TB（テラバイト）程度のデータが得られる。これらの巨大データの管理を行い、これらを処理して復元コンテンツとするため、超並列計算機の上での次世代の処理ソフトウェアの開発が必要である。   無形文化財や舞台芸術等の動的情報のアーカイブ技術10年程度） 　能楽をはじめとした伝統芸能などの無形文化財や舞台芸術は、舞台の上で繰り広げられる身のこなしや衣装の動きそのものが文化資源の対象であることから、一方向からテレビカメラで撮影した映像だけでは、その資料的価値が十分とは言えない。近年、立体物の三次元データを取得しデータベース化することで、物体のあらゆる方向から見た映像を再生できる技術が開発されている。こうした技術を動画像にまで拡張すれば、能や舞台芸術のような動きを伴う文化資源でも映像データとして保存し、これをあらゆる方向から表示させたり、3Dディスプレイによって立体的に鑑賞したりすることができ、ひいては後継者の育成のためにも重要な資料となる。 　現在、アメリカにおいても多視点放映の試みが行われており、今後、さらに研究が進むと思われるこの技術を用いた無形文化財のアーカイブ化を進める研究開発が必要である。一方、能楽などについては、その音も重要な文化資源であり、無形文化財や舞台芸術の音を収音する三次元収音方式の研究開発もあわせて行う必要がある。 　また、現状のアーカイブは単に映像としてそれを表示するだけだが、動きを解析し、ヒューマノイドロボット等などの物理的なデバイスを表示装置として動き再現の研究開発を行うことも重要である。
（3）	ネットワーク化   検索技術 　膨大なデータの中から文化財を実物と同様の感覚で鑑賞しようとするユーザー（鑑賞者）のニーズに対応するためには、現在主流であるテキストベースの検索のみならず、広大なデジタル・アーカイブを、人々が自由に巡り、「コンテンツ」に仕上げることを可能にする技術開発が必要である。   情報共有化技術 　人々の日常生活でのコミュニケーションは、今後、人口の減少や高齢化社会などの事情を背景として、遠くにいても同じ空間を共有でき、お互いにその場にいられるような自然でリアルなコミュニケーション（ユニバーサルコミュニケーション）に移行していくことが見込まれる。そのため、デジタル化された文化資源データは配信アーカイブに蓄積し、様々な情報を高い臨場感のコンテンツとして広域ネットワークで全国に流通させることが重要である。その際、配信アーカイブでは、全国各地から集められたデジタルデータの中から見たいものを容易に検索できるようタグを付与することが望まれる。