全4260文字

 世界中の企業がにわかに強化を打ち出している、インターネット上の仮想空間「メタバース」。その発展の鍵を握るのが、現実世界を仮想空間に持ち込むための映像技術である。特に今、注目を集めているのが、実在の人物やその人の動き、位置など空間全体を3次元(3D)データとして丸ごとキャプチャーする「ボリュメトリックキャプチャー」と、映像制作現場のDX(デジタルトランスフォーメーション)ともいわれる「バーチャルプロダクション」である。

 「これまで2次元(2D)で受動的だった従来のスポーツ観戦体験を再発明する」(米Unity Technologies クリエイティブ・ディレクターのAdam Myhill氏)

 リアルタイムに3Dデータを扱えるゲームエンジン「Unity」を提供するUnity Technologiesは2021年10月、ボリュメトリックキャプチャー技術を用いて制作したコンテンツを視聴者に配信するスポーツ向けプラットフォーム「Unity Metacast」を発表した。さらに、同プラットフォームを活用した3Dコンテンツの研究開発で、世界でも人気の総合格闘技団体UFCと提携した(図1)。

図1 スポーツの視聴に新体験を提供するリアルタイム3Dプラットフォーム
図1 スポーツの視聴に新体験を提供するリアルタイム3Dプラットフォーム
ボリュメトリックキャプチャー技術を活用する、米Unity Technologiesのリアルタイム3Dプラットフォーム「Unity Metacast」。総合格闘技団体のUFCと3Dコンテンツの研究開発に取り組む。(図:Unity Technologies)
[画像のクリックで拡大表示]

 視聴者はリアルの試合をCG(コンピューターグラフィックス)化したコンテンツを通じて、自分が好きな角度からリアルタイムに試合を見ることができ、あたかも自分がオクタゴン(八角形)のステージの中で対決しているかのように感じられるという。「コロナ禍で加速した現実世界と仮想空間の融合によって、スポーツ観戦において高度にパーソナライズ、そしてゲーム化されたような体験を提供できるようになった」(Myhill氏)

 実はスポーツの試合をボリュメトリックキャプチャーで撮影して配信する取り組みは、キヤノンが19年のラグビーワールドカップ2019日本大会などで実施しているが、競技団体と提携して定常的にファンエンゲージメントの向上などのために活用する点が異なる。ソニーグループと英プロサッカーの強豪、Manchester City Football Club(マンチェスター・シティFC)が21年11月に発表した、メタバース関連の提携を含め、スポーツ観戦の体験がメタバースとの融合によって次のステージに上がる日も近そうだ。

リアルをリアルのままに

 では、ボリュメトリックキャプチャーとはどんな技術なのか、具体的に見ていこう。図2の写真はソニーが東京都港区の本社内に20年1月に開設した撮影スタジオである。総面積約100m2のスタジオ内に、直径5m×高さ3mのキャプチャー空間が設けられ、それを取り囲むように4Kカメラが80台以上設置されている。人物を背景から切り抜きやすいよう、背景は通常、緑で統一されている(グリーンバック)。

図2 多数のカメラで空間をキャプチャー
図2 多数のカメラで空間をキャプチャー
ボリュメトリック映像を撮影する専用スタジオ(a)とその仕組み(b)。(a)はソニーグループのスタジオで、4Kカメラが80台以上配置されている。周囲を囲む多数のカメラで対象を動画撮影し、その映像からリアルな3DのCGモデルを生成。視聴デバイスに合わせてCGを加工して映像を出力する。CGモデルは頭上からでも、足元からでもユーザーが望む視点から見ることができる。(写真:日経クロステック、図:ソニーグループの資料を基に日経クロステックが改訂)
[画像のクリックで拡大表示]

 3DのCGモデルは以下のようにして制作する(図3)。まず、キャプチャー空間内で動く人を、多数のカメラによって動画で同期撮影をする。次にカメラの映像から3D形状を表すモデル(ポリゴンメッシュ)を生成し、そこにカメラ画像を貼り付けて高品位化のデータ処理をする。

図3 ボリュメトリックキャプチャーでのCGモデル制作工程
図3 ボリュメトリックキャプチャーでのCGモデル制作工程
多数のカメラで撮影した映像から、まずは3D形状を表すポリゴンメッシュ(ジオメトリなどとも呼ばれる)をモデリングし、そこにカメラ画像をテクスチャーマッピングしてレンダリングをする。そして視聴デバイスに合わせて背景などのCGを合成する。(図:ソニーグループの資料を基に日経クロステックが一部改訂)
[画像のクリックで拡大表示]

 ボリュメトリックキャプチャーでは全身をCG化するので、頭上や足元を含め、あらゆる視点からそのモデルを見ることができる。実在の人物やその人の動きをいったんCG化してしまえば、後はメタバースにその人を転写したり、背景CGを合成したりして映像作品に仕上げるなどさまざまな使い道がある。

 例えば、同技術を使ったダブルダッチ(2本の縄を使って跳ぶ縄跳びスポーツ)の映像作品では、縄跳びの内側からという通常は観客が見ることできない視点で演技を見ることができる(図4)。

図4 ボリュメトリックキャプチャーのコンテンツ例

ボリュメトリックキャプチャーを活用したダブルダッチの映像作品。ソニーグループのスタジオで撮影し、それにCGを合成した。通常は見ることができない縄跳び内の視点から見ることもできる。(写真:ソニーグループ、撮影協力:プロダブルダッチチーム J-TRAP.)

 特に重要なのは、服のひらひらした感じから顔の陰影やしわまで「リアルなものをリアルなままに仮想空間に取り込む点だ。CGをリアルに近づけていくとよく“不気味の谷”が指摘されるが、ボリュメトリック映像はその谷を越えている」(ソニーグループ事業開発プラットフォーム新規事業化推進部門事業化推進部統括部長の小松正茂氏)(表1)。しかも、リアルに似せたCGのモデリングにはかなりの手間とコストがかかるが、ボリュメトリックキャプチャーなら非常に短い時間でできてしまう。

表1 ボリュメトリックキャプチャーとCGモデリングの長所・短所
表1 ボリュメトリックキャプチャーとCGモデリングの長所・短所
ボリュメトリックキャプチャーの最大の特徴は、現実をそのまま取り込むためフォトリアルな表現が簡単にできる点にある。(表:ソニーの資料を基に日経クロステックが一部改訂)
[画像のクリックで拡大表示]

 もう1つ、CGとの比較で忘れてはならないのが、リアルでなくてはならないコンテンツが確実に存在することだ。アーティストやアスリート、そして自分の子供や友人など、コンテンツを利用する人にとってリアルであることに意味があるものをメタバースの世界に連れていくのがボリュメトリックキャプチャーなのだ。

 図4の作品に携わったスタジオブロス 映像開発部リアルタイム3DCGディレクターの田村耕一郎氏は、「今我々は、ダイナミックな変化の入り口にいる。ボリュメトリックキャプチャーで、3Dかつ時間軸を伴う映像を簡単に記録できるようになったことは、今後、人間の体験の質や考え方を変えていく可能性がある」とインパクトを語る。