全2282文字
PR

 3年ぶりにリアル開催されたNAB Show(写真1)では、バーチャルプロダクションに関連した展示やセッションが非常に注目されていた。これらは元々存在していた技術で、コロナ禍に急速に進化を遂げた。まさに3年ほど目を離した間にである。これらは映像制作をより高品質で効率的に行うためのものだが、オブジェクトベースに近い形式で制作が行われるので、従来のような完パケ映像とは異なる映像コンテンツの可能性を示していることに注目をしたい。

写真1●「NAB Show 2022」の会場となったLas Vegas Convention Center(ウエストホール)
写真1●「NAB Show 2022」の会場となったLas Vegas Convention Center(ウエストホール)
(撮影:江口靖二)
[画像のクリックで拡大表示]

 はじめに「NAB Show 2022」でのバーチャルプロダクションに関連した2つの技術について話を進めてみたい。1つはインカメラVFX(In-Camera Visual Effects)、もう1つはボリュメトリックキャプチャービデオ(Volumetric Capture Video)である。前者はカメラトラッキングを行いながらLEDウォールを再撮するもの。後者は複数のカメラで撮影対象の空間全体を3Dキャプチャーしてバーチャルカメラで自由視点映像をつくり出すものである。

<インカメラVFXは「実写」であることが重要>

 インカメラVFXは、スタジオなどに参集する撮影やロケのための移動をできるだけ避けながら、高品質な映像を制作するニーズによって大きく進化を遂げた。まさにコロナの副産物と言ってもいい。LEDウォールに「この場所から撮影したら抜けはこう見えるはず」な映像を表示させてそれを再撮する。このときのカメラの位置や動き、フォーカスや絞りなどの撮影メタデータを元にして、LEDウォールに表示させる映像をリアルタイムで変化させる(写真2)。

写真2●Brainstorm社のインカメラVFXスタジオのデモ。上部にある液晶ディスプレーが最終映像
写真2●Brainstorm社のインカメラVFXスタジオのデモ。上部にある液晶ディスプレーが最終映像
(撮影:江口靖二)
[画像のクリックで拡大表示]

 インカメラVFXの技術的な背景としては、LEDウォールの高解像度化と低価格化がある。ピッチの細かい大型LEDディスプレーの価格が低下し、カメラで再撮を行ってもモアレやドットが目立ちにくくなってきている。またカメラの位置や動きを正確にトラッキングするためのセンサー技術も格段に進化した。さらに撮影メタデータに応じてリアルタイムでレンダリングするためのGPU性能も大きく向上したことによって実現可能になったのである。

 インカメラVFXの重要なポイントは、合成するのではなく映像はあくまでも「実写」であることだ。そのため合成による貼り付け感のない、臨場感の高い映像を得ることができる。従来のようにクロマキーを用いた場合には、例えばクルマやガラスなどの反射がある被写体だと反射面にグリーンバックも同時に写り込んでしまうので、ポスプロ作業でこれらを貼り付け直したりするのに膨大な手間が発生している。インカメラVFXによってデジタル以降の映像制作でポスプロに重くのしかかっていた作業負荷が、プリプロや現場側にシフトあるいは回帰していくことを意味する。また演者の側から見ても、何もない殺風景なグリーンの背景に対して演技をするのと、たとえ映像であっても対象や状況が見える環境での演技では気持ちの入り方が異なる。

 今後の課題や注意事項としては、LEDウォールとカメラなどの他の機材間のGenlock処理、LEDウォール自体が発光することによる環境光的な作用に対する照明の調整やLEDウォールの角度、モアレ回避のための浅い被写界深度などがあげられる。コストについては、現時点ではインカメラVFXのための機材やシステムが高額であるケースが多い。言うまでもなく、これらは時間が解決していくことになる。美術制作費、交通費、天候などの不確定要因、ポスプロ費などを総合的に判断していくことになるが、全体としてはメリットが上回っていくことは間違いない。

 また複数のインカメラVFX関連のセミナーやセッションで異口同音に指摘されていたことは、撮影、照明、美術などの各チーム間のコミュニケーションが今まで以上に重要になるということだ。これは現在進行系の技術や制作手法なので、プリビズやプリプロ、撮影現場における調整事項が多く発生し、これらは物理的なこととデジタルなことの両方があり、常に各チームが協力し合って解決していく必要性を登壇者は説いていた。

<重要な意味を持つボリュメトリックキャプチャービデオ>

 バーチャルプロダクションのもう1つの方向性は、つい先日のプロ野球中継でも使用されて話題になった、カメラが入り込めないようなポジションからの自由視点映像を得ることができるボリュメトリックキャプチャービデオだ。これは固定設置された複数カメラで、映像そのものではなく3次元空間情報としてデータを取得し、このデータを物体の形状や動きなどの3次元情報と、その物体の表面の状態、肌の色や服の質感や色の情報を、物体の形状に合わせてテクスチャーマッピングを行うものだ。キヤノンがNAB Show 2022で行ったパネルディスカッションでは、NBAのスタジアム2カ所に常設されたシステムを利用したバスケットボールの中継の例を基に解説を行った。なおこのシステム構成で現時点の遅延はおよそ3秒とのことだ。

 またこうしたシステムはまだまだ高額であり、特殊な事例である点は否めないが、驚きなのはこれを扱うベンチャー企業がすでに登場していることである。ニューヨークベースのベンチャーであるEvercoast社は、AI分野では一般的になりつつあるインテルのRealSenseテクノロジーを用いている。インテルの3Dデプスカメラはわずか399ドルで、これを4台利用した主に上半身を扱うシステムは5000ドルからすでに提供されている(写真3)。

写真3●Evercoast社のボリュメトリックキャプチャーはインテルのRealSenseを利用して最小構成は5000ドルから構築可能
写真3●Evercoast社のボリュメトリックキャプチャーはインテルのRealSenseを利用して最小構成は5000ドルから構築可能
(撮影:江口靖二)
[画像のクリックで拡大表示]

(後編に続く)