2023年2月、ソニー・ミュージックエンタテインメントは、フジテレビのドラマ「競争の番人」の主題歌「GLOW」を歌うアーティスト、idom(イドム)氏のミュージックビデオの特別版を公開した。
実はこのビデオの一部には、ソニーグループが有する2つの先端的な映像技術を融合させた世界初の取り組みが盛り込まれている。idom氏本人の後方に半透明の巨大な“分身”が現れ、本人と共演をするシーンである(図1)。もう1人の自分である分身の映像は、一目で通常のCG(コンピューターグラフィックス)とは異なるリアルなものであることを確認できる。
実はこのシーンは、「バーチャルプロダクション」と「ボリュメトリックキャプチャー」という2つの映像技術を融合することによって制作している。
バーチャルプロダクションは、「LEDウオール」と呼ばれる超大型のLEDディスプレーに3DCG(3次元コンピューターグラフィックス)などの背景映像を映し出し、その手前のリアル空間で被写体が演じる様子を撮影することで、あたかもリアルな場所で撮影したような映像を制作する手法である。最近では映画やCMなどの撮影にも使われている。
一方、ボリュメトリックキャプチャーは、スタジオを取り囲む多数のカメラで被写体や空間を撮影し、それを3Dのデジタルデータにする技術である。利点は、被写体のありのままを3DCG化できる点にある。
idom氏のミュージックビデオの当該シーンは、ボリュメトリックキャプチャーで制作した同氏の3DCGを含む背景映像をLEDディスプレーで再生し、その前で同氏が実際に歌う様子をバーチャルプロダクションで撮影したものである(図2)。
もちろん、ハリウッド映画のようにまるで本物かと見まごうキャラクターをCGで制作することもできなくはない。しかし、それには膨大な労力とコストが必要なうえ、「CGは静止画ならいいが、人間の自然な動きを再現するのは非常に難しい。動き出すとすぐにCGだと分かってしまう」(ソニーグループR&Dセンター事業探索・技術戦略部門事業探索グループv-Tech課統括課長の池田康氏)。一方、ボリュメトリックキャプチャーは実写ベースなのでこうした問題がない。
ボリュメトリックキャプチャーを使ったのにはもう1つ理由がある。バーチャルプロダクションでは「インカメラVFX(視覚効果)」というカメラの動きと連動して、LEDディスプレーに表示する背景映像を変化させる技術を使う。これによって、実際に現場で撮影したかのような映像を撮れる。
もっとも、これまでのバーチャルプロダクションでは背景CGに静止画が使われることも多く、出来上がった映像に対して「リアルっぽくない」「動きがない」といった指摘が出ることもあった。ボリュメトリックキャプチャーでは被写体の動きをそのまま3Dで360°の動画CGにできるため、撮影現場で3次元に移動するカメラの画角にぴったり合う背景をつくれるという。