メタバースで映像革命

PFNが深層学習で「空間丸ごと取得」、スタジオ不要で背景も再現

　日本を代表するAI（人工知能）開発のスタートアップであるプリファードネットワークス（PFN、東京・千代田）は、深層学習（ディープラーニング）を活用した独自のボリュメトリックキャプチャーシステム「PFN 4D Scan」を開発した。

NHK技研が3次元空間取得のスタジオ、布や髪などの質感もデータ化

　NHK放送技術研究所（技研）は、被写体の周囲を取り囲むように多数のカメラを配置して3次元空間の情報を取得し、リアルな質感を持つ3次元CG（コンピューターグラフィックス）を生成するボリュメトリックキャプチャー技術を独自に開発。

ハード進化で実用進むビデオシースルーAR、お茶の間2.0へ

　ハードウエアの進化により、3D映像の表示デバイスの1つとして改めて注目されてきたのがHMDだ。特に「ビデオシースルー」方式は、実世界に3D映像を重ねて表示することで、まるで実際にそこに3D映像が存在するかのような「実在感」を高めて、3D映像を視聴できるようになる。製造業を中心に広がり、エンターテイ…

裸眼立体視装置が続々実用に、3Dテレビの悪夢を乗り越えられるか

　映像技術の進化において注目されているのが「3D映像」の活用だ。スポーツ観戦やエンターテインメントに革新をもたらそうとしている。3D映像の制作については、技術の進化によりボリュメトリック映像が容易に生成できるようになりつつある。一方で、映像提示ついては、専用のメガネが不要で裸眼で見られるディスプレー…

ゲームエンジンで映像制作革命、まるで実写の都市や人を自動生成

　新たな映像表現には、CGをリアルタイムレンダリングできるゲームエンジンが欠かせない。こうした映像技術の進化を、ゲームエンジンを提供する企業はどのように捉えているのか。世界的に有名なゲームエンジンである「Unreal Engine」を手掛ける米Epic Gamesの日本法人、Epic Games J…

仮想が渾然一体のステージ現出　3Dモデル流通が新ビジネスに

　バーチャルプロダクションは黎明期から成長期へと歩みを進めている。撮影スタジオは世界で欧米を中心に80カ所以上に増加している中、国内でもソニーPCLやサイバーエージェント、バンダイナムコエンターテインメントなど、LEDウオールを用いた自社スタジオが急増している。用途は映画撮影だけでなく、CMやプロモ…

高精細高輝度な巨大ディスプレーで映像制作が変貌　ロケが不要に

　大型マイクロLEDディスプレーとゲームエンジンの活用で、映像制作が大きく変わろうとしている。演者の後ろにLEDディスプレーを置き、背景としてCG映像や自由視点の実写映像を表示しながら撮影する「バーチャルプロダクション」は、クリエーターを時間と場所の制約から解放する。架空の世界とも一体になれる、リア…

スポーツ観戦体験を3Dで再発明、ゲームエンジンUnityの狙い

　米Unity Technologiesは2021年10月、スポーツ競技を3Dスキャンしたボリュメトリック映像を用いてコンテンツを作成し、視聴者へ配信可能なプラットフォーム「Unity Metacast」を発表した。プラットフォームの詳細と開発の狙いを、Unity Metacastのクリエイティブ・…

格闘家を上から見るか下から見るか、試合丸ごとスキャンで新体験

　世界中の企業がにわかに強化を打ち出している、インターネット上の仮想空間「メタバース」。その発展の鍵を握るのが、現実世界を仮想空間に持ち込むための映像技術である。特に今、注目を集めているのが、実在の人物やその人の動き、位置など空間全体を3次元（3D）データとして丸ごとキャプチャーする「ボリュメトリッ…

映像の高画質化は8Kで一段落、次のトレンドはメタバースとの融合

総論（1）

　世界中の企業がにわかに強化を打ち出している、インターネット上の仮想空間「メタバース」。その発展の鍵を握るのが、現実世界を仮想空間に持ち込むための映像技術である。それは映像技術の進化の主軸が、これまでの解像度を中心とする高品質化から、3次元空間での没入感を提供する「イマーシブメディア」に移行すること…

立体映像をどう送るか　NTTやNHK技研、シャープが次世代技術

ボリュメトリックキャプチャー編（3）

　実在の人物やその人の動き、位置など空間全体を3次元（3D）データとして丸ごとキャプチャーする「ボリュメトリックキャプチャー」技術が、メタバースの世界に現実を持ち込む有力な手段として注目を集めている。ただし、現在はまだ黎明期。普及に向けて解決すべき課題も多い。課題解決に向けた技術開発を追った。

記者をデジタル化、ソフトバンク「立体映像製造基地」に潜入

ボリュメトリックキャプチャー編（2）

　実在の人物やその人の動き、位置など空間全体を3次元（3D）データとして丸ごとキャプチャーする「ボリュメトリックキャプチャー」技術への投資や開発が活発化している。国内でも専用スタジオの開設が相次いだ。各社のスタジオの取材を基に、設計思想や技術の違いを探った。

あなたの体をメタバースに転写　ソニー、キヤノンが専用スタジオ

ボリュメトリックキャプチャー編（1）

　実在の人物やその人の動き、位置など空間全体を3次元（3D）データとして丸ごとキャプチャーする「ボリュメトリックキャプチャー」技術への投資や開発が活発化している。まだ発展途上の技術だが、「メタバース」の世界にリアルを持ち込む有力技術の1つとして期待は大きい。国内でも開設が相次いだ撮影スタジオなどの取…

360度・3次元映像を取り込むMPEG、ITU-Rも伝送方式を標準化

　NHK放送技術研究所は2021年6月に開催した「技研公開2021」で、「シーン記述による360度映像と3次元映像の合成技術」を発表した。これまでの2次元映像とは異なり、3次元空間での情報処理を駆使した没入型の高臨場感メディアを提供するための技術である。

4K／8Kの次へ、NHK技研が取り組む没入型の高臨場感メディア技術

　NHK放送技術研究所は2021年6月に開催した「技研公開2021」で、「シーン記述による360度映像と3次元映像の合成技術」を発表した。これまでの2次元映像とは異なり、3次元空間での情報処理を駆使した没入型の高臨場感メディアを提供するための技術である。

空間丸ごとキャプチャー、映像クリエーターが感じた大変化の予兆

　今、映像制作の現場で2つの新しい技術が注目を集めている。「ボリュメトリックキャプチャー」と「バーチャルプロダクション」（インカメラVFX）である。前者は、カメラを撮影対象の人物などの周囲に多数並べて動画で撮影することで、動きや表情の変化を伴うリアルな3次元のCG（コンピューターグラフィックス）モデ…

サイバーエージェント、リアル3Dアバター新研究所の狙いとは

　サイバーエージェントは、AI（人工知能）技術の研究開発組織「AI Lab」において、深層学習に基づいた写実的な人体表現の実現を目的として、CG（コンピューターグラフィックス）研究専門組織「デジタルヒューマン研究センター」を2021年10月に開設した。同組織の技術顧問にはCGの研究分野で国内外から高…