目の前でプレーするプロ野球選手のバットスイングを、自分の座席からは見えない角度も含めて、好きな視点でタブレット端末で見て楽しむ。しかも、プレーの1秒以内に――こんな新しい野球の観戦体験が実現した。2018年6月26日と同27日に沖縄県那覇市の沖縄セルラースタジアムで開催されたプロ野球、北海道日本ハムファイターズ対福岡ソフトバンクホークスの試合でのことである。
KDDIはこの2試合で、スタジアムに設置した16台のビデオカメラの映像からリアルタイムに合成した「自由視点映像」を、次世代携帯通信の5Gで観客席に伝送し、設置された10台のタブレット端末にほぼリアルタイムで配信する実証実験を行った。実際のプロスポーツの興行において、こうした取り組みは世界初としている。将来的には観客のスマホやタブレットなどに、同映像を配信するビジネスの提供を目指す。
0.5秒の遅延で配信
自由視点映像は、スタジアムやアリーナに設置した多くのビデオカメラの映像から選手を切り出し、背景を合成して360度の立体映像を作る技術である。観戦者は端末のスクロール操作で自分の好きな視点でプレーを楽しめる。2019年のラグビーワールドカップ、2020年の東京オリンピック・パラリンピックなど世界最大級のスポーツイベントの開催を控え、スポーツ観戦に新たな魅力を加える技術、そして新ビジネスとして期待されている。
例えば、スタジアムで野球を観戦していて、たった今放たれたホームランのスイングを自分の座席からは見えない角度から確認したり、スタジアム外に自由視点映像を配信してVR（仮想現実）のHMD（ヘッドマウントディスプレー）を使って迫力のある映像を楽しんだり、といったことが可能になる。
今回、KDDIが実証実験を行った自由視点映像技術の肝は、わずか0.5秒という遅延でほぼリアルタイムに映像を配信できる点。KDDI総合研究所が技術を開発した。
実はKDDIが開発に取り組んでいる自由視点映像には「タイムスライス自由視点」と「自由視点VR」の2種類がある。今回実験したのは自由視点VRで、複数のカメラ映像から抽出した選手の映像を元に選手の立体モデルを作成し、さらにスタジアムの背景をCGで合成することで、映像がない領域も含めてあらゆる視点の映像を比較的少ないカメラ台数で実現する。
一方、タイムスライス自由視点は、同社が出資している米国のベンチャー企業4D REPLAYが採用する技術で、スタジアムに設置した多数のカメラの映像を端末側の操作に応じて瞬時に切り替えて好きな視点で観られるようにする。
KDDIは2017年8月に札幌ドームで開催された北海道日本ハムファイターズ対オリックス・バファローズ戦で、この技術の実証実験をした。その際は1塁、3塁ダッグアウトの上からホームプレート後方のフェンスに沿ってビデオカメラを100台設置、打者がボールを捉える瞬間や投手がボールをリリースする瞬間などをリアルタイムに複数の角度から観れるようにした。
