PR

 ソフトバンクは2021年11月5日、同年10月に開催された「2021世界体操・新体操選手権北九州大会」(体操:10月18~24日、新体操:10月27~31日)において、大会を放送したテレビ朝日に対して行った映像に関する技術協力について記者説明会を開催した。

 具体的には、以下の3つの取り組みをした。(1)AI(人工知能)で選手を自動追尾するカメラを会場に3台設置して、新体操の演技のマルチアングル映像を無人で撮影し、それを超低遅延で配信した。(2)体操の鉄棒の演技を合計20台のカメラで撮影し、見どころのシーンをさまざまな角度から視聴できる自由視点映像を生成した。(3)スマートフォン(スマホ)で3Dアバターを作成するアプリを活用し、被写体のアバターがAR(拡張現実)で体操演技をするコンテンツを提供した。これらの技術を活用して撮影した映像の一部は、テレビ朝日の大会中継および報道番組などで放送されたという。

ソフトバンクが「2021世界体操・新体操選手権北九州大会」で行った3つの技術協力
ソフトバンクが「2021世界体操・新体操選手権北九州大会」で行った3つの技術協力
(出所:ソフトバンク)
[画像のクリックで拡大表示]

 (1)のAIカメラは映像を解析して選手だけを自動追尾し、ズームイン・アウトを無人で行って配信映像を自動で作成する。新体操の団体競技では複数の選手が1カ所に集まったり、散らばったりするが、その都度、最適な構図になるように調整した。AIにはあらかじめ、「過去の新体操の演技映像を1週間分ほど学習させた」(ソフトバンクサービス企画本部コンテンツ推進統括部プロダクト開発部部長の大塚哲治氏)という。

会場の3カ所にAI自動追尾カメラを設置
会場の3カ所にAI自動追尾カメラを設置
(出所:ソフトバンク)
[画像のクリックで拡大表示]

 AIカメラは3台設置し、会場の一部に設置したタブレットで自分の好みの視点から演技を見られるようにした。その際、眼前の実際の演技とタブレットでの映像に明らかな遅延があるとユーザー体験を損ねるため、独自のプロトコルを活用した超低遅延での配信を実施した。具体的には、通常のネット配信では数十秒の遅延が発生するが、今回の場合は0.1~0.3秒とほぼリアルタイムの再生を実現した。タブレットでの映像のデコードやバッファリング、レンダリングにも独自プロトコルに対応した仕組みを入れたという。

超低遅延配信の概要。独自のプロトコルを活用したという
超低遅延配信の概要。独自のプロトコルを活用したという
(出所:ソフトバンク)
[画像のクリックで拡大表示]

 (2)の自由視点映像は、20台のカメラで撮影した映像から作成し、タブレットの画面上で、映像をピンチイン・アウトしたり、左右のスワイプで回転したり、上下のスワイプでコマ送りしたり、できるようにした。

 (3)は、スマホのカメラで自分の顔と全身の周囲360度を撮影するだけで5分ほどで3Dアバターを作成できるアプリを活用する。作成したアバターにつり輪の演技のモーションを加え、スマホでアバターが演技する様子を見られるようにした。その際、AR技術を使ってスマホの画面に違和感なくアバターを表示するようにしたという。

スマホで作成した自分の3Dアバターがつり輪の演技をしている様子
スマホで作成した自分の3Dアバターがつり輪の演技をしている様子
(出所:ソフトバンク)
[画像のクリックで拡大表示]