全1865文字
PR

 コロナ禍で音楽ライブのオンライン化の模索が続く中、バンダイナムコ研究所(東京・江東)が3D CGキャラクターとAI(人工知能)を駆使し、バーチャルなDJ(ディスクジョッキー)を生み出す取り組みを進めている。DJに必要とされる複数の曲をスムーズにつなぐミックス操作、サウンドエフェクト操作、スピード操作などと、キャラクターの動きをすべてコンピューターで実現する。

 同社が究極的に狙うのはバーチャルDJのみならず、照明、音響、演出、演奏などステージを丸ごとコンピューターで創り出す世界だ。バーチャルDJはその第一歩と位置づける。

観客を飽きさせないDJ

 同社がDJシステムとして開発しているのは「BanaDIVE AX」と呼ぶシステム(図1)。DJのように同システムで、複数の楽曲のつなぎやエフェクトを駆使し、聞き手を盛り上げることができる。ゲーム向けに開発しているAIを利用し、キャラクターの動き、演出なども制御している。「xR対応のシステム」(同社)であり、リアルなステージにおいて映像投影やAR(拡張現実)で実現できることに加え、VR(仮想現実)空間上での公演が可能だ。2020年6月末に同システムを利用し、イベント「ASOBINOTES ONLINE FES」で披露もした。

図1 パフォーマンスシステム「BanaDIVE AX」
図1 パフォーマンスシステム「BanaDIVE AX」
リアルな会場・VR空間でパフォーマンスを実施する。(出所:バンダイナムコ研究所)
[画像のクリックで拡大表示]

 システム開発で意識したのは、人間のDJのようなこまやかな配慮だ。その1つとしてDJはただ楽曲を流しているだけではなく、「観客がイベント開始から終了まで疲弊しないように楽曲のテンポをコントロールしている」(バンダイナムコ研究所イノベーション戦略本部本部長の大久保博氏)。今回のDJシステムも観客が長くイベントを楽しめるように仕上げた。

 具体的には、どこで楽曲が盛り上がるか、テンポ情報、違和感なく楽曲がつながる箇所などのメタデータを楽曲データに付与した。メタデータの付与は人が行った。DJシステムは付与したメタデータなどを読み取って、DJパフォーマンスを披露する(図2)。なお、DJシステムが利用する楽曲は、「キャラクターの性格、イベントのテーマなどで選択すべきものが異なるので、その選曲は人が担っている」(大久保氏)

図2 デジタル空間内でDJパフォーマンスを披露
同社グループのキャラクター「ミライ小町」が披露した。(出所:バンダイナムコ研究所)

 デジタルな空間だからこその楽しみも取り入れた。その1つが楽曲投票システムだ。複数の楽曲を選択肢として提示し、観客の多数決で選ぶ。「基本的にリアルな会場で、人間のDJが観客のリクエストに応じることはない。そこで今までにないインタラクティブな仕組みとして、楽曲投票システムを実装した」(同社執行役員イノベーション戦略担当の堤康一郎氏)

 楽曲投票システムの課題は、ユーザー側とイベント開催者側の間で発生する通信遅延だ。選択時間が短いと、通信遅延によって多数決の集計が反映できない場合があった。そこで数分間の投票時間を設け、観客の遅延時間の影響を抑制した。さらに同システムはARでの視聴演出も組み込んだ(図3)。観客がスマートフォンなどの視聴機器を映像に向けると、映像内に埋め込まれたマーカーに対応したエフェクトを描画する。

図3 スマホ上に「ARエフェクト」
図3 スマホ上に「ARエフェクト」
スマホなどの視聴機器を向けると、その画面上にさまざまなエフェクトを描画する。(出所:バンダイナムコ研究所)
[画像のクリックで拡大表示]