全3970文字

VR/AR一体型のHMDと車椅子、白い箱が連動

 ここからは、border 2021で使用されているテクノロジーを掘り下げたい。体験者が身に着けるHMDと乗り込む電動車椅子という2つのハードは市販品だ。「この5年でハードは大幅に進化した。それに伴い、顧客体験も進化するのか。会場とネットの両方で確認してほしい」と、石橋氏は語る。

 HMDは、フィンランドのVarjo(ヴァルヨ)が開発したVR/ARの切り替えが可能な機器「XR-1」を使う。日本ではエルザ ジャパン(東京・港)が販売している。

 XR-1に搭載されたカメラで現実空間を撮影し、ほとんどタイムラグなくバーチャル映像を合成できる。4Kカメラの解像度の高さと、人の目の解像度に匹敵するディスプレーの採用で、現実と仮想の見分けがつきにくい映像表現がしやすくなった。

 一方、電動車椅子のWHILLは、研究開発モデルの「Model CR」を採用した。Model CRは外部から信号を送ることで、車椅子の動きをコントロールできる。加減速値や加速度センサー値などを取得できるので、自動走行が可能だ。

 WHILLはあらかじめ設定された会場内のルートを自動運転で走る。1台ごとにルートは異なる。

 WHILLには、VR/ARの映像を制御する高性能パソコン(グラフィックス処理が速いパソコン)を積み込んでいる。HMDとパソコンを接続し、VR/ARの映像をほぼ遅延なく処理して出力する。

 もう1つ、borderの演出で重要な役割を果たしているのが白いボックスだ。のぞき込まなければ見えないが、足元に四輪のオムニホイールを内蔵している。これで箱は方向転換することなく、前後左右に動ける。箱も自動運転だ。白いボックスは動きながら、照明の色や当たり方で見た目が変化する。

照明が会場の雰囲気を大きく変える(写真:日経クロステック)
照明が会場の雰囲気を大きく変える(写真:日経クロステック)
[画像のクリックで拡大表示]

 電動車椅子と白いボックスは互いにぶつからないぎりぎりの距離を保ちながら動き、すれ違う。プログラムされた自動運転の精度には驚く。逆に人手による操作では、ここまで精密な動きを毎回繰り返すのは至難の業だ。

電動車椅子は、動く白いボックスとわずかな距離を空けてすれ違う。自動運転の精度は驚くほど高い。もっとも、HMDをかぶっていると、箱のすぐ脇を通り過ぎていることをほとんど意識できない(写真:日経クロステック)
電動車椅子は、動く白いボックスとわずかな距離を空けてすれ違う。自動運転の精度は驚くほど高い。もっとも、HMDをかぶっていると、箱のすぐ脇を通り過ぎていることをほとんど意識できない(写真:日経クロステック)
[画像のクリックで拡大表示]

 イレブンプレイのダンサーは、車椅子と白いボックスの間を縫うようにして踊る。時に大きく腕や足を動かしたり、跳ねたりする。テクノロジーに目が行きがちだが、この公演を実現可能にしているのは、ダンサーの極めて高いスキルである。実はダンサーたちは、目には見えない自分たち自身のバーチャルダンサーと「共演」しているのである。

客席から眺めると、ダンサーは車椅子からは見えにくい白いボックスの後ろで踊っているように思える。HMDではどう見えているのか想像してみよう。車椅子の前の空いたスペースがポイントだ(写真:日経クロステック)
客席から眺めると、ダンサーは車椅子からは見えにくい白いボックスの後ろで踊っているように思える。HMDではどう見えているのか想像してみよう。車椅子の前の空いたスペースがポイントだ(写真:日経クロステック)
[画像のクリックで拡大表示]

 安全面でも演出面でも、ダンサーは位置取りやタイミングを間違えたら大変だ。現場には緊張感が漂う。しかもダンサーは1回10分の公演を、1日に何度も繰り返す。borderはエンジニアの技術力だけでは成立しない。

手袋をしたダンサーが背後から体験者の肩をタッチすると、触覚が刺激される。生身のダンサーが近くにいることを実感できる。だがHMDで何を見ているかで、視覚と触覚にずれを感じる。リアルとバーチャルを巧みに融合した演出の典型例(写真:日経クロステック)
手袋をしたダンサーが背後から体験者の肩をタッチすると、触覚が刺激される。生身のダンサーが近くにいることを実感できる。だがHMDで何を見ているかで、視覚と触覚にずれを感じる。リアルとバーチャルを巧みに融合した演出の典型例(写真:日経クロステック)
[画像のクリックで拡大表示]

 車椅子とダンサーだけでなく白いボックスも動くので、HMDで見る会場の景色は刻々と変化していく。そこにバーチャル映像が重なる。頭が混乱してきてもおかしくない。

ARを使えば、動くダンサーの回りにエフェクト(演出効果)をかけられる。ライゾマティクスが得意とするリアルタイムでのデジタル演出で、コロナ禍のライブ配信では引っ張りだこになっている(資料:ライゾマティクス)
ARを使えば、動くダンサーの回りにエフェクト(演出効果)をかけられる。ライゾマティクスが得意とするリアルタイムでのデジタル演出で、コロナ禍のライブ配信では引っ張りだこになっている(資料:ライゾマティクス)
[画像のクリックで拡大表示]

 白いボックスはVR/ARの演出で、HMDで見ると形や色が変わっていく。丸くなったりとがったり、時には体験者に迫ってきたりすることもある。今見ているのは作り込まれた箱の映像か、それとも白いボックスにARの映像を重ねたものか。判別は難しい。つなぎ目が分からないシームレスな体験とはそういうことだ。

HMDでは、白いボックスは形や色が変わっていくように見える。どこまでが本物の箱なのか、もはや分からないほどだ(資料:ライゾマティクス)
HMDでは、白いボックスは形や色が変わっていくように見える。どこまでが本物の箱なのか、もはや分からないほどだ(資料:ライゾマティクス)
[画像のクリックで拡大表示]

 HMDに現れるバーチャルダンサーは、出演するダンサー本人を事前に3Dスキャンして生成している。3Dスキャンによる人の表現は、この5年で大幅にリアルさを増した。すごい速さで現れては消えていくダンサーを見ていると、生身のダンサーとバーチャルダンサーの区別はつきにくい。本人そっくりのアバター(分身)が踊っている姿を想像してほしい。デジタルツインをアバターが自由に駆け回る世界が、既に到来している。

 なお、旧ライゾマティクスは21年1月31日に、社名を「アブストラクトエンジン」に変更している。ライゾマティクスの呼称は残っているが、アブストラクトエンジンの中のチーム名という位置付けに変わっている。