「開発において難しかったのは、装着するセンサーの個数とモーション計測の精度のバランスを取ること。VTuber(バーチャルユーチューバー) や映画・アニメーションの制作に携わるクリエーターが要求するレベルの精度を実現する必要があった」(ソニー新規ビジネス・技術開発本部モーション事業推進室室長の相見猛氏)
ソニーが2022年11月29日に発表した、小型・軽量のセンサーとスマートフォン(スマホ)のみでモーションキャプチャーを実現する「mocopi(モコピ)」について、開発を担当したソニーの相見氏は設計のポイントをこう語る(図1)。
mocopiの価格は4万9500円(税込み)。モーションキャプチャーシステムとしては圧倒的な低価格と、小型・軽量の6個のセンサーとスマホさえあれば高精度に計測できる手軽さを両立した点でインパクトがある。
モーションキャプチャーにはさまざまな方式があるが、最も知られているのは光学式だ。専用のスーツを着て赤外線を反射する多数のマーカーを装着し、複数台の赤外線カメラでマーカーの位置を算出する。価格はシステムによってかなり幅があり、数十万円から専用スタジオを使う高性能なものは1000万円以上の場合もある。
mocopiは光学式ではなく、加速度およびジャイロ(角速度)センサーを内蔵する専用センサーを利用する慣性式である。センサー自体は汎用品を使っているが、同社が保有する設計技術で直径32mm×厚さ11.6mm、重さ8gという小型・軽量を実現した。このセンサーを頭部、両手首、腰、両足首の6カ所に取り付けて動きを計測する。
通常のモーションキャプチャーシステムと異なるのは、肘や肩、股関節などのデータを取得していない点だ。そこで、「こうした体の動きなら個々の関節点の動きはこうだとディープラーニング(深層学習)をベースに推測するアルゴリズムを開発した。そこには当社のソフトウエアに関するノウハウやデータの蓄積が生かされている」(相見氏)。
もちろん、センサーを数多く使うほど動きを正確に計測できる。しかし、数が多いほどユーザーが装着する際の負担は大きくなってしまうし、コストも上がる。相見氏は「最初から6個にすると決めていたわけではない。装着に対する負荷をなるべく下げるため個数を減らす一方で、要求精度を満たす必要があった。双方を追い込んだ結果、6個がバランスがよかった」と話す。