720p以上なら専用システムに近い精度
STATSによれば、競技場に設置された複数のカメラでトラッキングする専用システムと比べ、放送映像から正確にトラッキングするのは技術的に難易度が高いという。
大きく3つの課題があった。1.放送映像ではカメラが動いたり、ズームしたりするため正確な位置情報を取得するのが難しい、2.プレーヤーが映像のフレーム内に入ったり出たりする、3.撮影するカメラの台数が少ないと映像内で選手同士がかぶったりする。
1については深層学習のニューラルネットワークを使って、バスケのコート部分をフレームごとに抽出していき、あらかじめ用意したコートのモデルと突き合わせてカメラが向いている場所を正確に取得できるようにしたという。
2と3については「Re-ID」、つまり画面から消えてIDが失われた選手を、その背番号や顔で識別してIDを付け直す。トラッキングの精度については、「元映像が720p以上の規格に対応していれば、会場に設置されたトラッキングシステムに近い正確性を出せる」(Ganguly氏)という。
ビジネスモデルは2つの方向性がある。オーランド・マジックのようにチームに提供するケースと、ファンエンゲージメント用にグーグル、ヤフーなどに提供するケースだ。現在、製品化しているのはバスケットボールのみだが、今後はサッカーなど他のスポーツにも展開する予定という。