720p以上なら専用システムに近い精度
STATSによれば、競技場に設置された複数のカメラでトラッキングする専用システムと比べ、放送映像から正確にトラッキングするのは技術的に難易度が高いという。
大きく3つの課題があった。1.放送映像ではカメラが動いたり、ズームしたりするため正確な位置情報を取得するのが難しい、2.プレーヤーが映像のフレーム内に入ったり出たりする、3.撮影するカメラの台数が少ないと映像内で選手同士がかぶったりする。
1については深層学習のニューラルネットワークを使って、バスケのコート部分をフレームごとに抽出していき、あらかじめ用意したコートのモデルと突き合わせてカメラが向いている場所を正確に取得できるようにしたという。
2と3については「Re-ID」、つまり画面から消えてIDが失われた選手を、その背番号や顔で識別してIDを付け直す。トラッキングの精度については、「元映像が720p以上の規格に対応していれば、会場に設置されたトラッキングシステムに近い正確性を出せる」（Ganguly氏）という。
放送映像からAutoSTATSでサッカーの試合をトラッキングしている様子。試合は2018年のサッカーW杯ロシア大会のドイツ対スウェーデン戦。同社は世界最大級のスポーツ産業関連のカンファレンス「MIT Sloan Sports Analytics Conference(SSAC) 2019」（米ボストンで3月1～2日開催）で、この技術の詳細を説明した（図：STATS）
[画像のクリックで拡大表示]
ビジネスモデルは2つの方向性がある。オーランド・マジックのようにチームに提供するケースと、ファンエンゲージメント用にグーグル、ヤフーなどに提供するケースだ。現在、製品化しているのはバスケットボールのみだが、今後はサッカーなど他のスポーツにも展開する予定という。