「あのボールはゴールラインを割ったのか、残ったのか」
2022年12月2日にカタールで行われた「2022 FIFAワールドカップ」（以下、W杯）の日本対スペイン戦。後半6分に日本の逆転ゴールにつながった三笘薫選手によるゴールライン際のボールの折り返しは、日本中のおそらく数千万人が判定の行方に固唾を飲んだという点で、日本のスポーツ界に歴史を刻んだ出来事といえるだろう。
多くのカメラ映像からはアウトに見えたものの、数分後に正式にインと判定された「1mmの奇跡」を演出したのは、最近ではよく知られたVAR（Video Assistant Referee）である。この判定についての詳細は不明だが、ゴールライン沿いに設置されたハイスピードカメラや上から試合を撮影するカメラの映像を入念にチェックした結果とみられる。
このVARシステムを、W杯を主催するFIFA（国際サッカー連盟）に提供しているのが、英国に拠点を置くソニーグループ（ソニーG）傘下のHawk-Eye Innovations（ホークアイ・イノベーションズ）である。W杯でのVARの採用は、前回2018年のロシア大会に続いて2回目となる。
VARはスタジアムに設置された多数のカメラ映像から、サッカーの試合のすう勢を左右する4つの事象について確認するシステムである。4つの事象とは、1. ゴールの際にその起点となったプレー以降に反則やオフサイドがあったか、2. PKの判定の確認、3. 一発レッドカードが出た際の反則の確認、4. 審判がイエローカードやレッドカードを出した選手に人間違いはないか、などである。
VARでは、確認が必要な事象が起きた際、異なるアングルから撮影している多数の映像の中から即座にベストなアングルの映像を選び、ビデオアシスタント審判がチェックできるようにする必要がある。ホークアイは、こうした仕組みを実現するソフトウエアを提供するほか、スポーツに関する知見が豊富な専門のリプレイオペレーターを現地に派遣している（図1）。
FIFAによると、今回のW杯のビデオアシスタント審判チームは、会場に設置された42台の放送用カメラにアクセスできるという（図2）。そのうち8台は「スーパースローモーション」、4台は「ウルトラスローモーション」に対応したハイスピードカメラであるという。前回のロシア大会で導入されたカメラ台数は33台だった。
ちなみに、ビデオアシスタント審判のチームは、W杯の試合が行われている8つのスタジアムと光ファイバー網で接続され、中継用カメラなどすべての映像が集約されるドーハ市内の「ビデオオペレーション室（VOR）」に常駐しているという。
疑惑の判定なくす半自動オフサイド技術
VARとともに、今回のW杯で導入され話題となっているのが「半自動オフサイド技術」である（図3）。映像をベースにしたホークアイのトラッキングシステムと、IMU（慣性計測装置）を内蔵するドイツadidas（アディダス）のボール「AL RIHLA」を組み合わせることで実現した。IMUはドイツKINEXON （キネクソン）が提供する。人間の目では判定が難しいことも多く、これまで数多くの論争を巻き起こしてきたオフサイドを正確に判定する。
ホークアイは今回、スタジアムの屋根の下の部分にピッチを取り囲むように12台のトラッキング専用4Kカメラを設置している。このカメラで試合を撮影し、ボールとすべての選手の位置を三角法によって3D（3次元）で取得する。さらに選手については映像から機械学習によって29の関節などのデータを1秒間に50回取得し、動きや姿勢を追跡している。同社はこのトラッキング技術を「SkeleTRACK」と呼んでいる（図4）。
一方、IMUを中心部に搭載するボールは、1秒間に500回、ボールの位置やスピード、回転数などのデータを送信する。オフサイドの判定では、攻めているチームの選手が相手側のゴールに向けてボールを蹴った瞬間を正確に捉えることが重要になる。IMUを内蔵したボールはそれができるため、ホークアイによる選手のトラッキングデータでオフサイドライン付近の状況をチェックすればオフサイドかどうかを判定できる。
同技術がオフサイドであると判定した場合は、VORに常駐する審判に自動的に警告を表示。VORではピッチ上の審判にそれを伝える前に、自動的に選択されたキック地点と、選手の手足の位置を計算して自動的に作成されたオフサイドラインを手動で確認し、提案された判定を検証する。このプロセスは数秒以内に行われるという。
ちなみに、キネクソンはUWB（Ultra Wide Band）を使った自己位置推定技術も保有しており、こちらでは10cm以下の精度でボールの位置を推定できるようだ。ただし、FIFAの公式ページでは、この技術の採用に関する言及はない。
半自動オフサイド技術は、サッカーにおいて最も難しい判定であったオフサイドに正確さをもたらした点で大きなインパクトがある。それに加えて、視聴者に判定結果をビジュアルで分かりやすく伝えている工夫も高く評価されている。これを可能にしたのが、SkeleTRACKから出力される高精度な骨格データとボールのトラッキングデータを使って3次元のCG（コンピューターグラフィックス）を生成する、ホークアイの「HawkVISION」である（図5）。
同社によれば、SkeleTRACKで試合映像から各種のプレーデータを出力するまでの時間は0.5秒以内。さほど複雑でないグラフィックスなら試合の映像を迅速にCG化できるという。実際、試合の映像をわずかの遅延でCG化したデモも披露している。
2022年12月初旬に開催されたソニーG内の技術交換会「STEF（Sony Technology Exchange Fair）」では、裸眼で3D映像を楽しめる「空間再現ディスプレイ（ELF-SR1）」を使って、HawkVISIONでCG化した試合を再生するデモを見せた（図6）。ELF-SR1は、見る人の視線を追跡することで目の位置を検出し、左右それぞれの目に最適な映像を生成して表示する。立体感がある新しい視聴体験を提供する。
