2020年3月に発売された新型「iPad Pro」。目玉となっているのが、背面カメラに搭載された「LiDARスキャナー」だ。日経エレクトロニクスは技術者の協力をもとに、実機を分解・分析した。LiDARスキャナーはレーザー光のパルスが往復する時間を計測するdToF(Direct Time of Flight)方式を採用し、コンパクトに実現されていた。
米Apple(アップル)は、2020年3月末に発売した新型「iPad Pro」(2020年版)に“LiDARスキャナー”を搭載した。これは周囲の3次元(3D)データを取得できる深度センサーである。今回、このLiDARの構造を解明することを目的に分解・分析を行った。
新型iPad ProのLiDARスキャナーは背面カメラ部分に搭載されている。背面カメラ部にはiPhone 11 Proが備える3眼カメラと同じ形状のモジュールがあり、このうち1眼がLiDARモジュールである。残る2つは、4K映像を撮影できる1200万画素の広角カメラと、1000万画素で視野角125度の超広角カメラである(図1)。
本モジュールを含む3眼カメラ部のサイズと形状は、iPhone 11 Proで採用された3眼カメラのそれと、完全に一致する。つまり、本LiDARモジュールは今後のiPhoneシリーズに、標準のセンサーとして搭載されていく可能性が高い。なお、筐体(きょうたい)が同じ形状である、2018年11月発売の前製品「iPad Pro(2018年版)」の背面では、背面カメラは1200万画素の広角カメラ1つのみだった。
Appleによれば、新型iPad Proが搭載したLiDARスキャナーは、最大5m先の対象物までの距離を計測でき、屋内と屋外の両方で利用可能とする。距離計測には、赤外光を照射し、反射光が戻るまで時間を利用して算出する「ToF(Time of Flight)」を用いる。ToFのうち、数mを高い分解能で測距できる「ダイレクト(dToF)方式」を採用したという。
目的はズバリAR
新型iPad ProにLiDARスキャナーを搭載したのは、AR(Augmented Reality)コンテンツでの活用が狙いである。これまでのARでは、カメラとモーションセンサーからのデータを組み合わせることで周囲の状況を把握する手法が使われてきた。これにLiDARスキャナーの測定結果を加えることで、より自然で位置精度の高いAR体験を提供できるとする。
Appleはこれまでも、AR用ライブラリー「ARKit」を開発者向けに提供してきたが、空間の把握は画像認識によるものだった。空間的に広がる床や壁の位置は認識できるものの、床の上に置かれた物体などの位置を正確に認識することは苦手だった。
画像認識による空間把握を使ったARでは例えば、床の上に置かれた椅子の後ろにCGの仮想オブジェクトを置いたつもりでも、椅子の前にあるように表示され違和感が生じる場合が多かった。
より自然なARを実現するには、このような現実空間の物体と仮想オブジェクトの前後関係を把握する「オクルージョン」機能が重要になる。先に述べた椅子の例であれば、CGの物体がきちんと椅子の後ろにあるかのように、CGから椅子の部分を取り除いて表示する機能である。
画像認識のみでは現実の物体との距離を計測する精度に限界があるが、LiDARスキャナーを用いれば物体との距離をより正確に検出できるので、前後関係の把握精度を向上できるようになる(図2)。
精密な空間把握と共有が可能
AppleはこのLiDARの利用を促進すべく、アプリ開発者向けに開発環境の拡充を進めている。具体的には、2020年6月に開催した開発者向けイベント「WWDC20」で、新しい機能を追加したARライブラリー「ARKit4」を公開した。主に追加されたのは、LiDARスキャナーを利用する機能群である。
例えば新たに追加された「Depth API」は、LiDARスキャナーが計測した深度情報を、ピクセル単位で利用可能にする。ここで得られる深度情報は、オクルージョン機能での活用だけではなく、点群データとして周囲の環境認識やマッピングにも活用できる。
WWDCでは、このAPIを使った新たな技術も披露された。Depth APIで取得できる点群データを用いて、AR表示する仮想のオブジェクトと現実の位置座標をひも付ける「Location Anchors」である。
AR表示する仮想オブジェクトは、緯度、経度、高度の3つの値を指定して現実空間に配置する。自端末の位置は、端末のLiDARスキャナーで取得した周囲の点群データと、クラウドから取得した「Apple Maps」のために収集している3D地図データを照合して特定する(図3)。これらを比較する際に、端末のGPS情報を使って位置を補正することで正確性を高める注1)。
従来ARでは、周囲の空間把握において、ARマーカーや画像認識の結果から場所を特定することが多く、その空間を共通の座標系で示して他の端末と共有する方法が課題だった。GPS情報と精密な点群データを活用できれば、ARクラウド向けの大きなプラットフォームになり得る。