新型iPad Pro分解　旧型を踏襲するも3眼カメラ部にLiDAR搭載

2020年3月に発売された新型「iPad Pro」。目玉となっているのが、背面カメラに搭載された「LiDARスキャナー」だ。日経エレクトロニクスは技術者の協力をもとに、実機を分解・分析した。LiDARスキャナーはレーザー光のパルスが往復する時間を計測するdToF（Direct Time of Flight）方式を採用し、コンパクトに実現されていた。

　米Apple（アップル）は、2020年3月末に発売した新型「iPad Pro」（2020年版）に“LiDARスキャナー”を搭載した。これは周囲の3次元（3D）データを取得できる深度センサーである。今回、このLiDARの構造を解明することを目的に分解・分析を行った。

　新型iPad ProのLiDARスキャナーは背面カメラ部分に搭載されている。背面カメラ部にはiPhone 11 Proが備える3眼カメラと同じ形状のモジュールがあり、このうち1眼がLiDARモジュールである。残る2つは、4K映像を撮影できる1200万画素の広角カメラと、1000万画素で視野角125度の超広角カメラである（図1）。

図1　背面にLiDARを搭載した新型iPad Pro

デザインや形状は2018年に投入したiPad Proとほぼ同様だが、背面にLiDARスキャナーを含む3眼のカメラ部を持つ。左の2つが広角および超広角カメラで、右側の大きな黒い円形部分がLiDARスキャナーである。iPhone 11 Proに備えた3眼カメラ（望遠、広角、超広角）モジュールと形状は同じである。（写真：左はApple、右は加藤 康）

[画像のクリックで拡大表示]

　本モジュールを含む3眼カメラ部のサイズと形状は、iPhone 11 Proで採用された3眼カメラのそれと、完全に一致する。つまり、本LiDARモジュールは今後のiPhoneシリーズに、標準のセンサーとして搭載されていく可能性が高い。なお、筐体（きょうたい）が同じ形状である、2018年11月発売の前製品「iPad Pro（2018年版）」の背面では、背面カメラは1200万画素の広角カメラ1つのみだった。

　Appleによれば、新型iPad Proが搭載したLiDARスキャナーは、最大5m先の対象物までの距離を計測でき、屋内と屋外の両方で利用可能とする。距離計測には、赤外光を照射し、反射光が戻るまで時間を利用して算出する「ToF（Time of Flight）」を用いる。ToFのうち、数mを高い分解能で測距できる「ダイレクト（dToF）方式」を採用したという。

目的はズバリAR

　新型iPad ProにLiDARスキャナーを搭載したのは、AR（Augmented Reality）コンテンツでの活用が狙いである。これまでのARでは、カメラとモーションセンサーからのデータを組み合わせることで周囲の状況を把握する手法が使われてきた。これにLiDARスキャナーの測定結果を加えることで、より自然で位置精度の高いAR体験を提供できるとする。

　Appleはこれまでも、AR用ライブラリー「ARKit」を開発者向けに提供してきたが、空間の把握は画像認識によるものだった。空間的に広がる床や壁の位置は認識できるものの、床の上に置かれた物体などの位置を正確に認識することは苦手だった。

　画像認識による空間把握を使ったARでは例えば、床の上に置かれた椅子の後ろにCGの仮想オブジェクトを置いたつもりでも、椅子の前にあるように表示され違和感が生じる場合が多かった。

　より自然なARを実現するには、このような現実空間の物体と仮想オブジェクトの前後関係を把握する「オクルージョン」機能が重要になる。先に述べた椅子の例であれば、CGの物体がきちんと椅子の後ろにあるかのように、CGから椅子の部分を取り除いて表示する機能である。

　画像認識のみでは現実の物体との距離を計測する精度に限界があるが、LiDARスキャナーを用いれば物体との距離をより正確に検出できるので、前後関係の把握精度を向上できるようになる（図2）。

図2　LiDARでAR表現が自然に

ARでは、CGの手前の空間にリアルな物体がある場合、その部分をCGから取り除かないと自然な表現にならない。これまでのiPhone/iPadシリーズでは、画像解析でこの問題に対処していたため、リアルの物体をCGの上からうまく消し込めない問題が発生していた。写真の左が2018年に発売したiPad Pro、右が今回の新型iPad Proである。2018年版のiPad Proでは、本来空間的には手前にあるはずの手が蓄音機の後ろに行っていたり、セロハンテープ台の上に画像がかぶさったりしているが、新型のiPad Proでは、蓄音機が手で隠れ、セロハンテープ台の後ろに配置されている。（撮影：日経クロステック）

[画像のクリックで拡大表示]

精密な空間把握と共有が可能

　AppleはこのLiDARの利用を促進すべく、アプリ開発者向けに開発環境の拡充を進めている。具体的には、2020年6月に開催した開発者向けイベント「WWDC20」で、新しい機能を追加したARライブラリー「ARKit4」を公開した。主に追加されたのは、LiDARスキャナーを利用する機能群である。

　例えば新たに追加された「Depth API」は、LiDARスキャナーが計測した深度情報を、ピクセル単位で利用可能にする。ここで得られる深度情報は、オクルージョン機能での活用だけではなく、点群データとして周囲の環境認識やマッピングにも活用できる。

　WWDCでは、このAPIを使った新たな技術も披露された。Depth APIで取得できる点群データを用いて、AR表示する仮想のオブジェクトと現実の位置座標をひも付ける「Location Anchors」である。

　AR表示する仮想オブジェクトは、緯度、経度、高度の3つの値を指定して現実空間に配置する。自端末の位置は、端末のLiDARスキャナーで取得した周囲の点群データと、クラウドから取得した「Apple Maps」のために収集している3D地図データを照合して特定する（図3）。これらを比較する際に、端末のGPS情報を使って位置を補正することで正確性を高める^注1）。

図3　点群データと3D地図データを照合して位置を特定

ARKit4の新機能では、LiDARスキャナーが取得した点群データ（画像内右の赤点）と、クラウド上の3D地図データを照合させて、自らの位置と方向（画像内中央の白とオレンジの三角形）を特定できる。（出所：WWDC20の講演をキャプチャー）

[画像のクリックで拡大表示]