全7140文字
PR

世界の3次元データを取得し、活用できる時代が到来しつつある。けん引するのは、GAFAなどの巨大IT企業や国家だ。前者は主にユーザーに周辺情報を取得させ、クラウドのサービスにつなげることを狙う。後者は人工衛星などから得た地形データや建築データを公開する。システム同士が3次元データを基に対話を始めることで、最適化社会が生まれる。

 現実世界の物体が持つ形状に加え、色や素材など、様々な情報をコピーした世界─。そんな「複写世界」とも呼べるデジタルデータ空間が、今後、急速に拡大しそうだ(図1)。そのけん引役は、米国の巨大IT企業、いわゆるGAFAだ。

図1 デジタルデータとして世界を写し取る
図1 デジタルデータとして世界を写し取る
世界のデジタル化とデータ活用の概要。まず物理的な現実世界を各種センサーを用いてセンシングし、デジタルデータとして写し取る。複写世界上では、例えば仮想的な実験や精度の高いシミュレーションが可能になる。その結果を現実世界にフィードバックすることで、超効率な社会を生み出す。(図:日経クロステック)
[画像のクリックで拡大表示]

 米Appleは、2020年3月発売の新型「iPad Pro」に、LiDARセンサーを搭載した(図2)。このLiDARによって数m先の物体であれば距離画像を取得できる注1)。LiDARの活用でまずは狙うのは、AR(Augmented Reality)だ。仮想オブジェクトをAR表示する際には、自端末の位置と方向を把握する必要がある。そこでLiDARで取得した周囲の点群データと、「Apple Maps」用に収集した3次元(3D)マップを照合して自端末の位置を検出する。

(a)背面にLiDARを搭載した新型iPad Pro
(a)背面にLiDARを搭載した新型iPad Pro
[画像のクリックで拡大表示]
(b)iPhoneでスキャンした3Dデータ
(b)iPhoneでスキャンした3Dデータ
[画像のクリックで拡大表示]
図2 消費者向け端末に高性能LiDAR、3Dデータ作りの民主化が始まる
2020年3月に米Appleが発売した新型「iPad Pro」(2020年版)(a)。背面にLiDARスキャナーを含む3眼のカメラ部を持つ。 「iPhone 11 Pro Max」で編集部の「aibo」をスキャンした3Dデータ(b)。LiDARと同様に距離画像センシングが可能なFace IDを用いれば、手軽にスキャンして3Dデータを出力できる。(写真:(a)左はApple、(a)右は加藤 康、(b)は日経クロステック撮影)
注1)実は、以前からiPhoneの顔認証用に搭載されているFace IDも、同様に距離画像センサーの機能を持っている。Face IDを使って3Dスキャンは可能だった。しかし、センシング距離が短いため、卓上の小物程度しか3D化できなかった。

 ただし、LiDARの活用はARにとどまらないとみられる。例えばAppleは、LiDARが計測した深度情報を、アプリ側からピクセル単位で利用可能にするAPIを提供している。このAPIを用いて、LiDARで空間の3次元データを取得する開発者も現れてきた。今後、Apple自身が3次元データの流通に乗り出してくる可能性が高い。

3Dマップ作りにFacebook参入

 米Facebookも、複写世界の構築に積極的に取り組んでいる。同社が目指すのは、3Dマップを充実させることで、ARを使って現実空間上に違和感なく情報を重ねて表示することである。

 例えば屋外でのARでのナビゲーション案内なら、交通状況や店舗情報などを、道路上や店舗の壁面、看板といった現実空間の適した場所に表示させる。屋内なら、見失った鍵の場所を示したり、複数の鍵がそれぞれ何用なのかを記録して表示したりできる。

 これらを実現させるためには、まず精密な3Dマップを持つこと。そして、ARグラスのような端末でユーザーに情報を提示する際、この3Dマップと現実世界のモノの位置をピタリと合わせる必要がある。「Google Map」やApple Mapsなどの地図アプリで、膨大な位置データを収集した他社と違って、地図アプリを持たないFacebookには、ゼロからの3Dマップ作りが必要不可欠になる。

 加えて、重畳表示する対象物が道路なのか壁面なのか店舗の看板なのか、目の前の鍵が何用の鍵なのかといった、意味情報も取得しなければならない。

 この課題を克服するために、Facebookは、「Project Aria」という研究プロジェクトを立ち上げた注2)。Project Ariaでは、複数のカメラやセンサーを搭載した眼鏡型デバイスで、周囲の情報を取得する(図3)。

(a)使用するメガネ型端末
(a)使用するメガネ型端末
[画像のクリックで拡大表示]
(b)仮想空間を構成する3つのレイヤー
(b)仮想空間を構成する3つのレイヤー
[画像のクリックで拡大表示]
図3 Facebookがメガネ型端末で仮想3Dマップを作成
Facebookが2020年9月に発表した「Project Aria」で用いるメガネ型端末(a)。同端末はディスプレーを持たず、あくまでも研究用のセンシング端末である。重さは70g以下で、米Qualcommのプロセッサーや128Gバイトのストレージ、4GバイトのRAMを搭載し、無線通信機能を備える。IMU(慣性計測装置)や気圧計、GPS(全地球測位システム)などのセンサーのほか、環境・物体認識用の800万画素のRGBカメラや、左右で計2つの640×480画素の位置追跡用モノクロカメラ、両眼用に計2つのアイトラッキング用の赤外線カメラ、3Dオーディオ録音用の7つのマイクアレーなどを搭載するという。同社は作成する仮想空間を3つのレイヤーに分けて考えている(b)。最下層のLocationレイヤーで位置座標を把握し、中間のIndexレイヤーで家具などの物体をそれぞれ固有のモノとして認識し、最上層のContentレイヤーのAR表示に活用する。(写真:Facebookの動画をキャプチャー)
注2)Project Ariaは、2020年9月16日(米国時間)にFacebookが開催したAR/VR開発者向けイベントである「Facebook Connect」(旧Oculus Connect)で、同社のAR/VR研究開発組織「Facebook Reality Labs」(FRL、旧名はOculus Research)が発表した。

 カメラ映像から特徴点を抽出し、3Dマップに用いる。さらに、画像内の物体が何であるかを識別して、意味情報をメタデータとして3Dデータにひも付ける。

 3Dマップは、ARグラス自身の位置の推定にも利用できる。 ARグラスのカメラやセンサーが取得した周囲の特徴点と、3Dマップとを照合して、位置や方向を検出する。これらの成果は、Facebookが2021年に発売するARグラス(スマートグラス)などに活用するとみられる。