《日経Robo》単眼の通常画像センサでステレオ匹敵の距離画像、口径分の視差使う東芝のカラー開口技術

本記事はロボットとAI技術の専門誌『日経Robotics』のデジタル版です

［画像のクリックで別ページへ］

　ロボットにとって要のセンサ情報となる距離画像。周囲の環境の3次元形状を表したもので、これまでステレオカメラやToF（Time-of-Flight）型の距離画像センサ、さらにはLIDARなどで点群として取得することが多かったが、ここに斬新な技術が登場した。

　東芝が開発した、単眼でステレオカメラ並み精度の距離画像を取得可能にする技術である。基線長35cmほどのステレオカメラと同等の距離計測精度を、わずか数cmの単眼カメラで得られる。大幅な小型化が可能となるため、ドローンなど小型ロボットにも搭載しやすく、産業的にも大きなインパクトがありそうだ。

カラーフィルタを付加するだけ

　特徴は、特殊なハードウエアが必要なく、構成が非常に簡便であることだ。必要なのは、光学系にカラーフィルタを付加するだけ。ToF型の「Kinect」のように位相差を計測する特殊なイメージセンサは必要なく、既存の一般的なイメージセンサをそのまま使い、単眼で距離画像を得られる。FA分野でよく使われる、Structured Light方式の距離画像センサのように、パターン状のレーザを投影する必要もない。

　東芝の技術において単眼でも距離画像を得られるのは、レンズの口径分により発生する一種の“視差”を利用しているからである。具体的には、撮影した画像に写り込んでいるエッジ領域のボケ具合を基に距離を復元する。いわゆる、「Depth from Defocus（DFD）」と呼ばれる技術である。距離計測の原理としては、ステレオカメラで用いている三角測量と近い^1）。ボケ具合の量を画素ごとに求められれば、後は幾何計算で距離が求まり、距離画像を構成できる。

　一般に、レンズ口径が極限に小さい理想的なピンホールカメラでは、全ての被写体にピント（焦点）が合う。このため、ボケは発生しない。これに対し、現実の光学系では、レンズは必ず一定の幅（口径）を持つ。レンズが光軸の周りに一定の幅（口径）を持つことで、レンズの左端を通過した光と、右端を通過した光とでは、同じ被写体から出た光であってもイメージセンサ上での到達位置が異なる（合焦位置以外）。画像上では、これがボケとなって表れる。今回の東芝のDFD技術は、この仕組みを応用したものである（図1）。

図1　単眼レンズの口径分の視差により距離算出

単眼の口径分の視差が、画像ではボケとなって表れる。ボケから距離を復元する「Depth from Defocus」技術と、左右2分割のカラーフィルタによる開口方式を組み合わせた。右は同技術により取得した距離画像。算出式において、bはボケの大きさ、aは有効口径、fは焦点距離、dは対象物までの距離、pはレンズとイメージセンサ間の距離。（写真：東芝）

[画像のクリックで拡大表示]

符号化開口技術を融合

　今回の東芝の技術のもう1つの特徴は、5年ほど前から発展してきた「コンピュテーショナル・フォトグラフィ（computational photography）」技術を組み合わせている点だ。コンピュテーショナル・フォトグラフィとは、光学系の開口部などに何らかの工夫を施し、撮影段階で光線自体に距離情報を符号化して重畳。撮影後の演算処理の段階で、この符号を基に距離情報などを復元する手法の総称である。撮影後にピント位置（被写界深度）を変更できる米Lytro社のカメラなどが著名だ。