《日経Robo》レンズ不要の日立の極薄カメラ技術、ロボットの外装や指などに“貼れる”

　ただし、レンズがなくとも、各画素に入る光の角度を何らかの方法で制限すれば、各画素には特定の方向の光のみが入り、被写体の像が再現できるようになる。コンピュテーショナル・フォトグラフィ技術では、この光の入射を制限する目的で、イメージセンサの手前にパターンを持った穴（開口：coded aperture）を入れるのが一般的である。

　今回の日立のFZA技術でも、特定のパターンの開口部（穴）を設けて光の入射を制限している。具体的には、同心円を何重にも繰り返したパターンを薄いフィルム上に印刷し、それを開口部に置く（図3）。

　イメージセンサと同心円パターンフィルムの間は、1mmほどの隙間を空ける。イメージセンサには、被写体から出た光により同心円パターンの影が映る。この影は、被写体（光源）が無限遠にあり、平行光線になった場合は、フィルム上の同心円パターンがそのままイメージセンサ上に投影され、フィルム上と同じ大きさの影が映る。

　一方、被写体が近づいてくると、入射光は平行光線ではなく次第に斜めになっていくため、イメージセンサ上に写る影の大きさが拡大していく。イメージセンサ上に写る影の大きさから、被写体までの距離を再現できるというのが、今回のレンズレス技術の基本的な原理である。

図3　近い被写体はフィルム上のパターンが拡大して写る

フィルム上のパターンは、レンズがない場合でもイメージセンサ上に影を作る。この影は、被写体の角度や距離に応じて、イメージセンサ上での大きさや位置が変わる。この変化を検出することで、画像処理により被写体の像を再現する。

[画像のクリックで拡大表示]

　開口の形状としては、数式で端的に表せる単純な同心円パターンを採用することで^注1）、撮影後の像の復元処理の演算負荷を軽くした点が特徴である。

演算負荷軽減のため同心円に

　実際には、被写体は点光源ではなく、多数の点光源の集合であるため、イメージセンサ上にはフィルム上のパターンの影が多数発生し、重なり合う。これらを分離しやすくするため、日立は実際にはパターンの影の大きさではなく、別の手段で被写体の像を復元するようにした。

　具体的には、撮影後の画像に対し、同じ同心円パターンを画像処理で仮想的に重ねる。これら同心円パターン同士で発生する干渉縞を基にして映像を再構成する（図4）。発生する干渉縞の周波数は、被写体までの距離に依存しているため、この干渉縞を2次元FFTで周波数変換すると、元の画像を復元できる^注2）。

　実際には、撮影後の演算処理では、同心円パターン自体は除去し、干渉縞のみをFFTに掛ける。仮想的に重ねる同心円パターンの大きさを変化させることで、画像復元時の合焦位置を制御できる^注3）。

図4　レンズレス技術での像の復元の流れ

同心円パターンの開口により光線情報を符号化して撮影した後、画像処理で別の同心円パターンを重畳し、あえて干渉縞（図では縦方向の縞）を発生させる。その後、同心円パターンは除去し、干渉縞のみをFFTで周波数変換することで、レンズなしで撮影した被写体の像を復元する。（写真：日立製作所）

[画像のクリックで拡大表示]

　重ねた同心円パターンによる干渉縞は、被写体に合焦している際は、直線的な縞模様となる。これに対し、合焦位置に被写体がなく、ボケている際は、この干渉縞は曲線的に歪む（図4）。開口パターンで符号化することで、撮影時に距離情報を得ているため、後処理で合焦位置を変化させたり、距離画像を得たりできるという訳だ（図5）。

図5　合焦位置を変えて復元した画像の例

画像処理時に重畳する同心円パターンの大きさを変え、合焦位置を変化させた復元画像の例。（a）はリンゴ、（b）はブドウ、（c）はバナナにそれぞれ合焦している。合焦していないボケの部分には、コード化に用いた同心円の開口パターンによる画質劣化が発生する（（a）のブドウの領域など）。（写真：日立製作所）

[画像のクリックで拡大表示]

　今回のようなレンズレスカメラ技術自体は以前からある。例えば、米Rambus社の「Lensless Smart Sensors（LSS）」、米Rice Universityと米CMUの「FlatCam」などが代表的である（表1）。