ただし、レンズがなくとも、各画素に入る光の角度を何らかの方法で制限すれば、各画素には特定の方向の光のみが入り、被写体の像が再現できるようになる。コンピュテーショナル・フォトグラフィ技術では、この光の入射を制限する目的で、イメージセンサの手前にパターンを持った穴(開口:coded aperture)を入れるのが一般的である。
今回の日立のFZA技術でも、特定のパターンの開口部(穴)を設けて光の入射を制限している。具体的には、同心円を何重にも繰り返したパターンを薄いフィルム上に印刷し、それを開口部に置く(図3)。
イメージセンサと同心円パターンフィルムの間は、1mmほどの隙間を空ける。イメージセンサには、被写体から出た光により同心円パターンの影が映る。この影は、被写体(光源)が無限遠にあり、平行光線になった場合は、フィルム上の同心円パターンがそのままイメージセンサ上に投影され、フィルム上と同じ大きさの影が映る。
一方、被写体が近づいてくると、入射光は平行光線ではなく次第に斜めになっていくため、イメージセンサ上に写る影の大きさが拡大していく。イメージセンサ上に写る影の大きさから、被写体までの距離を再現できるというのが、今回のレンズレス技術の基本的な原理である。
開口の形状としては、数式で端的に表せる単純な同心円パターンを採用することで注1)、撮影後の像の復元処理の演算負荷を軽くした点が特徴である。
演算負荷軽減のため同心円に
実際には、被写体は点光源ではなく、多数の点光源の集合であるため、イメージセンサ上にはフィルム上のパターンの影が多数発生し、重なり合う。これらを分離しやすくするため、日立は実際にはパターンの影の大きさではなく、別の手段で被写体の像を復元するようにした。
具体的には、撮影後の画像に対し、同じ同心円パターンを画像処理で仮想的に重ねる。これら同心円パターン同士で発生する干渉縞を基にして映像を再構成する(図4)。発生する干渉縞の周波数は、被写体までの距離に依存しているため、この干渉縞を2次元FFTで周波数変換すると、元の画像を復元できる注2)。
実際には、撮影後の演算処理では、同心円パターン自体は除去し、干渉縞のみをFFTに掛ける。仮想的に重ねる同心円パターンの大きさを変化させることで、画像復元時の合焦位置を制御できる注3)。
重ねた同心円パターンによる干渉縞は、被写体に合焦している際は、直線的な縞模様となる。これに対し、合焦位置に被写体がなく、ボケている際は、この干渉縞は曲線的に歪む(図4)。開口パターンで符号化することで、撮影時に距離情報を得ているため、後処理で合焦位置を変化させたり、距離画像を得たりできるという訳だ(図5)。
今回のようなレンズレスカメラ技術自体は以前からある。例えば、米Rambus社の「Lensless Smart Sensors(LSS)」、米Rice Universityと米CMUの「FlatCam」などが代表的である(表1)。