PR

 NECと東京工業大学は2017年6月5日、一般的なデジタルカメラで撮影した可視光画像と、サーモカメラなどで撮影した非可視光画像を、AIを活用して合成する「マルチモーダル画像融合技術」を共同開発したと発表した(NECのニュースリリース東工大のニュースリリース)。可視光画像と非可視光画像を合成することで、単独の画像では捉え難かった対象物・状況の視認性を大きく高めることができるという。

■可視画像
■可視画像
(写真:NECのニュースリリースより)
■遠赤外画像
■遠赤外画像
(写真:NECのニュースリリースより)
■単純な合成
■単純な合成
(写真:NECのニュースリリースより)
■今回の技術を用いた合成
■今回の技術を用いた合成
(写真:NECのニュースリリースより)

 画像センサーの技術的な進化や低コスト化により、熱を捉えるサーモカメラや物体の内部を捉えるX線・テラヘルツ波・ミリ波のカメラなどの非可視光カメラを用いて、夜間や濃霧などの悪天候、逆光や遮蔽などの悪条件下で監視・診断する用途が広まりつつある。だが、非可視光カメラの画像は可視光に比べて解像度や画質が低く、視認性が悪いのが課題だった。

 このため、非可視光カメラに可視光カメラを併設して両方の画像を見比べながら監視や診断を行う必要があるが、素早く正確に対象物や状況を判断するのは困難だった。この問題の有効な解決手段のひとつは、2種類の画像を1つに合成することだ。ただし、カメラの種類や撮影環境に精通した専門家が手作業で複雑な作業を行う必要があった。

 今回、複数の画像から視認性が高い部分をAIが自動的に選択し、非可視光画像に含まれるわずかな特徴を強調しながら合成することで、従来にない高い視認性を持つマルチモーダル(可視−非可視)な融合画像を自動的に生成する技術を開発した。

 サーモカメラやテラヘルツカメラといったカメラの種類や、明るさ、光線の方向、障害物の有無などの環境の特性に応じて、AIが画像内の各部分の視認性の度合いを評価、各画像から最適な領域のみを自動的に抽出する。さらに、非可視カメラの画像中の異常や危険物に関するわずかな特徴を解析し、白とびや黒潰れなどの画像破たんが生じない融合画像を自動生成する。

 同技術を用いることで、夜間や濃霧などの悪天候下の施設監視、対向車のヘッドライトや暗闇による死角があっても運用できる自動運転支援、建物のひび割れなどの表面だけでなく内部の異常まで検査可能にするインフラ点検など、瞬時の視認が必要となる分野で正しい状況判断が可能になる。

 NECと東工大は、パシフィコ横浜で開催される「第23回画像センシングシンポジウム 2017」において、今回開発した技術を2017年6月7日に発表する予定だ。