米Sony Electronicsやソニーセミコンダクタソリューションズ、ソニーLSIデザインの研究グループ（ソニーの研究グループ）は、目的に応じて解像度を変えて撮影できる新しいイメージセンサーを開発し、「半導体業界のオリンピック」と称される国際会議「ISSCC（International Solid-State Circuits Conference） 2022」（2022年2月オンライン開催）で発表した。
18年のISSCCでも同種のイメージセンサーを発表済みだが、今回、より細かく解像度を変更できるようにし、さまざまな目的に利用しやすくした。加えて、画素数を水平2560×垂直1920（約490万）画素に増やし、かつ消費電力を削減しているのが特徴だ。消費電力を削減したことで、モバイル端末やウエアラブル端末といったバッテリー駆動の機器でも利用できる。
今回のイメージセンサーを開発した狙いは、主に3つのセンシング用途を1つのイメージセンサーに集約することにある（図1）。1番目は、モーション（動き）検出の用途で、人感センサーや物体のおおまかな動きを検知するセンサーなどの役割を果たせる。2番目はコンピュータービジョン（CV）用途である。モーション検出モードで人らしきものを検出すると、CVモードに移行し、やや解像度を上げて、人や手、物体の認識、顔認識などを行う。3番目がビューイングモードだ。CVモードで人や物体などを認識した後、鮮明な画像を撮る必要があれば、高い解像度のビューイングモードに移行する。
撮影時のシステム全体の消費電力を削減するために、動作モードの変更や機器のメインプロセッサー（SoC）内の回路のオンオフをこまめに実施する。例えば、モーション検出はオンチップで実行し、SoCの画像処理回路（ISP）と推論処理回路（DNN）をスリープ。CVモードではSoCのISPをスリープさせてDNNを動作させ、ビューイングモードではDNNをスリープさせて、ISPを動作させる。
加えて、イメージセンサー自体の消費電力、特にモーション検出モードでの消費電力を大幅に削減した。例えば、水平32×垂直10画素、1フレーム/秒（fps）駆動のモーション検出モード時で消費電力は120µW（図2）。これは、撮像だけでなく、イメージセンサー内で行うモーション検出の処理まで含んだ値である。
CVモードでの消費電力も小さく、例えば水平640×垂直480画素（VGA）、1フレーム/秒で0.79mWと1mWを下回る。ビューイングモードとして水平2560×垂直1920画素、50フレーム/秒で撮影した場合で88mWである。
