ソニーは、エッジデバイスに向けたAI機能を搭載した「業界初」（同社）のイメージセンサーを開発し、サンプル出荷を始めた（発表資料）。「インテリジェントビジョンセンサー」と呼ぶ。撮像部とロジック回路部を積層した裏面照射型で、ロジック回路部にISP（Image Signal Processor）の他、推論処理を実行するソニー独自の演算回路（DSP）やメモリーを備える。クラウドで処理する場合に比べて、遅延が短い、プライバシーに配慮しやすい、消費電力を低減しやすいなどの特徴をうたう。例えば、ショッピングモールの客の動向や店頭在庫管理、工場内での作業員の状態を検知する用途などを想定する。
AI機能を搭載したソニーのイメージセンサー
左がベアチップ品の「IMX500」、右がセラミックパッケージに封止した「IMX501」（画像：ソニー）
[画像のクリックで拡大表示]
今回のイメージセンサーの積層構造の概要
（図：ソニー）
[画像のクリックで拡大表示]
今回の新製品で、「MobileNet V1」と呼ばれるモバイル機器向けの物体認識を目的にした画像解析用の推論モデルを実行した場合、処理時間は3.1msにとどまる。これにより、動画撮影をしつつ、対象物の高精度なリアルタイムトラッキングを実行できるとする。
撮像部の画素数は約1230万（4056×3040）画素。サイズは1/2.3型である。フレーム速度は全画素を利用した場合で60フレーム/秒（fps）で、全画素による動画の撮影と推論処理を同時に実施した場合は30fpsである。
レジにおける商品や作業のリアルタイムトラッキングの例
フレーム速度は30fps（画像：ソニー）
[画像のクリックで拡大表示]
