全2021文字
PR

 うだるような暑さの中、飲食店に入る。「さっぱりとしたメニューが食べたい」と考える一方で、店員から差し出された紙にはたくさんのメニューが載っていてどんな商品を選べばいいのか分からない。あれこれ悩んでいると、後ろに人が並んでいることに気づき、焦っていつも通りの商品を頼んでしまう。誰しもそんな経験はないだろうか。

 そんな「いつも通り」に変化を与える技術として、OKI(沖電気工業)が「提案型注文システム」の開発に取り組んでいる。提案型注文システムでは、顔の表情、視線などの動きから利用者(消費者)の感情を推定し、メニューを提案する。つまり冒頭のような状況下であれば、システムが表情や視線から「このようなさっぱりしたメニューはいかがですか」と提案してくれるわけである。まだ実用段階でないものの、実証実験としてOKIは日本サブウェイと協力し、実店舗内で同システムの試験を2021年8月2~6日に実施した(図1)。

図1 OKIが開発する「提案型注文システム」
図1 OKIが開発する「提案型注文システム」
OKIが日本サブウェイと協力し、実店舗に設置した「提案型注文システム」。顔の表情、視線などの動きから利用者(消費者)の感情を推定し、メニューを提案する。(出所:日経クロステック)
[画像のクリックで拡大表示]

 かねてOKIはディープラーニング技術を利用して表情や視線、身ぶり、音声などのデータから、利用者の状況・感情を把握・推定する感情推定技術の開発に注力してきている。同技術を提案型注文システムに活用した格好だ。同システムでぼんやりとしたニーズを引き出すとともに、小売店舗の生産性向上、非接触・非対面での接客促進などを狙っている。

 加えてOKIはサービス提供側のインターフェースはさまざまな情報を提示しようとすると、どうしても情報過多に陥り、使い勝手が悪くなると考えている。そこで感情をくみ取る仕掛けなどで、情報を少し絞って提示するような新たなインターフェースを実現しようと考えたのだ。

 提案型注文システムの構成は、上部に表情を撮影するカメラ、中央部にメニューなどを表示するディスプレー、下部に視線を検出するセンサーなどである(図2、3注1)。利用者がディスプレーに映るサンドイッチのメニューを見る中で、どの商品でどんな表情をしたのか、どこに最も注視したのかなどのデータをシステムが収集。収集後に商品を3つピックアップし、利用者はそれら商品やサイドメニューなどを選んで注文する、というもの。

注1)OKIは実験を通して設置環境に対する課題も出てきているとする。それが実店舗の照明、自然光である。利用者の顔・視線を捉えて判断するため、提案型注文システムの周囲の明るさを整えなければならないという。実証実験を実施していた店舗では、システムを店舗照明の前に設置するようにしていた。
図2 ディスプレー上部にあるカメラ
図2 ディスプレー上部にあるカメラ
利用者の表情を撮影するためのカメラ。ディスプレー上部に搭載しており、表情の差異データを収集する。(出所:日経クロステック)
[画像のクリックで拡大表示]
図3 ディスプレー下部にある視線センサー
図3 ディスプレー下部にある視線センサー
利用者の視線を追うセンサー。視線の動きからどの商品を見ているのかなどのデータを収集する。(出所:日経クロステック)
[画像のクリックで拡大表示]

 実証実験で提示されたサブウェイのメニューは20種だが、当然ディスプレーにすべての商品を並べることはできない。そこで6種類だけの商品を映し、利用者が見ていない商品を入れ替えるようにしている(図4)。「商品はカードのような形で提示し、ゆっくりとカードが回転して一通りの商品を入れ替えるようにした。認知科学の知見などを利用し、利用者の視線が動くようにカードの回転速度などを調整している」(OKIイノベーション推進センターUX技術研究開発部の赤津裕子氏)。

図4 回転する商品カード
図4 回転する商品カード
ディスプレー中央の商品が回転し、他の商品に切り替わっている。視線がこのカードに移ると、商品の切り替えが停止する。(出所:日経クロステック)
[画像のクリックで拡大表示]