PR

実世界にある本などを指で触って、デジタル世界に情報を取り込む――。富士通研究所の松田高弘氏は、SF小説に登場しそうな「次世代ユーザーインタフェース(UI)」の開発に没頭する。人間のアナログな「手作業」を認識することで、ITの活用シーンを広げるのが目的だ。

指を使ったユーザーインタフェース(UI)の開発に取り組む動機は何ですか。

(写真:新関 雅士)

 人間が実世界で何かの作業をする場合、最初に使う「道具」は手や指だと思います。指で対象を指し示したり、手で物をつかんだり。こうした動きを認識するのが、新UIのポイントです。

 例えば、紙の書類の必要な部分を指でなぞるだけで、画像ファイルとしてPCに取り込める。あるいは、旅行パンフレットの一部を指さすと、プロジェクターが関連情報を投影する。手や指を使ったアナログな動作とITを融合することで、利便性を高められます。しかも、高価な装置を使わず汎用品で実現する。将来は、UIにおける「デファクトスタンダード」にしたいと考えています。

 現在、実用化されているUIには課題があります。ITを活用する場所や環境が限定されることです。マウスとキーボードを使ったUIは、オフィスでPCを操作する場合には便利でも、屋外などでは使いづらい。スマートフォンで主流のタッチ操作も、片手がふさがるのが難点です。

 オフィスの外、つまり農業や小売店などの現場でITを使ってもらうには、既存技術の延長ではない「次世代の」UIを生み出す必要があります。

 目標は、人間が全く意識せずにITを利用することです。

 信号機を例にしましょう。人感センサー付きの信号機では、人間がわざわざボタンを押して、信号を変える必要はない。横断歩道の前に人間が立ったことを検知し、自動的に青信号に変えています。人間の自然な動きに合わせて、ITが便利なサービスを提供しているわけです。新UIにより、こうした世界を実現したいと考えています。

3次元の位置情報を追跡

具体的な利用シーンを教えて下さい。

 新UIでは、二つのカメラとプロジェクター、そしてPCを使います。

 テーブルの上に置いた書類を指でなぞるとコピーが取れる、「簡単スクラップ」というアプリケーションで説明しましょう。

 まずは、二つのカメラを使って指先を認識し、3次元の位置情報をリアルタイムで把握します。指が書類に触れたことをカメラが検知したら、プロジェクターが動作を開始。書類に乗せた指を左上から右下に動かすのに合わせ、四角い範囲を投影します。指の移動が止まると、選択範囲が画像ファイルとしてPCに保存されます。指を使って書類の中で必要な部分だけを選び、コピーできるわけです。

 旅行会社のカウンターなどを想定した、「お好みパンフレット」というアプリも開発しました。紙のパンフレットを開いて、行ってみたい場所を指でタッチすると、関連した写真や地図などの情報が、余白に投影されます。紙に格納できない、動画だって見られる。気に入った情報はPCに保存でき、別途、自分専用のパンフレットに編集できます。

 顧客と旅程を相談する場合、今なら紙のパンフレットを使うのが最も便利でしょう。PCの画面上で全てを説明するというのは、非現実的です。紙の上にデジタル情報を重ねて投影すれば、紙の利便性を損なわずに情報量を増やせます。新UIを使うことで、金融機関の窓口や学校など、紙を多用する現場の作業が便利になるでしょう。

どのような技術が、新UIには使われているのでしょうか。

 大きく三つあります。

 まずは、座標認識技術です。新UIでは、指が存在する実世界の座標と、それを認識するカメラの座標、さらにプロジェクターの座標の三つを、ピタリと合わせる必要があります。指が書類に触れた場所を特定し、正確に情報を投影するには、三つの座標を自動的に調整する技術が不可欠でした。

 次は、指先を安定的に識別する技術です。人の指の形状や色は様々で、照明環境によって見え方は大きく変わる。指が重なると太く見えるし、影ができると細く見えます。そこで、カメラを使って背景と指の色の違いや、輪郭形状を分析し、どこが「指先」かを推定する技術を開発しました。

 三番目は、指先の移動を高速かつ高精度に認識する技術です。指の自然な動きを把握するには、毎秒30センチメートル程度の追跡速度が必要です。また、どの時点で書類に触れたかを正確に検知する必要もあります。

 これまではコンピュータ性能に限りがあり、UIに処理能力を割くのが難しかった。豊富なコンピュータパワーを安く手に入れられるようになったことが、新UI開発の背景にあります。

汎用品で安くシステム構築

(写真:新関 雅士)

実用化のメドは?

 2014年度中に、複数の顧客に導入したいと考えています。いくつかの金融機関や博物館から、現場で使いたいという要望を既にいただいています。

 実用化に向けて、コストダウンも強く意識しています。利用するカメラは特注品ではなく、汎用のWebカメラです。赤外線センサーや特殊な手袋のような、高価な装置は一切使っていません。安く提供できれば、いち早く様々な環境で使ってもらえます。課題を発見して改良を重ねることが、新UIの使い勝手向上につながります。

 実世界で人間が行う作業は様々です。その全てを、PCやスマホを使って効率化できるわけではありません。むしろ、オフィス以外で無理してPCを使うのは不自然でしょう。これまで使われていなかった場所でITを活用してもらうには、アナログの手作業に適したUIを開発し、生活の中にITを溶け込ませることが重要です。

 紙の一部をコピーしたいなら、現時点では、コンビニに行くのが手っ取り早い。この作業を簡略化するために、わざわざ新たな技術を開発し、システムを構築するのは合理的ではありません。

 しかし、この努力は決して無駄にならない。日常生活の中で私たちがITを便利に使えているのは、多くの技術者が目立たぬところで一生懸命、開発を続けてきたからです。新UIの開発により、様々な作業が簡単になると確信しています。

テレビ機能付きPCの技術を応用

 実世界における人間の動きと、ITをどう調和させるか。これが松田氏の長年のテーマである。

 2011年には、テレビ機能付きPCのUIを開発した。テレビ番組を視聴中のユーザーが一時的に席を離れると、自動的に録画を開始。席に戻ると続きから再生する、タイムシフト録画機能を手掛けた。PC内蔵のカメラでユーザーを追跡し、録画再生機能と連動させている。ここで培った人間の動きを把握する技術が、新UIの開発に生かされている。

 「手に入れられるUI装置はほぼ全て、自ら触って試している。研究者の集まりなどで、最新の技術を目にするとワクワクする」と松田氏は言う。旺盛な好奇心が、研究開発の原動力だ。 

松田 高弘 氏
富士通研究所 メディア処理システム研究所
メディアサービス研究部 主任研究員
松田氏は1991年に国立久留米工業高専を卒業し、富士通入社。PCや携帯電話、周辺機器向けのメディア処理技術や、生体認証技術の研究に従事してきた。2011年~2012年に生体認証分野でIPA(情報処理推進機構)の非常勤研究員を務めた。現在は、富士通研究所で新UI開発チームを率いる。