全2038文字
PR

 いくら静かな場所でも、スマートフォン本体のイヤースピーカー(通話時に耳に当たるスピーカー)から漏れる音声を聞き取ることは至難の業だ。

 だが音声そのものではなく、イヤースピーカーのわずかな振動をスマホ内蔵の加速度センサーで記録すれば、その振動から音声を推測できるのではないだろうか――。

 米テキサスA&M大学などの研究者から成るグループはこの盗聴の新しい「可能性」に挑み、その成果を2022年12月下旬に論文として発表した。

今回発表された盗聴のイメージ。イヤースピーカーの振動を内蔵のモーションセンサー(加速度センサー)で捉えて、通話の相手や内容を特定する
今回発表された盗聴のイメージ。イヤースピーカーの振動を内蔵のモーションセンサー(加速度センサー)で捉えて、通話の相手や内容を特定する
(出所:論文「EarSpy:Spying Caller Speech and Identity through Tiny Vibrations of Smartphone Ear Speakers」)
[画像のクリックで拡大表示]

 果たして、うまくいったのだろうか。

イヤースピーカーの音質向上につけ込む

 スマホによる通話を盗聴する最も単純な方法は、通話を録音するマルウエアをスマホに仕込むことである。だがスマホのOSは、サードパーティー製アプリによる音声へのアクセスを厳しく制限している。

 しかし、音声に間接的にアクセスする方法が研究者によって多数指摘されている。その1つが、通話によって発生する振動を、スマホに内蔵された加速度センサーなどのモーションセンサーで捉える方法である。サードパーティー製アプリでも、モーションセンサーにはアクセスできるからだ。

 ただ、ラウドスピーカー(音楽や着信音などをスマホ本体から鳴らすスピーカー)の振動を捉える研究はあるが、イヤースピーカーの振動を対象にした研究は今までなかったという。振動が小さすぎるためだ。

 だが今回の研究者グループは、イヤースピーカーの音質が年々向上されていることに着目。イヤースピーカーを複数搭載するような比較的新しい機種なら、加速度センサーによる盗聴が可能ではないかと考えたという。

実験で使用したAndroidスマホ「OnePlus 7T」の内部。イヤースピーカーが複数搭載されている(写真右側)
実験で使用したAndroidスマホ「OnePlus 7T」の内部。イヤースピーカーが複数搭載されている(写真右側)
(出所:論文「EarSpy:Spying Caller Speech and Identity through Tiny Vibrations of Smartphone Ear Speakers」)
[画像のクリックで拡大表示]

通話相手や通話の内容を検出

 まず今回の研究では、サンプルとなる音声(データセット)を使って、加速度センサーの振動とイヤースピーカーの音声を関連付ける機械学習のモデルを作成した。

 次にこのモデルの妥当性を検証した。検証方法は次の通り。別のデータセットの音声をスマホのイヤースピーカーから流す。具体的には「Mobile Ear Speaker Earphone」というスマホアプリを使って、すべての音声をデフォルトの音量でイヤースピーカーから出力するようにした。

 そしてその際に発生する振動を捉えた加速度センサーのデータを、「Physics Toolbox Sensor Suite」というスマホアプリで収集。そのデータを機械学習モデルで解析し、話者やその性別、音声の内容を特定できるか調べた。スマホには、Androidを搭載するOnePlus 7TおよびOnePlus 9を使用した。