脳から情報を取り出して制御などに利用する「ブレインマシンインタフェース」の研究に一貫して携わる。脳で念じて電動義手を動かすほか、最近では人が見た夢の内容を推定する研究に成功した。脳内のイメージ情報をネットの膨大な画像情報と関連付けるなど、ビッグデータ技術の活用も目指す。
2013年3月に「人の夢を読み取る」という研究成果を発表しました。どのような研究でしょうか。
まず寝ている被験者の脳の活動状況を「機能的磁気共鳴断層撮影（fMRI）」と呼ぶ医療機器でスキャンします。得られた脳の活動部位やその状態のデータを解析することで夢の内容を推定します。
ただし初見の人の夢を当てることはできず、事前に被験者ごとに「辞書」を作ります。目覚めた状態で多数の画像を見てもらい、脳の活動状況を記録した上で機械学習などを用いて規則性を見いだすのです。建物や風景、人の顔など、様々な画像に脳がどのように反応するかは、人によって異なりますが一定の共通性があります。
今回の実験では、寝入りばなの被験者の脳活動を測定し、起こしてから夢の内容を話してもらいました。並行してあらかじめ作成した辞書を参照し、脳の活動状況の近さから、夢で見たであろう画像イメージを推定しました。イメージの推定は、複数の被験者で60～70％の正解率が得られました。今回の実験で「夢を見ている脳は、物を見た時と同じ反応をしている」という仮説も正しいことが初めて証明されたのです。
画像はジャンルで分類していますが、正解が得られやすいジャンルも分かりました。例えば、男女それぞれの人の顔や建物、文字などに対しては脳は明確な反応を示す一方、反応を読み取りにくいジャンルの画像も存在しました。脳の反応に合わせてジャンル分けを見直すなどで、正解率は80％以上に高まります。
脳の活動状況の測定結果に基づき、夢の内容の映像化も試みました。始めは脳活動に明確な特徴がなく雑音が多い状態ですが、やがて辞書と一致した脳活動が次々と表れます。その一致した画像を脳活動と同期させて表示し、映像にしました（90ページの写真を参照）。女性の顔や建物の一部が表れていますが、これは辞書作りに用いた画像なので、正確には被験者が見た夢の近似といえます。
脳内イメージは膨大な制御情報
研究内容への反響が大きかったと聞きます。応用への関心も高いのでは。
論文が米サイエンス誌に掲載されてから、マスコミのほか研究者からも多くの問い合わせをいただきました。精神科医からは精神疾患の診断に使えないかと相談を受けています。統合失調症など幻覚を訴える患者さんの幻覚の内容を客観的に調べられれば、有力な診断材料になります。私もまずは医療や臨床分野での応用が向いていると考えています。
ですが研究の将来的な目標は、脳に描いたイメージで機械などを操作することです。当研究室では既に、脳で念じて電動義手を動かす研究に成功しています。大阪大学医学部との共同研究で、脳から出る運動野の信号を読み出すことで即時に義手を制御します。現在、筋萎縮性側索硬化症（ALS）の患者の方を対象に、臨床実験を実施しています。
運動野の解析は、読み出す情報量が少なくても制御に活用できますが、連続的に情報を読み出してリアルタイムで処理することが求められます。
これに対し、脳内イメージの解析は豊富な情報が得られ、運動野の解析ではとても実現できない制御が可能です。電動義手で絵を描く場合、イメージを用いれば一瞬で描くべき絵を機械に伝えらるのです。一方で、現状では制御の即時性が失われる欠点があります。fMRIによる解析は、脳の位置を特定する座標の修正計算や活動状況の解析など何段階かの複雑な処理が必要だからです。
どちらの技術も一長一短があります。我々はどちらの研究も進めて、双方のいいとこ取りをしたいのです。
実用化の課題は何でしょう。
最大の課題は、脳から情報を読み取る装置です。脳が発する信号を高い精度で受信するのに最も適した方法は、頭蓋骨を切開して脳の表面に電極を張ることです。しかし我々の実験でこの方法で協力を得られるのは、主に切開による手術の必要性があるてんかんの患者さんで、一般の人に適用するのは極めて困難です。
fMRIは正確な座標で脳の活動状況が分かりますが、巨大な装置に被験者が入ってもらう形でしか利用できず、大幅な小型化を実現する必要があります。ヘッドバンドのように簡単に装着できる脳波を測る機械もありますが、リラックスの状態が分かる程度で、本格的な脳の活動状況の分析には向きません。
夢の辞書作りなど、情報の解析方法では工夫はありましたか。
幸い、今回は機械学習でよく使われる標準的な技術で成果を出せました。スパムフィルターなどに使われる、データの共通性の高さを評価するベイジアンフィルターなど既存のアルゴリズムを用いていますが、十分な精度を得られています。
今後は、あらかじめ辞書を作成するのとは別の方法で、夢や脳内イメージを解析する研究を考えています。インターネットにある膨大な画像情報を活用するのです。
今回のような辞書を用いる脳解析の限界は、解析結果の出力が辞書の範囲に制約される点です。例えば、色を知覚したときの人の脳の反応は様々で、簡単には要素の組み合わせで表現できません。自然界では赤と青、緑の3原色の組み合わせで多様な中間色を表現できますが、中間色を知覚した脳の反応はもっと多様なのです。私は脳内イメージも要素から構成できると考えていますが、自然界と異なる合成の法則があるのです。
私は、ネットに存在する画像は人の心の状態や脳活動を反映したものと捉えています。これらの膨大な画像を脳解析に活用する技術を確立できれば、辞書に制約を受けず、脳の状態をより精緻に表現できるようになるでしょう。そのために、ビッグデータの解析技術や検索技術の応用を考えています。
このアイデアを発展させれば、脳で描いたイメージでインターネットを検索する技術も実現できるかもしれません。ビッグデータやインターネット検索との連携が、ブレインマシンインタフェースを大きく発展させる技術だと期待しています。
神谷氏が、脳波や脳の活動域などの解析から情報を読み取る「脳のデコーディング」に着手したのは米国留学時代から。ATRでは、人間の皮質脳波を読み取って電動義手を動かす研究でまず成果を上げ、今回の夢のように、脳内画像のデコーディングにも研究領域を広げた。夢の研究に先立ち、人が視覚から得た画像と脳の活動状況を結びつける研究も手掛けている。人の視野を複数の解像度で小領域に分割して脳活動をパターン化すると、人が見た画像全体を脳活動のパターンから再構成できることを突き止めた。具体的には、脳活動から各領域のコントラスト地を割り出し領域全体を構成すると、目で見た文字や幾何図形を再現できた。
国際電気通信基礎技術研究所（ATR）
神経情報学研究室室長
