画像と数値といった異なる形式のデータを統合して学習する「マルチモーダル深層学習（マルチモーダルAI）」を医療分野に応用して、人工知能（AI）による画像診断の精度を高める検討が進んでいる。実現すれば、手軽な検査で高精度な診断支援が可能になり、患者や医療現場の負担を軽減できる。
マルチモーダル深層学習を応用した疾患画像判別モデルを開発したのは、東京大学医学部付属病院とグルーヴノーツ（福岡市）の研究チーム。肝臓の超音波画像と患者情報を統合することで、見つかった腫瘤（しゅりゅう）が良性か悪性かの判別が高精度にできるようになった。スクリーニングに用いる手軽な超音波検査で腫瘤の質的評価ができるようになれば、確定診断に必要だったコンピューター断層撮影（CT）などの精密検査が不要になる可能性がある。
研究成果は日本時間の2022年1月7日に国際学術誌「Journal of Gastroenterology and Hepatology」に掲載された。医用画像を学習させたAIで診断を支援する医療機器は、医用画像に強みを持つ医療機器メーカーを中心にすでに国内でも数多く登場している。今回の研究が従来の画像診断支援AIと比べて新しいのは、教師データの学習にマルチモーダル深層学習を利用している点だ。
一般的な深層学習では1種類のデータだけしか扱えないため、今回の例では肝臓の超音波画像のみを学習することになる。一方のマルチモーダル深層学習では、画像と数値といった異なる形式のデータを統合して同時に学習できる。今回の研究では、超音波画像に年齢や性別といった患者の背景情報や血液のデータなどを統合したものを学習させた。
マルチモーダルAIを提供したグルーヴノーツ代表取締役社長の最首英裕氏は「人間は普通、複数の情報を統合して物事を判断している。そういう意味でマルチモーダルAIは人の肌感覚に近い。さらにAIであれば、データ量が増えても『疲れる』ということがないので、画像ならビット単位で細かく解析でき、より精度を高められる」と特徴を説明する。
今回の研究の目的は、マルチモーダルAIによって肝腫瘤の良悪性の判別精度がどの程度向上するのかを検証することだ。通常の深層学習によって超音波画像のみを学習させた場合をモデル1として、モデル2では画像に患者背景情報（年齢、性別）を追加、モデル3ではモデル2にさらに肝臓の炎症情報を追加、と段階的に診療情報を統合していき、モデル1から5まで計5パターンを用意して、それぞれで判別精度を検討した。
その結果、診療情報を統合して学習させたモデルのほうが、判別精度が高まることが分かった。診断能力の指標となるAUROC値（0から1の値をとり、1に近いほど高精度であることを示す）で比較すると、画像のみを学習したモデル1では0.721だったのに対し、モデル2で0.803、モデル3で0.9547、モデル4で0.9822となり、最も多くの情報が含まれているモデル5では0.994に達した。
