日本マイクロソフトや長崎大学などは2021年3月3日、複合現実(Mixed Reality)の技術を活用し、リウマチ患者を対象とした遠隔医療システムを日本で初めて開発したと発表した。長崎大学病院と長崎県五島中央病院が、開発したシステムの実証実験を実施する。離島の患者に対しても専門医が遠隔から正確に診療できる体制を構築し、診療の質向上を目指す。

複合現実の技術で遠隔の患者の手を投影
複合現実の技術で遠隔の患者の手を投影
(出所:日本マイクロソフト)
[画像のクリックで拡大表示]

 離島にある長崎県五島中央病院に来院した患者と、遠隔地にいる長崎大学の専門医を「ニューラス(NURAS:Nagasaki University Rheumatoid Arthritis remote medical System)」と呼ぶ複合現実を活用したシステムでつなぐ。マイクロソフト製の3次元で動画を撮影するカメラ「Azure Kinect DK」と、複合現実向けのヘッドマウントディスプレー「Microsoft HoloLens 2」を利用し、手足の関節が腫れてしまうリウマチ患者の診療に利用する。今回の実証実験では特に腫れの症状が出やすい手の関節の評価が対象となる。

 「これまでのオンライン診療は2次元の映像だったため、関節の動きを正確に評価するのが困難だった。今回のシステムを利用すると、まるで患者が目の前にいるように関節を確認できるため、正確に評価しやすい」と、長崎大学医歯薬学総合研究科長の川上純氏が同日開催した記者会見で説明した。

患者の表情をAIで解析し不安や満足度などを評価
患者の表情をAIで解析し不安や満足度などを評価
(出所:日本マイクロソフト)
[画像のクリックで拡大表示]

 今回の実証実験では、マイクロソフトの人工知能(AI)の技術も診療に応用する。「(マイクロソフトの)複合現実やAIなどの技術を組み合わせて遠隔医療を実施するのは世界で初めてではないか」と日本マイクロソフトの執行役員 最高技術責任者の榊原彰氏は話す。

 具体的には、診療中に得た関節の画像をAIで解析し関節の腫れ具合を前回の診療時と比較できる仕組みを取り入れる。診療時の映像から患者の表情をAIで解析し不安や満足度などを評価する機能や、患者との会話を音声入力で電子カルテに記録する機能も導入予定だという。

 長崎大学などは今後、複合現実のシステムを他の疾患の診療などにも応用していく考えだ。マイクロソフトの複合現実の技術は、パーキンソン病の診療に使う遠隔医療システムにも応用された例がある。順天堂大学がマイクロソフトの「Kinect v2」と「HoloLens」を利用したシステムを開発し、遠隔の患者の姿勢や手のひらの開閉具合、歩行などの運動症状を確認した。