PR

 手話は聴覚障害者にとってはなくてはならないコミュニケーションの手段だ。一方、健常者で手話を理解できる人はなかなかいない。

 このコミュニケーションの溝を人工知能(AI)を使って埋めようという試みが登場した。札幌市には「SAPPORO AI LAB」というAIの推進組織がある。この組織の産学官連携プロジェクトが、手話のリアルタイム自動翻訳システムを開発した。手がけたのは北海道大学大学院情報科学研究科の山本雅人教授の研究室と日本ユニシス。札幌聴覚障害者協会と札幌手話通訳問題研究会が手話に関して支援した。

手話を文章に翻訳する部分の開発を担当した北海道大学大学院情報科学研究科の山本雅人教授
手話を文章に翻訳する部分の開発を担当した北海道大学大学院情報科学研究科の山本雅人教授
[画像のクリックで拡大表示]

 このシステムは、聴覚障害者が薬局を訪れた際に利用することを想定したもの。薬局の店員の言葉を音声認識し、その内容の手話の動画を聴覚障害者に見せる。この機能は日本ユニシスが開発した。

 一方、聴覚障害者の手話は、カメラで取得した映像を、AIを使って日本語の文章に変換し、店員に伝える。この部分を山本教授の研究室で開発した。「動画の内容を認識しなければならないので、かなり難度が高かった」(山本教授)という。

カメラの前で手話をすると、内容を認識して文章に変換される
カメラの前で手話をすると、内容を認識して文章に変換される
[画像のクリックで拡大表示]

 「こんにちは」といった単純な文章だけでなく、「昨日から頭痛がします。薬を探しています」といった複数の単語から成る文章も翻訳できる。深層学習を行うプログラムに手話の動画を入力して学習させ、手話の動画を認識できるようにした。手話の認識には、深層学習の3つの手法を組み合わせて利用している。