NHK放送技術研究所（技研）は、入力した日本語の文章に応じ、キャラクターが手話CGを披露する「手話CG生成システム」を「技研公開2022」（2022年5月26～29日）で一般公開した。
手話CG出力の流れ
（出所：NHK放送技術研究所）
[画像のクリックで拡大表示]
同システムは、日本語を手話に変換する「翻訳AI」と、手話の動作をモーションキャプチャーで取得・蓄積した「モーションデータベース」から成り立っている。文章を入力すると、翻訳AIが手話単語に置き換え、手話単語に応じた動作をデータベースから取り出してCGとして出力する。翻訳AIの学習データとしては「NHK手話ニュース」で蓄積した日本語と手話の対訳データを利用した。
既存システムは多くの文章の手話動作をモーションキャプチャーで取得し、その動作を入れ替え、手話CGを生み出していた。そのため、あらかじめ文章・表現パターンが定まっており、大幅な変更が難しかったという。
「口元の表現」にもこだわった。手話は手元だけでなく、口元の動きと合わせてコミュニケーションを取る。例えば「福島県」という言葉は、「幸せ」「島」「省」という3つの手話単語の連なりで表現する。しかし口元が「しあわせ」「しま」「しょう」のままだと意味が伝わりにくいため、言葉を登録しておくことで、口元の表現も「ふくしまけん」に置き換わるようにしている。
