コミュニケーションロボットが再び注目を集める─。そんな時がやって来るかもしれない。
言語で人と対話するタイプのコミュニケーションロボットは5～6年前、ロボットブームの到来と共に様々なものが一時発売されたが、当時の対話エンジンの技術的貧弱さもあり、対話内容は限定的。次第に下火となっていった。さらに、単純な音声コマンド的なユースケースはAIスピーカーに取って代わられ、コミュニケーションロボットは現在、あまり存在感を発揮できていない状況にある。
しかし、そうした中でも、自然言語処理のAI技術はここ1～2年の間に激変した。コミュニケーションロボットの核となる対話エンジンの基盤技術が、「革命的」と言ってよいほど圧倒的に向上したのだ。「Transformer」というタイプのモデルが登場し、自然言語処理の世界が一変したことは、本誌2021年4月号で解説した通りだ。
そして、対話エンジンの基となるディープラーニングベースの「言語モデル」では、モデルの規模が大きければ大きいほど質も同時に高まる、いわゆる「スケーリング則」が成り立つことが経験的に知られている1）。
このため、2020年5月に米OpenAIが発表した「GPT-3」を皮切りに世界中で言語モデルの大規模化競争が勃発。GPT-3のモデル規模は1750億パラメータだったが、2020年6月には米グーグルが6000億パラメータの「GShard」を発表。2021年1月には1兆5710億パラメータの「Switch Transformer」を発表した。
大規模化競争が激化
さらに、2021年6月には、中国の北京智源人工智能研究院が1兆7500億パラメータの「Wu Dao」を発表。わずか1年ほどの間に、言語モデルの規模は10倍に巨大化した。半導体における「ムーアの法則」以上のスピードで、モデルの大規模化が進行しているのである。大規模な言語モデルを生成するには1回の学習だけで数億円以上の投資が必要といわれており、自然言語処理向けのAI技術は、もはや世界の巨大組織同士の投資競争の様相を呈している（図1）。
こうした巨大化競争は、これまで英語系や中国語系の言語モデルがメインだった。日本企業はGPT-3をユーザーとしてAPI利用する程度で、競争自体は蚊帳の外のような状況だった。
しかし、2021年11月、ついに日本語においても巨大な言語モデルが誕生した。IT企業のLINEが、元・親会社の韓国NAVER社と共同で390億パラメータの言語モデル「HyperCLOVA」を日本語ベースで開発したのだ。
