全1607文字

 チャットボットがいよいよ、会話の流れや一般常識を踏まえて発言できるようになった。米グーグルが2020年1月末に論文発表した「Meena(ミーナ)」だ。文章の内容を理解できるとして話題になった自然言語処理AI(人工知能)BERTでも使う「Transformer」という技術が進化の原動力となった。

 チャットボットは2016年ごろから企業での導入も始まっているが、これまではあらかじめ開発者が設定したパターンに当てはまる会話しかできないことが課題だった。パターンに無い質問が来ると、それっぽい応答をしてごまかすだけで、人間のような会話のキャッチボールをするのが難しかった。

 それに対してグーグルが2020年1月28日に公開した論文「Towards aHuman-like Open-Domain Chatbot」で明らかにしたチャットボットのMeenaは、ソーシャルメディアなどで交わされる会話データ341ギガバイト(GB)を、パラメーターの数が26億個も存在する巨大なニューラルネットワークに学習させることで、様々な分野の話題について人間のような会話ができるようになったのだという。

 MeenaはTransformerというニューラルネットワークを多段に重ねて実装している。このニューラルネットワークは会話の意味を数値化するエンコーダーと、その数値を基に次の発言を生成するデコーダーの2つのパートで構成する。実際の会話に際しては、それまでに交わした全ての会話の内容をニューラルネットワークに入力して次の発言を生成するので、流れに沿った会話ができるという仕組みだ。

LSTMからTransformerに移行

 従来の会話用ニューラルネットワークにおいてはLSTM(Long ShortTerm Memory)が使われていた。MeenaはLSTMをTransformerに置き換えた上で、ニューラルネットワークの規模や学習データのサイズを大きくすることで、大きな進歩を遂げた。

 LSTMやTransformerは文章中の単語と単語の関係性から、その単語や文章全体の意味を数値化する。LSTMが文章の中で近い距離にある単語同士の関係を把握するだけだったのに対して、Transformerは文章中の遠い距離にある単語同士の関係を把握する。

 Transformerはグーグルが機械翻訳で使うニューラルネットワークのために開発し、2017年に論文発表した技術だ。それを言語理解に応用したのが2018年に発表したBERT、チャットボットに応用したのがMeenaである。

 グーグルはさらにTransformerそのものを発展させようとしている。2020年1月16日に「Reformer」というTransformerの進化版を発表したのだ。ポイントはTransformerよりもさらに広い範囲に存在する単語同士の関係性を把握できるようにしたことだ。単語同士の関係性を把握できる範囲の広さを「コンテキストウインドー(Context Window)」という。グーグルによればLSTMのコンテキストウインドーは数十~100単語の範囲だったが、Transformerでは数千単語に広がった。それがReformerでは100万単語にまで拡大した。

 コンテキストウインドーの拡大でAIは文章をより深く理解したり、より長い会話を把握したりできるようになる。BERTで見たようにAIによる文章理解力はLSTMをTransformerに置き換えることで人間並みになった。MeenaでもLSTMをTransformerに置き換えることで、人間に迫るレベルの会話ができるようになった。

 TransformerをReformerに置き換えると、AIはさらにどれだけ進化することになるのだろうか。自然言語処理の進歩にワクワクする時代が、当面続くことになりそうだ。

中田 敦 (なかだ・あつし)
日経クロステック/日経コンピュータ副編集長。
中田 敦 (なかだ・あつし) 1998年日経BP入社。2015年4月から19年3月までシリコンバレー支局長。著書に「クラウド大全」(共著)や「GE 巨人の復活」がある。