全2259文字
PR
無料セミナー
接触確認アプリ、本当に使う?~公益のための個人データ活用とは 6/8 18時

 文章読解の分野でもAI(人工知能)が人間の平均レベルを超え始めた。米グーグル(Google)の新AI技術「BERT」が壁を突き破り、検索や情報収集などの効率が飛躍的に高まる可能性が出てきた。BERTの驚異の仕組みを解説する。

(出所:Getty Images)
(出所:Getty Images)

 米グーグル(Google)が2018年10月に発表した新しいAI技術「BERT」やその改良版によって、AIが文章読解の分野でも高い性能を発揮するようになった。驚くべきその仕組みを解説しよう。

「穴埋め問題」で学習

 BERT以前の言語モデルは前にある単語から後ろに続く単語を予測したり、文章の中で近い距離にある単語同士の関係を把握したりするだけだった。それに対してBERTは文章中の遠い距離にある単語同士の関係を把握したり、文脈を基に文章の各所にあるべき単語を予測したりできるようになった。

言語モデルの主な応用例
言語モデルの主な応用例
言語モデルを基にAIは様々なタスクをこなす
[画像のクリックで拡大表示]

 遠い距離にある単語同士の関係も把握するので、言語モデルの規模は大きくなる。BERTに大きな影響を与えた言語モデルで2018年2月に米ワシントン大学が発表した「ELMo」は「LSTM」と呼ぶニューラルネットワークを2層重ねていた。それに対してBERTは「Transformer」と呼ぶニューラルネットワークを24層重ねる。

 BERTにおける学習は言語モデルそのものを学習する「事前学習」と、翻訳や読解、質問応答、換言、含意関係認識といったタスクごとに学習する「ファインチューニング」の2本立てだ。

 BERTの事前学習には、人間が正解データをタグ付けした「教師データ」は不要である。人間が書いた文章が大量にあればいい。BERTは文章の一部を機械的にマスクしたうえでその箇所の内容を予測する穴埋め問題や、ある文に続く文を予測する問題などを自分で作って解いて「言語らしさ」を学習する。AIが教師データを自ら用意する「自己教師あり学習」だ。グーグルはウィキペディアなどから集めた16Gバイト(33億単語)の文章データを使用してBERTを開発した。タスクごとのファインチューニングには教師データが必要だが、「ファインチューニングに使う教師データは少量で構わない」(自然言語処理の研究者である、NTTの西田京介NTTメディアインテリジェンス研究所特別研究員)

 BERTはニューラルネットワークの規模を大きくすると同時に、事前学習に使用するデータ量を増やす「力業」によって言語モデルの精度を高められると示した点で画期的だった。BERTの改良版もネットワークの規模やデータ量をさらに大きくして、BERTを上回る成果を出している。