「オリジナルのGPTからGPT-3に至る改良速度には目を見張る。この速度が続けば、GPT-5かGPT-6は最も賢い人間と見分けが付かなくなるだろう」。
米テスラのイーロン・マスクCEO（最高経営責任者）は2020年8月、自らが創設したAI（人工知能）開発の非営利団体、米オープンAIが開発した文章作成AIである「GPT-3」について、Twitterでこう発言した。
オープンAIが2020年6月に公開したGPT-3は、文章の「言語らしさ」を予測する「言語モデル」と呼ばれるAI技術だ。言語モデルに大量の文章を学習させると、単語と単語、文章と文章の関係をベクトルによって表現したり、ある単語の次にどの単語が続くのか統計的に割り出したりできるようになる。AIは言語モデルを使って、単語や文章を理解したり、自然な文章を生成したりする。機械読解や質問応答、機械翻訳などに欠かせない技術だ。
GPT-3は言語モデルの中でも、文章生成に特化している。GPT-3に短い文章を入力すると、それに対応する新しい文章を生成する。例えばニュース記事のタイトルとサブタイトルを入力すると、それらにマッチする偽ニュース記事の本文が生成される。
GPT-3が驚異的だったのは、生成した文章が人間の書いたものと見分けが付かない水準だったことだ。オープンAIは718人の治験者を集め、GPT-3が生成した偽ニュースのレベルをテストしている。人間が書いた本物のニュース記事25本とGPT-3が生成した偽ニュース記事25本を治験者に読ませ、合計50本の記事のうちのどれが偽記事かを答えさせた。すると治験者が偽記事を見破った正答率は「52％」だった。
このテストは2本に1本が偽記事なので、ランダム（でたらめ）に回答した場合の正答率は50％となる。つまり52％という正答率は、このテストにおいて治験者が偽記事をほぼ見破れなかったことを意味する。
言語モデルは2018年に米グーグルが「BERT」を発表して以降、BERTを参考にした新しい手法が次々登場し、性能が目覚ましく向上している。その結果2018年にはAIが文章読解のベンチマークで人間の精度を上回り、日本でも2019年にAIがセンター試験の英語問題で200点満点中185点の成績を達成した。
GPT-3もBERTと同じく「Transformer」というニューラルネットワークを多段に重ねて実装した言語モデルだ。BERTによってAIが文章読解の能力で人間を超え、GPT-3によって文章を生成する能力でもAIが人間に迫ったわけだ。
