全3102文字
PR

 この夏、世界中で話題になったAI(人工知能)がある。米国のOpenAI(オープンAI)財団が発表した「GPT-3」だ。あたかも人間が書いたような自然な文章を作っただけでなく、短い文章からプログラムのソースコードやWebページのレイアウトを生成し、AI研究者の度肝を抜いた。しかしGPT-3には「巨大な」弱点も存在する。

 OpenAI財団が2020年6月に発表したGPT-3は、文章の「言語らしさ」を予測する「言語モデル」というAI技術だ。言語モデルはAIが単語や文章を理解したり自然な文章を生成したりするうえで不可欠な要素であり、機械読解や質問応答、機械翻訳など様々なアプリケーションに応用できる。AIは言語らしさを基準に、単語と単語、文章と文章の関係をベクトルによって表現したり、ある単語の次にどの単語が続くべきかを予測したりするためだ。

 言語モデルは2018年に米Google(グーグル)がBERTを発表して以降、BERTを参考にした新しい手法が次々登場し、性能が目覚ましく向上している。その結果、AIが文章読解のベンチマークで人間の精度を上回るようになったほか、日本でもAIがセンター試験の英語問題で200点満点中185点の成績を達成するようになった。

 GPT-3もBERTと同じくTransformerというニューラルネットワークを多段に重ねて実装した言語モデルである。従来との大きな違いは、そのニューラルネットワークが超巨大であるということだ。モデルのパラメーター数は1750億個で、前バージョンのGPT-2のパラメーター数である15億個と比べて100倍以上の規模となった。そしてモデルが巨大化することで、目覚ましい成果を見せるようになったのだ。

AIが書いた偽ブログが「注目度1位」に

 例えば米国では、大学生がGPT-3を使って生成した偽ブログ記事が、ソーシャル・ニュース・サイトのHacker Newsで注目度1位になるという事態が発生した。GPT-3が生成したのは文章だけではない。起業家のMatt Shumer氏はGPT-3を使って、AIの仕様に関する簡単な文章を記述すると、そのようなAIを作り出すプログラムのコードを生成するアプリケーションを開発した。

 Shumer氏が公開したデモによれば、このアプリケーションに「画像を5グループに分類するモデルを構築。データセットは2万5000個の画像で、インプットは500×500(ドット)(Build a model to classify images into 5 groups. The dataset has 25000 images, with an anput shape of 500x500.)」という文章を入力すると、そのような機械学習モデルを生み出すコードが、深層学習フレームワークの「Keras」を使って生成された。

 Sharif Shameem氏がGPT-3を使って作ったWebページのレイアウトを生成するアプリケーションも話題になった。「スイカのような見た目のボタン」と入力すると、そのような見た目のレイアウトを実現するコードが生成される。ほかにも簡単な文章から楽譜を生成するアプリケーションや、簡単な文章からSQLクエリーを生成するアプリケーションなどがGPT-3を用いて作られている。

 OpenAI財団は概要を論文として公開しただけでなく、GPT-3の機能が利用できるAPI(アプリケーション・プログラミング・インターフェース)を研究者などに向けて限定公開した。上記で紹介したアプリケーションは、このAPIを使って開発されたものである。

一般企業には手の届かないGPT-3

 その性能を世に知らしめたGPT-3だが、現時点では一般企業が活用できるようにはなっていない。公開されているのは論文とAPIだけで、GPT-3本体のソースコードや訓練済みの言語モデルは公開されていないからだ。OpenAIは前バージョンのGPT-2を開発した際にも、フェイクニュースの生成に使われる恐れがあるとして、ソースコードの公開などを遅らせていた。GPT-3についても悪用を懸念しているもようだ。