Facebookの運営元、米Meta（メタ）が2022年5月に、米OpenAI（オープンAI）のGPT-3に匹敵する巨大言語モデル「Open Pretrained Transformer（OPT-175B）」を研究者向けに公開した。これまで悪用を恐れて公開していなかった、学習済みモデルやプログラム本体も公開したことがポイントだ。メタの狙いを解説しよう。
メタは2022年5月3日（米国時間）に「Democratizing access to large-scale language models with OPT-175B（OPT-175Bによって大規模言語モデルへのアクセスを民主化する）」と題するブログ記事を投稿し、OPT-175Bの学習済みモデルに加えて、OPT-175Bをトレーニングするためのプログラム一式などを研究者向けに公開したと発表した。
言語モデルとは、自然言語による質問応答や文章生成などができるAI（人工知能）である。オープンAIが2020年6月に発表したGPT-3は、人間が書いたものと見分けが付かない水準の文章を生成できることで大きな話題を呼んだ。
GPT-3は米Google（グーグル）が2018年に公開したBERTなどと同様に、自己注意機構（SA、Self Attention）であるTransformerを多段に積み重ねるニューラルネットワーク構造を採用する。GPT-3はニューラルネットワークのパラメーター数が1750億で、2020年6月の時点では抜きんでて大きかったことが強力さの源泉となった。
ただしGPT-3はあまりに強力であることから、「フェイクニュースなどの作成に悪用される恐れがある」などの批判があった。そのためオープンAIはGPT-3について、文書生成などができるAPI（アプリケーション・プログラミング・インターフェース）をクラウドサービスとして外部提供するに留め、学習済みモデルやソースコードそのものは外部に公開していなかった。
独自の機械翻訳エンジンなどが開発可能に
それに対してメタは今回、GPT-3と同じ1750億パラメーターであるOPT-175Bについて、学習済みのモデルと、トレーニング用のプログラムなどを公開した。外部の研究者はOPT-175Bの学習済みモデルを使うことによって、独自の質問応答エンジンや機械翻訳エンジンなどを開発できるようになる。
またメタが使ったものとは異なる学習データでOPT-175Bをトレーニングすれば、独自の知識を有する言語モデルが開発できる。メタはWebで公開された一般的な文章を使ってOPT-175Bをトレーニングした。科学論文など専門的な文書を学習データに加えれば、専門家のような知識を備えた質問応答エンジンなどが開発できる可能性がある。
メタはOPT-175Bについて、申請があった研究者に限定して非商用ライセンスで公開している。誰でもOPT-175Bをダウンロードできるわけではないし、OPT-175Bを使って商用のサービスなどを開発することもできない。前述のように言語モデルには悪用の恐れがあるためだ。
メタはOPT-175Bを公開した理由について、科学の発展に貢献するためだと説明している。
現在、様々な企業や研究機関がAIを開発しては、その性能をアピールしているが、AIを実現するプログラムそのものが公開されていないため、研究の「再現性」がないことが問題視されている。それに対してOPT-175Bは学習済みモデルを公開することで、外部の研究者がその性能を検証できる。
