全2560文字
PR

 米Google(グーグル)などが開発するAI(人工知能)の巨大化が加速している。先行して巨大化したのは機械学習モデルの大きさ(パラメーター数)だが、モデルに学習させるデータの量も巨大化している。2022年7月15日(米国時間)にグーグルが論文発表した機械学習モデルは、40億枚もの画像を学習させたことが話題となっている。

 近年におけるAI巨大化競争の火付け役となったのは、米OpenAI(オープンAI)が2020年6月に発表した巨大言語モデルGPT-3の成功と、それに続いてオープンAIが2020年10月に発表した論文「Scaling Laws for Autoregressive Generative Modeling」で示した、AIにおけるスケーリング則(Scaling Law)の存在だとされる。

AIを進化させるのは「規模の力」

 オープンAIのGPT-3は、人間が書いたかのような文章を生成できることで話題になった。しかしAI研究者をより驚かせたのは、オープンAIがGPT-3のモデル構造(アーキテクチャー)を初代のGPTから変化させずに、モデルのパラメーター数と学習データ量を大きくするだけで性能を向上させたことだった。

 オープンAIはGPT-3などの経験に基づき、自己注意機構(SA、Self Attention)であるTransformerを多段に積み重ねるニューラルネットワーク構造を採用する機械学習モデルにおいては、学習に投入する計算リソースやモデルのサイズ、学習データ量が大きくなればなるほど性能が向上するというスケーリング則が働くとした。

 実はそれまでは、機械学習モデルのサイズを大きくしすぎると、学習効率や性能が落ちると考えられていた。オープンAIは過去の常識を覆し、規模の力こそがAIの進化にとって重要なのだと示した。これがAI巨大化競争を過熱させた。

 先行して巨大化したのはモデルサイズで、GPT-3では1750億パラメーターだった規模が、グーグルが2022年4月に発表したPathways Language Model(PaLM)では5400億パラメーターに達した。PaLMは自然言語処理のベンチマークであるNatural Language Generation(NLG)やNatural Language Understanding(NLU)でGPT-3を大きく上回るスコアを記録しただけでなく、PaLMに科学論文や数式などを追加で学ばせたMinervaは、これまでのAIが苦手としてきた数学問題や物理問題なども解けるようになった。

 グーグルが2022年7月15日に発表した論文「Plex: Towards Reliability Using Pretrained Large Model Extensions」では、モデルサイズだけでなく学習データ量に関してもスケーリング則が働いていることを実証した。機械学習モデルにはTransformerベースの言語モデルであるT5-Plexに加えて、Transformerベースの画像認識モデルであるViT(Vision Transformer)-Plexを使い、自然言語処理(NLP)のタスクだけでなく、画像系のタスクでもスケーリング則を検証した。

 Vision Transformerについて詳しい産業技術総合研究所人工知能研究センターの片岡裕雄主任研究員は、この論文については「学習データに使用する画像の量が40億枚にまで増えた」ことが特に驚きだったと指摘する。