全1596文字

 米グーグルなどが開発するAI(人工知能)の巨大化が加速している。先行して巨大化したのは機械学習モデルの大きさ(パラメーター数)だが、モデルに学習させるデータの量も巨大化している。2022年7月15日(米国時間)にグーグルが論文発表した機械学習モデルは、40億枚もの画像を学習させたことが話題となっている。

 近年におけるAI巨大化競争の火付け役となったのは、米オープンAIが2020年6月に発表した巨大言語モデルGPT-3の成功と、それに続いてオープンAIが2020年10月に発表した論文「Scaling Laws for Autoregressive Generative Modeling」で示した、AIにおけるスケーリング則(Scaling Law)の存在だとされる。

AIを進化させるのは「規模の力」

 オープンAIのGPT-3は、人間が書いたかのような文章を生成できることで話題になった。しかしAI研究者をより驚かせたのは、オープンAIがGPT-3のモデル構造(アーキテクチャー)を初代のGPTから変化させずに、モデルのパラメーター数と学習データ量を大きくするだけで性能を向上させたことだった。

 オープンAIはGPT-3などの経験に基づき、自己注意機構(SA、Self Attention)であるTransformerを多段に積み重ねるニューラルネットワーク構造を採用する機械学習モデルにおいては、学習に投入する計算リソースやモデルのサイズ、学習データ量が大きくなればなるほど性能が向上するスケーリング則が働くとした。

 先行して巨大化したのはモデルのパラメーター数だったが、グーグルが2020年7月15日に発表した論文「Plex:Towards Reliability Using Pretrained Large Model Extensions」では、モデルサイズだけでなく学習データ量にもスケーリング則が働いていることを実証した。機械学習モデルにはTransformerベースの言語モデルであるT5-Plexに加えて、同ベースの画像認識モデルであるViT(Vision Transformer)-Plexを使い、自然言語処理(NLP)だけでなく、画像系のタスクでもスケーリング則を検証した。

 Vision Transformerについて詳しい産業技術総合研究所人工知能研究センターの片岡裕雄主任研究員は、この論文について「学習データに使用する画像の量が40億枚にまで増えた」ことが特に驚きだったと指摘する。グーグルが2020年10月にVision Transformerを発表した際の学習データの画像の量は3億枚だった。

 学習データ量が3億枚から40億枚に増えることで、画像認識モデルの精度は数ポイント向上した。この事実も重要だが、それにもまして学習データ量を40億枚にまで増やす組織が現れたこと自体が重要、というのが産総研の片岡主任研究員の指摘だ。

 モデルサイズの巨大化はコストさえかければ誰でもまねできるが、学習データ量の巨大化はそうではない。数十億枚規模の学習用画像データセットを自前で用意できているのは、グーグル以外ではInstagramを運営する米メタぐらいである。「米国の有力大学ですら、グーグルやメタのような巨大テック企業に追い付くのは難しいとの認識になりつつある」。産総研の片岡主任研究員はそう語る。

 ディープラーニングが普及し始めた2010年代前半、ディープラーニングに必要となる計算コストが膨大であることから、AIの寡占化を心配する声をよく耳にした。しかしその後、GPUなどの性能が劇的に向上し、計算コストが安価になったため、ディープラーニングは誰でも使える存在になった。機械学習モデルや学習データ量の巨大化に伴い、AIの寡占化に対する懸念が再び浮上している。

中田 敦(なかだ・あつし)
日経クロステック/日経コンピュータ副編集長
中田 敦(なかだ・あつし) 1998年日経BP入社。2015年4月から19年3月までシリコンバレー支局長。著書に「クラウド大全」(共著)や「GE 巨人の復活」がある。