全3988文字
PR
本記事はロボットとAI技術の専門誌『日経Robotics』のデジタル版です
本記事はロボットとAI技術の専門誌『日経Robotics』のデジタル版です
［画像のクリックで別ページへ］

　機械学習のべき乗則の発見はAIの発展を大きく変えつつある。より多くの訓練データ、大きなモデル、より多くの計算リソースを投入することで、（新手法を生み出す必要がなく）予測可能な形でモデルの汎化性能を改善していくことができる。そして創発1）と呼ばれる、ある規模を超えた段階で急に解けなかった問題が解け始めるという現象もみられる。理論的な解明はまだ道半ばだが、こうした知見を基に、学習の大規模化が進められてきている。

著者の岡野原大輔氏
著者の岡野原大輔氏

　近年の基盤モデル（Foundation Model）であるGPT-3やそのアプリケーション（例: ChatGPT）、拡散モデルを用いたテキストからの画像生成（例: Stable Diffusion）などはいずれもこのべき乗則にのっとって、規模を大きくしていくことでこれまでに解けていなかった問題を解けるようにしている。一方、こうした大規模化を今後もずっと続けていくことはコスト面やエネルギー面で持続可能ではない。