全5520文字
PR
本記事はロボットとAI技術の専門誌『日経Robotics』のデジタル版です
本記事はロボットとAI技術の専門誌『日経Robotics』のデジタル版です

 近年、GPT-31)のように、これまでとは桁違いに大きなニューラルネットワークを大きなデータセットを使って長い時間かけて学習して作ったモデルが次々と登場している。このようなモデルは一度作れば非常に多くの様々なタスクに利用することができる。このようなモデルはFoundation Model2)とよばれており、最初は自然言語処理でスタートしたが、画像、音声、制御など他の分野にも進出しつつある。

著者の岡野原大輔氏
著者の岡野原大輔氏

 Foundation Modelは機械学習のべき乗則に沿う形で、モデル、データ、計算リソースをスケールしていくことで予測可能な形で連続的な性能改善を達成している。一方で、それまで全く解けなかった問題が、あるスケールから突然解け始める非連続的な性能改善もみられる。量が質を変えたといえる。なぜこのような非連続性が起きるかの本質的な解明はまだ途上である。

 さらに、これらFoundation Modelは再学習せずにプロンプトと呼ばれる「指示」を使って、無限ともいえる様々なタスクに即時適応できる。