全7891文字
1000億以上もの膨大なパラメータを持つ、ディープニューラルネットの巨大モデル。それが俄然、面白くなってきた。
巨大モデルは「GPT-3」などが代表的で、以前はもっぱら自然言語処理の領域で「言語モデル（language model）」として研究されてきた。しかし、ここにきてその潮流を大きく変える動きが出てきた。それが、英DeepMind社が2022年5月に発表した新たなモデル「Gato」である。
巨大モデルは最近では「foundation model（基盤モデル）」とも呼ばれるようになっており1）、規模の拡大競争が世界的に勃発。今やパラメータ数が1兆個を超えるものまで登場し始めている。
そうした中、今回DeepMind社が発表したGatoは、モデルの規模自体は12億パラメータほど。一般的なディープニューラルネット（DNN）と比べると十分、大規模だが、拡大が続く昨今の巨大モデルの中では比較的、小粒な方だ。にもかかわらず、なぜGatoが大きな意義を持つのか。
