Transformerが全タスクの標準ネットワークアーキテクチャになるか

本記事はロボットとAI技術の専門誌『日経Robotics』のデジタル版です

［画像のクリックで別ページへ］

　深層学習（ディープラーニング）はタスク毎に異なるネットワークアーキテクチャを使ってきた。

　画像認識であればCNN（畳み込みニューラルネットワーク）、自然言語処理であればRNN（回帰結合型ニューラルネットワーク）、表データや座標など入力が構造を持たないようなタスクに対してはMLP（多層パーセプトロン）、化合物などグラフ構造を持つ場合はグラフNN（ニューラルネットワーク）といったようにだ。

著者の岡野原大輔氏

[画像のクリックで拡大表示]

　こうしたネットワーク構造は問題が持つ特徴（局所性、制約、入力変換に対する同変性、不変性）を捉えており、問題に対する事前知識をモデルに埋め込む帰納バイアスとして有効である。帰納バイアスは少ない学習データで汎化するのに重要な役割を果たしている。