全4922文字
PR
本記事はロボットとAI技術の専門誌『日経Robotics』のデジタル版です
本記事はロボットとAI技術の専門誌『日経Robotics』のデジタル版です

 ニューラルネットワークの学習で重要な役割を担っているのが正規化層(Normalization Layer)である。正規化層はニューラルネットワークの表現力の維持、学習の安定化、汎化性能の向上に貢献し、現在の深層学習の成功の主因の1つとみなせる。

著者の岡野原大輔氏
著者の岡野原大輔氏
[画像のクリックで拡大表示]

 正規化層は入力分布を元に入力を正規化した結果を返すような層である。

 多くの正規化層は入力分布の統計値を推定し、それを元に出力分布が次元毎に平均0、分散1となるよう、またはそれを次元毎に線形変換した結果を返す。正規化層は総結合層や畳み込み層の直後(活性化関数の直前)、スキップ接続のブロック内の最初、最後などで使われる。今回はなぜ正規化が重要なのかを説明した後に、現在使われている正規化層、新しい正規化層について紹介していく。

なぜ正規化層が重要か

 正規化層は様々な役割を持っている。ここでは代表的な役割を3つ紹介する。