全6204文字
PR
本記事はロボットとAI技術の専門誌『日経Robotics』のデジタル版です
本記事はロボットとAI技術の専門誌『日経Robotics』のデジタル版です
［画像のクリックで別ページへ］

　誤差逆伝播法（BP）は現在の深層学習の学習則のデファクトスタンダードである。BPは任意の微分可能な計算要素をつなげて計算した後、誤差（目的関数の各途中状態についての勾配）を出力から入力に向けて逆向きに伝播させることからこの名前がついている。どれだけ複雑な計算グラフでも正確な勾配をパラメータ数に比例する計算量で求めることができる。一方、BPには工学的な問題があるのと、生物ではBPは実現不可能であり別の学習則を使っているのではないかとみられており、BPに代わるような学習則があるのではないかと考えられている。

著者の岡野原大輔氏
著者の岡野原大輔氏

　まずBPの工学的な問題点をまとめよう。BPは順計算と逆向き計算（誤差伝播）から成る。順計算の途中の計算結果は保存しておかなければならない。計算グラフが大きい場合、メモリ使用量が問題となる。機械学習におけるべき乗則やFoundation Modelであるように、今後もモデルを大きくすることで性能を劇的に改善できるとみられているが、必要なメモリ使用量が大きいことがモデルを大きくすることを難しくしている。