全4081文字
本記事はロボットとAI技術の専門誌『日経Robotics』のデジタル版です
本記事はロボットとAI技術の専門誌『日経Robotics』のデジタル版です

 深層学習を使ってデータを生成する深層生成モデルとして、変分自己符号化器(VAE)、敵対的生成モデル(GAN)、自己回帰モデル、正規化フローなどが知られている。これらのモデルは従来のモデルには難しかった高次元(数万〜数百万次元)の自然画像や音声データ生成に成功しており、生成されたサンプルは本物と見分けがつかないほどに高忠実な生成が可能となっている。

著者の岡野原大輔氏
著者の岡野原大輔氏

 これに対し、別の生成モデルとしてエネルギーベースモデル(Energy-Based Model、以下EBM)が近年注目されている。深層学習研究の中心人物の一人であり2018年にチューリング賞を受賞したYann LeCun教授もICLR 2020の招待講演1)の中で次の重要なモデルはEBMであると話している。

 EBMは他の生成モデルにない優れた特性を持つ。確率モデルを扱う際に不可欠な分割関数(全てのデータを列挙し積分をとる操作)をサンプリング時に扱う必要がなく、複数の候補解を列挙でき、また、複数のモデルを組み合わせることもできる。しかし、EBMの学習は難しく、生成モデルの実用的な性能は他の生成モデルに劣っていた。