デンソーが100%出資する子会社、デンソーアイティーラボラトリ(デンソーITラボ)が、複数のDNNから成るアンサンブルシステムを高性能化する研究を進めている。
車載などの組み込み機器を主力とするデンソーグループの同社が、サーバー上で動作する大規模な機械学習モデルを手掛けるのはなぜか。その理由は、同社が構想する機械学習モデルの生産・管理の仕組み「モデルファクトリー」にある(図1)。この構想の中で、高性能の大規模モデルは、必要不可欠の要素とみなされている。
例えば車載向け小規模モデルの品質を改善する際に、モデルの誤認識の原因がモデル自体にあるのか、学習に使ったデータにあるのかを切り分けるために活用する。小規模モデルが誤認識するデータでも大規模モデルは正解できる場合は小規模モデルに問題があり、大規模モデルも間違える場合は学習用のデータを改良すべきと判断できるわけである。このほか、高性能な大規模モデルを教師、小規模なモデルを生徒とした蒸留によって、小規模モデルの性能を高めることも期待できる。
この構想に沿って、同社は大規模モデルと小規模モデルのそれぞれの性能を引き上げる技術を開発してきた。前者では、ベイジアンニューラルネットワーク(BNN)を利用した高性能なアンサンブル学習技術を提案。画像認識用DNNを対象に、既存のアンサンブル手法と同等以上の性能や頑健性を実現できる。