全6367文字
PR
本記事はロボットとAI技術の専門誌『日経Robotics』のデジタル版です
本記事はロボットとAI技術の専門誌『日経Robotics』のデジタル版です

 ディープニューラルネットワーク(DNN)を組み込み機器などで使うために軽量化する代表的な技術にプルーニング(枝刈り)がある。DNNのユニット間をつなぐ結合のうち、精度に影響しないと判断したものを取り除くことで、処理に必要な演算量やメモリ容量を削減する方法である注1)

 これまで数々の手法が提案されてきたが、それらになかった特徴を備える新技術を米NTT Research社と米Stanford Universityが開発した。DNNを学習させる前の初期化の段階で、学習用のデータを一切使わずにプルーニングが可能である(図1)。「Iterative Synaptic Flow Pruning(SynFlow)」と呼ぶ手法で、2020年12月開催の「NeurIPS(Neural Information Processing Systems)2020」で発表した1)