ディープニューラルネットワーク(DNN)の規模を性能を保ったまま縮小し、ロボットなどの組み込み機器で使いやすくする新たな技術がまた1つ登場した。
2020年4月に開催した機械学習関連の国際会議「International Conference on Learning Representations(ICLR)2020」でソニーが発表した「differentiable quantization(DQ)」と呼ぶ手法だ1)。DNNの重みや各層の入力(アクティベーション)をより少ないビット数で表現する量子化技術の1種である(図1)。
大きな特徴は、それぞれの層ごとに異なるビット数で量子化すること。