全4325文字

 東京工業大学 科学技術創成研究院の劉載勲氏(准教授)と本村真人氏(教授)らは、隠れニューラルネットワーク(Hidden Neural Network、以下HNN)と呼ばれる新たなDNN(Deep Neural Network)技術をベースにした推論アクセラレーター(処理回路)を世界で初めて開発。それをICにした成果を半導体の国際学会「ISSCC(International Solid-State Circuits Conference) 2022」で発表した ニュースリリース 。この推論アクセラレーターを利用することで、既存の推論アクセラレーターと同等の処理精度を維持しつつ、消費電力増大の元凶である外部メモリー(一般にDRAM)のアクセスを大幅に削減できる。今回のICを使った場合の推論の電力効率は34.8TOPS/Wと高い。本村氏は、開発した技術が自動運転車や自律航行ドローンの低電力化、人工知能(AI)処理精度の向上につながると期待している。

今回の発表の概要
今回の発表の概要
(出所:東京工業大学)
[画像のクリックで拡大表示]

 HNNの源流は「Lottery Ticket Hypothesis(宝くじ仮説)」である。米MIT(Massachusetts Institute of Technology)の2氏が提唱した仮説で、この仮説の論文はAI関連の国際学会「ICLR(International Conference on Learning Representations) 2019」でベストペーパーに選ばれた 論文アクセスページ 。宝くじ仮説はざっくり言うと、詳細な(密な)学習済みDNNの一部(サブネットワーク)をうまく切り出せば、処理精度が同等な疎な(すなわち処理負荷の軽い)DNNが得られる、というもの。ただし、この論文では疎なDNNの切り出し方は示されなかった。本村氏によれば、この切り出し方の1つがHNNである。

Lottery Ticket Hypothesis(宝くじ仮説)と隠れニューラルネットワーク(Hidden Neural Network、HNN)の概要
Lottery Ticket Hypothesis(宝くじ仮説)と隠れニューラルネットワーク(Hidden Neural Network、HNN)の概要
(出所:東京工業大学)
[画像のクリックで拡大表示]

 HNNは、米Allen Institute for Artificial Intelligence(アレンAI研究所)と米University of Washington(ワシントン州立大学)が、2020年のコンピュータービジョン関連の国際学会「IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR) 2020」で論文発表した新しい技術である 論文アクセスページ 。このHNNは、DNNの学習フェーズにおいて、結合(シナプス)の重みは初期値(通常は乱数を割り当てる)のままにしておく一方で、シナプスの「スコア(そのシナプスの重要度、例えば、シナプスをデータが通る頻度)」を更新していく。そして、スコアの高いシナプスだけを残すためのフィルターとして「スーパーマスク(残すシナプスは1、残さないシナプスは0)」を作成する。

 スーパーマスクと重みが初期値のDNNとの論理和(AND)を取ると、宝くじ仮説が提唱した疎なDNNが得られる。疎なDNNを推論に使うことで、効率の良い処理が可能になる。なお、スコアはスーパーマスクを作成するために使うが、推論にはスコアは使わない。推論にはスーパーマスクを使う。

 東工大は今回、この疎なDNNを使った推論アクセラレーターを開発し、それを「Hiddenite:Hidden Neural Network Inference Tensor Engine(ヒデナイト、と読む)」と名付けた。Hiddeniteでは、外部メモリーとのアクセスをできる限り少なくすることで、推論の低消費電力化を図っているのが最大の特徴である。学会発表された既存の推論アクセラレーターと比べて、電力効率は2倍以上になるという。

 外部メモリーとのアクセスを削減する工夫は2つに大別できる。1つは、ニューロンの重みデータの外部メモリーからの読み込みに関するもので、この工夫を「On-chip Model Construction」と呼ぶ。もう1つは、推論対象データ(活性化データ。例えば、画像データ)の外部メモリーからの読み込みに関するもので、「Slice-based layer-fusion」と呼ぶ。

Hiddenite(Hidden Neural Network Inference Tensor Engine、ヒデナイト)の3つのポイント(提案)と、機能ブロック図
Hiddenite(Hidden Neural Network Inference Tensor Engine、ヒデナイト)の3つのポイント(提案)と、機能ブロック図
(出所:東京工業大学)
[画像のクリックで拡大表示]