Samsung、メモリー内演算PIMの実力をHBM2、LPDDR5、DIMMで評価

　韓国Samsung Electronics（サムスン電子）は、プロセッサーIC関連の国際学会「Hot Chips 33（米国時間の2021年8月22日～24日にオンライン開催）」 ホームページ に登壇し、PIM（Processing In Memory：メモリー内演算）の効果に関して発表した。DRAMダイを縦積みするHBM2（High Bandwidth Memory 2）、LPDDR5（Low-Power Double Data Rate 5）型DRAMメモリーIC、複数のパッケージ封止DRAMメモリーICを搭載するDIMM（Dual Inline Memory Module）の3種のメモリーでのPIMの効果を評価した（図1）。

図1●HBM２メモリーの一部のダイにPIM（Processing In Memory）回路を埋め込んだ「HBM-PIM」

外観はHBM2メモリーと変わらないようだ。（出所：Samsung Electronics）

[画像のクリックで拡大表示]

　同社は、21年2月にオンライン開催の半導体の国際学会「ISSCC：International Solid-State Circuits Conference」において、同社のHBM2メモリー「Aquabolt」^*にPIM実行ユニットを組み込んだ「HBM-PIM」（講演番号 25.4）を発表した ニュースリリース 。HBM-PIMでは縦積みした8層のDRAMダイのうち4つを、PIM実行ユニット集積の「PIM-DRAM」ダイに置き換えた（図2）。

　PIM-DRAMではDRAMバンク間にPIMの演算ユニットを挟み込むことで、演算をHBMメモリー内で完結させる。データ移動のレイテンシーと消費電力を最小限に抑えることで、高性能・省電力・低レイテンシーの演算の実現を狙う。HBM-PIMは同社のHBM2メモリーと同様に同社の20nmプロセスで製造されている。

図2●「HBM-PIM」の構成

左端の図で薄い緑色の部分がPIM回路。その上下にDRAMセルが配される。PIMはこの上下のバンクのDRAMセルとの間で演算を行う。図中の「Aquabolt」はSamsungのHBM2メモリーのブランド名、「Aquabolt-XL」はHBM-PIMのブランド名である。（出所：Samsung Electronics）

[画像のクリックで拡大表示]

　今回のHot Chips 33での講演に合わせて、同社はHBM-PINに「Aquabolt-XL」という製品ブランド名を付けた ニュースリリース 。「Aquabolt-XL: Samsung HBM2-PIM with in-memory processing for ML accelerators and beyond」というタイトルの講演の中で同社は、米Xilinx（ザイリンクス）のデータセンター向けFPGAボード「Alveo U280」を使って、HBM-PIM／Aquabolt-XLを評価した（図3）。

　Alveo U280には、8GバイトのHBM2メモリーが搭載されている。評価では、Alveo U280に標準搭載のHBM2メモリーを使った場合と、それをHBM-PIM／Aquabolt-XLに置き換えた場合を比較した。

図3●米Xilinx（ザイリンクス）のFPGAボード「Alveo U280」で評価

Alveo U280にはHBM2メモリーが搭載されている。評価ではHBM2メモリーの代わりにHBM-PIMを使ったようだ。（出所：Samsung Electronics）

[画像のクリックで拡大表示]

　Samsungによると、HBM-PIM／Aquabolt-XLを使った場合、標準搭載のHBM2を使う場合に比べて、ベクトル行列積算（GEMV：1280要素のベクトル×1280×640要素の行列＝640要素のベクトル）が2.82倍、ベクトルの加算（64Ｋ要素のベクトル＋64Ｋ要素のベクトル＝64Ｋ要素のベクトル）が2.85倍、入力層・隠れ層共に1024のLSTM（Long Short Term Memory）処理が2.54倍の性能向上を確認した。また、RNN-T（Recurrent Neural Network－Transducer）の処理では性能が2.49倍になる一方で、消費電力は62％に削減したとのことだった。