全2518文字

 「1位を取るとは夢にも思っていなかった」――。Preferred Networks(PFN)の平木敬シニアリサーチャーは、喜びと驚きをこう表現した。

 2020年6月、PFNのスーパーコンピューター「MN-3」がスパコンの消費電力性能ランキング「Green500」で世界1位を獲得した。MN-3はPFNが独自開発した深層学習用プロセッサー「MN-Core」を使うスパコンで、同年5月に運用を始めた。MN-3は「(Green500で)良くて2位、悪くて3位」(平木シニアリサーチャー)という事前の想定を良い意味で裏切った。

「MN-3」の外観。ラック設計は基本的に「MN-2」の設計を踏襲する
「MN-3」の外観。ラック設計は基本的に「MN-2」の設計を踏襲する
出典:PFN
[画像のクリックで拡大表示]

 MN-3は海洋研究開発機構(JAMSTEC)横浜研究所のシミュレータ棟にあり、2020年5月に稼働したのは第1期構築分(「MN-3a」)だ。第1期構築分は計算ノード48台で構成されており、それぞれのノードは4個のMN-Core を搭載する。各ノードの計算能力は理論上半精度で約2ペタフロップス(フロップスは1秒間に処理できる浮動小数点演算回数)なので、MN-3第1期構築分の計算能力は半精度で約96ペタフロップスということになる。

 Green500向けのデータ測定には、MN-3のうち40ノード、MN-Core160個を使った。規則的な行列演算である連立1次方程式を解く計算速度(LINPACK性能)は倍精度演算で1.62ペタフロップス、消費電力性能は1ワット当たり21.11ギガフロップスだった。

MN-Coreの外観。PFNと神戸大学の牧野淳一郎教授の共同研究で開発した
MN-Coreの外観。PFNと神戸大学の牧野淳一郎教授の共同研究で開発した
出典:PFN
[画像のクリックで拡大表示]

 MN-3で特徴的なのは、米インテル(Intel)の不揮発性メモリー「Optane DC Persistent Memory」を採用した点だ。同メモリーを深層学習用のハードウエアとして採用するのは「珍しいのではないか」(PFNの土井裕介執行役員)。

 採用の背景には、MN-Coreへのデータ供給速度の問題があった。最大効率で計算できた場合を事前検討したところ、大量のデータを処理する深層学習ワークロードに対して、高速なSSDなどを組み合わせてもデータ供給速度が全く足りなかったという。メインメモリーにキャッシュをつくって学習データを供給しようにも、高価なメインメモリーで「そんな大容量のキャッシュはつくれない」(土井執行役員)。

 そこでPFNは各ノードにOptane DC Persistent Memoryを3テラバイトずつ搭載した。各ノードが同メモリーをそれぞれ占有し、画像データのキャッシュとして利用することで画像の展開や読み込みの時間を短縮した。導入については「苦労した点は実はそんなにはなくて、すんなり使えている」(土井執行役員)。

 ノード間のデータ転送に使うインターコネクトはPFNが独自に開発した「MN-Core DirectConnect」を採用した。仕様は非公開だ。MN-3は2019年7月から同じくシミュレータ棟で動いている「MN-2」と複数の100ギガビット・イーサネットリンクで接続されており、対外線やストレージ、管理ノードなどを共有できるという。