全1408文字
PR

 米NVIDIA(エヌビディア)は2021年4月12日(米国時間)、同社初のデータセンター向けMPU(CPU)「Grace」を、同日からオンライン開催する「GTC 2021」に合わせて発表した。英Arm(アーム)のCPUコアを採用。詳細を明かさないが、サーバー向けCPUコア「Neoverse」の次世代品だという。

 Graceは「Xeon」や「POWER」などの既存のサーバー向けMPUと競合せずに共存するという。GraceをNVIDIAが手掛けた理由は、AI(人工知能)処理で生じるボトルネックを解消するためだとする。消費電力が小さいメモリーを組み合わせることで、機械学習のトレーニング(学習)を高いエネルギー効率で実施できる点を訴える。中でも、自然言語処理(NPL)やレコメンドシステムなどに適するとしている。例えば、1兆個のパラメーターを持つNLPモデルを、Graceを搭載したサーバーで学習させた場合、x86系MPUを採用したNVIDIAのサーバー「DGX」の最先端品に比べて10倍高速だとしている。

NVIDIAのサーバー向けMPU「Grace」
NVIDIAのサーバー向けMPU「Grace」
(出所:NVIDIA)
[画像のクリックで拡大表示]

 同社によれば、機械学習モデルの規模は拡大傾向にあり、特にNLPモデルではパラメーター数は2.5カ月ごとに2倍と指数関数的に増加しているという。例えばNLPモデルの1つである「GPT-3」の場合、既にパラメーター数は1000億を超えているとする。このペースで増加すれば、23年ごろまでに機械学習のパラメーター数は100兆に達するとみている。このような巨大なモデルを現在のコンピューターアーキテクチャーで学習させるとCPUやGPU、システムメモリーなどを接続するインターコネクトの速度がボトルネックになると指摘した。

 そこでGraceでは、NVIDIAのインターコネクト技術「NVLink」の次世代版(第4世代)を採用し、高速化を図った。例えば、CPUとGPUは900Gバイト/秒超で双方向にデータをやり取りできる。CPU同士の接続では、帯域幅は600Gバイト/秒超に達する。加えて、Graceではモバイル向けで採用されているLPDDR5Xインターフェースに対応したメモリーを採用。DDR4型メモリーに比べて帯域幅は2倍で、電力効率は10倍に達するという。GraceのLPDDR5X型メモリーにはECCや冗長性を高める機能などを搭載し、サーバー向けメモリー並みの信頼性を確保したとする。帯域幅はECC付きで500Gバイト/秒超になる。