米NVIDIA社は2020年5月、新しいGPU「A100」を発表した(図1)。「Ampere」と呼ぶ新しいアーキテクチャを採用し、ディープラーニングでの学習時や推論時の処理性能を高めた。同社の「Volta」世代の従来GPUに比べて20倍の性能を備えるとする。
A100は汎用の演算コア「CUDA Core」のほかに、ディープラーニングに向けた演算コア「Tensor Core」を搭載する。今回搭載したTensor Coreは同社にとって新しい第3世代品に相当するもの。ディープラーニング向けに大きく3つの特徴を備えた。
第1に、ディープラーニング用の浮動小数点演算フォーマットである「TF(Tensor Float)32」と「bfloat16」の2つに対応したこと。TF32は、FP32(単精度浮動小数点)並みのダイナミックレンジとFP16(半精度浮動小数点)並みの精度を備えるのが特徴である。