全4894文字
PR

 以前は米ウォール・ストリート・ジャーナル、今は米ニューヨーク・タイムズの記者であるクレイグ・スミス(Craig S. Smith)氏は、最近の人工知能(AI)技術の進展についての独自メディア「米Eye On A.I.」のCEO(最高経営責任者)でもある。彼は、そのWebサイトでAI研究者に精力的にインタビューしている。ここではスミス氏の許可を得て、2020年末に同氏が、カナダ・トロント大学 名誉教授で米Google Researchの首席研究者でもあるジェフリー E. ヒントン(Geoffrey Everest Hinton)氏にインタビューした内容を4回に分けて紹介する。

ジェフリー・ヒントン氏(右)
[画像のクリックで拡大表示]
ジェフリー・ヒントン氏(右)
左は、インタビュアーのクレイグ・スミス氏(写真:スミス氏が今回のインタビューの2年前に撮影)

 ヒントン氏は、階層が深くなるとうまく学習を進められなくなり、一度は打ち捨てられかけた深層ニューラルネットワーク(DNN)を2006年に復活させたことで有名だが、実際にはその後もDNNの発展に大きく貢献してきた。ヒントン氏は一貫して教師なし学習を重視し、ニューラルネットを段階的に学習させる手法を提唱している。それがBERT(Bidirectional Encoder Representations from Transformers)やGPT-3(Generative Pre-trained Transformer 3)といった優れた言語モデルの開発につながった。最近になって、ヒントン氏はそれまでの視覚モデルの課題を解決する「カプセルネットワーク」を提唱。2020年にはSimCLR(Simple framework for Contrastive Learning of visual Representations、視覚的表現の対照学習のためのシンプルなフレームワーク)という新しいモデルも提唱した。今回のインタビューを読むことで、DNNやAIの研究史と、脳の学習機構についてヒントが見え始めた最近の進展、そして今後の方向性をある程度俯瞰できるようになる。(聞き手は、クレイグ・スミス氏)

スミス氏:こんにちは「Eye On A.I.」のクレイグ・スミスです。今週はジェフリー・ヒントン氏へのインタビューをお届けします。彼は今さら紹介するまでもありませんが、半世紀前に大工になりかけた後、機械学習の周辺を渡り歩き続けてきた人です。その意外な転身によって、彼は、自身の著名な先祖であるブール論理の父であるジョージ・ブール(George Boole)と、インドの英国測量総長で世界最高峰の名前にもなったジョージ・エベレスト(George Everest)卿に名を連ねる存在になりました。ヒントン氏はディープラーニングのパイオニアの1人であり、2018年のチューリング賞を同僚のヨシュア・ベンジオ(Yoshua Bengio)氏とヤン・ルカン(Yann LeCun)氏と共同受賞しました。その1年前(2017年)には、ヒントン氏は3次元(3D)オブジェクトの向きを考慮した畳み込みニューラルネットワーク(CNN)を代替する「カプセルネットワーク」を導入しました。カプセルネットワークは、見る角度を変えたときに、オブジェクトの各部分の位置が変わるというコンピュータービジョンの問題を解決したのです。それ以来、彼はメディアにほとんど出演してこなかったのですが、今回彼を迎えることができて光栄です。今日、我々の多くが電話会議システムを使うように、ポッドキャストでのインタビューとなります。リスナーの多くが、私と同様彼との話に夢中になることでしょう。

 まず、ヒントン氏に代わって、カプセルネットワークの最近の動向、具体的には2019年に何が起こったのかをおさらいします。ほぼ1年前、カプセルネットワークは、少なくとも一般人の間ではほとんど話題に上らなくなっていましたが、2019年12月に「33rd Conference on Neural Information Processing Systems(NeurIPS 2019)」で、集積(Stacked)カプセルオートエンコーダー(SCAE)を発表したことで再び注目を集めるようになりました。次に、2020年2月の「Association for the Advancement of Artificial Intelligence Conference(AAAI-20)」で、ヒントン氏は教師なし学習の重要技術としてカプセルネットワークについて講演しました。そして同年4月には、「活動の違いにおける神経勾配表現(Neural Gradient Representation by Activity:NGRAD)」を導入することで、脳内学習機能としてのバックプロパゲーション(誤差逆伝播法)のアイデアを復活させました。

ヒントン氏: カプセルを含む3つの異なるトピックを話したほうがいいと思います。まずはカプセル、次に「SimCLR」、そして、NGRADについて説明するのがよいでしょう。