全4609文字
PR

 第3次AI(人工知能)ブームをけん引してきたディープラーニング(深層学習)。その先駆者で“ディープラーニングの父”とも称されるのが40年以上も前にディープラーニングの原型といえる「ネオコグニトロン」を考案した福島邦彦氏である。ネオコグニトロンは学習機能を備えた多層の神経回路モデルであり、ディープラーニングの一種で広く利用されている「畳み込みニューラルネットワーク(CNN)」に大きな影響を与えた。

 今もネオコグニトロンの改良を続ける福島氏に、ネオコグニトロンの仕組みや考案したきっかけ、改良点などを聞いた。インタビューには東京大学の松原仁 次世代知能科学研究センター教授が同席。AI研究者の立場から、ネオコグニトロンの意義や日本で同種の研究が広まらなかった理由を解説してもらった。

 この前編では、福島氏による解説を主にお伝えする。

「ネオコグニトロン」を考案した福島邦彦氏(右)と東京大学の松原仁 次世代知能科学研究センター教授
「ネオコグニトロン」を考案した福島邦彦氏(右)と東京大学の松原仁 次世代知能科学研究センター教授
[画像のクリックで拡大表示]

2021年4月に福島さんが、世界的な学術賞である「バウワー賞」(主催:米フランクリン協会)をネオコグニトロンの功績により受賞されます。今日はネオコグニトロンについて詳しくお聞きしたいと思います。さっそくですが福島さん、ネオコグニトロンがどうやって生まれたかを教えてください。パターン認識研究に取り組み始めたNHK放送科学基礎研究所(現NHK放送技術研究所)時代のことですね。

福島氏: ネオコグニトロンは、深層型の畳み込みネットワークの一種だと考えてください。そのヒントになったのは、生理学的な研究です。生理学者のデイヴィッド・ヒューベルとトルステン・ウィーセルが猫や猿などの視覚野を対象に、その神経細胞1つずつの反応を調べました。それで、大脳の近くに3種類の細胞(単純型細胞,複雑型細胞,超複雑型細胞)があるという仮説を発表しました。1960年前後のことです。私はその論文にとても興味を持ちました。

 そのヒューベル-ウィーセルの仮説に基づいて、私は神経回路モデルを作りました。図形を入れると、その傾きを検知する単純型細胞、位置ずれが多少あっても反応し続ける複雑型細胞、その複雑型細胞の出力を重ね合わせて線が曲がっているような箇所に反応する超複雑型細胞からなるモデルです。例えば、ハート形の図形をスキャンして入力すると、線がまっすぐのところでは出力はないけれど、曲がっているところでは出力がある、というようなモデル(曲率抽出機構の神経回路モデル)を最初に作りました。

[画像のクリックで拡大表示]

 そのモデルは今で言う、ディープCNNの構造を持っていました。ただ、結合はすべて手作りで、学習能力はありませんでした。この曲率抽出機構の神経回路モデルで学習をさせたいということで、着目したのがパーセプトロンです。心理学者フランク・ローゼンブラットが開発した3層のパーセプトロンが当時日本で風靡していました。パターン認識する機械といえば、猫もしゃくしもパーセプトロンという時代だったのです。

 パーセプトロンは教師ありの学習能力を持っているのですが、3層しかなく、学習するのはそのうちの1層だけ。層を増やせば能力が増えるというのはみんなが予想していましたが、どういう方法で実現できるかが分からなかった。いわゆるバックプロパゲーション(誤差逆伝播法)が大々的に出てきたのは1980年代の終わりですかね、60年代当時はそういう方法が一般的ではなかったのです。

 その後、3層パーセプトロンだったら、これくらいの能力しかないんだということを、マービン・ミンスキーとシーモア・パパートが『パーセプトロン』という本で指摘しました。これがきっかけになってパーセプトロンのブームが廃れていきました。

 そのパーセプトロンにおいて、なんとかよりいっそう学習させる方法はないかを考えて、今でいう競合学習の一種を取り入れました。パーセプトロンは教師ありで、Aを見せればこれがAだ、Bを見せればこれはBだ、というように教えるわけですけれども、この競合学習はそうではなくて、いわば細胞が周りの細胞と比較しながら自らの反応を決めていくような、教師なしの学習です。

 この競合学習を取り入れて、多層構造を持った神経回路のモデルを作りました。これが「コグニトロン」です。パーセプトロンはパーセプション(perception=知覚)にトロンをくっつけた名前だったので、コグニション(cognition=認知)にトロンをくっつければいいな、ということで、この名前にしました。