人工知能（AI）の歴史を振り返ると、これまで何度もブームと停滞の時期を繰り返してきた。現在は第3次ブームとされている。もっとも、今ではAIの実用化が進み、すっかり社会に溶け込んでいる。ブームと呼ぶのはもはや違和感がある。
第1次ブームは1950年代後半から1960年代、要するにAIの黎明（れいめい）期だ。このころに生み出されたのは、人に近い会話が可能な「人工無脳」のような実用性に乏しいAIであり、社会にインパクトを与えるには至らなかった。
次にAIが大きく注目されたのが1980年代。第2次ブームの到来だ。専門家と同様の判断ができる「エキスパートシステム」がもてはやされ、AIに最適なハードウエアの開発を目的とした「第五世代コンピュータ」という国家プロジェクトが立ち上がった。
このころ私は大学生であり、やはりAIに強い関心を持っていた。当時は、「Prolog（プロローグ）」というプログラミング言語がAIを実現するのに適していると信じられていた。Prologでは、関係性を記述したロジックを積み重ねていくことで、様々な問題を解けるようになる。大学ではパソコンクラブに入っていたが、私たちの学年はほぼ全員がPrologに興味を持っており、先輩からは「Prolog一派」と呼ばれていた。
ただ個人的には、AIがいくら進歩しても人間と同等の能力を持つようにはならないだろうと考えていた。AIには「体験する」ということがないからだ。人間は目や耳といった感覚器官を通じて様々な体験ができるが、AIにはそれがない。
今から振り返ると、ロジック主体のAIには「学習」が欠けていることをそれなりに感じていたのかもしれない。しかし当時は、コンピューターに学習を行わせる「機械学習」という概念自体を知らなかった。このため、ロジック型AIの限界がそのままAIの限界だと思っていた。
その後、AIは冬の時代を迎える。機械学習もスパムフィルターやウイルス対策ソフトなどセキュリティー分野を中心に実用化が進んだが、ブレークとまではいかなかった。
この状況を一変させたのが、皆さんご存じの「ディープラーニング（深層学習）」だ。画像認識の精度をいきなり飛躍的に向上させ、社会に大きなインパクトを与えた。今では画像認識だけでなく、画像生成の研究も盛んに行われている。
もっとも、AIを応用できる分野は画像だけではない。人間が使う言語である「自然言語」の処理も大きな分野だ。ディープラーニングの当初の技術は自然言語処理でもそれなりの成果を残したが、人間並みの言語理解はなかなか難しかった。
この分野でブレークスルーになったのが、2017年に登場した「Transformer（トランスフォーマー）」である。特徴は、「アテンション」という機構を全面的に採用することで、文章の広い範囲で依存関係を把握できるようになったことだ。
Transformerを基に、米Googleの「BERT」や米OpenAIの「GPT」といった自然言語処理を得意とする優れたモデルが生まれた。これらの最後の「T」はいずれも「Transformer（s）」の略である。
