『日経Robotics デジタル版（電子版）』のサービス開始を記念して、特別に誰でも閲覧できるようにしています。
2019年12月8～14日にカナダ・バンクーバーで開催された国際学会NeurIPS（2017年まではNIPS）はAIのトップ会議の1つである。筆者はNeurIPSには2017年から3年連続で参加しており、NeurIPS2019にも参加してきた（この記事は参加最終日に書かれている）。
今回はNeurIPSとはどのような学会なのか、学会では実際何が行われているのか、参加することにどのようなメリットがあるのか、どのような研究が評価され、どのようなトレンドがみられるのかについて紹介していく。
急拡大するNeurIPS
まず、NeurIPSについて説明する。機械学習のトップ国際会議としてはNeurIPSに加えて、それと双璧をなすICML、深層学習専門の新しいICLRなどがある。全科学分野のジャーナルのインパクト（h5-index）によるランキングでNeurIPSは27位であり、10位の画像認識のCVPRに続いて影響力が大きくなっている（ちなみに1位はNatureである）。
NeurIPSは機械学習、深層学習、強化学習関連の発表がほとんどであるものの、元々神経科学と人工知能をカバーするようにスタートしているため、神経科学関連の研究も発表されている。研究としての理論、手法、実験の全てに高い完成度を求めるICML、深層学習に特化した新規性を求めるICLRに対し、全分野をカバーしつつ新しい深層学習、強化学習に最近重きをおいているNeurIPSはAI関連の学会の中で最も勢いのある学会といえよう。
2019年は6743件の投稿があり、そのうち1428件の論文が査読により採択された。5年前の2014年には1678件が投稿され414件が採択されていたので、この5年で約4倍の規模になっていることになる。AIの研究コミュニティが世界中で急拡大しているためであり、他の学会も同様の速度で急成長している。4500人のボランティアの査読者間の割当、意見を調整するだけで非常に複雑となっている。学会への参加は応募多数のため抽選となっており（抽選が導入される前は数分で売れ切れてしまっていた）、今回は1万3000人が参加登録した。
NeurIPSは伝統的にポスター発表が主体である。口頭発表できるのは選ばれた一部の研究だけであり、15分の口頭発表ができるoral（36本）、5分の発表ができるspotlight（164本）以外は全てポスター発表のみである。昔は夜になるとお酒が提供され、お酒を飲みながらポスターの周りで深夜まで議論をしている光景がみられたが、現在は時間を守るようになっている。複数回あるポスターセッションでは、毎回200近いポスターが発表され、それを1万人近くの人が見ることになる。会場は人で溢れかえり、人気のあるポスターには近づくことさえ容易ではない。
なぜ学会に参加するか
現在は論文はarXivなどですぐに公開され、またNeurIPSの論文1）や講演2）も全てオンラインで無料で見ることができる。実際、筆者もNeurIPSの多くの注目された研究は半年ぐらい前（NeurIPSの締め切り直後である6月ごろにarXivに多く投稿される）に読んでいる。このような状況の中でNeurIPSに参加するメリットはどのようなところがあるだろうか。
1つ目は、ポスター発表などで著者に内容を詳しく手取り足取り教えてもらい、自分がもっている疑問をその場で聞けるという点である。その分野に最も詳しい人に要点を詳しく説明してもらえるのは非常に効率的であり、論文に書かれていないような洞察や考え方を聞くことができる。論文には著者が知っていることの10％ぐらいしか書かれていないというのも間違いではないだろう。また他の参加者から出てくる鋭い質問とその回答も非常に参考になる。著名な研究者もそこら中にいるため、彼らが発表者と一緒に議論しているところを聞くだけで勉強になる。また、自分が今まで全く興味を持っていなかった分野もポスターでは見ることができる。それぞれのポスター発表を詳しく聞かないにしてもざっと見て回ることで現在研究にどのようなトレンドがあるのか、見落としていた重要な研究があるのかを知ることができる。採択された論文リストを見るのと、ポスター発表会場を見て回るのは、電子書籍サイトと実際の書店の店頭で本をざっと見る場合の情報量の違いといえば分かるだろうか。また、採択された論文リストやその要約を眺めてもなかなか読む気がしないが、ポスター発表で著者達が自分の研究を一生懸命売り込んでいるのを見ていると興味が湧いてくるものである。
2つ目は、こうした学会が多くの出会いの機会を与えているということである。昔から学会はこちらの方が役割が大きいかもしれない。多くの参加者はセッションに出ずに会場周辺で他の研究者と議論を行っており、この場で多くの共同研究が始まっている。また世界中の優秀な学生や研究者が一同に介する機会なので、周辺のカフェでは会議や面接を行ったりしている光景が多く見られる。筆者が知っている海外の先生は会議に全く出ず（参加登録すらしていない）、近くのホテルを借り、そこで多くの人と分単位のスケジュールでミーティングを行っていた。自分のオフィスに世界中から飛行機で来てもらうよりも、ずっと効率的にミーティングができると話していた。就職活動向けのイベントも多く開催され、毎晩、多くの企業が学生向けに会社説明を兼ねた立食パーティやイベントを開催している。当社も毎晩インターンやフルタイムの候補になりそうな学生や研究者と食事をしたり、パーティを開いたりした。学生からみれば毎晩、今日はどこの企業の説明会で食事をしようかということになる。
さらにここ最近はWhovaという学会向けのアプリを通じて多くの臨時のミートアップが行われるようになった。Whovaでは学会のスケジュールや情報に加えて、参加者がお互いに情報交換し、議論するコミュニティを作ったり、臨時のミートアップを行う機能がある。出身地、分野、趣味が同じ人が集まり情報交換を行うミートアップが多く行われていた。例えば、医療画像解析、汎化理論解析、ボルダリングが趣味の人などが集まるといった具合だ。私もスタートアップ向けのミートアップに何回か参加し、世界中の様々なスタートアップの経営者や研究者、エンジニアが何をしているか、どういう状況なのかの情報交換を行った。貴重な機会を得た。
学会ではスポンサー企業を中心とした企業ブース展示も併催される。しかし、ここ数年は学会の企業色が大きくなりすぎるのを懸念し、規模は抑えられ、現在は適切な規模の企業展示が行われている。AIを使ったアプリケーション、サービスを開発している会社、AIのためのツールやハードウエアを開発している会社、これからAIを使おうとしている企業などが展示をしており、各企業の研究者やエンジニアが定期的に講演を行うなどしていた。
今回のNeurIPSの研究トレンド
最後にどのような研究のトレンドが見られたのかについて述べる。まず印象的だったのはカナダUniversity of MontrealのYoshua Bengio氏による招待講演である。
Bengio氏はGeoffrey Hinton氏とYann LeCun氏と並んでDeep Learningを創設した人物の一人である。彼は現在のAIが実現しているのは"ファスト＆スロー"（原題：Thinking, Fast and Slow）というベストセラー書籍で描かれたシステム1までであり、これからはシステム2を実現するAIを実現する必要があると説明した。システム1とシステム2とは我々の脳の意思決定で2つの異なるモードが動いているというものである。
システム1は直感的、非言語的、習慣的で高速に無意識下で実現される。それに対し、システム2は論理的、逐次的、言語的な判断であり、判断に時間がかかり意識下で実現される。例として、知っている場所での車の運転はシステム1で運用され無意識下で運転できるので同乗者と会話もできるが、知らない場所での車の運転はシステム2であり、未知の状況に対応すべく意識を集中し、会話する余裕もない。簡単な問題はエネルギー効率の良いシステム1で解けるが、難しい問題はシステム2でしか解けない。システム2を実現するために未知分布への汎化、構成的、因果を踏まえた意味理解、世界モデルの構築、言語との融合などが必要になり、注意機構やより高次での概念操作が必要になるとの話だった。特に注意機構は今後さらに重要になってくるだろう。
一般の講演やポスター発表については（あくまで筆者の印象ではあるが）より理論的な解析で新しい洞察を得るような論文が評価されるようになってきたと思われる。アプリケーション関連でインパクトがある論文はそれぞれの分野の学会（画像ならCVPR、自然言語処理ならACLなど）が担当できるため、NeurIPSは分野によらずに普遍的な知能の実現、理解によりフォーカスをおいていると思われる。
例えばいわゆるベストペーパーに相当する論文賞が理論的な解析を行った論文に与えられた。Outstanding Paperに選ばれた論文3）は正解ラベルにノイズがあるような場合でも最適な学習を達成できるのかという長年未解決だった問題に肯定的な解を与えた。Outstanding New Directions Paperに選ばれた論文4）は深層学習の汎化性能の解析に使われている一様バウンドでは現在の汎化性能を説明できないことを示し、新しい解析方法が必要と提案した。Outstanding Paperの次点で選ばれた論文5）はGANのような生成モデルが従来のノンパラメトリックな密度推定（カーネル密度推定）と比べて、収束レートが真に優れていることを初めて証明しGANのような生成モデルが実験的ではなく理論的にも優れていることを示した。ここ1～2年はニューラルネットワークをより簡単に分析しやすいモデルとして設計し、そこで理論解析を行うことが多くなっている。そこでは過剰パラメータにおいて最適化、汎化がどのような性質を持っているのか、実用性と理論理解にまだ大きなギャップがあるスキップ接続、正規化、注意機構、初期化、学習率調整などがより良い学習にどのように貢献しているのか（またはしていないのか）を理論的に解析できるようになってきている。
そのほか、研究対象としては従来の統計や機械学習の標準であったi.i.d.（独立同分布）データの分類やクラスタリングを扱うよりは、より現実世界の問題に即したデータ分布を扱えるような手法が多くなっている。機械学習の研究を長年リードしているLeon Bottou氏の言葉を借りれば「自然はデータをシャッフルしない」ためである。こうしたi.i.d.を超えた分布を扱えることはOut-of-distribution（学習時のデータ分布とは異なる分布）への汎化、ドメイン適用、強化学習、バンディット問題（どのようなデータを取得するかも制御できる）で重要となる。また、データだけから学習するのではなく、事前知識を積極的にモデルに組み込んでいく研究も多く見られるようになった。時系列であれば常微分方程式に従う、物理現象であればハミルトニアン力学に従うといったものだ。このような事前知識を効果的にモデルに組み込むことで、より学習しやすく、外挿も含めた汎化がしやすいモデルが得られるようになっている。
機械学習を実世界の問題に適用した時に問題となる公平性や差分プライバシーといった部分の解決に向けた研究も多くなっている。特に公平性に関しては、データから分析者の意図を入れずに客観的に求められた結果やルールだから客観的で普遍的だとはいえないことが分かっている。多くの問題でデータ取得過程に既にバイアスが含まれてしまうためである。機械学習を使うシステムが増えるに連れ判断基準からこうしたバイアスを排除し結果の公平性をいかに担保するかが急務となっている。
学会運営は急拡大するコミュニティや学会をどう健全に発展させるのかについて多くの注意を払っている印象があった。機械学習の分野に来たばかりの人たち向けのセッションや、どうしたらより良い研究テーマ設定や論文が書けるのかを教えるようなセッションが新たに開かれていた。今後のAIが発展していくためには健全な研究コミュニティの育成が必須であり、本学会の役割はさらに大きくなると考えられる。
2）https://slideslive.com/t/neurips-2019
3）I. Diakonikolas et al., “Distribution-Independent PAC Learning of Halfspaces with Massart Noise,“ NeurIPS2019.
4）V. Nagarajan et al., “Uniform convergence may be unable to explain generalization in deep learning,“ NeurIPS 2019.
5）A. Uppal et al., “Nonparametric Density Estimation & Convergence Rates for GANs under Besov IPM Losses,“ NeurIPS 2019.
Preferred Networks 代表取締役副社長
2006年にPreferred Infrastructureを共同創業。2010年、東京大学大学院博士課程修了。博士（情報理工学）。未踏ソフト創造事業スーパークリエータ認定。東京大学総長賞。
