AI最前線
Preferred Networks岡野原氏によるAI解説◆（日経Robotics連載）
目次
-
AIトップ国際会議では何が起きているか
PFN岡野原氏によるAI解説：第55回
2019年12月8～14日にカナダ・バンクーバーで開催された国際学会NeurIPS（2017年まではNIPS）はAIのトップ会議の1つである。筆者はNeurIPSには2017年から3年連続で参加しており、NeurIPS2019にも参加してきた（この記事は参加最終日に書かれている）。
-
教師なし表現学習の進化、異なるビュー間の相互情報量最大化
PFN岡野原氏によるAI解説：第54回
ディープラーニングはデータの適切な表現方法（または特徴関数）を自動獲得し、多くのタスクで人が設計した表現方法を使った場合よりも高い性能を達成できることを示してきた。
-
オンライン学習と最適制御、未知ノイズにも頑健な制御手法
PFN岡野原氏によるAI解説：第53回
線形ダイナミクスを持ったシステムに対する制御問題は古典的な問題であり広い分野でみられる。この制御問題に対し、近年オンライン学習を適用することでノイズやコストに対する仮定を大幅に緩和し、かつコスト関数が動的に変わる場合も対応できる方法が提案されている。
-
陰関数微分：勾配計算で計算グラフをワープする
PFN岡野原氏によるAI解説：第52回
多くの機械学習は学習問題を最適化問題として定式化し、勾配降下法を使って最適化する。ニューラルネットワーク（NN）は誤差逆伝播法（後ろ向き自動微分）を使うことで複雑な関数でも勾配を効率的に計算できている。
-
BERT：言語理解の事前学習
PFN岡野原氏によるAI解説：第51回
この数年の自然言語処理で最も大きなブレークスルーはBERTと呼ばれる事前学習手法であろう。これまで画像認識の分野ではImageNetの画像分類タスクで学習して得られたモデルを他のタスクの初期パラメータとして使う事前学習がよく使われてきた。
-
因果と相関：未知の分布まで汎化できるか
PFN岡野原氏によるAI解説：第50回
機械学習の大きな目標は、訓練データと異なるテストデータでもうまく動くような汎化するモデルを獲得することである。訓練データだけうまくいくのでよければ訓練データを丸暗記すればよく、コンピュータは容易に実現できる。しかし、見たことがないテストデータでもうまくいくためにはデータの背後に隠された法則を見つけ…
-
過剰パラメータ表現のニューラルネットワークと宝くじ仮説
PFN岡野原氏によるAI解説：第49回
ニューラルネットワークは学習データ数と同程度かそれ以上に多くのパラメータを持ちながら、なぜ過学習せず汎化するかはこれまで未解決問題だった。このようなパラメータ数の方が学習データ数（制約数）より多い場合を過剰パラメータ（Over-parameterized）表現と呼ぶ。
-
自己教師あり学習による深度と自己移動の推定
PFN岡野原氏によるAI解説：第48回
障害物や壁など対象物までの距離を測れるLIDARなどの深度（depth、距離）センサはロボットや自動運転車などで広く使われている。一般に深度センサは変調したレーザーなどを環境に照射し、その反射波の位相差や到達時間を測定することで深度を推定している。こうしたレーザーなどを自ら照射する方式はアクティブ…
-
連続ダイナミクスを表現可能なニューラルネットワーク
PFN岡野原氏によるAI解説：第47回
ニューラルネットワークは有限回の変換の組み合わせで構成され、例えば10層のニューラルネットワークは入力を10回変換した結果として表される。これに対し、入力に連続時間の変換を適用し、例えば3.6回分変換といった変換を扱えるNeural ODEが提案された。Neural ODEはNeurIPS 201…
-
強化学習の創始者が投げかけたAI研究の苦い教訓
PFN岡野原氏によるAI解説：第46回
強化学習の創始者の一人であり、この分野を長年にわたってリードしてきたUniversity of Alberta教授のRichard Sutton氏が「The Bitter Lesson」（苦い教訓）というタイトルで記事を投稿した。以下にその内容を簡単にまとめる。
-
AlphaStar :多様性のある学習環境で高度なスキルを獲得
PFN岡野原氏によるAI解説：第45回
2016年、グーグルDeepMind社が開発したAlphaGoが囲碁トップ棋士であるイ・セドル（Lee Sedol氏）氏に4-1で勝利し話題となった。囲碁は途中の盤面種類数が非常に多く、盤面の評価には感覚や大局的な視点が必要でありコンピュータには不得意とされてきた。AlphaGoはこうした見方を打…
-
環境乱択化：Domain Randomization
PFN岡野原氏によるAI解説：第44回
機械学習に必要なデータを現実世界で収集することはコストや時間がかかるだけでなく、ロボットのような物理的な動きを伴う機械の場合、危険であったり、まれな事象でそもそも集められない場合も多い。そのため、現実世界をシミュレーションした環境上でデータ収集することが期待されてきた。
-
ディープラーニングの理論解析、ニューラルネットの未解決問題の解明へ大きく前進
PFN岡野原氏によるAI解説：第43回
ディープラーニングは画像認識や音声認識など多くのアプリケーションで従来手法を大きく上回る性能を達成しているが、なぜうまくいくのかについては実は理論的な説明ができていない。特に最も基本的で重要な（1）なぜディープラーニングは学習できるのか（2）なぜディープラーニングは汎化するのかについては完全な解明…
-
メタ学習：学習の仕方を学習する、MAMLやNeural Process
PFN岡野原氏によるAI解説：第42回
今の機械学習の多くは何も学習していない状態から、学習データが与えられ学習していく。この場合、全てを一から学んでいく必要があるため多くの学習データを必要とする。一方で人や動物はそれほど多くの学習データを必要としない。これは過去に経験したり、学習した結果を再利用し、必要な差分だけを学習するためだ。
-
《日経Robo》全自動の片付けロボットシステムをいかに開発したか、高精度な物体認識により初めて片付けが可能に
PFN岡野原氏によるAI解説：第41回
ロボットを使って家事をこなしてほしいというのは昔から存在するテーマである。例えば、2008年に米Stanford Universityが実施した実験では1）、ロボットのPR1を人が遠隔操作することで、冷蔵庫を開けてビールを取り、蓋を開けて人に渡したり、床に散らかったおもちゃを片付けたり、食洗機に皿…
-
《日経Robo》安全が保証された強化学習、リアプノフ関数で制約満たす方策を導出
PFN岡野原氏によるAI解説：第40回
強化学習はシミュレーションやゲームなどで人の能力を超える性能を達成しており有望視されているが、現実の問題に適用した場合、その安全性をどのように担保するのかが問題となる。強化学習は環境との相互作用の中で試行錯誤しながら自分の行動がどのような結末をもたらすのかを理解し、自分の行動を改善していく。この中…
-
《日経Robo》自己注意機構：Self-Attention、画像生成や機械翻訳など多くの問題で最高精度
PFN岡野原氏によるAI解説：第39回
ニューラルネットワークはあらかじめ設計されたネットワーク構造に従ってデータが入力から出力に向かって計算されながら伝搬していく。多くの問題では、事前知識を使って構造を設計することで性能を上げることができる。例えば、畳み込みニューラルネットワーク（CNN）は、画像は近い位置にある情報が関係があるという…
-
《日経Robo》Glow：可逆な生成モデル、GANより安定的に学習できる尤度ベースの手法
PFN岡野原氏によるAI解説：第38回
与えられたデータセットの分布に従ってデータを生成するように学習する生成モデルは、画像や音楽などデータを生成するためだけでなく、観測から現実の世界モデルを構築し、その上でエージェントが学習や計画を立てられるようにしたり、データの意味を捉えた特徴を教師なしで学習できるため、近年非常に注目を集めている。
-
《日経Robo》Generative Query Network、画像から3次元構造を理解し生成する
PFN岡野原氏によるAI解説：第37回
人は2次元の画像のみから物体の3次元情報を推定でき、その形状や位置関係、構成関係を認識することができる。さらに、物体をさまざまな視点から見れば、ほぼ完璧な3次元情報を得ることができる。例えば、部屋の中に入ってその中を歩き回って見ているうちに部屋の中のどの位置にどんな物体が置かれているのかという3次…
-
《日経Robo》自由な言葉でロボットに指示をする：Unconstrained Spoken Language Instruction for robots
PFN岡野原氏によるAI解説：第36回
当社Preferred Networksの論文1）がICRA 2018のHuman Robot Interactionのベストペーパーに選ばれた。この論文ではロボットに対し自由な言葉でピッキングタスクの指示を出し、ロボットがそれに応じて作業するという研究を扱っている。今回は、この技術背景や使われた…
