トヨタ自動車やファナックが出資する気鋭のAIベンチャー Preferred Networks(PFN)。日経Roboticsでは2015年の創刊以来、その共同創業者の岡野原大輔氏に毎号、AIの先端動向に関する解説記事を寄稿いただいています。
世界レベルのAIベンチャーの創業エンジニアが何を考え、何に注目しているのか。この連載記事からぜひお確かめ下さい。
Preferred Networks 代表取締役 最高執行責任者

Preferred Networks岡野原氏によるAI解説◆(日経Robotics連載)
トヨタ自動車やファナックが出資する気鋭のAIベンチャー Preferred Networks(PFN)。日経Roboticsでは2015年の創刊以来、その共同創業者の岡野原大輔氏に毎号、AIの先端動向に関する解説記事を寄稿いただいています。
世界レベルのAIベンチャーの創業エンジニアが何を考え、何に注目しているのか。この連載記事からぜひお確かめ下さい。
PFN岡野原氏によるAI解説:第68回
世の中の現象の多くがべき乗則で説明できる。例えばジップの法則は出現頻度が$x$番目に大きい単語の頻度は、1位の単語と比較して1/xの頻度であるというものである。パレートの法則(全体の数字の8割が2割の構成要素で実現されている)、友人の数や地震の大きさの分布などについてもそうだ。
PFN岡野原氏によるAI解説:第67回
人や動物が空間をどのように理解し処理しているかについてある程度わかってきている。例えば、ネズミを使った実験では、脳内には特定の位置にいるときだけ反応する場所細胞、特定のグリッド上に存在する時に反応するグリッド細胞が存在し、これらを組み合わせて空間中のどこにいるのかを表現したり、ナビゲーションできる…
PFN岡野原氏によるAI解説:第66回
対象物を違う視点から撮影した画像間では3次元空間中の同じ位置に対応する箇所について対応をとることができる。計算量や精度の観点から疎な特徴点を抽出し、それらの対応を求めることが一般的である。このようなタスクを局所特徴量に基づく画像マッチング(以降省略して画像マッチング)と呼ぶ。
PFN岡野原氏によるAI解説:第65回
深層学習(ディープラーニング)はタスク毎に異なるネットワークアーキテクチャを使ってきた。画像認識であればCNN(畳み込みニューラルネットワーク)、自然言語処理であればRNN(回帰結合型ニューラルネットワーク)、表データや座標など入力が構造を持たないようなタスクに対してはMLP(多層パーセプトロン)…
PFN岡野原氏によるAI解説:第64回
深層学習を使ってデータを生成する深層生成モデルとして、変分自己符号化器(VAE)、敵対的生成モデル(GAN)、自己回帰モデル、正規化フローなどが知られている。これらのモデルは従来のモデルには難しかった高次元(数万〜数百万次元)の自然画像や音声データ生成に成功しており、生成されたサンプルは本物と見分…
PFN岡野原氏によるAI解説:第63回
強化学習は学習ベースの制御を実現し、囲碁のトップ棋士を破ったAlphaGoを代表的な事例として、ロボティクス、自動運転、金融、医療/ヘルスケア(処置の判断)など幅広い分野で成果を収めている。一方で強化学習は学習中に環境との相互作用(試行錯誤)を必要とするため、その実現のハードルが高かった。
PFN岡野原氏によるAI解説:第62回
2020年6月、International Supercomputing Conference (ISC 2020)で発表されたスーパーコンピュータの世界ランキングにおいて、著者が所属するPreferred Networks(PFN)のスーパーコンピュータMN-3が電力あたりの演算性能(省電力性能…
PFN岡野原氏によるAI解説:第61回
多くの科学領域でシミュレーションが使われるようになっている。例えば、素粒子物理、分子動力学、流体力学、疫学、経済学、気象モデル、生態学、機械工学などである。これらの分野で使われるシミュレーションは、対象問題を忠実に再現できるようになっているが、推論、つまり観測からその現象を記述するパラメータや、観…
PFN岡野原氏によるAI解説:第60回
ニューラルネットワークの学習で重要な役割を担っているのが正規化層(Normalization Layer)である。正規化層はニューラルネットワークの表現力の維持、学習の安定化、汎化性能の向上に貢献し、現在の深層学習の成功の主因の1つとみなせる。
PFN岡野原氏によるAI解説:第59回
世の中の多くの現象には対称性がみられる。ある対象Mが対称性Sを持つとは、Sで指定された操作g in SをMに適用してもMが変わらないことを言う。例えば、球体は任意の回転操作を適用しても球体のままだし、左右対称な図形は左右反転操作を適用しても図形は変わらない。
PFN岡野原氏によるAI解説:第58回
物体の形状や環境(構造物や背景)の3次元情報をどのように表現するかは難しい問題である。基本的な問題に思えるが実際どのように表現するかを考えてみると難しい。形状表現は少ない容量(パラメータ数)で表すことができ、衝突判定や法線計算など様々な処理が高速に行えるか、似た部品や形状を共通に扱えるかが問題とな…
PFN岡野原氏によるAI解説:第57回
先読みに基づいたプランニングは強力なエージェントを作る上で重要である。例えばチェス、将棋や囲碁などではトッププレーヤーをはるかに超える強さを実現したAIシステムが先読みによって実現されている。
PFN岡野原氏によるAI解説:第56回
シミュレーションまたはコンピュータモデリングはシミュレーション自体の技術の発展と計算性能や性能コスト比の指数的な改善によって広い分野で使われるようになっている。シミュレーションは対象問題の原理・原則、公式が分かっているなら、データに基づかなくても正確にシミュレーションできる。
PFN岡野原氏によるAI解説:第55回
2019年12月8~14日にカナダ・バンクーバーで開催された国際学会NeurIPS(2017年まではNIPS)はAIのトップ会議の1つである。筆者はNeurIPSには2017年から3年連続で参加しており、NeurIPS2019にも参加してきた(この記事は参加最終日に書かれている)。
PFN岡野原氏によるAI解説:第54回
ディープラーニングはデータの適切な表現方法(または特徴関数)を自動獲得し、多くのタスクで人が設計した表現方法を使った場合よりも高い性能を達成できることを示してきた。
PFN岡野原氏によるAI解説:第53回
線形ダイナミクスを持ったシステムに対する制御問題は古典的な問題であり広い分野でみられる。この制御問題に対し、近年オンライン学習を適用することでノイズやコストに対する仮定を大幅に緩和し、かつコスト関数が動的に変わる場合も対応できる方法が提案されている。
PFN岡野原氏によるAI解説:第52回
多くの機械学習は学習問題を最適化問題として定式化し、勾配降下法を使って最適化する。ニューラルネットワーク(NN)は誤差逆伝播法(後ろ向き自動微分)を使うことで複雑な関数でも勾配を効率的に計算できている。
PFN岡野原氏によるAI解説:第51回
この数年の自然言語処理で最も大きなブレークスルーはBERTと呼ばれる事前学習手法であろう。これまで画像認識の分野ではImageNetの画像分類タスクで学習して得られたモデルを他のタスクの初期パラメータとして使う事前学習がよく使われてきた。
PFN岡野原氏によるAI解説:第50回
機械学習の大きな目標は、訓練データと異なるテストデータでもうまく動くような汎化するモデルを獲得することである。訓練データだけうまくいくのでよければ訓練データを丸暗記すればよく、コンピュータは容易に実現できる。しかし、見たことがないテストデータでもうまくいくためにはデータの背後に隠された法則を見つけ…
PFN岡野原氏によるAI解説:第49回
ニューラルネットワークは学習データ数と同程度かそれ以上に多くのパラメータを持ちながら、なぜ過学習せず汎化するかはこれまで未解決問題だった。このようなパラメータ数の方が学習データ数(制約数)より多い場合を過剰パラメータ(Over-parameterized)表現と呼ぶ。