試行錯誤を通じて、教師なしで学習できる機械学習技術の一種「強化学習（RL：reinforcement learning）」。これまで実用化例が少なかったこの強化学習技術を、自動運転向けに実用化しようとする企業が日本から出てきた。
といっても、地上を走る自動車の自動運転のことではない。クルーザーなど海の上を航行する船が対象だ。
魚群探知機を世界で初めて開発し、船舶用レーダーなど船舶用電子機器の大手メーカーである古野電気が、海釣り用の船やクルーザーなどプレジャーボート向けの自動運転技術として開発した（図1）。
ロボット制御向けの機械学習技術などを得意とする奈良先端科学技術大学院大学（NAIST）特任准教授の松原崇充氏の研究室と共同で、船舶の自動運転に向いた強化学習技術を新規に開発することで実現した形だ。海の上の目標位置に自動で移動したり、指定した地点にとどまり続けるといったことが可能である。
図1 レジャー用船舶の自動運転に強化学習を適用
プレジャーボートと呼ばれる船舶向けに、指定した目標位置に向かったり、同じ地点にとどまるような自動運転機能を、強化学習技術で開発した。GPSや風向風量センサなどの情報を基に、船のエンジンスロットルと舵の操作を強化学習の方策で行う。写真左は実験に用いたプレジャーボート（旧・日産マリーン製）、写真右はエンジン。（写真：古野電気）
[画像のクリックで拡大表示]
多数の試行が必要なDRL
現在、強化学習の領域では、ディープラーニング（深層学習）を組み合わせた「深層強化学習（DRL：deep reinforcement learning）」と呼ばれる技術の開発が活発である。強化学習においてロボットを制御する制御器である「方策（policy）」や、行動の良さの見通しを評価する「価値関数」などに、ディープニューラルネット（DNN）をあてがうものだ。本誌が度々解説しているように、ロボットアームを用いたオブジェクト把持の研究などでは、これら深層強化学習が活発に試みられている。
