オンライン開催のゲーム開発者会議「コンピュータエンターテインメントデベロッパーズカンファレンス2022」（CEDEC2022）では、2022年8月24日、「強化学習AIを活用してゲームデザインを！：『桃太郎電鉄～昭和 平成 令和も定番！～』『実況パワフルサッカー』」と題したセッションが行われた。
登壇者は、コナミデジタルエンタテインメント技術開発部の岩倉宏介氏と宗政俊一氏、同社第三制作部の池畑望氏の3人。強化学習を使ってゲームプレーを学習させたAIを、ゲーム制作へ導入した事例について講演した。
岩倉氏はセッションの冒頭で、強化学習について「現在の状況の価値を正しく推測できるようにして、より高い価値を得られるような行動パターンを選ぶ」と説明。
続いて、強化学習AIを活用した2つのゲームタイトルについて、岩倉氏、宗政氏、池畑氏が交代で事例を紹介した。
1つ目は2020年11月に発売された「桃太郎電鉄 ～昭和 平成 令和も定番！～」。タイトルのリリース後に、研究として強化学習AIの活用に取り組んだ。ゲームをプレーするAIの開発には、強化学習アルゴリズムの実装セットである「Stable Baselines3」を使用。
AIには、初めから“完成形”のゲームをプレーさせたわけではない。宗政氏によると、強化学習用のゲームシミュレーターを作成し、最初は「北海道マップ」のみの機能を絞ったシンプルなゲームプレーを学習させ、次に「全国マップ」へ拡大したゲームプレーを学習させるなど、徐々にゲーム仕様を追加していった。すると、ゲーム仕様を追加するごとに、強化学習AIのゲームプレースタイルが、「目的地優先」になったり「持ち金最大化」になったりと変化していったという。
実際のゲーム制作において、さまざまなゲーム仕様を追加すると、「強化学習AIはどのようなプレースタイルのゲームになったのかを教えてくれる。また、追加された仕様の影響がどれぐらい大きいものなのかを定量的に比較にできる」と岩倉氏は話した。
