AI（人工知能）の業務システムへの適用が増えるにつれ、当初の期待とは程遠い「ポンコツAIシステム」を多く目にするようになっている。ポンコツAIシステムに陥るのを避けるには、AIシステムを意識した開発プロセスを採用する必要がある。
AIシステムは運用開始後に精度が劣化していく場合がある。最初は問題がなかったのに、だんだんポンコツAIシステムになっていくパターンだ。まずは以下に挙げる、筆者の経験を盛り込んだ架空事例を見てみよう。
ある電力会社では、AIを活用した電力需要予測システムを運用していた。ところがある日、急激に予測精度が劣化する現象が起こった。その日に特別な事象が発生したわけでもなかった。気付いたら、間違った予測ばかりを出力するシステムになっていたのだ。
原因調査を進めると、電力需要予測システムの連携先である加工済み電力実績データベースに問題があると分かった。このデータベースはオペレーターが手作業で入力した設定値に従って、既存システムがデータを加工して登録する仕組みだった。この設定に人為的なミスがあり、ある時点から間違ったデータが加工され続けていた。
電力需要予測システムは電力実績データベースからデータを受け取り、それを定期的に自動学習する仕組みになっていた。つまり、電力実績データベースで発生した人為的な設定ミスで、AIシステムの学習データに異常が発生していたのだ。
ただ、人為的なミスが発生してしばらくの間は問題が顕在化しなかった。AIの学習データのうち、最新の学習分は全体で見るとごく一部に過ぎないからだ。異常な学習データが増えるとともに、それに引きずられて予測モデルの精度が劣化した。気付いたときには、予測が全く当たらないシステムになっていた。
予測結果の異常が発覚したときには、既に大量の不正なデータが学習済みとなっていた。手動でAIの学習をし直す必要が生じ、予測モデルの再作成と再度の精度検証に大きな時間とコストがかかった。
精度が劣化する2つのパターン
AIシステムというと「新たなデータを学習してだんだん精度が向上していく」といったイメージを持つユーザーが多い。しかし、逆に精度が劣化していくケースもある。ここでは「予測モデルと実態のズレ」と「学習データの異常」の2パターンを取り上げる。
予測モデルと実態のズレとは、学習した時点とは入力データが変化して、予測モデルが適切な予測をできなくなるものだ。AIは過去になかった現象の予測を苦手とする。学習した結果に沿って予測するので、学習できていない現象に沿った予測はまずできない。自動学習を採用していないAIシステムでは、なおさらその傾向が強く出る。
例えば、AIを活用して施設内空調の自動制御システムを構築したとしよう。今までにないような猛暑が続いた日や豪雨の日には、空調が強すぎたり弱すぎたりと期待外れの制御をする。猛暑や豪雨といった気象条件が学習したデータの範囲にはないからだ。
このほか、小売業向けの価格販促適正化システムを運用している企業で、価格戦略を特売方式から特売期間を設けないEDLP（Every Day Low Price）方式に変更すると、的外れな値引き案をレコメンドするようになったりする。価格戦略を変えると「値引き1円当たりの販売数増減の傾向」が徐々に変わるからだ。
