PR

 突発的な変化であれ、なだらかな変化であれ、運用中に入力データが変化する可能性は常にある。変化があると、AIシステムは期待外れの結果を出す可能性が高くなる。

 予測モデルを変化に合わせるには、再学習を実施して予測モデルをアップデートする必要がある。ところが、これが裏目に出てしまうパターンもある。学習データの異常だ。学習データに特殊なデータが一定量以上含まれていると、学習によって予測モデルが劣化してしまう。電力需要予測システムの事例は学習データの異常の一例といえる。

劣化を見つけたら再学習

 運用中の劣化を避けるには、運用保守フェーズでの維持管理が欠かせない。AIシステムは基本的に、新しいデータを学習して最新の傾向を学び、予測精度を保てるように構築する。適切なタイミングで取り入れるべき傾向を判断し、学習させ続ける必要がある。

 ただ、「適切なタイミング」と「取り入れるべき新しい傾向」の判断が難しい。AIが自動的に学習する仕組みを入れていても、異常なデータを学習してしまう場合がある。手作業で学習させる場合でも、計画していないタイミングで劣化が起こる可能性がある。AIシステムの精度劣化を防ぐには、人が介在したデータ分析が必要となる。これが運用フェーズでの「精度検証」だ。

 具体的には、日々の予測データと実績データを比較する。システム仕様として決めたAIの再学習のタイミングにかかわらず、常に比較を実施する仕組みを組み込むのがポイントだ。これでAIシステムの運用状況を監視し、劣化を検出したらアラートを出す。筆者はこれを「劣化分析」と呼んでいる。

運用フェーズで実施する精度検証
運用フェーズで実施する精度検証
常に劣化分析を実施して、劣化を検出したら「再学習モデル評価分析」を実施する
[画像のクリックで拡大表示]

 劣化の検出を受けて、再学習してモデルを作り直す「再学習モデル評価分析」を実施する。新しい傾向を反映した学習データを用意し、それをAIに学習させて新しい予測モデルを作成する。十分な精度となっているかを確認するリリース判定を経て、リリースして予測モデルを切り替える。

 AIシステムは学習によって処理内容を刷新できる。正しく育っているか、人が見守ることが重要だ。

田辺 剛(たなべ ごう)
NEC サービスプラットフォーム事業部 アナリティクスサービス部 マネージャー(兼データアナリスト)
田辺 剛(たなべ ごう) SEとして、10年以上にわたり、様々な領域のシステム開発を担当。現在はAI技術を活用したプロジェクトで、データ分析を行いながら、ビジネス企画のコンサルティング業務に従事。データサイエンティスト協会 調査研究委員を担当。
井口 守(いぐち まもる)
NEC サービスプラットフォーム事業部 アナリティクスサービス部 エキスパート(兼データアナリスト)
井口 守(いぐち まもる) AI技術を活用したデータ分析や予測システムの開発・構築プロジェクトのリーダーを多数担当。現在はAI技術適用の仮説検証サービスやAI技術利用における基盤整備支援に従事。2018年からデータサイエンティスト協会 企画委員を担当。