金融業務へのAI(人工知能)適用に関するノウハウを「パターン」として整理した『金融AI成功パターン』(日経BP、2023年)では、7つの基本パターンと、5つの上級パターンを紹介している。同書からさまざまな場面に適用できるノウハウとして、本連載では機械学習の基本とライフサイクルを取り上げ、連載の後半では「7つの基本パターンの概要」を抜粋して解説する。今回のテーマは「機械学習ライフサイクルの(7)運用監視・(8)再学習・切り替え」である。(技術プロダクツユニットクロスメディア編集部)
金融機関におけるビジネス的なAI活用では、教師あり学習を中心に考えていけば多くのテーマに対応することができます。そこで、教師あり学習のライフサイクルを紹介します。教師あり学習のステップは、一般的に下記のような流れになります。
- (1)テーマの決定
- (2)学習データの準備
- (3)モデリング
- (4)精度評価
- (5)機械学習モデル解釈
- (6)デプロイ
- (7)運用監視
- (8)再学習・切り替え
今回は(7)運用監視、(8)再学習・切り替えについて説明します。
(7)運用監視
デプロイも完了し、ビジネスで機械学習モデルが実行され始めたとしても油断することはできません。API(Application Programming Interface)化した機械学習モデルがエラーを出さずに問題なく動いているのか、レイテンシなどの性能は問題ないのかなど、一般的なITシステム運用はもちろんのこと、精度や入力データの変化についても運用監視する必要があります。
機械学習モデルは、コードを全く変えていなくても、時間とともにだんだんと精度が低下するのが一般的。そのため、精度の変化をモニタリングすることが重要です。機械学習モデルは学習データから構築されているものであり、運用環境が学習データ環境から乖離(かいり)すると精度が低下します。従って、学習データと入力データの乖離(データドリフト)もモニタリングする必要があります。特に機械学習モデルが重要視している特徴量にデータドリフトが起こっている場合には、速やかな対処(再学習)を検討します。
精度の低下が分かってから対策を立てると、事態の解消までに時間がかかり過ぎてしまいます。最近は自動機械学習(AutoML:Automated Machine Learning)と並びMLOps(Machine Learning Operations)機能として、機械学習モデルの運用監視機能が実装されているものもありますが、どのようなモニタリングルールにするのかは、テーマや組織体制ごとに考慮する必要があります。