MLOps（Machine Learning Operations）という言葉をよく耳にする。MLOpsはAI（人工知能）の中核となる機械学習（Machine Learning：ML）モデルを継続的に改良していく取り組みで、いわばMLモデル版のDevOps（Development and Operations、開発と運用を一体化する手法）だ。最近MLOpsに関する特集を担当した際、DX（デジタル変革）の先進企業の間で2021年ごろに急浮上したキーワードの1つだと知った。
MLモデルはほとんどの場合、再学習などのメンテナンスをせずに放っておくと予測精度が下がっていく。そのため運用保守フェーズに入ってから継続的にMLモデルの改良を繰り返すことが必要不可欠だ。
MLOpsに取り組む際に必要な要素は何か。MLモデルを組み込んだSaaS（ソフトウエア・アズ・ア・サービス）などを提供しソフトウエア開発におけるテスト工程の効率化を手掛ける米Launchable（ローンチャブル）の澁井雄介シニアソフトウェアエンジニアに尋ねたところ、「そもそも保守するだけの価値があるMLモデルをつくることだ」と指摘した。「MLOpsは運用保守フェーズで頑張ることだ」と思い込んでいた筆者は驚いた。それもそうだと考えを改め、MLOpsの大前提をさらに詳しく尋ねた。
本当に大事なのは精度なのか
MLモデルを表すときの指標として一般に「精度」を用いることが多い。モデルの精度を構成するメトリクスには「Precision（適合率）」や「Recall（再現率）」「Accuracy（正解率）」など様々あり、記者としてモデルの良しあしを判断する際に取り上げてきた。
これらのメトリクスがそのままモデルの有用性を判断する指標になる場合は多いが、すべてのモデルで精度だけを監視しておけばいいというわけではない。
90％の精度で文字起こしができる自然言語処理のMLモデルを組み込んだ文字起こしツールを例に取ろう。ユーザーにとっては会話の内容よりも、複数の人がどんな順番で発言したか判別できたほうの価値が大きい場合が考えられる。この場合90％の精度で文字にできても、発言者と順番が分からなければユーザーのニーズは満たされておらず、「有用性の低いモデル」だと判断すべきだ。
MLモデル開発プロジェクトに詳しく、AI開発を手掛けるエクサウィザーズでフリーランスエンジニアとして活躍する大江好充氏は、ビジネスで価値を生み出せるモデルかどうか判断する上で「ビジネス価値をより早く高め、より早くエンドユーザーに届け続けることが重要だ。そのために精度だけでなく業務における価値をモニターすべきだ」と指摘する。
例えば、システムに対して設定するKPI（重要業績評価指標）は、業務における価値の指標として検討に値する1つだ。システム導入によって達成したい売上高やクリック率、コンバージョン率などを設定し、精度と合わせてこれらの指標をモニターすることが望ましい。
