全3927文字
PR

 AI(人工知能)の活用が急拡大している。調査会社のドイツStatista(スタティスタ)によると、2018年に100億ドルだったAIソフトウエアの世界市場規模は2022年に5倍の512億ドルに達し、2025年には1260億ドルとなる見通しだ。だがその結果、AIが企業や個人、社会に損害を与えるリスクも飛躍的に高まっている。

 AIが企業に深刻な損失をもたらした一例が、不動産情報のWebサイトなどを手掛ける米Zillow(ジロウ)である。同社はAIを使って不動産を迅速に査定する「iBuyer事業」を展開していた。しかし、AIが新型コロナウイルス禍による市況の激変に対応できず、物件の適切な価格を誤って予測。数億ドルに及ぶ損失を招き、2021年11月に同事業からの撤退を余儀なくされた。

 AI活用による損失は人ごとではない。AIの用途は自動運転や医療現場、経営の意思決定支援といった高度な予測や判断が求められる領域にも広がりつつある。AIがひとたびインシデントを起こした場合には重大な損害の引き金となる可能性がある。欧州では規制強化の動きも進む。AIの活用に当たっては、運用開始後もAIモデルの継続的な監視や更新、外部からの攻撃に対するセキュリティー対策が欠かせない。

AI活用で起こったインシデントの例
分類企業名概要
モデルの陳腐化米Zillow不動産査定でAIが新型コロナ禍の市況変化に対応できず、数億ドルに及ぶ損失を招く
米Google糖尿病網膜症の兆候を見つける深層学習システムが医療現場の画像の品質に対応できず、適切な判断を下せず
差別的な予測や判断米Apple、米Goldman Sachs「Apple Card」で限度額を設定するアルゴリズムが女性を差別しているとの不満が拡散
外部からの攻撃米MicrosoftTwitter上に公開したAIチャットボットが差別的な主張やコメントを学習・発言

主なリスクは陳腐化・差別・外部からの攻撃

 AI活用に伴うリスクには主に3つのパターンがある。1つ目が環境変化によるモデルの陳腐化だ。流行やトレンドの変化、戦争の勃発など様々な環境の変化でAIは精度を損なう可能性がある。冒頭のジロウの例がこれに該当する。

 テスト環境と本番環境の入力データの違いもモデルの陳腐化の1つだ。米Google(グーグル)は2020年に発表した論文で、糖尿病網膜症の兆候を見つける深層学習システムの臨床実験をタイで実施したところ、AIがかえって医療現場の混乱を招いたと明らかにした。ラボで撮影したきれいな画像を使った事前学習やテストでは90%以上の精度で判定可能としていたが、診療所の看護師が撮影した画像は品質や一貫性を欠きAIが適切な判断を下せなかったのだ。

 一般に事前学習済みモデルの精度は、運用を開始した直後が最も高く、次第に低下していく。モデル開発時には人間が正解ラベルを付けた教師データでテストを繰り返して基準を満たす精度を追求するが、運用段階ではAI自身が正解を予測することになる。AIに代替した業務について常に人間が教師データを与え続けるわけにもいかず、適切なタイミングでモデルの精度を見直すことが現実的な対策となる。予測の精度に影響を及ぼし得る大きな環境変化が生じた場合はもちろん、新たな顧客や事業領域の分析が加わったり増えたりした場合もモデルの見直しが必要となる。

 2つ目のパターンがAIによる差別的な予測や判断だ。2019年には米Apple(アップル)と米Goldman Sachs(ゴールドマン・サックス)が共同発行するクレジットカード「Apple Card」で限度額を設定するアルゴリズムが女性を差別しているとの不満が拡散し、ニューヨーク州金融監督局(DFS)が調査に乗り出したことが話題となった。AIによる差別は採用や入試といった場面でも大きな問題となり得る。

 AIによる差別は、学習過程で人種や国籍、性別といった属性を有用な判断基準として学習してしまった際に生じる。AIが判断や予測の過程でどんな要素をどれくらい重視したかを正確に知ることは難しいため、AIによる差別を防ぐには、チェックしたい要素以外を同一にしてアウトプットを検証する対照実験のようなアプローチでモデルをテストすることが有効だ。

 3つ目のパターンが外部からの攻撃によるセキュリティーリスクだ。米Microsoft(マイクロソフト)は2016年、Twitter上にAIチャットボット「Tay」を公開したが、わずか16時間ほどでサービス停止となった。Tayはユーザーとの会話を学習する仕組みだったが、差別的な主張など不適切なコメントを学習・発言するようになってしまったのだ。

 AIの判断基準が盗まれ、悪用される可能性もある。例えばポルノ画像の投稿を禁止するためにAIを導入した際、「人には見えないノイズを画像に加えると、AIはポルノ画像を判定できない」といった欠陥を知られると、AIは用をなさなくなる。

 Tayのような事象はモデルがあらゆる入力を見境なく学習してしまう構造である場合に生じる。システムやサービスの内容に外部の入力が反映される仕組みは運用に細心の注意を払わなければならない。モデルがどう成長するかはどんなデータを学習するかに依存する。得られる教師データの品質が保証できないのであれば、学習環境を外部に依存すべきではない。

 AIの判断基準を盗もうとする行動は、入出力データを監視することである程度見つけられる。例えばAIの判断が分かれる境界線付近でノイズを加えた入力が急激に増えていたような場合、AIの判断基準を突く攻撃の前段階にあると警戒すべきだ。攻撃を防ぐにはAIの判断基準の境界線や弱点を運用側で事前に検証し、モデルを改善する必要がある。

 AIのリスク対策で恐ろしいのが、問題に気がつかないうちに被害が大きくなってしまう可能性がある点だ。通常のソフトウエアでは障害が起こるとエラーが発生してシステムや業務が停止する場合が多い。これに対してAIは意図しない予測や判断をしていても表向きには正常に動作しているように見える。このため、問題を認知するのはAIの間違った予測や判断による被害が顕在化したときである可能性が高い。気づいたときには既に経済や信用、時には人命に甚大な被害が生まれているかもしれないのだ。