「我々は『人工知能（AI）の基本理念』に従ったAIの構築に努めている。（その理念に沿って）人間がAIの挙動を理解するのに役立つ『説明可能なAI（Explainable AI）』を導入できることをうれしく思う」。米グーグルのトレイシー・フレイ（Tracy Frey） クラウドAI戦略ディレクターは同社ブログでこう表明した。
グーグルは2019年11月に、クラウド型AIサービスの一部に説明可能AIの機能を加えたと明らかにした。機械学習モデルの出力について、入力データの各要素がどれくらい寄与したのかを算出して表示できる。このサマリー情報を通じ、ユーザーはAIがなぜその判断を下したのか、理由を理解できる。
注目したいのは、グーグルがこのサービスを、同社が2018年6月に策定した「AIの基本理念」の一端を担う取り組みと位置づけている点だ。この理念は、グーグルが開発するAIについて「不公平なバイアスを防ぐ」「人々への説明責任を果たす」などの原則を掲げている。
同社はサービスの発表と合わせ、説明可能AIについて27ページにおよぶホワイトペーパーを公開した。この文書は同社が採用する説明可能AIの詳細を明らかにするとともに、説明可能AIの限界や、人間とAIとの付き合い方について、グーグルの考えを示すものとなっている。
AIを円滑に社会実装するカギとも言える説明可能AIについて、グーグルは何を考えているのか。ホワイトペーパーの記述からグーグルの思考を読み解こう。
なぜ今、説明可能AIなのか
説明可能AI（Explainable AI）とは、AIの本体である機械学習モデルの挙動について「人間に理解可能な用語で説明または提示する機能」を指す。
こうした機能が求められる背景には、コンピューターの計算資源と学習用のデータセットが急速に増大するにつれ、機械学習モデルがますます複雑化していることがある。
モデルが複雑になった結果、モデルの精度や表現力、汎用性が高まるといった恩恵がある一方で、「本来は関係のない『偽の相関』を学習してしまう」「判断の透明性が失われる」「不具合があってもデバッグできない」「（差別など）望ましくないバイアスを増幅する」といった欠点も顕在化するようになった。こうした欠点が、特に金融や医療といった規制産業でAIの採用が進まない一因になってる。
複雑化したAIの欠点を克服するには、AIの構築・運用過程や意思決定プロセスに人間を積極的に介在させるという意味での「human in the loop（人間の参加）」を実現する必要がある、というのがグーグルの基本的な考え方だ。そのために重要なのが、AIと人間の間で理解の橋渡しをする「説明可能AI」だという。
説明可能AIを採用する目的を、グーグルは以下のように要約している。
- 人間による意思決定を支援する
- 人とAIの相互理解を深め、AIの透明性を高める
- AIシステムのデバッグを可能にする
- 規制に基づくAIシステムの監査を可能にする
- AIの汎化性能（未知のデータに対する識別能力）を検証する
こうした説明可能AIの機能を通じ、ユーザーはAIの判断をより深く理解し、より良い判断ができる。AIを構築するエンジニアは、モデルの挙動を把握し、モデル自体をより良い方向に改良できるとしている。
AIを使ったシステムを実世界に導入・運用するうえで、重要な主体は機械学習エンジニアやデータサイエンティストだけではない、とグーグルは主張する。例えば、ビジネスの重要な判断を下す以下のような主体が関わる。
- エグゼクティブ：AIシステムを本番導入するか否かを判断する
- プロダクトマネジャー：「差別をしない」など会社のポリシーに合致するよう機械学習モデルの挙動を制御する
- ドメインエキスパート：自身の専門的な知識を機械学習モデルに組み込み、モデルを改善させる
- エンドユーザー：機械学習モデルによる予測を理解し、意思決定のプロセスに組み込む
機械学習モデルを構築する技術者は、これらの主体と一定の信頼関係をつくり、「破滅的な失敗」を防ぐようモデルの挙動や切り戻しの方針を定める必要がある。
