ディープラーニングでは、ニューラルネットワークの複数の層にて特徴量を抽出し、オブジェクトの分類やセンテンスの生成などが行われている。
ディープラーニングでは、ニューラルネットワークの複数の層にて特徴量を抽出し、オブジェクトの分類やセンテンスの生成などが行われている。システムにデータを渡すことで、最適な結果が得られるが、その判断過程はブラックボックス化しており、どのように結果にたどり着いたのかは人間にとっては非常に不可解なものとなっている。囲碁ソフトの差し手について、プロ棋士が見ても理解できないというようなことが、多くの分野で起こっている。AIを実装したシステムが急増しブラックボックス化が進むなか、人間にとって予想もつかない結果が出力されることへのリスクを不安視する声も上がっており、思考過程が説明可能なAI開発への要望が高まっている。こうしたなか、MITのComputer Science and Artificial Intelligence Lab（CSAIL)は、ニューラルネットワーク内部の判断過程を知るための手法を開発した。
同手法は、2年前にすでにCSAILのチームにより開発されたもので、以前は人間が調べることで目的を達成していた。今回の発表では人間が行っていた部分を完全自動化したもの。同手法では、ニューラルネットワークに手を加え、個々の層が入力画像に反応する際の反応の強度を返させ、最も強い反応を示した画像を分析する。この分析は当初人間により行われており、画像中の具体的な視覚的コンセプトに基づいて分類をしていた。今回発表のものではこれが自動化されている。
NVIDIAと連携し自動運転車向けの製品開発にAIを活用するBosch（ボッシュ）も、説明可能なAIの開発に注力している。同社はディープラーニングについては、有効な手法としながらも、安全面を考慮するとブラックボックスのまま実装することはできない、との考えを示している。同社開発中の手法では、ニューラルネットワークがどのように動作しているかを観察し、AIが今処理しているデータとトレーニング後のデータがどの程度離れているかを検証する。これにより、現在の学習度合いの信頼度を割り出し、この信頼度を基に、今処理しているデータが、関連する領域をどの程度カバーしているかを予測。これにより最終的なアウトプットの信頼度を測る。
今後、現在よりも複雑で汎用的な判断が可能なAIが登場すると予想されるが、ニューラルネットワークの各層における反応の強さや処理の信頼度を知り、判断結果の信頼度を知ることによる制御がますます重要となる。（編集担当：久保田雄城）
