【E資格不合格から学ぶ】AIの判断根拠の説明方法をポイント解説！

• CAM
• GradｰCAM
• LIME
• SHAP

• Class Activation Mapping
• 提案論文：Learning Deep Features for Discriminative Localization
• 論文の概要
  ・GAP(Global Average Pooling)の再検討
  ・GAPは学習の過学習を防ぐ、正則化の役割として使われてきた
  ・GAP⇒CNN（畳み込みニューラルネットワーク）が潜在的に注目している部分を可視化できるようにする役割

• ネットワークの大部分が畳み込み層で構成されている
• 最終的な出力層の前にGAPを実行している

〈直感的〉出力層の重みを畳み込み特徴マップに投影する⇒ 画像領域の重要性を識別する

• M_c(x､y)：どこに注目しているかを示すマップ
  (x､y)が特徴マップの座標、fkが最後の畳み込み層のチャンネルのうちk番目の特徴マップ
• W^c_k：出力クラスCにつながる重み
• CAMの評価：CAMの精度を確認するために、CAMの結果からバウンディングボックスを生成し、物体検出の評価指標を使い精度を比較している(Localization)
• GoogleNetｰGAPはLocalizationで一番低いエラー率を達成している

• CNNモデルに判断根拠を持たせ、モデルの予測根拠を可視化する手法
  名称の由来は”Gradient”＝「勾配情報」
• 最後の畳み込み層の予測クラスの出力値に対する勾配を使用
• 勾配が大きいピクセルに重みを増やす（＝予測クラスの出力に大きく影響する重要な場所）
  

• α_k^C：クラスcのk番目のフィルタに関する重み係数
  　　 ↑ この重み係数が大きいほど特徴マップkがクラスcにとって重要
• y^c：クラスcのスコア
• A^k_ij：k番目の特徴マップの座標(i,j)における値
• y^cのA^kにおける勾配を、特徴マップの全要素について Global Average Pooling を施す

重みが大きいほど、特徴マップkがクラスcの予測にとって重要であると解釈できる

(batch_size,height,width,channel_size)
から(batch_size,channel_size)へ
特徴マップと線形結合するために
(batch_size,channel_size,1)と変形させる

• Local Interpretable Modelｰagnostic Explanations
  直訳）ローカルで解釈可能なモデル – 依存しない説明
  原論文：”Why Should I Trust You?”:Explaining the Predictions of Any Classifier
  https://arxiv.org/abs/1602.04938（KDD2016で採択）
  
• 特定の入力データに対する予測について、その判断根拠を解釈・可視化するツール
  ｰ表形式データ：「どの変数が予測に効いたのか」
  ｰ画像データ：「画像のどの部分が予測に効いたのか」
  
• CNNやアンサンブルツリーなど様々な機械学習モデルに適用可能

• 単純で解釈しやすいモデルを用いて、複雑なモデルを近似することで解釈を行う
  ※「複雑なモデル」＝「人間による解釈の困難なアルゴリズムを作った予測モデル」
  例：決定木のアンサンブル学習器、ニューラルネットワークなど
  
• LIMEへの入力は１つの個別の予測結果（モデル全体の近似は複雑すぎる）
  
• 対象サンプルの周辺のデータ空間からサンプリングして集めたデータセットを教師データとする。
  データ空間の対象範囲内でのみ有効な近似用モデルを作成する。
  下図はLIMEの原理を理解するための概念図である。
  図において説明対象の「入力データ」を「赤色の太字の十字」とする。
  原理は以下の手順である。
  ①入力データ（赤色の太字の十字）の周辺からサンプリングと予測を繰り返し行いデータセットを得る。
  ②得られたデータセットを教師データとする。
  ③教師データとして線形回帰モデルを作成する。

• 近似用モデル（線形回帰モデル）から予測に寄与した特徴量を選び解釈を行う ⇒ 難解なモデルを解釈したことと見なす。

• G：線形回帰モデル、決定木などで、データを解釈するのに使われるモデル
• g：Gの中の解釈可能なモデルのうちいずれかを表す
• f：解釈したい結果を予測するモデル（解釈したいモデル）
• π_x：fへの入力データxとどれだけあるデータが離れているかを表すあるデータとxとの類似度とも言える
• Ω(g)：使っているモデルgがどれだけ複雑か、つまり解釈可能性のなさ、解釈のしずらさを表している
• ℒ(f,g,π_x)：π_x が定義するxとの距離の指標を使ってgがfを近似する際、どれだけ不正解かを表す

　つまり、解釈可能性と忠実性(gがfを近似する際の正確さ)の二つの質を保証するため、ℒ(f,g,π_x)とΩ(g)の両方を小さく

• gへの入力にはxを加工したものを入れる（摂動を入れる）
• 画像であればスーパーピクセルという領域分割の技術を使いその一部をマスクしたり、テキストであれば単語をランダムに除去したり、表彰式データであればランダムに一部のデータを作り直したりしている。

• z：説明したい例の近くのデータをサンプリングしたもの
• z´：zに摂動を入れたもの

• 上式はxとzの距離関数（テキストであればコサイン類似度
  画像の場合：ユークリッド距離など）にマイナスをかけたものをカーネル幅で割ったもの

• カーネル幅(σ)：ハイパーパラメーターで、それを決める明確な方法がない。
• 解釈したいモデルにzを入れた結果と解釈可能なモデルにz´を入れた結果の差にzとxとの類似度で重み付けする

• A Unified Approach to Interpreting Model Predictions
  直訳）モデル予測を解釈するための統合アプローチ
  論文：https://arxiv.org/pdf/1705.07874.pdf
• 協力ゲーム理論の概念であるshapley value（シャープレイ値）を機械学習に応用した shapley valueが想定する状況：プレイヤーが協力し、それによって獲得した報酬を分配する ⇒これらの概念を機械学習に適用する
  協力ゲーム理論：協力して得た報酬を、貢献度が異なるプレイヤーにどう分配するか
  機械学習：モデルから出力された予測値を、貢献度が異なる特徴量にどう分配するか
• CNNやアンサンブルツリーなど様々な機械学習モデルに適用可能

• Local Accuracy（局所的な精度）：
  　ある入力をx、xの予測をf(x)とする。また、単純化した入力データをx’、x’に対する局所的近似をf'(x’)とする。このときf(x)とf'(x’)は同じになる。
• Missingness（欠落）：
  　予測結果に影響を与えないような特徴量は、その予測に対して貢献していない。
• Consistency（一貫性）：
  　fの方がf’よりもある特徴量x_iが有るか無いかによって出力値に大きな変化があるならば、fの方がf’よりも貢献度が大きなる。