Coda

概要

モデルの予測に説明をあたえる手法、Local Interpretable Model-agnostic Explanations (LIME)を提案する。 モデルが回帰や分類器であれば、アルゴリズムによらずLIMEを適用できる。 説明を与えたい事例近くにある事例を解釈可能なモデルに学習させ、解釈可能なモデルで予測を説明する。 また、個別の予測ではなく、モデル自体をよく説明する事例を集める手法Submodullar Pick (SP)-LIMEを提案する。

LIME

説明を与えたいモデルを\(f\)、解釈可能なモデルを\(g\in G\), \(\pi_x(z)\)を\(z\)の\(x\)への近さ、\(\Omega (g)\)を解釈可能なモデルの複雑さ、 \(\mathcal{L}\)を\(f\)の予測を\(g\)でどれだけ近似できていないか測る指標とすると、 LIMEは事例\(x\)の説明を与える解釈可能なモデル\(\xi(x)\)を求める。 $$ \xi(x) =\underset{g\in G}{\operatorname{argmin}} \mathcal{L}(f, g, \pi_x)+\Omega (g) $$ 解釈可能なモデルにLasso回帰を採用する場合、\(\pi_x(z)=\exp(-D(x, z)^2/\sigma^2)\)として 次のアルゴリズムで\(\xi(x)\)を近似する。 \(\mathcal{L}\)は、次のように、\(x\)に近い事例の誤りにより大きなペナルティを与える。 $$ \mathcal{L}(f, g,\pi_x)=\sum_{z,z’\in\mathcal{Z}}\pi_x (z)(f(z)-g(z’))^2 $$ \(g\)は解釈可能なければならないため、\(x’\)もまた解釈できるものでなければならない。 例えばテキスト分類であればbag-of-wordsをもちいる。

SP-LIME

SP-LIMEはモデルをよく説明する事例の集合を見つけだす。\(B\)を求める集合の要素数の上限、\(c(V, \mathcal{W}, I)\)を $$ \newcommand{\1}{\mbox{1}\hspace{-0.25em}\mbox{l}} c(V, \mathcal{W}, I)=\sum^{d’}_{j=1}\1_{\exists i\in V:\mathcal{W}_{i,j>0}}I_j $$ として、次のアルゴリズムにより、既に集められた事例にみられない重要な特徴をもつ事例を探索する。

• 論文をこちらからダウンロードできます。
• 画像はすべて論文から引用されています。