PLS-regression: a basic tool of chemometrics

May 21, 2022

重回帰分析は、説明変数の行列がフルランクでないとき、多重共線性により出力が不安定になる。 そのため、説明変数の数を減らし、説明変数間に相関関係がないようにする必要がある。 PLS(部分的最小二乗法)は、入力変数の線形結合で表わせる潜在変数を求め、潜在変数の線形結合で目的変数を表す。 説明変数の数より少ない数の潜在変数を求めることで、説明変数間の相関関係をとりのぞく。

説明変数を\(\boldsymbol{\rm x}_k(k=1, \dots K)\), 目的変数を\(\boldsymbol{\rm y}_m( =1,2, \dots M)\)として、求める潜在変数を\(\boldsymbol{\rm t}_a (a=1,2, \dots , A)\)とおく。 以下では\(\boldsymbol{\rm X}\)は中心化と標準化されているものとする。

潜在変数の要件より、\(A\)は\(K\)より小さく、潜在変数\(\boldsymbol{\rm t}\)は互いに直交である。 潜在変数は、説明変数の一部の\(A\)次元で $$ t_{ia} = \sum_kW^*_{ka}X_{ik}; (\boldsymbol{\rm T}=\boldsymbol{\rm XW}^*) $$ と表せる。逆に、潜在変数の線形結合で説明変数を近似するのであれば、\(e_{ik}\)を残差すると $$ X_{ik}=\sum_at_{ia}p_{ak} + e_{ik}; (\boldsymbol{\rm X}=\boldsymbol{\rm TP}^\top+\boldsymbol{\rm E}) $$ となる。 \(f_{im}\)を残差とすると目的変数も潜在変数の線形結合により $$ y_{im} = \sum_ac_{ma}t_{ia} + f_{im}; (\boldsymbol{\rm Y}=\boldsymbol{\rm TC}^\top+\boldsymbol{\rm F}) $$ になる。以上をあわせると、 $$ y_{im}=\sum_ac_{ma}\sum_kw^*_{ka}x_{ik} + f_{im} = \sum_kb_{mk}x_{ik}+f_{im} $$ $$ \boldsymbol{\rm Y} = \boldsymbol{\rm XW}^*\boldsymbol{\rm C}^\top + \boldsymbol{\rm F} = \boldsymbol{\rm XB} + \boldsymbol{\rm F} $$ であり、PLSの回帰係数を $$ b_{mk}=\sum_ac_{ma}w^*_{ka}; (\boldsymbol{\rm B}=\boldsymbol{\rm W}^* \boldsymbol{\rm C}^\top) $$ とかける。

PLSの学習アルゴリズムに、NIPALS(非線形反復部分最小二乗法)がある。 これはまず、\(\boldsymbol{\rm u}\)を\(\boldsymbol{\rm Y}\)のある列ベクトルとする。 次に $$ \boldsymbol{\rm w} = \boldsymbol{\rm X}^\top \boldsymbol{\rm u} / \boldsymbol{\rm u}^\top \boldsymbol{\rm u} $$ その後、\(\mid\mid \boldsymbol{\rm w}\mid \mid = 1.0\)としてもよい。

これをもとに\(\boldsymbol{\rm t}=\boldsymbol{\rm Xw}\)として潜在変数\(\boldsymbol{\rm t}\)を計算し、さらに、\(\boldsymbol{\rm c}=\boldsymbol{\rm Y}^\top \boldsymbol{\rm t} / \boldsymbol{\rm t}^\top \boldsymbol{\rm t}\)とする。

最後に、\(\boldsymbol{\rm u}\)を更新する。 $$ \boldsymbol{\rm u}=\boldsymbol{\rm Yc}/\boldsymbol{\rm c}^\top\boldsymbol{\rm c} $$

\(\mid \mid\boldsymbol{\rm t_{\text{old}}} - \boldsymbol{\rm t_{\text{new}}}\mid\mid / \mid\mid \boldsymbol{\rm t_{\text{new}}}\mid\mid < \epsilon\)が収束していなければ、\(\boldsymbol{\rm w}\)を求めるところに戻る。

以下の式で現在の成分を\(\boldsymbol{\rm X}, \boldsymbol{\rm Y}\)からデフレーションし、はじめに戻る。 $$ \begin{align} \boldsymbol{\rm p} &= \boldsymbol{\rm X}^\top \boldsymbol{\rm t}/(\boldsymbol{\rm t}^\top \boldsymbol{\rm t}) \\ \boldsymbol{\rm X} &= \boldsymbol{\rm X} - \boldsymbol{\rm t} \boldsymbol{\rm p}^\top \\ \boldsymbol{\rm Y} &= \boldsymbol{\rm Y} - \boldsymbol{\rm t}\boldsymbol{\rm c}^\top \end{align} $$

論文のリンク