Coda

メモ Gaussian Processes for Regression

August 3, 2019

表題はガウス過程の回帰問題への応用を提案した論文。著者らは、scikit-learnのガウス過程回帰の 元になっているGaussian Processes for Machine Learningの著者と同じ。 論文の構成は、ガウス過程回帰の予測分布の式、ハイパーパラメタ推定方法、実験による評価からなる。

論文の発表が1996年と20年以上経過しており、内容に古いところがある点に注意する必要がある。 たとえば、ガウス過程分布の平均\(\boldsymbol{ k }^T(\boldsymbol{x})K^{-1}\boldsymbol{t}\)、分散\(C(\boldsymbol{x}, \boldsymbol{x})-\boldsymbol{k}^T(\boldsymbol{x})K^{-1}\boldsymbol{k}(\boldsymbol{x})\)における共分散行列\(K\)の逆関数\(K^{-1}\)の計算に\(\mathcal{O}(n^3)\)かかるため、訓練データの数が多い場合になんらかの近似が必要とあるが、具体的な手法についての言及がない。ガウス過程と機械学習によれば、今では補助変数法で計算量で大きく削減することができるとある。また論文ではハイパーパラメタ推定にマルコフ連鎖モンテカルロ法を利用しているが、同書ではより効率的な方法として勾配法による解説がされている。


論文はこちらからダウンロードできます。