Coda

メモ Are We Really Making Much Progress? A Worring Analysis of Recent Neural Recomendation Approaches

August 10, 2019

概要

表題は、ニューラルネットワークを用いた推薦システムを提案、評価した論文における実験の再現性と予測性能の再評価した論文のタイトルにあたる。 発表学会は、2019年のRecSys。著者らは、以下の2つのRQに回答するためにトップ会議で発表された18の論文を調査した。その結果、実験を再現できた論文は7稿であり、その中でも単純な手法を上回る性能が認められたのは1稿だけだった。

18の論文の発表学会の内訳は、KDDが4稿、RecSysが7稿、SIGIRが3稿、WWWが4稿。そのうち再現できたのは、順に3, 1, 1, 2稿だった。 これらの手法との比較に使われたのは、大別して、単に最も人気のアイテムを推薦する方法、KNNを用いた強調フィルタリング、\(\textbf{P}^3\alpha\)というグラフアルゴリズムの3つがある。

考察では、再現性の低さや性能の過大評価の原因について議論されている。 再現性の低さはハイパーパラメタの最適化、評価、前処理、ベースラインのコードが公開されていないことに由来し、 性能の過大評価は不適切なベースラインの選択や十分な最適化がされていないことに起因すると考えられている。

感想

ベースラインの最適化に使われたScikit-Optimizeとベースラインのアルゴリズム\(\textbf{P}^3\alpha\)が気になった。


論文はこちらからダウンロードできます。