抄訳 Popular Ensemble Methods: An Empirical Study(1999)

November 5, 2022

アンサンブル学習は、弱学習器を組みわせることで、より予測性能の高いモデルを生成する。弱学習器にニューラルネットワークと決定木を使い、バギングとブースティングの予測性能を、23件のデータで測定した。バギングはほぼすべての場合に1つの学習器より高精度だったが、まれにブースティングよりも著しく性能が低かった。他方で、ブースティングは、単体の学習器よりも性能が低いことがあった。特にニューラルネットワークを弱学習器にした場合に逆転の傾向がみられた。ブースティグは、既存の弱学習器が誤答したサンプルを回答できる弱学習器を生成する。 Freundらは、データにノイズが多いと、学習の後半になるほどノイズを学習するので、性能が悪くなると示唆している。データにノイズを混ぜ、その量とブースティングの精度を比較することで、ノイズが多いほどブースティングの性能がバギングと比べたときよりも悪くなることを確認した。

論文へのリンク

雑記

学習データもテストデータにもノイズが混ざっていると、ノイズがあってもブースティングの性能が高いとみなされそう。 Freundは、AdaBoostの考案者でもある。