抄訳 Popular Ensemble Methods: An Empirical Study(1999)

November 5, 2022

アンサンブル学習は、弱学習器を組みわせ、より予測性能の高いモデルを生成する。 ニューラルネットワークと決定木を弱学習器にしたバギングとブースティングの予測性能を、23件のデータで測定した。 バギングはほぼすべての場合に1つの学習器よりも性能がよかったが、まれにブースティングよりも著しく性能が低かった。 他方、ブースティングは、特にニューラルネットワークを弱学習器にした場合に、1つの学習器よりも性能が低いことがあった。 ブースティグは、既存の弱学習器が誤答したサンプルを回答できる弱学習器を生成する。 Freundらは、データにノイズが多いと、学習の後半になるほどノイズを学習するので、性能が悪くなると示唆した。 データにノイズを混ぜ、その量とブースティングの精度を比較することで、ノイズが多いほどブースティングの性能がバギングと比べたときよりも悪くなることを確認した。

論文へのリンク

雑記

実データでは、学習データもテストデータにもノイズが混ざっているので、ノイズがあってもブースティングの性能が高いとみなされそう。