論文メモ Semi Supervised Learning with Ladder Networks
August 14, 2020Ladder Networkを半教師あり学習に応用する。 Ladder Networkは、2015年に、著者の一人Valpolaによって教師なし学習のためのネットワークとして発表されている*。
ネットワークアーキテクチャは、エンコーダ、デコーダ、順伝播ネットワークの3つからなる。
アーキテクチャの全体は、以下の図が示すように、左の列から、エンコーダ、デコーダ、順伝播ネットワークに対応する。
エンコーダと順伝播ネットワークは重みを共有する。
ただし、エンコーダでは、各中間層の出力に正規分布にしたがうノイズを混ぜる。
デコーダの各層は、対応するエンコーダの中間層と前の層の出力から、ノイズが入る前の中間層の出力、つまり、順伝播ネットワークの中間層の出力を復元できるように学習する。
ラベルのある事例では、中間層の復元の誤差に加え、エンコーダの出力と正解ラベルの交差エントロピーも損失関数に含まれる。

- 論文をこちらからダウンロードできます。
- 画像はすべて論文から引用されています。