論文メモ Semi Supervised Learning with Ladder Networks

Ladder Networkを半教師あり学習に応用する。 Ladder Networkは、2015年に、著者の一人Valpolaによって教師なし学習のためのネットワークとして発表されている*。

ネットワークアーキテクチャは、エンコーダ、デコーダ、順伝播ネットワークの3つからなる。 アーキテクチャの全体は、以下の図が示すように、左の列から、エンコーダ、デコーダ、順伝播ネットワークに対応する。 エンコーダと順伝播ネットワークは重みを共有する。 ただし、エンコーダでは、各中間層の出力に正規分布にしたがうノイズを混ぜる。 デコーダの各層は、対応するエンコーダの中間層と前の層の出力から、ノイズが入る前の中間層の出力、つまり、順伝播ネットワークの中間層の出力を復元できるように学習する。 ラベルのある事例では、中間層の復元の誤差に加え、エンコーダの出力と正解ラベルの交差エントロピーも損失関数に含まれる。

• 論文をこちらからダウンロードできます。
• 画像はすべて論文から引用されています。