A Unified Architecture for Natural Language Processing: Deep Neural Networks with Multitask Learning(2008)
September 16, 2023A Unified Architecture for Natural Language Processingは、複数のタスクの訓練データで重みの更新を繰り返すマルチタスクの深層学習である。 複数のタスクから順にあるタスクを選び、選んだタスクからランダムに取り出したサンプルで重みを更新するオンライン学習である。 ネットワークの層は、入力に近い方から、Word embedding、時間遅延ニューラルネットワーク(Time-Delay Neural Networks, TDNN)層、TDNN層の全時刻にわたる各ユニットの最大値を出力するMax Layer, 全結合層、ソフトマックスからなる。 Word embeddingのみタスク間で重みを共有し、後続の層の重みはタスクごとに異なる。
雑記
オンライン学習ではなく、タスクを1つ選び、そのタスクの2つ以上のサンプルで重みを更新するミニバッチ学習もできそう。