Coda

論文メモ Universal Sentence Encoder

October 2, 2020

転移学習のための文の分散表現を獲得するモデルを提案した。 提案されたモデルは2つで、両者には精度と計算量の間にトレードオフがある。

精度に優れたモデルはTransformerを元にし、文中の単語と単語の位置を文脈とみなす分散表現をつくる。 計算量に優れるモデルはdeep averaging network(DAN)をもちいる。 DANは、単語とバイグラムの分散表現の平均をとり、その値を順伝播ネットワークに流して分散表現をつくる。 実験では、どちらのモデルにも、小文字に変換しトークン化されたPTBのテキストをあたえ、文を512次元のベクトルに変換できるように学習させ、Word Embedding Association Test(WEAT)でモデルの偏りを評価したところ、どちらも単語の分散表現をもちいる転移学習よりも優れた性能を発揮した。