Posts

概要 Subword Regularization: Improving Neural Network Translation Models with Multiple Subword Candidates

概要

表題は、過去に紹介した論文と同様、sentencepiece(ニューラルネットワークを用いた言語処理向けのトークナイザ・脱トークナイザ)の元になった論文にあたる。 ノイズに対する頑強さのために、単語のサブワード(部分文字列)を生成するユニグラム言語モデルの学習方法と、モデルから生成されたサブワード列を入力とする機械翻訳モデルの学習方法を提案した。

概要 Neural Machine Trasnslation of Rare Words with Subword Units

概要

内容は、sentencepiece(ニューラルネットワークを用いた言語処理向けのトークナイザ・脱トークナイザ)のトークナイズで使われるアルゴリズムになっている。単語をサブワード(単語の部分文字列)に分割し、サブワードを組み合わせて珍しい単語や未知語を表現することで、これらの出現頻度の低い単語の翻訳上げるというもの。

論文メモ The Annotated Transformer

論文は、当サイトで紹介したAttention Is All You Needで提案されたTransformerのアーキテクチャを、サンプルコードとオリジナルの論文の引用を交えて解説している。 実装にはPyTorchを使用している。

メモ Embedding Logical Queries on Knowledge Graphs

概要

一階述語論理式で表現されたクエリを満たすノードを、分散表現に変換し、ナレッジグラフの中から計算時間上効率よく見つけるアルゴリズムを提案した。 クエリに現れるエッジの数に対して計算時間が線形であることが特徴。 ただし、クエリには、存在量化と連接を使えるが、全称量化、選択、否定を使うことができない制約がある。

論文メモ Regularizing and Optimizing LSTM Language Models

本稿は、LSTMを用いた言語モデルに対して正規化と最適化を適用し、実験を通して既存の先行研究とperplexityの観点で予測性能を評価した。本稿の手法の利点は、LSTMの実装に変更を加えずに適用できるために、NVIDIA cuDNNなどの高速でブラックボックスなライブラリで実装できることにある。

メモ Deep Joint Entity Disambiguation with Local Neural Attention

本稿は、当ページで紹介したEnd-to-End Neural Entity Linking(End-to-End) の著者らの先行研究にあたる。 End-to-EndがEntity LinkingのMention Detection(MD)とEntity Disambiguation(ED)の両方をアプローチの対象にしているのに対し、本稿ではEDのみが対象となっている。 したがって、文章からmention(参照表現)が抽出されていることが前提にあり、提案の中心は、参照表現に対応するエンティティを候補の中から正しく求める手法にある。

メモ End-to-end Neural Entity Linking

背景

本稿は、End to EndなEntity Linkingモデルのアーキテクチャを提案し、予測性能の評価実験で有用性を評価した。 実験のデータセットには、Entity annotationの評価に使える様々なデータセットを集めたGerbil Platformが使われている。そのうちのAIDA/CoNLLデータセットにおいて、提案手法は既存手法を超える予測性能を発揮した。

DeepType: Multilingual Entity Linking by Neural Type System Evolution(2018)

本稿は、既存のオントロジから型システムを構築するアルゴリズムと型システムによるEntity Linking(EL)を提案した。実験を通じて既存手法と比較し、精度の向上を確認した。

メモ Conditional Random Fields: Probabilistic Models for Segmenting and Labeling Sequence Data

概要

本稿は、条件付き確率場(Conditional Random Fields, CRF)を提案し、品詞タグづけにおけるerror rateをもとに評価した。 評価の比較対象には、Maximum entropy Markov models(MEMMs)が採用されている。

メモ Bidirectional LSTM-CRF Models for Sequence Tagging

概要

本稿では、NLPにおける系列ラベリングためのニューラルネットワークアーキテクチャの提案と評価がなされている。 このアーキテクチャは、当ページで以前紹介したContextual String Embeddings for Sequence Labelingで応用されている。