Coda

概要 Subword Regularization: Improving Neural Network Translation Models with Multiple Subword Candidates

July 17, 2019

概要

表題は、過去に紹介した論文と同様、sentencepiece(ニューラルネットワークを用いた言語処理向けのトークナイザ・脱トークナイザ)の元になった論文にあたる。 ノイズに対する頑強さのために、単語のサブワード(部分文字列)を生成するユニグラム言語モデルの学習方法と、モデルから生成されたサブワード列を入力とする機械翻訳モデルの学習方法を提案した。

Read more

概要 Neural Machine Trasnslation of Rare Words with Subword Units

July 13, 2019

概要

内容は、sentencepiece(ニューラルネットワークを用いた言語処理向けのトークナイザ・脱トークナイザ)のトークナイズで使われるアルゴリズムになっている。単語をサブワード(単語の部分文字列)に分割し、サブワードを組み合わせて珍しい単語や未知語を表現することで、これらの出現頻度の低い単語の翻訳上げるというもの。

Read more

メモ Embedding Logical Queries on Knowledge Graphs

February 17, 2019

概要

一階述語論理式で表現されたクエリを満たすノードを、分散表現に変換し、ナレッジグラフの中から計算時間上効率よく見つけるアルゴリズムを提案した。 クエリに現れるエッジの数に対して計算時間が線形であることが特徴。 ただし、クエリには、存在量化と連接を使えるが、全称量化、選択、否定を使うことができない制約がある。

Read more

Regularizing and Optimizing LSTM Language Models

November 23, 2018

本稿は、LSTMを用いた言語モデルに対して正規化と最適化を適用し、実験を通して既存の先行研究とperplexityの観点で予測性能を評価した。本稿の手法の利点は、LSTMの実装に変更を加えずに適用できるために、NVIDIA cuDNNなどの高速でブラックボックスなライブラリで実装できることにある。

Read more

メモ Deep Joint Entity Disambiguation with Local Neural Attention

November 9, 2018

本稿は、当ページで紹介したEnd-to-End Neural Entity Linking(End-to-End) の著者らの先行研究にあたる。 End-to-EndがEntity LinkingのMention Detection(MD)とEntity Disambiguation(ED)の両方をアプローチの対象にしているのに対し、本稿ではEDのみが対象となっている。 したがって、文章からmention(参照表現)が抽出されていることが前提にあり、提案の中心は、参照表現に対応するエンティティを候補の中から正しく求める手法にある。

Read more

メモ End-to-end Neural Entity Linking

November 2, 2018

背景

本稿は、End to EndなEntity Linkingモデルのアーキテクチャを提案し、予測性能の評価実験で有用性を評価した。 実験のデータセットには、Entity annotationの評価に使える様々なデータセットを集めたGerbil Platformが使われている。そのうちのAIDA/CoNLLデータセットにおいて、提案手法は既存手法を超える予測性能を発揮した。

Read more

DeepType: Multilingual Entity Linking by Neural Type System Evolution(2018)

October 26, 2018

本稿は、既存のオントロジから型システムを構築するアルゴリズムと型システムによるEntity Linking(EL)を提案した。実験を通じて既存手法と比較し、精度の向上を確認した。

Read more

メモ Conditional Random Fields: Probabilistic Models for Segmenting and Labeling Sequence Data

October 12, 2018

概要

本稿は、条件付き確率場(Conditional Random Fields, CRF)を提案し、品詞タグづけにおけるerror rateをもとに評価した。 評価の比較対象には、Maximum entropy Markov models(MEMMs)が採用されている。

Read more

メモ Bidirectional LSTM-CRF Models for Sequence Tagging

October 5, 2018

概要

本稿では、NLPにおける系列ラベリングためのニューラルネットワークアーキテクチャの提案と評価がなされている。 このアーキテクチャは、当ページで以前紹介したContextual String Embeddings for Sequence Labelingで応用されている。

Read more

メモ Contextual String Embeddings for Sequence Labeling

September 28, 2018

概要

表題の論文は、ライブラリflairのアルゴリズムを提案、評価したもの。

論文は、テキストの系列ラベリングに向いた単語の分散表現モデルを提案し、 提案手法が予測性能において既存手法より優れいたことを実験的に示した。 本手法における単語の分散表現は、単語の字面だけでなく、文中における単語の出現位置によって決まる。 いいかえると、同じ単語であっても、文中における出現位置が異なれば、単語は異なる分散表現に変換される。 著者らは、分散表現に文脈の情報を含められることを強調して、提案手法をContextual String Embeddingsと名付けた。

Read more