Coda

概要 Learning Active Learning from Data

July 27, 2019

概要

表題にある論文は、次にラベルを与えるべきデータが何かという能動学習における問題を、 あるサンプルを教師データに追加したときの損失関数の減少値を予測する回帰の問題としてとらえる。 能動学習の目的は最小限データで最大の予測性能をもつモデルを構築することであり、次にアノテーションすべきデータが何かを正しく予測することが課題になる。 論文は、アノテーションすべきサンプルを予測する回帰モデルを学習するアルゴリズムを提案、評価する。アルゴリズムは2値分類の分類器を対象としている。

Read more

概要 TextRank: Bringing Order into Texts

July 20, 2019

概要

表題にある論文は、ドキュメントからキーワードとキーセンテンスを抽出するためのグラフベースのアルゴリズムTextRankを提案、評価した。 TextRankは、名前から推測できるようにPageRankを応用した手法であり、頂点の重要度を、頂点の内容のような局所的な情報ではなく、他の頂点との辺の接続関係を含むグラフ全体の大域的な情報から決定する。PageRankとTextRankのアルゴリズムの違いは、TextRankの場合は辺ごとに重みが設定できるところにある。

Read more

概要 Subword Regularization: Improving Neural Network Translation Models with Multiple Subword Candidates

July 17, 2019

概要

表題は、過去に紹介した論文と同様、sentencepiece(ニューラルネットワークを用いた言語処理向けのトークナイザ・脱トークナイザ)の元になった論文にあたる。 ノイズに対する頑強さのために、単語のサブワード(部分文字列)を生成するユニグラム言語モデルの学習方法と、モデルから生成されたサブワード列を入力とする機械翻訳モデルの学習方法を提案した。

Read more

概要 Neural Machine Trasnslation of Rare Words with Subword Units

July 13, 2019

概要

内容は、sentencepiece(ニューラルネットワークを用いた言語処理向けのトークナイザ・脱トークナイザ)のトークナイズで使われるアルゴリズムになっている。単語をサブワード(単語の部分文字列)に分割し、サブワードを組み合わせて珍しい単語や未知語を表現することで、これらの出現頻度の低い単語の翻訳上げるというもの。

Read more

メモ Embedding Logical Queries on Knowledge Graphs

February 17, 2019

概要

一階述語論理式で表現されたクエリを満たすノードを、分散表現に変換し、ナレッジグラフの中から計算時間上効率よく見つけるアルゴリズムを提案した。 クエリに現れるエッジの数に対して計算時間が線形であることが特徴。 ただし、クエリには、存在量化と連接を使えるが、全称量化、選択、否定を使うことができない制約がある。

Read more

Regularizing and Optimizing LSTM Language Models

November 23, 2018

本稿は、LSTMを用いた言語モデルに対して正規化と最適化を適用し、実験を通して既存の先行研究とperplexityの観点で予測性能を評価した。本稿の手法の利点は、LSTMの実装に変更を加えずに適用できるために、NVIDIA cuDNNなどの高速でブラックボックスなライブラリで実装できることにある。

Read more

メモ Deep Joint Entity Disambiguation with Local Neural Attention

November 9, 2018

本稿は、当ページで紹介したEnd-to-End Neural Entity Linking(End-to-End) の著者らの先行研究にあたる。 End-to-EndがEntity LinkingのMention Detection(MD)とEntity Disambiguation(ED)の両方をアプローチの対象にしているのに対し、本稿ではEDのみが対象となっている。 したがって、文章からmention(参照表現)が抽出されていることが前提にあり、提案の中心は、参照表現に対応するエンティティを候補の中から正しく求める手法にある。

Read more

メモ End-to-end Neural Entity Linking

November 2, 2018

背景

本稿は、End to EndなEntity Linkingモデルのアーキテクチャを提案し、予測性能の評価実験で有用性を評価した。 実験のデータセットには、Entity annotationの評価に使える様々なデータセットを集めたGerbil Platformが使われている。そのうちのAIDA/CoNLLデータセットにおいて、提案手法は既存手法を超える予測性能を発揮した。

Read more

DeepType: Multilingual Entity Linking by Neural Type System Evolution(2018)

October 26, 2018

本稿は、既存のオントロジから型システムを構築するアルゴリズムと型システムによるEntity Linking(EL)を提案した。実験を通じて既存手法と比較し、精度の向上を確認した。

Read more

メモ Conditional Random Fields: Probabilistic Models for Segmenting and Labeling Sequence Data

October 12, 2018

概要

本稿は、条件付き確率場(Conditional Random Fields, CRF)を提案し、品詞タグづけにおけるerror rateをもとに評価した。 評価の比較対象には、Maximum entropy Markov models(MEMMs)が採用されている。

Read more