メモ End-to-end Neural Entity Linking

November 2, 2018

背景

本稿は、End to EndなEntity Linkingモデルのアーキテクチャを提案し、予測性能の評価実験で有用性を評価した。実験のデータセットには、Entity annotationの評価に使える様々なデータセットを集めたGerbil Platformが使われている。そのうちのAIDA/CoNLLデータセットにおいて、提案手法は既存手法を超える予測性能を発揮した。

表題にあるEnd to Endは、固有表現抽出(Mention Detection, MD)とエンティティの曖昧性解消(Entity Disambiguation, ED)の両方を実現するアーキテクチャを提案していることに由来する。例えば以前紹介したDeepTypeのように、Entity Linkingにおける研究には、MDとEDの一方のみに焦点を絞ったものが多い。これに対して、本稿は、MDで抽出した情報がEDでの予測性能に役立ちうると主張し、MDとEDの両方を単一のアーキテクチャで対処する立場をとる。

貢献

End to Endなモデルを構築したこと。教師データのテキストに対して必要な注釈は固有表現であること示すものだけがあればよいため、教師データの負担が少ない。
ニューラルネットワークにより、共参照解析をのぞいて特徴量エンジニアリングが不要なこと
実験で、教師データと訓練データが同じドメインのテキストである場合に特に予測性能を発揮できることを示した。両者が異なるドメインに属する場合、既存のNERシステムと組み合わせると予測性能が上がること示した。

アーキテクチャ

提案されたアーキテクチャは、テキストを受け取り、文中の参照表現(Mention)とエンティティの組み合わせに対する確信度を出力する。以下の図は、本稿にあるアーキテクチャ図を示す。アルゴリズムの要諦は、テキストから参照表現の候補を抽出し、各参照表現の候補と各エンティティ間の文脈上の類似度を学習する点にある。類似度の学習は、図中のFFNN2が示すネットワークが行う。類似度の学習において文脈の情報を参照するために、FFNN2に与える参照表現の候補の分散表現(FFNN1の出力)に文脈の情報を含めている。文脈の情報を含んだ分散表現を作るために、Bidirectional LSTMが使われる。図中のyxは、エンティティの学習する分散表現を示す。アーキテクチャが出力する最終的なmentionとentity間のペアは、FFNN2が出力する参照表現の候補とエンティティの文における局所的な類似度をFFNN3によって互いに比較した結果となっている。

end-to-end

論文はこちらからダウンロードできます。