Coda

メモ Conditional Random Fields: Probabilistic Models for Segmenting and Labeling Sequence Data

October 12, 2018

概要

本稿は、条件付き確率場(Conditional Random Fields, CRF)を提案し、品詞タグづけにおけるerror rateをもとに評価した。 評価の比較対象には、Maximum entropy Markov models(MEMMs)が採用されている。

本稿の構成は、MEMMsにおける”The Label Bias Problem”を既存手法の問題として取り上げ、問題に対する分析、提案、評価となっている。 MEMMsは、ある状態に遷移する確率を遷移元の状態と入力値によって決める。このとき、状態間の遷移確率は、系列上の他の位置での遷移によらず決まる。 すると、特定の状態への遷移確率が他の状態への遷移確率よりも顕著に高くて遷移先の候補が数ない場合、入力系列によらず遷移先候補が少ない経路が選ばれやすくなる。 これを”The Label Bias Problem”という。

CRFでは、この問題に対応するにあたり、出力系列の入力系列に対する条件付き確率をモデルする。 これにより、系列上の他の位置における遷移が別の状態間の遷移に影響を与えるようになり、局所的に遷移先の候補が限られた経路に対する偏りを抑えることができる。

備考

本稿を読んだ動機は、Bidirectional LSTM-CRFの論文におけるCRFを用いた箇所の理解のため。 以前「言語処理のための機械学習入門」という書籍でCRFの解説を読んでいた。 ところが、Bidiretional LSTM-CRFではラベル間の遷移を行列で扱っており、行列による表現は書籍になかったので読解に苦労した。 そこで理解の助けになるかと考えて本稿にあたった。

CRFを学ぶのであれば、書籍の方がわかりやすいので書籍をはじめに読むことをすすめる。 CRFの実装方法やpython-crfsuiteのようなライブラリにおける特徴の扱われ方を知りたいのであれば、論文を読む必要がある。


論文はこちらからダウンロードできます。