Posts

論文メモ Playing Atari with Deep Reinforcement Learning

概要

深層強化学習をAtari2600の7つのゲームに応用し、うち6つについて先行手法の性能を超えたDeep Q-Networks(DQN)を提案した論文である。 ピクセルデータを直接入力として与え、深層学習で方策を学習する手法としては初めて提案された。

論文メモ context2vec: Learning Generic Context Embedding with Bidirectional LSTM

概要

文書の文脈の分散表現を獲得するニューラルネットワークのアーキテクチャcontext2vecを提案、評価した論文である。 アーキテクチャの基本構造はCBOWと同様で、周辺の単語から中心の単語を当てられるようにコーパスをもとにモデルを訓練する。 CBOWとの違いは、文脈の算出方法にある。 CBOWは、ウィンドウ内のベクトルの平均値で文脈の分散表現を求める。 一方、context2vecでは、双方向LSTMの出力をもとに算出する。

論文メモ NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE

概要

Decoderに注意機構を採用したencoder-decoderモデルを提案した論文である。 ICLR2015で発表された。 論文の発表当時、encoder-decoderモデルによる翻訳の多くは、encoderが入力文を固定長ベクトルに変換し、固定長ベクトルから翻訳された文を出力していた。 著者らは、固定長ベクトルへの変換が長い文の翻訳性能を下げていると考え、固定長ベクトルを注意機構におきかえたencoder-decoderモデルを提案する。 モデルは、翻訳に加え、生成する単語と入力文の箇所の関係を学習する。 推定時には、まず、次に生成する単語に関係する入力文の箇所を推定する。 次に、推定された箇所と生成済の単語列をもとに、単語を生成する。 特に長い文書の翻訳において、固定長ベクトルをつかうモデルよりも、提案手法が優れていることを実験的に示した。

論文メモ "Why Should I Trust You?" Explaining the Predictions of Any Classifier

概要

モデルの予測に説明をあたえる手法、Local Interpretable Model-agnostic Explanations (LIME)を提案する。 モデルが回帰や分類器であれば、アルゴリズムによらずLIMEを適用できる。 説明を与えたい事例近くにある事例を解釈可能なモデルに学習させ、解釈可能なモデルで予測を説明する。 また、個別の予測ではなく、モデル自体をよく説明する事例を集める手法Submodullar Pick (SP)-LIMEを提案する。

論文メモ Active Learning for Ranking through Expected Loss Optimization

概要

Yahoo! Labsで開発されたランキングのための能動学習の論文である。 提案手法は、Yahoo!検索エンジンでの採用実績がある。 手法は、Expected Loss Optimization(ELO)とよばれ、ベイズ決定則によって識別したときの損失の期待値が最大になるデータを選ぶ。 ELOに用いる損失関数にDCGを採用したExpected DCG Loss Optimization(ELO-DCG)を提案し、実験で評価した。

AtCoderに提出したコードをテストするためのDockerイメージ

AtCoderに提出したコードをテストするためのDockerイメージを実装した。 イメージのDockerfileはこちらにある。 AtCoderで提出したコードをgithubで管理していて、これをテストするために作った。

論文メモ Unsupervised Models for Named Entity Classification

概要

1999年に発表された教師なしの固有表現抽出の手法である。 発表時期が古いことに注意してほしい。 2つの手法が提案されている。 ひとつは、DL-CoTrainと呼ばれるルールベースの手法であり、教師なしデータに既存のルールを適用、適用結果から導出したルールを既存のルールに追加、をくりかえしてルールを増やす。 もう一方は、AdaBoostを応用したCoBoostとよばれる手法である。 ルールベースの手法のほうがCoBoostよりもよい実験結果であったので、前者のみを説明する。

論文メモ Multilabel Classification with Label Correlations and Missing Labels

概要

ラベルの相関関係を学習し推論に利用するマルチラベルの線形モデルを提案した論文である。 相関関係のあるラベル集合を相関関係のないラベル集合に変換し、ラベルごとに分けて学習する手法、Label transformationを応用する。 分類器は、相関関係だけなく、学習データに与えられていないラベルを推定するように拡張できる。

論文メモ Learning Deep Structured Semantic Models for Web Search using Clickthrough Data

概要

クエリと文書を同じ低次元の空間に射影する深層学習のモデルを提案した論文である。 クエリと文書は、適合度合いが高いほど、近くに配置される。 教師データは、クエリと文書の組からなる教師データである。 実験では、商用検索エンジンから抽出した16510件のクエリと対応するWeサイトのタイトルがつかわれる。 Web文書の大量の語彙をあつかうために、語彙の増加に対して次元数を抑えるbag-of-wordsの手法、word hasingも提案した。

論文メモ Classification in the Presence of Label Noise: a Survey

概要

ノイズのある教師データによるクラス分類のサーベイ論文である。発表時期は、2013年の12月である。 主な内容は、ノイズの分類、ノイズが分類に及ぼす影響、ノイズへの対策である。