クエリと文書を同じ低次元の空間に射影する深層学習のモデルを提案した論文である。 クエリと文書は、適合度合いが高いほど、近くに配置される。 教師データは、クエリと文書の組からなる教師データである。 実験では、商用検索エンジンから抽出した16510件のクエリと対応するWeサイトのタイトルがつかわれる。 Web文書の大量の語彙をあつかうために、語彙の増加に対して次元数を抑えるbag-of-wordsの手法、word hasingも提案した。
Doc2Vecのアルゴリズムとして採用されたニューラル言語モデルParagraph Vectorを提案した論文である。 bag of wordsは、文書の単語順を記憶せず、また、似た意味の単語ベクトルと無関係なベクトルを単語にわりあてる。 Paragraph Vectorは、文脈中の単語と抽出元のパラグラフから文脈の中心の単語をあてられるように学習することで、可変長文字列から固定長の文書埋め込みベクトルを生成できるようになる。 これにより、単語順と単語の意味を記憶したベクトルの生成を実現する。
GloVeは,コーパスに出現する単語の共起回数を学習するニューラル言語モデルである。 既存手法を単語の出現頻度の統計値つかう手法と対数双線形モデルに分類し、両者の長所を備え短所を補う手法として、GloVeを提案する。
BERTはAttention Is All You NeedにあるTransformerをアーキテクチャに導入した分散表現のモデルであり、本稿は、事前学習済みのBERTにファインチューニングを適用しQAタスクや自然言語推論のベンチマークにおいて既存研究を上回る結果を示している。 なお、アーキテクチャに関する説明は少なく、子細に知りたい場合はAttention Is All You NeedやThe Annotated Transformerを参照するように案内されている。
宿泊予約サービスBooking.comにおけるモデルの開発運用でえられた教訓を6つにまとめたKDD2019の論文である。 教訓の主眼を収益におき、6つの教訓を通して、実運用環境における仮説と実験を反復する重要性を強調する。
Yahooの検索エンジンを解説するKDD16の論文である。 論文におけるランキングの課題は、クエリと文書の語彙がことなること、ほとんどのクエリは滅多に入力されないこと、クエリの意味の解釈が難しいことである。 これらの課題に対する手法として、ランキングのモデル、特徴のつくりかた、クエリを文書によせる翻訳モデルを解説する。
Dual Embedding Space Model(DESM)は、word2vecによるランキング学習である。 word2vecは、単語ごとに、入力と出力それぞれに近い重みから、2つの分散表現を生成できる。 DESMは、入力側の重みでクエリを、出力側の重みで文書を、それぞれ分散表現に変換する。
実験では、BM25と比較して評価した。 DESMだけで順位づけをすると偽陽性が高くなるが、DESMとBM25の加重平均をとるとBM25よりも高いNDCG値になった。 アルゴリズムを実装し公開した。
ネットワークの複雑化、バッチ正則化、重み減衰を使わない、負の対数尤度の過学習が汎化精度を上げるが、予測確率と精度のズレを大きくすることを実験的に示した。 予測確率を補正する6つの手法を19種類のクラス分類のデータセットに適用した結果、 最も補正できたものは、温度つきソフトマックスの出力を予測確率にする場合であった。
Trinary-Projection Trees(TP trees)は、kd木のように、ユークリッド空間の分割を二分木で表現できるデータ構造である。 超平面は1または-1の重みのついた少数の座標軸で定義される。 これにより、探索時の分岐にかかる計算が、加算と減算だけからなる\(O(1)\)となる。 また、射影されたデータの分散の大きい超平面を探し、同じ分割にある点同士の距離を小さくすることで、精度を向上させている。