ある確率でデータに誤ったラベルをふるlabelerでデータにラベルをふるときに、 既にラベルのあるデータに重ねてラベルをふるべきか調査した。 12種類のラベルつきデータセットを使い、 正解ラベルを誤ったラベルに置換する割合や同一のデータのもつラベルの数を変化させ、モデルの精度の違いを観察した。 加えて、ラベルをふるべきデータを推定する手法も提案している。
ActiveCleanは、教師データの誤りを修正し、モデルの精度を改善する手法である。 優先して修正すべきデータを推定し、データが修正されたら修正されたデータでモデルを学習する。 この修正と学習を条件を満たすまでくりかえす。 反復的な学習で大域的最適解をえられるモデルであれば、最適解への収束が保証される。 データの修正件数が等しい場合に、先行研究と比べて最大2.5倍の精度改善を達成した。
Web上の表から抽出した大量の関係モデルを対象にした検索を提案・評価した。 検索の他にも、一部の属性を入力とするスキーマの補完、入力した属性ないしスキーマに類似のものを推定するアルゴリズムの議論もある。 ここのスキーマは属性のリストである。論文の著者らは研究時にGoogleに在籍しており、論文で使われたコーパスはグーグルの汎用ウェブクローラで集めた141億のHTMLの表から抽出した高精度な154百万の関係モデルである。 コーパスに使うものはHTML形式の表から抽出した関係モデルのみである。 手法の新規性は、1億以上もの大量のテーブルを対象にしていることにある。
機械学習に使う教師データに関するサーベイ論文であり、機械学習や自然言語処理などのデータの応用分野だけでなく、データの管理にまつわる分野の調査も含まれているところに特徴がある。 データの管理に着目している理由は、深層学習の発展によって必要な教師データが増えたことで、データの管理の課題が顕在化してきたからである。
表題の論文は、マルコフ確率場をなす無向グラフとグラフの構造を反映した逆共分散行列の間の対応関係を証明し、 観測した確率変数の値からグラフの構造を復元する実験を通じて、対応関係を確認した。 この手法はSnorkelというWeak supervisionの手法において、 正解データのない環境で、ノイズつきの教師データを生成する異なるソース間の相関関係を推定するために応用された。
分類すべきデータには、正例と負例どちらか一方にのみ顕著にみられる特徴がある。 特徴選択をする場合、正例だけでなく負例の選択された顕著な特徴の割合も性能に影響する。 不均衡データの文書分類で、選択する割合を調整するほうが、予測性能を向上できたことを実験的に示した。 情報利得やオッズ比など単変量統計にもとづく特徴選択の場合、統計量の値によって暗黙的に決められた割合と異なる割合の場合の方が予測性能が高かった。
Weak Supervisionは、人手によるルールベースよりも効率良くノイズ交じりの教師データを生成する手法である。 表題の論文は、Weak Supervisionの手法であるSnorkelをGoogleで適用したケーススタディである。 Snorkelは、サンプルから推定したラベルを返す関数（ラベリング関数）を複数用意し、それをラベルなしデータに適用する。 その結果から関数の精度を予測し、個々の関数よりも高い精度でデータにラベルを与える。この関数をラベリング関数という。 Snorkel DryBellは、Snorkelのアルゴリズムをスケールさせるために、MapReduceに適用できるように修正された主要である。
ソース間の粒度や精度が揃っていることを前提とせず、LohとWainwrightらの手法でソースの精度を推定し、ソースのラベルよりも精度が高いラベルをデータに与えるWeak supervsionの手法である。
Snorkelは、不正確なラベルを許容した上で半手動で大量の教師データを生成するWeak supervisionの一種である。 Snorkelは、データを受け取りラベルの予測値か予測不可能であることを示す値を返す関数を使い、データにラベルを割りあてる。 このラベル付けする関数は、ラベリング関数と呼ばれ、データとともにSnorkelに与えられる。 ラベリング関数は人間が実装したルールベースな関数でよい。 Snorkelは、入力された複数のラベリング関数をデータに適用し、データ件数xラベリング関数の個数をサイズとするラベルの予測値の行列を作る。その後、真のラベルを予測するモデルを行列にあてはめ、サンプルにラベルごとの真のラベルについての確信度を出力する。
マイクロソフトにおける機械学習を応用したアプリケーションの開発についての調査結果をまとている。 著者らは、9人中の8名がMicrosoft Researchに所属し、本論文で2019年のICSEのSoftware Engineering in Practiceの分野でBest Paper Awardを受賞した。 主な貢献は、各チームにおける開発フローを9のステージに分けて解説したこと、機械学習を応用するアプリケーションやプラットフォームの開発におけるベストプラクティスを示したこと、機械学習を応用するアプリケーションの開発に固有の課題にまつわる論考の3つである。