Coda

ノイズを含む入力からノイズのない入力を復元するように学習すると、次元圧縮の性能を向上できることを示した。 層の深いautoencoderを学習するには、良い初期値を与えなければらないことが知られていた。 先行研究は、各中間層を個別に学習することで、良い初期値を求められることを示した。 具体的には、各中間層について、前の層の入力から次の層の出力を推定できるよう個別に学習させる。 一方で、何が良い初期値をなすのかは知られていなかった。 表題の論文は、その条件は入力に含まれるノイズに対して頑強であると仮説をおき、ノイズを除去できるように目的関数を設定することで、次元圧縮の性能が上がることを示し、仮説の正しさを確かめた。

ソフトウェア工学の実験において、統計をもちいた手法がどれだけ誤用されているかを調査した。 薬学や心理学の実験では、統計による手法が時に誤って使われていることが知られている。 一方で、ソフトウェア工学では、どの程度誤用がみられるのかは分かっていない。 著者らは、2006から2015年のソフトウェア工学のトップ会議ICSEで発表された論文770件から、実験や評価に統計的手法をもちいたものを選び、10の観点からなる判断基準で、手法の妥当性を評価した。

Ladder Networkを半教師あり学習に応用する。 Ladder Networkは、2015年に、著者の一人Valpolaによって教師なし学習のためのネットワークとして発表されている*。

Microsoftの社内では深層学習のプラットフォームPhillyが運用されており、そこで起きた4960件のジョブの失敗原因を調査した。 調査では、失敗の原因を20のカテゴリに分類し、カテゴリごとに失敗の件数を集計した。

概要

GPTの略称で知られる教師なしの事前学習である。 評価実験では、12の自然言語処理タスクのうち9つで、当時のSoTAを上まわる性能を発揮した。 ネットワークはTransformerであり、事前学習では言語モデルを学習する。 手法の独自性は、ファインチューニングでの入力データの作り方にある。 入力形式を工夫し、事前学習時のネットワーク構成を維持することで、効率的な転移学習を実現する。

エンジニア10人の普段の開発状況から、認知バイアスが開発者にあたえる影響やバイアスの頻度、対策方法について調査した。

Factorization Machineは、Matrix factorizationのようなFactorization modelとSVMの両方の利点をもつ。 Matrix modelには疎な特徴を入力することができるが、予測のモデルに使うには汎用性に欠ける。 一方、SVMは、汎用的であるが、推薦システムで使われるような疎な特徴を扱うことができない。 Factorizatiom Machineは、両者の利点をそなえており、疎な任意の実数を要素にもつ特徴ベクトルを扱うことができる。 また、予測の計算量が線形であり、必要なパラメタの数も線形であるため、SVMのサポートベクタのように訓練データをモデルに持たせる必要がない。 そのために、大量の訓練データを使う学習も可能となる。

スタートアップ86社を調査し、スタートアップにおける技術的負債を招く要因(precedents)、負債を抱える側面(dimentions)、その影響(outcomes)について調査した。 チームの人数の多さと熟練度の低さが負債の要因を誘発し、負債はテストの不足によくみられた。

協調フィルタリングのような推薦システムのためのネットワークアーキテクチャを提案した。 特徴の疎・密にかかわらず入力として与えることができる。 例えば、論文の例題では、個人の選好をしめすアイテムとユーザからなる疎な行列を受け取り、ユーザがアイテムをクリックする確率を推定するタスクが使われている。

ペアプログラミングによる知識移転の効果を知るために、9社の社員からなる26組のペアプログラミングを、グラウンデッド・セオリーで調査した。 従来は、熟練度合いで開発者を分けて、ペアプログラミングを分析・評価することが多い。 今回の調査では、システムの要件・仕様のようなシステム固有の知識と、言語、デザインパターン、開発ツールなどの開発全般の知識の2軸で、開発者と知識を分ける重要性を定性的に示した。 一方がシステム固有の知識に欠け、他方が開発全般の知識に欠けるときに、最も知識の伝達が活発だった。