SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS

January 21, 2022

文書の特徴を点、引用などの文書間の関係を辺であらわすグラフ構造に畳込みニューラルネットワークを適用する。 半教師あり学習であり、ラベルのない文書は近くにある文書とおなじラベルになると仮定する。 Zhu et al.の先行研究は、辺の情報をネットワークにあたず、文書の特徴のみを入力する。 表題の手法では、文書の特徴にくわえ、隣接行列で表現した辺の情報もネットワークにあたえる。 グラフの辺の数に対して線形にスケールし、隠れ層でグラフの分散表現を獲得できる。

\(A\)を隣接行列, \(I_{N}\)を単位行列、\(\tilde{A}=A+I_{N}\), \(\tilde{D}_{ii}=\sum_{j}\tilde{A}_{ij}\)とすると、各層の伝搬規則は次の式になる。 $$ H^{(l+1)}=\sigma \left(\tilde{D}^{-\frac{1}{2}}\tilde{A}\tilde{D}^{-\frac{1}{2}}H^{(l)}W^{(l)} \right) $$ \(\sigma\)は\(\text{ReLU}(\cdot)=\max(0, \cdot)\)などの活性化関数、\(H\in\mathbb{R}^{N\times D}\), \(H^{(0)}=X\)である。 たとえば、2層のネットワークであれば、\(C\)をチャネル数, \(H\)を特徴マップとして\(W^{(0)}\in\mathbb{R}^{C\times H}\)の $$ Z=f(X, A)= \text{softmax}\left(\hat{A} \text{ReLU}\left(\hat{A}XW^{(0)}\right)W^{(1)}\right) $$ で、学習時は\(\mathcal{Y}_L\)をラベルのある点の集合として交差エントロピー $$ \mathcal{L}=-\sum_{l\in \mathcal{Y}_L}\sum^{F}_{f=1}Y_{lf}\ln Z_{lf} $$ をもちいる。

論文をこちらからダウンロードできます。