1. ACL’14読み会@京大
NAIST 自然言語処理学（NTTCS研連携）研究室
D2 吉川友也
線形分類問題で言語的構造を正則化として入れる話

2. • 目的関数
問題設定: 二値分類
• 訓練データ
– : 素性ベクトル（例: Bag-of-words）
– : 二値ラベル
正則化項
損失関数
• log損失:
• 正則化項:
– Ridge:
– Lasso:
– Group Lasso:
言語的構造を
ここに入れる
2
L(xd, yd, w) = log 1 + exp( ydw>
xd)

3. Sentence Regularizer
文を単語のグループだと思って正則化をかける
• 分類に効かない文に含まれる単語の重みをまるごとゼロへ
誘導する正則化
• 普通のGroup Lassoと違って、グループ間で重みが重なる
– これが学習を難しくしている
正則化項:
D: 文書数、Sd: 文書dの文の数
[Yogatama+ ICML’14]
Yogatama et al., ICML’14
“Making the Most of Bag of Words: Sentence Regularization with Alternating Direction Method of Multipliers” 3

4. Parse Tree Regularizer
構文木のノードをグループだと思って正則化
正則化項:
Cd,s: 文書dのs番目の
文のノード数
• 分類に効かないPhraseごと単語の重みをゼロにできる
例: “The actors are fantastic.”の場合
Group LassoとLassoを足したようなものになる
4

5. LDA Regularizer
トピックをグループだと思って正則化
正則化項:
K: LDAのトピック数
wk: トピックkの単語の重みベクトル
まず、LDAによってトピックと
各トピックに高確率で出現する
単語を抽出
• 分類に効かないトピックの単語の重みをまるごとゼロへ
5

6. Brown Cluster Regularizer
単語クラスタをグループだと思って正則化
Brownクラスタリングによって、
単語の階層クラスタリングをする
正則化項:
N: ノード数
• 分類に効かない意味の近い単語の重みをまるごとゼロへ
• 構文木と違って、コーパス全体で一つのクラスタ構造
6

7. 学習: ADMMによる最適化（著者らのICML’14と同じ）
min
w,v
⌦las(w) + ⌦glas(v) +
DX
d=1
L(xd, w, yd) s.t. v = Mw目的関数:
対応する
ラグランジュ問題:
各変数について交互に最適化（ADMM）
v1
v2
v3
v4
例: グループが
4つあるとき
=
M: 単語のグループ割当てを表す
バイナリ行列
M
w
7

8. 近接勾配法によるパラメータ更新則の導出: wの更新
8
微分困難 微分が簡単 f(w)
1. 微分できる部分 f(w)について、 でwを計算
2. 求められたwをproximal operatorに入れる
Proximal operator
凸関数
関数hがLassoの場合、
vの更新についても同様の導出・操作を行う

9. 実験: トピック分類、極性分類、テキストによる予測
の３種類で評価
• データセット
– トピック分類: 20Newsgroupsで二値分類
– 極性分類: Stanford sentiment treebankとUS議会の投票
– 予測: ３年以内の引用予測、法案の提出予測
• セットアップ
– parser: Berkeley parser
– LDA:
• トピック数K=1000で学習、トップ10単語を抽出
– Brown:
• 5000クラスタ（トピック分類、極性分類）
• 1000クラスタ（予測）
9

10. 分類・予測性能
• ４つのデータセットで言語的正則化を入れた時最も良い
– sentenceの結果も著者らの手法なので、
実質的には1つ以外のデータセットで良い結果
10

11. モデルサイズ（重みパラメータの残存率）
• 重みパラメータの平均残存率
– parse: 27%
– Brown: 34%
– LDA: 19%
11

12. 素性を追加した既存手法との分類性能の比較
12