1. 共起要素の
クラスタリングを用いた
分布類似度計算
長岡技術科学大学 電気系 山本研究室
大平 真一，山本 和英

2. 単語類似度とは
 意味が近い語同士を類似する単語とする
 『そば』 と 『うどん』 は共通点が多い→類似度が高い
 『そば』 と 『缶』 は性質など全く異なる→類似度が低い
 コーパスを用いた類似度計算
 類似した文脈の語同士は似ている:分布仮説
 コーパス内での単語の使われ方を比較
→分布類似度
①

3. 分布類似度とは
単語と素性の例 (共起要素を素性とした場合)
 『そば』 「を,打つ」 「を,食べる」 「の,原料」
 『うどん』 「を,打つ」 「を,食べる」 「の,原料」
 『缶』 「を,蹴る」 「を,あける」 「の,ふた」
共通する素性が多い → 類似度が高い
共通する素性が少ない → 類似度が低い
②

4. 既存研究
 [相澤, 08]
- 特徴を強く表す素性のみを使用
 [柴田ら, 09]
- 類似度計算に用いる式の検討
 [Maayan Zhitomirsky-Geffet and Dagan, 09]
- ブートストラップ法を用いての素性選択
 [朝倉ら, 10]
- 重みの相対性を用いた素性選択
③

5. 提案手法
 計算に用いる共起要素をクラスタリングする
 人名などの単語に依存する素性が有効となる
『単語 w』 : 「共起要素」 = 「格要素r,係り先の語w’」
『ドイツ』 : 「の,ビール」 「の,首相」 「の,州」
『フランス』 : 「の,人々」 「の,大統領」 「の,地域圏」
等価な意味の共起要素が
有効な素性となる例
④

6. システム全体の流れ
1. 共起要素の自動獲得
 単語と共起要素の対を獲得[Lin, 98]
2. 共起要素のクラスタリング
 クラスタリングツールbayonを用いる
3. 関数を用いた類似度計算
 Weight 関数によるノイズ低減と
Measure 関数による類似度計算 [柴田ら, 09]
⑤

7. クラスタリング
『ドイツ』 : 「の,ビール」 「の,首相」 「の,州」
『フランス』 : 「の,人々」 「の,大統領」 「の,地域圏」
↓
『ドイツ』 : 「クラスタa」 「クラスタx」 「クラスタy」
『フランス』 : 「クラスタb」 「クラスタx」 「クラスタy」
例
 共起要素をクラスタリング結果に置き換える
⑥

8. クラスタリング : 手法
 bayonによる共起要素のクラスタリング
 共起要素の特徴量として単語と共起回数を使用する
『の:銀閣寺』: 京都(5)，都市左京区(3)，東山(4)
クラスタa → 「の:南禅寺」，「の:銀閣寺」
出力例
入力例

9.  『強』類義語ペア→フランス:ドイツ
 『中』類義語ペア→フランス:欧州
 『弱』類義語ペア→フランス:日本人
 『非』類義語ペア→フランス:建物
評価手法
 シソーラスから類義語ペアを自動生成
 『強』や『弱』など段階を設定する[朝倉ら, 10]
 各段階ごとに800セットをランダムで使用
例
⑦

10.  対象コーパス中の「AやB」という表現から『A:B』を候補とする
 分類語彙表の階層を用いて類義語の強度を設定
物品人間活動の主体
家屋
建物
固有地名 人種・民族
フランス
ドイツ
欧州 日本人
評価セットの作成

11. 評価手法イメージ
 段階の異なる類義語ペアを類似度計算
 800ペアずつ判定したときの誤り数を求める
『強』類義語ペア
800対
『弱』類義語ペア
800対
1
800
801
1600
類
似
度
[順位]
判
定
誤
り
⑧

12. 実験条件
 使用したコーパス
 日本経済新聞全記事データベース
1990~2004年度版
 単語のユニーク数 : 145,057 個
 共起要素のユニーク数 : 158,057 個
 クラスタ数
 12,500，2万5千，5万，7万5千，10万，12万5千
⑨

13. 結果
 全ての評価セットにおいて誤り数の減少
が見られた
→手法は有効であるといえる
評価セット 柴田らの手法 提案手法 クラスタ数
『強＋中』 582 554 50,000
『中＋弱』 440 418 50,000
『弱＋非』 192 190 75,000
⑩

14. 結果 : 評価セット『強＋中』
550
560
570
580
590
10000 30000 50000 70000 90000 110000 130000
判定誤り数
クラスタ数
提案手法
柴田らの手法

15. 考察
 クラスタリングが原因の判定誤りがあった
→精度向上に寄与するクラスタを選択する手法が
求められる
 改善例には国名・地域名が多く見られた
 特に『強＋中』のセットにおいては39%を占めた
→人名などのクラスタリングの効果が強く表れた
⑪

16. まとめ
 クラスタリングを行うことで等価な意味を持つ
共起要素をまとめることを狙った
 既存手法に対して誤り数の減少を確認し、
有効性を示した
 国名・地域名に対して特に効果が確認された
⑫