教師なしオブジェクトマッチング（第2回ステアラボ人工知能セミナー）

4. 4Copyright©2016 NTT corp. All Rights Reserved. 機械学習 • 教師あり学習 – 入力と出力のペアから未知の出力を予測する – 例１：スパムメールフィルタ – 例２：画像認識 • 強化学習 – 入力に対する正解の出力は与えられないが，出力の評価は与えられ，最適な出力を学習する – 例１：ロボット制御 – 例２：ゲーム • 教師なし学習 – データの背後に存在する隠れた構造を抽出する

13. 13Copyright©2016 NTT corp. All Rights Reserved. 教師ありマッチング手法の問題点 • 対応データが必要 – 例：対訳文，辞書 • 対応データが入手困難・不可能な状況もある – プライバシーの保護 • 異なる企業間で顧客情報の共有ができない – データの入手目的や方法が異なる • すでに入手したデータの場合，対応が消えている場合もある – 人手による対応付け高コストが高い • 辞書や対訳データが整備されていない使用人数が少ない言語もある

22. 22Copyright©2016 NTT corp. All Rights Reserved. 教師なしオブジェクトマッチング手法 • 既存手法 – kernelized sorting [Quadrianto et al. 2010] – convex kernelized sorting [Djuric, Grbovic, Vucetic, 2012] – least squares object matching [Yamada and Sugiyama, 2011] – matching canonical correlation analysis [Haghighi et al. 2008] • 問題点 – 1対1対応のみ発見 – ドメイン毎のオブジェクト数が同じでないといけない – 2ドメイン以上に対応

23. 23Copyright©2016 NTT corp. All Rights Reserved. タスク：教師なしクラスタマッチング • 異なるドメイン間のクラスタの対応を教師なしで見つける – １対１対応とは限らない – ドメイン数は２以上 – オブジェクト数は異なってもよい car automobile motorcar wagen automobil 車自動車乗用車 English German Japanese

29. 29Copyright©2016 NTT corp. All Rights Reserved. 混合正規分布によるクラスタリング • k平均法の確率版 • 生成過程 – クラスタ毎の平均は{𝜇1, 𝜇2, ⋯ , 𝜇 𝐾} – For オブジェクト 𝑛 = 1, ⋯ , 𝑁 • クラスタ割当を決める 𝑠 𝑛 ∼ Categorical(𝜃) • オブジェクトを生成 𝒙 𝑛 ∼ Normal(𝜇 𝑠 𝑛 , 𝜎2)

30. 30Copyright©2016 NTT corp. All Rights Reserved. 混合正規分布によるクラスタリング • k平均法の確率版 • 生成過程 – クラスタ毎の平均は{𝜇1, 𝜇2, ⋯ , 𝜇 𝐾} – For オブジェクト 𝑛 = 1, ⋯ , 𝑁 • クラスタ割当を決める 𝑠 𝑛 ∼ Categorical(𝜃) • オブジェクトを生成 𝒙 𝑛 ∼ Normal(𝜇 𝑠 𝑛 , 𝜎2) 𝜇2 𝜇3 𝜇1

31. 31Copyright©2016 NTT corp. All Rights Reserved. 混合正規分布によるクラスタリング • k平均法の確率版 • 生成過程 – クラスタ毎の平均は{𝜇1, 𝜇2, ⋯ , 𝜇 𝐾} – For オブジェクト 𝑛 = 1, ⋯ , 𝑁 • クラスタ割当を決める 𝑠 𝑛 ∼ Categorical(𝜃) • オブジェクトを生成 𝒙 𝑛 ∼ Normal(𝜇 𝑠 𝑛 , 𝜎2) 𝜇2 𝜇3 𝜇1 1 2 3 𝜃

32. 32Copyright©2016 NTT corp. All Rights Reserved. 混合正規分布によるクラスタリング • k平均法の確率版 • 生成過程 – クラスタ毎の平均は{𝜇1, 𝜇2, ⋯ , 𝜇 𝐾} – For オブジェクト 𝑛 = 1, ⋯ , 𝑁 • クラスタ割当を決める 𝑠 𝑛 ∼ Categorical(𝜃) • オブジェクトを生成 𝒙 𝑛 ∼ Normal(𝜇 𝑠 𝑛 , 𝜎2) 𝜇2 𝜇3 𝜇1 1 2 3 𝜃 1つ目のオブジェクトのクラスタ割当： 𝑧1 = 2

33. 33Copyright©2016 NTT corp. All Rights Reserved. 混合正規分布によるクラスタリング • k平均法の確率版 • 生成過程 – クラスタ毎の平均は{𝜇1, 𝜇2, ⋯ , 𝜇 𝐾} – For オブジェクト 𝑛 = 1, ⋯ , 𝑁 • クラスタ割当を決める 𝑠 𝑛 ∼ Categorical(𝜃) • オブジェクトを生成 𝒙 𝑛 ∼ Normal(𝜇 𝑠 𝑛 , 𝜎2) 𝜇2 𝜇3 𝜇1 1 2 3 𝜃 1つ目のオブジェクトのクラスタ割当： 𝑠1 = 2 𝒙1

34. 34Copyright©2016 NTT corp. All Rights Reserved. 混合正規分布によるクラスタリング • k平均法の確率版 • 生成過程 – クラスタ毎の平均は{𝜇1, 𝜇2, ⋯ , 𝜇 𝐾} – For オブジェクト 𝑛 = 1, ⋯ , 𝑁 • クラスタ割当を決める 𝑠 𝑛 ∼ Categorical(𝜃) • オブジェクトを生成 𝒙 𝑛 ∼ Normal(𝜇 𝑠 𝑛 , 𝜎2) 𝜇2 𝜇3 𝜇1 1 2 3 𝜃 1つ目のオブジェクトのクラスタ割当： 𝑠2 = 1 𝒙1 𝒙2

35. 35Copyright©2016 NTT corp. All Rights Reserved. 混合正規分布によるクラスタリング • k平均法の確率版 • 生成過程 – クラスタ毎の平均は{𝜇1, 𝜇2, ⋯ , 𝜇 𝐾} – For オブジェクト 𝑛 = 1, ⋯ , 𝑁 • クラスタ割当を決める 𝑠 𝑛 ∼ Categorical(𝜃) • オブジェクトを生成 𝒙 𝑛 ∼ Normal(𝜇 𝑠 𝑛 , 𝜎2) 𝜇2 𝜇3 𝜇1 1 2 3 𝜃 𝒙1 𝒙2 𝒙5 𝒙7 𝒙6 𝒙9 𝒙4 𝒙8 𝒙3

36. 36Copyright©2016 NTT corp. All Rights Reserved. 混合正規分布によるクラスタリング • 推論 – オブジェクト集合{𝒙1, 𝒙2, ⋯ , 𝒙 𝑁}を生成したもっともらしいクラスタ割当集合 𝑠1, 𝑠2, ⋯ , 𝑠 𝑁 、クラスタ平均集合{𝜇1, 𝜇2, ⋯ , 𝜇 𝐾}、クラスタ割合𝜃を求める 𝒙1 𝒙2 𝒙5 𝒙7 𝒙6 𝒙9 𝒙4 𝒙8 𝒙3 𝜇2 𝜇3 𝜇1 𝒙1 𝒙2 𝒙5 𝒙7 𝒙6 𝒙9 𝒙4 𝒙8 𝒙3

37. 37Copyright©2016 NTT corp. All Rights Reserved. 教師なしクラスタマッチング生成モデル • 潜在空間に無限個の潜在ベクトル{𝒛1, 𝒛2, 𝒛3 ⋯ } • 潜在空間から各ドメインの線形写像行列{𝑊1, ⋯ , 𝑊𝐷} • For ドメイン 𝑑 = 1, ⋯ , 𝐷 – For オブジェクト 𝑛 = 1, ⋯ , 𝑁𝑑 • クラスタ割当を決める 𝑠 𝑑𝑛 ∼ Categorical(𝜃) • オブジェクトを生成 𝒙 𝑛 ∼ Normal(𝑊𝑑 𝑧 𝑠 𝑑𝑛 , 𝛼−1 𝐼)

38. 38Copyright©2016 NTT corp. All Rights Reserved. 教師なしクラスタマッチング生成モデル • 無限混合正規分布潜在空間ドメイン１観測空間 z1z2 z3 W1z1 W2z2 W2z3 W2z1 W1z3 W1z2 ドメイン２観測空間 𝛼−1 𝑝 𝒙 𝑑𝑑 𝒁, 𝑾, 𝜽 = � 𝜃𝑗 𝑁(𝒙 𝑑𝑑|𝑾 𝑑 𝒛𝑗, 𝛼−1 𝑰) ∞ 𝑗=1 線形写像行列潜在ベクトル精度（分散の逆数）クラスタ割合

39. 39Copyright©2016 NTT corp. All Rights Reserved. 提案法の入出力 • 入力：Dドメインのオブジェクト集合 – 𝒙 𝑑𝑑 ∈ 𝑅 𝑀 𝑑 はドメインdのn番目のオブジェクトの特徴ベクトル – オブジェクト数や特徴数はドメイン事に異なってよい 𝑁 𝑑 ≠ 𝑁 𝑑′, 𝑀 𝑑 ≠ 𝑀 𝑑′ • 出力：オブジェクト毎のクラスタ割当 – 𝑠 𝑑𝑑 ∈ {1, ⋯ , ∞} はドメインd のn番目のオブジェクトのクラスタ割当で、クラスタは全ドメインで共通 39 𝑿1 = {𝒙11, 𝒙12, ⋯ , 𝒙1𝑁1 }, ⋯ , 𝑿 𝐷 domain2domain1 object→ feature→ feature→ 𝑺1 = {𝑠11, 𝑠12, ⋯ , 𝑠1𝑁1 }, ⋯ , 𝑺 𝐷 objects indomain2 objects indomain1 clusters

40. 40Copyright©2016 NTT corp. All Rights Reserved. 提案法の特徴 • クラスタ数を自動推定できる – ディリクレ過程を用いて無限個のクラスタを想定 • 異なるドメインのオブジェクトを共通のクラスタに割当できる – 潜在ベクトルを全ドメインで共有 • ドメイン毎に異なる特徴次元や統計的性質を考慮できる – ドメイン固有の線形写像行列 • ドメイン毎に異なるオブジェクト数でもよい – 潜在ベクトルが与えられたとき、各ドメイン独立にオブジェクトを生成

41. 41Copyright©2016 NTT corp. All Rights Reserved. 推論 • 確率的EMアルゴリズム – Eステップ：クラスタ割当sをギブスサンプリング – Mステップ：写像行列Wを最尤推定 – 潜在ベクトルz、クラスタ割合θ、精度αは解析的に積分消去 41 𝑝 𝑠 𝑑𝑑 = 𝑗 𝑿, 𝑺∖𝑑𝑑, 𝑾 ∝ 𝑝(𝑠 𝑑𝑑 = 𝑗, 𝑺∖𝑑𝑑) 𝑝(𝑺∖𝑑𝑑) 𝑝(𝑿|𝑠 𝑑𝑑 = 𝑗, 𝑺∖𝑑𝑑, 𝑾) 𝑝(𝑿∖𝑑𝑑|𝑺∖𝑑𝑑, 𝑾) 𝑝(𝑠 𝑑𝑑 = 𝑗, 𝑺∖𝑑𝑑) 𝑝(𝑺∖𝑑𝑑) ∝ � 𝑁𝑗∖𝑑𝑑 𝛾 for an existing cluster for a new cluster 𝑝(𝑿|𝑠 𝑑𝑑 = 𝑗, 𝑺∖𝑑𝑑, 𝑾) 𝑝(𝑿∖𝑑𝑑|𝑺∖𝑑𝑑, 𝑾) = 2𝜋 −𝑀 𝑑/2 𝑟 𝑏∖𝑑𝑑 ′ 𝑎∖𝑑𝑑 ′ 𝑏𝑠 𝑑𝑑=𝑗 ′ 𝑎 𝑠 𝑑𝑑=𝑗 ′ Γ(𝑎 𝑠 𝑑𝑑=𝑗 ′ ) Γ(𝑎∖𝑑𝑑 ′ ) 𝑪𝑗,𝑠 𝑑𝑑=𝑗 1/2 𝑪𝑗∖𝑑𝑑 1/2 a θ z γ s x W α r ∞ DN bmixture weight precision latent vector projection matrix objectcluster assignment

43. 43Copyright©2016 NTT corp. All Rights Reserved. 異なるドメインへの写像 • ドメインdから潜在空間への写像 𝒛� = 𝑾 𝑑 𝑇 𝑾 𝑑 −1 𝑾 𝑑 𝑇 𝒙 • 潜在空間からドメインd’への写像 𝒙� 𝑑 = 𝑊𝑑𝑑 𝒛� • ドメインdからドメインd’への写像行列 𝑾 𝑑𝑑 𝑾 𝑑 𝑇 𝑾 𝑑 −1 𝑾 𝑑 𝑇 43 latent space domain d domain d’

44. 44Copyright©2016 NTT corp. All Rights Reserved. 実験 • ３つの人工データ、４つの実データ • 特徴をランダムに２つに分割して２つのドメインを作成 • 同じクラスラベルを持つオブジェクトをマッチングさせたい • 評価尺度：adjusted Rand index（高いほど良い） 44 𝑝 𝑠 𝑑𝑑 = 𝑗 𝑋, 𝑆∖𝑑𝑑, 𝑊 ∝ � 𝑁𝑗∖𝑑𝑑 ⋅ 𝑝(𝑥 𝑑𝑛|𝑠 𝑑𝑛 = 𝑗, 𝑆∖𝑑𝑛, 𝑊) 𝛾 ⋅ 𝑝 𝑥 𝑑𝑑 𝑊 clustering each domain individually clustering, then one-to-one matching one-to-one matching one-to-one matching, then clustering KM: k-means, CKS: convex kernelized sorting object→ feature→

51. Introduction • Networks have common latent groups – lexical networks from different languages – social networks from different research labs – biological networks from different species – user-item networks from different stores 車自動車運転する動かすドライバー運転手 car motorcar drive run driver operator

52. Introduction • Find correspondence between clusters in multiple networks without node correspondence – e.g. discover shared word clusters from multilingual document-word networks without cross- language alignment information • Networks from different fields exhibit common characteristics – e.g. Scale-free, small world, community structure • Multi-task learning for networks

53. Input: two user-item networks user user item item

54. Output: common user/item clusterssortedusers user sorted items sortedusers sorted items

55. Task Input

56. Task Input Output clustering

57. Task Input Output matching

58. Proposed Method: ReMatch • based on Infinite Relational Models (IRM) [Kemp, et. al. 2006] – infinite version of stochastic block models – clustering nodes based on connectivity • a single network is modeled by an IRM • multiple IRMs are generated from shared connectivity and cluster proportions • different networks can share clusters and their interaction patterns

59. Generative process of ReMatch

60. ReMatch: IRM with a combined matrix missing missing Network1 Network2

61. Inference • collapsed Gibbs sampling

62. Unidentifiable Networks A B C a b c A B a b Identifiable Networks A B C a c b

63. clusterindex→ node index → clustering and matching simultaneously (user) (item) ×：network1 ○：network2

64. Experiments with synthetic data Adjusted Rand Index

65. Experiments with real-world user-item data user item

66. Experiments with real-world document-word data (Wikipedia in English and German)

67. Conclusion • We proposed the probabilistic model for unsupervised cluster matching for networks. • Future work – investigate other common properties • e.g. small world, scale free – apply the proposed framework to other network models • e.g. latent feature model, dynamic IRM

69. Introduction • Languages share certain common properties – word order in most European languages is SVO • Reasons for commonalities – a common ancestor language – borrowing from nearby languages – innate abilities of humans 69 protolang lang 1 lang 2 lang 1 lang 2 lang 1 lang 2 brain

70. Task • Extract a common grammar from multilingual corpora 70 non-parallel and non-annotated multilingual corporaINPUT ・ common grammar ・ language dependent grammars OUTPUT

71. Our approach • Hierarchical Bayesian modeling – Monolingual grammar: probabilistic context-free grammar (PCFG) • Each sentence is generated from the language dependent PCFG – PCFG for each language is generated from a prior (common grammar) 71 PCFG PCFG prior (common grammar) English sentences PCFG German sentences PCFG Swedish sentences

72. Probabilistic context free grammar 72 S NP VP V NP Det N I saw a dog S → NP VP : 0.5 S → VP VP : 0.1 probability of nontermial production nontermial terminal probability of termial emission V → saw : 0.002 V → study : 0.001 probability of choosing production or emission S: emission: 0.0 V: emission: 0.9

73. Generative model of PCFG 73 ( , , )l l l=G K W ΦPCFG of language l nonterminals terminals rule probabilities *nonterminals are shared among languages { }, ,l lA lA lA A∈ = K Φ θ φ ψ emit|S prod|S en,l S=φ en,l S=θ S→learn S→universal S→from S→grammar S→multi en,l S=ψ emit|S prod|S de,l S=φ de,l S=θ S→dieser S→vortrag S→sehr S→ist S→gut de,l S=ψ emit|S prod|S S ϕ α S θ α English German Commonprobability of terminal emission (multinomial) A→w probability of nontermial production (multinomial) A→BC probability of choosing emission or production (multinomial) (Dirichlet) (Dirichlet) S→NN S→NV S→VN S→VV S→SN S→NN S→NV S→VN S→VV S→SN S→NN S→NV S→VN S→VV S→SN rule probability parameters S S S

74. Inference • variational Bayesian method – estimate posterior – via a tractable variational distribution – so as to minimize the KL divergence 74 parse trees language dependent PCFG parameters common grammar parameters multilingual corpora [ ] , , arg min KL ( , , ) || ( , , | )q p Z Φ α Z Φ α Z Φ α X

75. Parameter update • The parameters can be updated efficiently using the inside- outside algorithm 75 language dependent parameters parse tree common parameters

76. Experiments • Data – EuroParl corpus in 11 languages – 100,000 sentences for each language – not sentence-aligned – 20 nonterminals • Probable terminals for each nonterminals – only nonterminals with high probabilities of selecting the emission rule • Common grammar rule probability 76 1 0 1 ˆ ABC A BC AB CB C ϕθ θ θ ϕ αα ϕ α α α→ ′ ′′ ′ = ⋅ + ∑

77. Probable terminals for nonterminal 9 77 da: of for in and to with on from de: and in for on of to with to also el: and in that from be of for es: of that to in by with and for on fi: and Europe is-like or are nor-is English translation fr: of has that for on in of and by it: of and of of of in to ‘s of by nl: of in for and on with to about but pt: of of of and to in of and with sv: in and for of to on with as

78. Probable terminals for nonterminal 2 78 da: it I we there they therefore this debate what de: is are have shall has must might my will can el: be for to must not and this with that es: is there thanks morning that you-have we is place are fi: is not are should was sent not may concerns can-be English translation fr: new is in has place will you have it: and that not one debate take-place president are nl: is be must has have must can shall will is pt: that and not mr. parliament of approves tommorow with sv: the I we this what therefore they debate you it

79. Probable terminals for nonterminal 11 79

80. Inferred common grammar 80 * We named nonterminals using grammatical categories after the inference = = = = = = = R: root, S: sentence, SBJ: subject VP: verb phrase, V: verb, NP: noun phrase DT: determiner, N: noun, PR: preposition

81. Conclusion • Bayesian approach for capturing commonalities at the syntax level for non-parallel multilingual corpora • Future work – model improvement • more sophisticated probabilistic grammar models • infer #nonterminals with nonparametric Bayes • more hierarchy for modeling a evolutionary tree of languages – experiments with a greater diversity of languages – finding a universal grammar 81lang 1 lang 2 lang 3

教師なしオブジェクトマッチング（第2回ステアラボ人工知能セミナー）

You are reading a preview.

Check these out next

教師なしオブジェクトマッチング（第2回ステアラボ人工知能セミナー）

More Related Content

Slideshows for you (20)

Viewers also liked (19)

Similar to 教師なしオブジェクトマッチング（第2回ステアラボ人工知能セミナー） (20)

More from STAIR Lab, Chiba Institute of Technology (7)

Recently uploaded (20)