Recommended
Recommended
More Related Content
What's hot
What's hot (9)
Viewers also liked
Viewers also liked (17)
Similar to ICASSP2017読み会 (Deep Learning III) [電通大 中鹿先生]
Similar to ICASSP2017読み会 (Deep Learning III) [電通大 中鹿先生] (19)
More from Shinnosuke Takamichi
More from Shinnosuke Takamichi (20)
ICASSP2017読み会 (Deep Learning III) [電通大 中鹿先生]
- 1. MLSP-L6 Deep Learning III 中鹿 亘（電通大） 2017.6.24 ICASSP2017読み会 ※スライド中の図表はオリジナルの論文から引用しています
- 2. 自己紹介 • 中鹿 亘 • 出身大学 • 神戸大学 大学院システム情報学研究科 博士（工学） • 職歴 • 神戸大学 助教（2014∼2015） • 電気通信大学 助教（2015∼） • 研究分野 • ディープラーニング、ボルツマン分布、音声・画像認識、声質変換
- 3. 紹介する論文 1. Reconstruction-Error-Based Learning for Continuous Emotion Recognition in Speech J. Han, Z. Zhang, F. Ringeval, and B. Schuller 2. Disjunctive Normal Shape Boltzmann Machine E. Erdil, F. Mesadi, T. Tasdizen, and M. Cetin 3. Inferring Latent States in a Network Influenced by Neighbor Activities: an Undirected Generative Approach B. L. Samarakoon, M. N. Murthi, and K. Premaratne MLSP-L6 Deep Learning III
- 4. 1. Reconstruction-Error-Based Learning for Continuous Emotion Recognition in Speech J. Han, Z. Zhang, F. Ringeval, and B. Schuller
- 5. 概要 • タスクは？ 連続感情認識 • どうやる？ ２つのRNNをくっつける • 結果は？ 従来（１つのRNN）よりも良くなった 連続感情：arousal（興奮）とvalence（感情の度合い）
- 7. 提案フレームワーク • Model1とModel2は、同じ構造のBLSTM • Model1を学習した後、Model2を学習する MFCCなど 連続感情 著者たちの主張： Model1でモデルの”弱点”（再構築エラー）を学習し、 弱点を知っているModel2では予測精度が上がるであろう
- 10. 2. Disjunctive Normal Shape Boltzmann Machine E. Erdil, F. Mesadi, T. Tasdizen, and M. Cetin
- 11. 概要 • 何をしようとしている？ RBMを拡張（DNSBM）してシルエット画像をうまく表現 • どうやる？ SBMとDNSMを組み合わせる • 結果は？ 従来（SBM）よりも実データに近いサンプルが生成できた Restricted Boltzmann Machine Disjunctive Normal Shape Boltzmann Machine Shape Boltzmann Machine Disjunctive Normal Shape Model
- 14. SBMの問題点 • それぞれのパッチが、必ずしも正しいパーツと対応付いて いない 変なものがサンプリングされてしまう可能性がある！ • そこで、正しい（正しそうな）パーツと対応付けて学習さ せる
- 16. 従来手法２：DNSM • どんな形状（シルエット）でも、convex polytope（凸多 面体）の集合で近似できる Disjunctive Normal Shape Model convex polytopeの例 ≒ { } convex polytopeの集合ある形状
- 17. 従来手法２：DNSMDisjunctive Normal Shape Model • ある形状 Ω+ の定式化： • あるconvex polytope: Pi の定式化：
- 18. 従来手法２：DNSMDisjunctive Normal Shape Model • ある形状 Ω+ の定式化： • ある点 x が前景であるかどうかを返す関数 f(x) は ド・モルガンより 微分できるように
- 19. 従来手法２：DNSMDisjunctive Normal Shape Model • ある点 x が前景であるかどうかを返す関数 f(x) は • 最小化したい評価関数は t個目の学習データ データとモデルの近さ 多面体が互いに異なるように
- 20. 実験結果 - Walking silhouette data set of 150 binary images, each of which has 170x170 pixels. - 1000 units for h1, and 50 units for h2. - DNSM was processed using 6 polytopes.
- 21. 実験結果
- 22. 3. Inferring Latent States in a Network Influenced by Neighbor Activities: an Undirected Generative Approach B. L. Samarakoon, M. N. Murthi, and K. Premaratne
- 23. 概要 • 何をしようとしている？ 動的に変化するneighbors（近接ノード）と隠れ状態の関係性 をよく表現する新しいグラフィカルモデルを提案 • どうやる？ Energy-basedモデルで、隠れ状態とneighborsの関係性を記述 • 結果は？ 人工データを用いた実験で、SVMよりも隠れ状態の推定精度 が高かった
- 24. ちょっと疑問 To the best of our knowledge, no undirected models have been applied to modeling neighbor influence and hidden variables in networks. “
- 25. 定式化 • あるノード i のneighborsの定義： 全ノード（ユーザ）集合隣接行列 • 表現したい確率分布： 隠れ状態（世論）系列 観測されるユーザカウント系列 e.g., the number of postings of a certain category or number of infected people in a contact network users may change their political biases depending on their neighbors’ postings but they may not wish to express these changes explicitly
- 26. 定式化 • この確率分布を、２つのファクターで定義したい： 1. 隠れ状態と近接ノードから受けるファクター ψA 2. 隠れ状態とユーザアクティビティによるファクター ψB
- 27. 定式化 • 隠れ状態と近接ノードから受けるファクター ψA の定義：
- 30. 定式化 • 式を変形：
- 33. 変分近似 • 式を変形：
- 34. 変分近似 • 式をさらに変形：
- 35. 変分近似 • 式をさらに変形： q と f のKL距離になってる！
- 38. 評価実験 1. 隠れ状態と観測データを人工的に生成して、学習 2. 観測データから推測した隠れ状態と、正解の隠れ状態が どれほど一致するかを見る 3. 従来手法（SVMとCox）による推測結果と比較
- 39. 評価実験 • SVMはすべてのサンプルが独 立であると仮定しているため、 精度が微妙 • Coxは時間変動を考慮してい る分SVMよりは良いが、ユー ザ間の関係性は考慮していな いため提案法に負ける
- 40. 紹介した論文 1. Reconstruction-Error-Based Learning for Continuous Emotion Recognition in Speech エラー抽出器と識別器の２つのRNNを直列につないで連続感情認識 2. Disjunctive Normal Shape Boltzmann Machine セグメンテーションとSBMを組み合わせてシルエット画像モデリング 3. Inferring Latent States in a Network Influenced by Neighbor Activities: an Undirected Generative Approach ダイナミックに変化する隠れ状態とユーザ嗜好をモデリング