• Share
  • Email
  • Embed
  • Like
  • Save
  • Private Content
20110822文献紹介
 

20110822文献紹介

on

  • 1,762 views

学内で開かれたNPBセミナーでの文献紹介用の飼料です。

学内で開かれたNPBセミナーでの文献紹介用の飼料です。
数式が全然追えていないのであまり参考にならないかと思いますが一応アップしておきます。

Statistics

Views

Total Views
1,762
Views on SlideShare
1,287
Embed Views
475

Actions

Likes
2
Downloads
3
Comments
1

3 Embeds 475

http://d.hatena.ne.jp 472
https://twitter.com 2
http://webcache.googleusercontent.com 1

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel

11 of 1 previous next

  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
  • スライドの作成者です.
    こんなgdgdのスライドを見て頂きありがとうございます.
    数式が苦手なので,後半の説明は本当にひどいものとなっていますが
    コンセプトはなかなか面白いものだと思うので少しでもスライドを読まれた方の参考になれば幸いです.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

    20110822文献紹介 20110822文献紹介 Presentation Transcript

    • NPBセミナー文献紹介“A Nonparametric Bayesian Modelof Multi-Level Category Learning” 立命館大学 理工学研究科 島田白井研 山田寛
    • 紹介する文献“A Nonparametric Bayesian Model of Multi-Level Category Learning” to appear in AAAI’11Kevin R. Canini and Tom Griffiths. (UC Berkeley)NIPSのWorkshopでした/(^o^)\
    • 発表の流れ• 概要• 背景と目的• 関連研究• HDP• Tree-HDP• 実験• まとめ
    • 論文概要目的:Multi-Level Category Learning カテゴリのラベルが付けられたサンプル 集合からカテゴリ間の階層関係を学習 (カテゴリ間の関係は未知)• Tree-HDPというHDPの拡張モデルを提案• 人工データについて人間と提案法による階層 構造の比較実験→人間と似た階層構造を構築
    • Multi-Level Category Learning?カテゴリ間の階層構造(Taxonomic Structure)の学習Ex. これらのカテゴリの階層関係は? 動物 土佐犬 犬 トラ猫 柴犬 三毛猫 猫
    • Multi-Level Category Learning?カテゴリ間の階層構造(Taxonomic Structure)の学習Ex.これらのカテゴリの階層関係は? 動物 犬 猫 柴犬 土佐犬 三毛猫 トラ猫
    • Multi-Level Category Learning?カテゴリ間の階層構造(Taxonomic Structure)の学習Ex.これらのカテゴリの階層関係を答えなさい 動物 犬 猫 柴犬 土佐犬 三毛猫 トラ猫どのようにしてカテゴリ間の Tree-HDPによる 階層構造を学習させる? モデリング
    • 提案法とMulti-Class ClassificationMulti-Class Classification – カテゴリ間の関係は無視して独立したものとして扱う (カテゴリごとに識別器を学習するなど) – カテゴリ間の基本的な関係性だけ学習 (カテゴリ間の識別境界の学習)Multi-Level Category Learning(提案法) – カテゴリ間の階層関係(Taxonomy)も学習
    • 提案法と Unsupervised Methods for inducing HierarchyHierarchical ClusteringStructure LearningLearning OntologiesLearning Hierarchies – 物体の類似度による階層構造の作成Multi-Level Category Learning(提案法) – 物体のカテゴリ(ラベル)情報も利用
    • Modeling Human Category Learning• 認知心理学の分野からスタート – Prototypeモデル(1カテゴリ1クラスタ) – Exemplarモデル(1カテゴリ多数のサンプル) – Intermidiateモデル(1カテゴリ少数のクラスタ)
    • Human Category Learning Meets Machine Learning• 機会学習の手法と対応 –Prototypeモデル Probability Density Estimation –Exemplarモデル Kernel Density Estimation –Intermidiateモデル Dirichlet Process Mixture Model (DPMM)
    • Human Category Learning and HDP• 先ほど挙げた手法を包含するモデル – 各カテゴリはDPMMで表現されるIntermidiateモデル – 基底測度の共有 →他のカテゴリへの転移学習との繋がり – 人間の学習の仕方と関係有り
    • Hierarchical Dirichlet Process[HDP] (ry詳しくは以下の資料をご参照下さいhttp://mlg.eng.cam.ac.uk/tutorials/07/ywt.pdf
    • Tree-HDPHDPの一般化• HDP – 各カテゴリjの分布Gjを共通の要素分布G0からサ ンプリング
    • Tree-HDPHDPの一般化• Tree-HDP:親子関係を表現する変数τを導入τ={τ1,τ2,τ3,τ4,・・・,τT} T:カテゴリ数 τi:カテゴリiの親 – 再帰的にjの親の分布GτjからGjをサンプリング – 集中度αjをカテゴリ毎に設定 ベイズモデル:τの事前分布は? τは離散分布ならなんでもOK (この論文では一様分布)
    • Tree-HDPの学習提案法ではGibbs Samplingを採用⇒CRFの拡張Notation z ji レストランjの m jk レストランjのメニューk 客iのメニュー を出すテーブルの数 n jk レストランjでメニュー v jk レストランjの子店舗で kを食べる客の数 メニューkを出す テーブルの数z11 = ア(分布)m1ァ=3 n1ア=6v1ア=0
    • Tree-HDPのCRF的考え方 フランチャイズがさらに子店舗を持つNotation z ji レストランjの m jk レストランjのメニューk 客iのメニュー を出すテーブルの数 n jk レストランjでメニュー v jk レストランjの子店舗で kを食べる客の数 メニューkを出す テーブルの数 G_3 G_4 ① ② ③ ④ ⑤ ⑥ ⑦ ⑧
    • Tree-HDPのCRF的考え方 子店舗のテーブルで出されるメニュー =親店舗の仮想的な客としてカウントv jk : レストランjの子店舗でメニューkを出すテーブルの数 v1ア  7 ④ ⑦ ② ③ ⑧ ⑥ ⑤ ①1 2 7 5 1 2 5 G_3 G_4 ① ② ③ ④ ⑤ ⑥ ⑦ ⑧ 3 4 6 3 4
    • 以下数式タイムです\ /_ / ヽ / } レ, / ̄ ̄ ̄ ̄\|`l`ヽ /ヽ/ <´`ヽ u ∨ u i レ /└l> ̄ !i´-) |\ `、 ヽ), />/ / 地 ほ こ !´ヽ、 ヽ ( _ U !、 ヽ。ヽ/,レ,。7´/-┬―┬―┬./ 獄 ん れ_|_/;:;:;7ヽ-ヽ、 ) ""`` ‐"=-" / ! ! / だ. と か | |;:;:;:{ U u ̄|| u u ,..、_ -> /`i ! ! \:. う ら | |;:;:;:;i\ iヽ、 i {++-`7, /| i ! ! <_ の が__i ヽ;:;:;ヽ `、 i ヽ、  ̄ ̄/ =、_i_ ! ! / ヽ ヽ;:;:;:\ `ヽ、i /,ゝ_/| i  ̄ヽヽ ! ! ,, -\ ヽ、\;:;:;:;:`ー、`ー´ ̄/;:;ノ ノ ヽ| / ,、-´ \/ ̄ ̄ ̄ ̄  ̄ ̄ ̄ Y´/;:;:;\
    • z_jiの事後分布 P( z ji  k | z  ji , m, τ, β)  x ji (n  ji jk  v jk   j  j k ) f k ( x ji ) 既にテーブルkがある  x ji  j  u f kj n ew ( x ji ) 新たなテーブルを作るc.f. CRFでZjiをサンプリングする時
    • m_jkの事後分布S(n,m):第一種スターリング数
    • βの事後分布CRF:積分消去で消えるので比較なし
    • τ_jの事後分布∝1(一様分布なので)
    • 実験• 提案法が正しく木構造を推定できるかの実験 – いくつかの予め用意した木構造からデータを生成し て提案法によりどれだけ正しく木構造を推定できるか• 人間と提案法で木構造の推定結果を比較する 実験 – 14カテゴリの深さ3の2分木のような階層構造を持つ 人工のラベル付きデータについて階層構造の推定を 人間にも行ってもらい提案法と結果を比較
    • モデルの木構造推定能力の評価実験 左図の4つの構造から データを作成してそれ ぞれの木構造を推定 (学習サンプル数を変更) いずれの場合もサンプル 数が十分あれば推定可能
    • 人間の学習者の評価• 被験者:Amazon Mechanical Turk95名 U.C. Berkerleyの学生95名 両者に明確な差は出なかった• 実験手順1. 各カテゴリ4枚,14カテゴリの計56枚の画像を 被験者にラベル名と共に表示2. 28枚の画像についてラベル名を表示し,合って いるかテスト(26枚以上正解するまで繰り返す)3. カテゴリの階層関係を設定してもらう
    • 実験結果赤線は多くの人が正解(61%-72%正解)黒線は多く起きた失敗(5%-15%の被験者が失敗完全に正解した人は41%(サンプル数が少ないのに!)
    • 失敗の考察• 失敗は2種類 – 二つの階層関係について親子関係が逆 – 階層関係は正しいが間にいるべき子をとばす
    • 提案法による評価実験• 人間の学習者の実験と同様のタスク• 性能評価のため以下のパラメータを変えて実験 – 学習サンプル数(4-80まで) – γの値(1-20)
    • パラメータによる性能の比較• パラメータによって結果は様々(4-91%) サンプル数が増えれば性能は上がっていく
    • 提案法の失敗例(8サンプル,γ=3)• 逆向きの矢印がないことを除けば人間と似て いる結果に
    • まとめと今後の課題• HDPの一般化であるTree-HDPモデルを提案• それを利用し,Multi-Level Category Learning において人間と同等もしくはそれ以上の性能 を発揮(ただしサンプル数が十分ある時)• テキストマイニング等への応用