Submit Search
Upload
KDD2015論文読み会
•
2 likes
•
1,403 views
Sotetsu KOYAMADA(小山田創哲)
Follow
KDD2015論文読み会の資料です。紹介した論文は"Discovering Valuable Items from Massive Data"です
Read less
Read more
Data & Analytics
Report
Share
Report
Share
1 of 18
Download now
Download to read offline
Recommended
強化学習勉強会・論文紹介(第22回)
強化学習勉強会・論文紹介(第22回)
Sotetsu KOYAMADA(小山田創哲)
KDD2014勉強会 発表資料
KDD2014勉強会 発表資料
Sotetsu KOYAMADA(小山田創哲)
Principal Sensitivity Analysis
Principal Sensitivity Analysis
Sotetsu KOYAMADA(小山田創哲)
KDD2016論文読み会資料(DeepIntent)
KDD2016論文読み会資料(DeepIntent)
Sotetsu KOYAMADA(小山田創哲)
【強化学習】Montezuma's Revenge @ NIPS2016
【強化学習】Montezuma's Revenge @ NIPS2016
Sotetsu KOYAMADA(小山田創哲)
知能型システム論(後半)
知能型システム論(後半)
Sotetsu KOYAMADA(小山田創哲)
PRML第3章@京大PRML輪講
PRML第3章@京大PRML輪講
Sotetsu KOYAMADA(小山田創哲)
強化学習勉強会・論文紹介(Kulkarni et al., 2016)
強化学習勉強会・論文紹介(Kulkarni et al., 2016)
Sotetsu KOYAMADA(小山田創哲)
Recommended
強化学習勉強会・論文紹介(第22回)
強化学習勉強会・論文紹介(第22回)
Sotetsu KOYAMADA(小山田創哲)
KDD2014勉強会 発表資料
KDD2014勉強会 発表資料
Sotetsu KOYAMADA(小山田創哲)
Principal Sensitivity Analysis
Principal Sensitivity Analysis
Sotetsu KOYAMADA(小山田創哲)
KDD2016論文読み会資料(DeepIntent)
KDD2016論文読み会資料(DeepIntent)
Sotetsu KOYAMADA(小山田創哲)
【強化学習】Montezuma's Revenge @ NIPS2016
【強化学習】Montezuma's Revenge @ NIPS2016
Sotetsu KOYAMADA(小山田創哲)
知能型システム論(後半)
知能型システム論(後半)
Sotetsu KOYAMADA(小山田創哲)
PRML第3章@京大PRML輪講
PRML第3章@京大PRML輪講
Sotetsu KOYAMADA(小山田創哲)
強化学習勉強会・論文紹介(Kulkarni et al., 2016)
強化学習勉強会・論文紹介(Kulkarni et al., 2016)
Sotetsu KOYAMADA(小山田創哲)
EMアルゴリズム
EMアルゴリズム
Sotetsu KOYAMADA(小山田創哲)
【論文紹介】PGQ: Combining Policy Gradient And Q-learning
【論文紹介】PGQ: Combining Policy Gradient And Q-learning
Sotetsu KOYAMADA(小山田創哲)
校内発表用資料スライド 女医のすすめ
校内発表用資料スライド 女医のすすめ
Kai Katsumata
JOI夏季セミ2014、集合知プログラミング_2、5
JOI夏季セミ2014、集合知プログラミング_2、5
Kai Katsumata
JOISS2015 グレブナー基底発表joisinoお姉ちゃんを救おう
JOISS2015 グレブナー基底発表joisinoお姉ちゃんを救おう
Kai Katsumata
PRML勉強会@長岡 第4章線形識別モデル
PRML勉強会@長岡 第4章線形識別モデル
Shohei Okada
匿名化の崩壊
匿名化の崩壊
Hiroshi Nakagawa
Hello deeplearning!
Hello deeplearning!
T2C_
Jubatusの紹介@第6回さくさくテキストマイニング
Jubatusの紹介@第6回さくさくテキストマイニング
Yuya Unno
入門パターン認識と機械学習 1章 2章
入門パターン認識と機械学習 1章 2章
hiro5585
強化学習勉強会・論文紹介(第30回)Ensemble Contextual Bandits for Personalized Recommendation
強化学習勉強会・論文紹介(第30回)Ensemble Contextual Bandits for Personalized Recommendation
Naoki Nishimura
機械学習の全般について 4
機械学習の全般について 4
Masato Nakai
強化学習勉強会・論文紹介(第50回)Optimal Asset Allocation using Adaptive Dynamic Programming...
強化学習勉強会・論文紹介(第50回)Optimal Asset Allocation using Adaptive Dynamic Programming...
Naoki Nishimura
20130716 はじパタ3章前半 ベイズの識別規則
20130716 はじパタ3章前半 ベイズの識別規則
koba cky
Parallel Recurrent Neural Network Architectures for Feature-rich Session-base...
Parallel Recurrent Neural Network Architectures for Feature-rich Session-base...
Balázs Hidasi
クラシックな機械学習の入門 3. 線形回帰および識別
クラシックな機械学習の入門 3. 線形回帰および識別
Hiroshi Nakagawa
Overview of Chainer and Its Features
Overview of Chainer and Its Features
Seiya Tokui
オンライン凸最適化と線形識別モデル学習の最前線_IBIS2011
オンライン凸最適化と線形識別モデル学習の最前線_IBIS2011
Preferred Networks
クラシックな機械学習入門 1 導入
クラシックな機械学習入門 1 導入
Hiroshi Nakagawa
パターン認識 05 ロジスティック回帰
パターン認識 05 ロジスティック回帰
sleipnir002
More Related Content
Viewers also liked
EMアルゴリズム
EMアルゴリズム
Sotetsu KOYAMADA(小山田創哲)
【論文紹介】PGQ: Combining Policy Gradient And Q-learning
【論文紹介】PGQ: Combining Policy Gradient And Q-learning
Sotetsu KOYAMADA(小山田創哲)
校内発表用資料スライド 女医のすすめ
校内発表用資料スライド 女医のすすめ
Kai Katsumata
JOI夏季セミ2014、集合知プログラミング_2、5
JOI夏季セミ2014、集合知プログラミング_2、5
Kai Katsumata
JOISS2015 グレブナー基底発表joisinoお姉ちゃんを救おう
JOISS2015 グレブナー基底発表joisinoお姉ちゃんを救おう
Kai Katsumata
PRML勉強会@長岡 第4章線形識別モデル
PRML勉強会@長岡 第4章線形識別モデル
Shohei Okada
匿名化の崩壊
匿名化の崩壊
Hiroshi Nakagawa
Hello deeplearning!
Hello deeplearning!
T2C_
Jubatusの紹介@第6回さくさくテキストマイニング
Jubatusの紹介@第6回さくさくテキストマイニング
Yuya Unno
入門パターン認識と機械学習 1章 2章
入門パターン認識と機械学習 1章 2章
hiro5585
強化学習勉強会・論文紹介(第30回)Ensemble Contextual Bandits for Personalized Recommendation
強化学習勉強会・論文紹介(第30回)Ensemble Contextual Bandits for Personalized Recommendation
Naoki Nishimura
機械学習の全般について 4
機械学習の全般について 4
Masato Nakai
強化学習勉強会・論文紹介(第50回)Optimal Asset Allocation using Adaptive Dynamic Programming...
強化学習勉強会・論文紹介(第50回)Optimal Asset Allocation using Adaptive Dynamic Programming...
Naoki Nishimura
20130716 はじパタ3章前半 ベイズの識別規則
20130716 はじパタ3章前半 ベイズの識別規則
koba cky
Parallel Recurrent Neural Network Architectures for Feature-rich Session-base...
Parallel Recurrent Neural Network Architectures for Feature-rich Session-base...
Balázs Hidasi
クラシックな機械学習の入門 3. 線形回帰および識別
クラシックな機械学習の入門 3. 線形回帰および識別
Hiroshi Nakagawa
Overview of Chainer and Its Features
Overview of Chainer and Its Features
Seiya Tokui
オンライン凸最適化と線形識別モデル学習の最前線_IBIS2011
オンライン凸最適化と線形識別モデル学習の最前線_IBIS2011
Preferred Networks
クラシックな機械学習入門 1 導入
クラシックな機械学習入門 1 導入
Hiroshi Nakagawa
パターン認識 05 ロジスティック回帰
パターン認識 05 ロジスティック回帰
sleipnir002
Viewers also liked
(20)
EMアルゴリズム
EMアルゴリズム
【論文紹介】PGQ: Combining Policy Gradient And Q-learning
【論文紹介】PGQ: Combining Policy Gradient And Q-learning
校内発表用資料スライド 女医のすすめ
校内発表用資料スライド 女医のすすめ
JOI夏季セミ2014、集合知プログラミング_2、5
JOI夏季セミ2014、集合知プログラミング_2、5
JOISS2015 グレブナー基底発表joisinoお姉ちゃんを救おう
JOISS2015 グレブナー基底発表joisinoお姉ちゃんを救おう
PRML勉強会@長岡 第4章線形識別モデル
PRML勉強会@長岡 第4章線形識別モデル
匿名化の崩壊
匿名化の崩壊
Hello deeplearning!
Hello deeplearning!
Jubatusの紹介@第6回さくさくテキストマイニング
Jubatusの紹介@第6回さくさくテキストマイニング
入門パターン認識と機械学習 1章 2章
入門パターン認識と機械学習 1章 2章
強化学習勉強会・論文紹介(第30回)Ensemble Contextual Bandits for Personalized Recommendation
強化学習勉強会・論文紹介(第30回)Ensemble Contextual Bandits for Personalized Recommendation
機械学習の全般について 4
機械学習の全般について 4
強化学習勉強会・論文紹介(第50回)Optimal Asset Allocation using Adaptive Dynamic Programming...
強化学習勉強会・論文紹介(第50回)Optimal Asset Allocation using Adaptive Dynamic Programming...
20130716 はじパタ3章前半 ベイズの識別規則
20130716 はじパタ3章前半 ベイズの識別規則
Parallel Recurrent Neural Network Architectures for Feature-rich Session-base...
Parallel Recurrent Neural Network Architectures for Feature-rich Session-base...
クラシックな機械学習の入門 3. 線形回帰および識別
クラシックな機械学習の入門 3. 線形回帰および識別
Overview of Chainer and Its Features
Overview of Chainer and Its Features
オンライン凸最適化と線形識別モデル学習の最前線_IBIS2011
オンライン凸最適化と線形識別モデル学習の最前線_IBIS2011
クラシックな機械学習入門 1 導入
クラシックな機械学習入門 1 導入
パターン認識 05 ロジスティック回帰
パターン認識 05 ロジスティック回帰
KDD2015論文読み会
1.
KDD2015論論⽂文読み会 ⼩小⼭山⽥田 創哲 1
2.
紹介する論論⽂文 2 特に断りのない図、式はこの論論⽂文から引⽤用です
3.
どんな研究? 3 ナップザック問題 多腕バンディット問題 A B C
D … Y Z 価値 100 200 50 300 500 200 重さ 3 5 10 20 40 20 重さの総和がWを超えないように商品を選択した時の価値の総和の最⼤大値は? (各アイテムは⼀一回しか選択できない) スロットA スロットB スロットZ… 限られた回数しかスロットを引けない中で⾼高い報酬を得るには?(探索索と活⽤用) 動的計画法 Epsilon-Greedy, UCB
4.
Contribution① 新しい問題設定AVIDの提案 AVID(Adaptive Valuable
Item Discovery) l 複数の(たくさんの)アイテムがある l 各アイテムにはコストと価値がつけられています l 各アイテムの価値は、そのアイテムを選択(購⼊入)した時にだけ (ノイズ付で)わかる(各アイテムは⼀一回しか選択できない) 4 A B C D … Y Z 価値 ? ? ? ? ? ? 重さ 3 5 10 20 40 20 ただし、アイテム間の類似度度が与えられるとする 決められた予算(合計コスト)内で選択(購⼊入)したアイテムの合計 の価値を最⼤大化するには?
5.
Contribution① 新しい問題設定AVIDの提案 AVID(Adaptive Valuable
Item Discovery) l 複数の(たくさんの)アイテムがある l 各アイテムにはコストと価値がつけられています l 各アイテムの価値は、そのアイテムを選択(購⼊入)した時にだけ (ノイズ付で)わかる(各アイテムは⼀一回しか選択できない) 5 A B C D … Y Z 価値 ? ? ? ? ? ? 重さ 3 5 10 20 40 20 ただし、アイテム間の類似度度が与えられるとする 決められた予算(合計コスト)内で選択(購⼊入)したアイテムの合計 の価値を最⼤大化するには? ナップザック問題との違い
6.
Contribution① 新しい問題設定AVIDの提案 AVID(Adaptive Valuable
Item Discovery) l 複数の(たくさんの)アイテムがある l 各アイテムにはコストと価値がつけられています l 各アイテムの価値は、そのアイテムを選択(購⼊入)した時にだけ (ノイズ付で)わかる(各アイテムは⼀一回しか選択できない) 6 A B C D … Y Z 価値 ? ? ? ? ? ? 重さ 3 5 10 20 40 20 ただし、アイテム間の類似度度が与えられるとする 決められた予算(合計コスト)内で選択(購⼊入)したアイテムの合計 の価値を最⼤大化するには? バンディット問題との違い
7.
どんな時につかえる? 7 Vaccine Design Task(ワクチンデザイン) 数あるアミノ酸配列列(=アイテム)の中から、限られた個数だけ調べて (=予算内で)、ワクチンとして使える(価値の⾼高い)ものを選択する -
アミノ酸配列列(=アイテム)同⼠士は、特徴量量から類似度度を計算でき る - 各アミノ酸配列列(=アイテム)には何か⽋欠点があるかもしれないの で複数選択する Recommender System アクション(クリック等)が⾏行行われるユーザと、ページ(コンテン ツ)の組み合わせ(=アイテム)を限られたインプレッション(=予 算)のなかで探す
8.
Contribution② 多様性も考慮した問題へと拡張 ワクチンデザインの例例では、たとえワクチンに使える(=価値の⾼高い) アミノ酸配列列(=アイテム)が複数選択できても、似たようなアミノ酸 配列列(=アイテム)は、似たような⽋欠点を持っているかもしれない… 効果的(⾼高い価値を持つ)、且つ「多様な」アミノ酸配列列(=アイテ ム)を選択したい 8 決められた予算内で、⾼高い価値を持っているだけでなく、定義した類 似度度の意味で多様なアイテムを複数選択する 決められた予算内で、⾼高い価値を持つアイテムを複数選択する AVID
9.
定式化 9 AVID n個のアイテム: 各アイテムの価値を表す関数: 各アイテムのコストを表す関数: 選択するアイテム集合: 予算: 合計の価値: 合計のコスト: 多様性も考慮した拡張 (未知) アイテム集合の多様性を表す関数: (既知・劣劣モジュラ)
10.
Contribution③ AVIDに対するアルゴリズムの提案 GP-SELECT AVID問題における探索索・活⽤用のトレードオフを考慮したアルゴリズム 10 ⼆二つのアイテムの類似度度をカーネルで表現し GP(Gaussian Process)でアイテムの価値の予測値と予測の不不確かさ を求め、この予測値とその不不確かさに基づき探索索と活⽤用をする 図は
http://www.gaussianprocess.org/gpml/code/matlab/doc/ から引⽤用 アイテムvの価値の予測 その予測の不不確かさ ② 予測値された価値の⾼高さ、予測の不不確かさから次のアイテムを選択 ① 今までの観測から各アイテムの予測値とその予測の不不確かさを求める (以下簡単のため、コストが⼀一定のver)
11.
GP-SELECT 11
12.
多様性を考慮した問題へのアルゴズム 今まで選択してきたアイテム集合に、新しく⼀一つアイテムを加えた時、 多様性を表すDが最も増加するという条件をさらに考慮してアイテム を選択する(Greedy): 12 λ=0 λ=0.6 λ=0.95 D: 劣劣モジュラ
=> Greedy
13.
数値実験 3つの実データセットで評価 l Airline Price
Update Prediction Task l Vaccine Design Task(ワクチンデザイン) l News Recommendation 13
14.
数値実験: ワクチンデザイン 数あるアミノ酸配列列(=アイテム)の中から、限られた個数だけ調べて (=予算内で)、ワクチンとして使える(価値の⾼高い)ものを選択する - アミノ酸配列列(=アイテム)を表現する特徴量量から類似度度を計算で きる(ここでは線形カーネル) -
3089個のアミノ酸配列列(=アイテム)の中から500個だけ(=予算内 で)を選ぶ - コストは全てのアイテムで同じ(1個) - 各アミノ酸配列列(=アイテム)がワクチンとしてどれだけ効果的か (=価値)は連続値で与えられる - 似たアミノ酸配列列(=アイテム)には似たような⽋欠点があることが 予想されるので多様性を確保したい 14
15.
数値実験(多様性なしver) 15 RB/B Iteration Better
16.
数値実験(多様性有ver) 16 RB/B Iteration
17.
まとめ Contribution l 新しい問題設定AVIDを提案 l AVIDを多様性も求める問題へと拡張 l
AVIDに対してGP-SELECTというアルゴリズムを提案 l Regret boundの保証(省省略略) l GP-SELECTの⾼高速化(省省略略) この論論⽂文のキモ(だと思うところ) l 多腕バンディットの⼀一般化と捉えられる(同じvは⼀一回しか選択で きないが、vと同じ特徴量量を持つv’を複製すればよい) l 類似度度の定義から、多様性を求める問題への(劣劣モジュラ関数を 使った)⾃自然な拡張 17
18.
当⽇日の質疑応答(覚えている限り) l ベイズ最適化(Bayesian Optimization)との違いは? l
問題設定としては「選択したアイテムの価値の合計を最⼤大化」 するか、「fの最⼤大値」を求めるかが違う l ただ、アルゴリズムはGPによって各点でfの期待される値と、そ の不不確実さを表現して良良さそうなモノを次々選んでいくので、 かなり共通する部分がある l 動的計画法っぽさが消えてない? l 確かに元はと⾔言えば動的計画法っぽい問題を解いていたはずな のに、アルゴリズムからは動的計画法っぽさが消えてしまって います l (このアルゴリズムは)収束するの? l 質問の意図がよくわからなかったが、そもそも予算内(有限) でしか選択をしないし、同じアイテムは⼀一度度しか選択できない 18
Download now