Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
劣モジュラ最適化と機械学習
3章
機械学習プロフェッショナルシリーズ
@St_Hakky
自己紹介と告知
• Twitter : @St_Hakky
• ブログ:http://st-hakky.hatenablog.com/
• 関西で機械学習勉強会を実施中!!
• 団体のモットー:
• 圧倒的スピード感で大量の書物と論文をぶった切...
劣モジュラ最適化と機械学習の
3章をやります
今日やらないこと
• 証明は必要最小限しかやりません。
• 本を読んでください(投げやり)
今日やること
• 応用例を見ます。
• 応用例が、最終的に単調列もジュラ最大化問題と
同じ形で表現されることをひたすらにみます。
• 飽きたら、寝てください。
コンテンツ
• 3.1 劣モジュラ最大化と貪欲法
• 3.1.1 劣モジュラ最大化と近似アルゴリズム
• 3.1.2 劣モジュラ最大化のための貪欲法
• 3.1.3 貪欲法の近似率
• 3.2 適用例1 : 文書要約への適用
• 3.2.1 文...
この章で考える問題
𝑓: 2 𝑉
→ ℝ は、単調な劣モジュラ関数
目的:𝑓(𝑆) → 最大
制約:𝑆 → 最大
(3.1)
劣モジュラ関数を最大化する問題について考える
制約条件は、選択する部分集合の要素数が最大でk
(> 0)個である
前章までで見てきたこと
• 劣モジュラ性の有用性
• 劣モジュラ性は集合関数における凸性にあたる構造を
持つ
• これにより(連続の)凸関数と同様に、最小化が効率的に
• 劣モジュラ関数は凹関数のような性質ももっている最
大化においても複数の有...
この章で見る問題
• まず、代表的な例として、最大化への貪欲法の適
用を取り上げる。→ 3.1節
• その後、機械学習などにおける様々な問題への適
用例として、以下を見る。
• 文書要約 → 3.2節
• センサ配置問題→ 3.3節
• 能動学...
コンテンツ
• 3.1 劣モジュラ最大化と貪欲法
• 3.1.1 劣モジュラ最大化と近似アルゴリズム
• 3.1.2 劣モジュラ最大化のための貪欲法
• 3.1.3 貪欲法の近似率
• 3.2 適用例1 : 文書要約への適用
• 3.2.1 文...
劣モジュラ最大化と貪欲法
単調な劣モジュラ関数の最大化問題
目的:𝑓(𝑆) → 最大
制約:𝑆 → 最大
(3.1)
NP困難な最適化問題
厳密な最適解を多項式時間で求める
ことは困難
• 劣モジュラ関数の最大化について、最大化すべき
単調な劣モジュラ関数としてカバー関数を用いて、
具体例を見る
𝑃1 𝑃2 𝑃3 𝑃4
劣モジュラ最大化と近似アルゴリズム
劣モジュラ最大化と近似アルゴリズム
点集合𝑃
𝑃の𝑛 = 4個の部分集合𝑃1, 𝑃2 𝑃3 𝑃4 ⊆ 𝑃
すべての点の重みは1 𝑓𝑐𝑜𝑣: 2{1,2,3,4}
→ ℝ
𝑃1 𝑃2 𝑃3 𝑃4
𝑉 = {𝑙, 2,3,4}
カバー関数最大化問題
目的関数𝑓 をカバー関数𝑓𝑐𝑜𝑣とし、これを最大化する
要素数の上限を𝑘 = 2
点集合𝑃
𝑃1 𝑃2 𝑃3 𝑃4
k=1の場合のカバー関数の値
点集合𝑃
𝑃1 𝑃2 𝑃3 𝑃4
𝑓𝑐𝑜𝑣 1 = 3
𝑓𝑐𝑜𝑣 2 = 5
𝑓𝑐𝑜𝑣 3 = 7
𝑓𝑐𝑜𝑣 4 = 6
←一番大きい
k=2の場合のカバー関数の値
点集合𝑃
𝑃1 𝑃2 𝑃3 𝑃4
𝑓𝑐𝑜𝑣 1,2 = 6
k=2の場合のカバー関数の値
点集合𝑃
𝑃1 𝑃2 𝑃3 𝑃4
𝑓𝑐𝑜𝑣 2,4 = 11
すべての組み合わせについて考えると、{2,4}が最大となる
組み合わせ爆発の問題
台集合の要素数𝑛や要素数の上限𝑘が大きくなる
解の候補は爆発的に大きくなる
すべてを調べることは現実的には困難。
組み合わせ爆発の問題
実際劣モジュラ関数最大化問題はNP困難な最適
化問題であり、カバー関数も同様
・最適値とアルゴリズムによって得られる近似
解の目的関数値の比が、どのような場合も一
定値よりよくなることが理論的に保証される
近似アルゴリズム
・アルゴリズムによって近似解が多項式時間で
得られる。
近似アルゴリズムとは
近似アルゴリズムとは
• 単調な劣モジュラ関数の最大化問題に対しては,
3.1.2で紹介する貪欲法が、性能のよい近似アルゴ
リズムになることが理論的に保証できる
近似率
𝒜 𝑃 :問題(𝑃)の近似解を求める多項式時間アルゴ
リズムとする。
この時、問題(𝑃)が最大化問題であるため、明らか
に次の不等式が成り立つ
𝒜 𝑃 が出力する解の目的関数値 ≤ 問題(𝑃)の最適値
近似率
𝛼を0 < 𝛼 ≤ 1 を満たす定数として. 問題(𝑃)の任意
の入力について、以下が成り立つ。
𝛼 * 問題(𝑃)の最適値 ≤ 𝒜 𝑃 が出力する解の目的関数値
𝛼:𝒜 𝑃 の近似率あるいは近似保証という。
またこのとき、𝒜 𝑃 を問...
近似率
一般論ですが、多くの場合で、𝛼-近似アルゴリズム
によって得られる近似解の目的関数値と最適値の
比は、近似率𝛼よりずっとよくなる。
3.1.2 劣モジュラ最大化のための貪欲法
貪欲法
貪欲法はS = {}からスタートして、𝑆 ⊆ 𝑉の要素数
が𝑘になるまで「貪欲」に要素を増やしていく単純な
方法
貪欲法をカバー関数最大化問題に適用
点集合𝑃
𝑃の𝑛 = 4個の部分集合𝑃1, 𝑃2 𝑃3 𝑃4 ⊆ 𝑃
すべての点の重みは1 𝑓𝑐𝑜𝑣: 2{1,2,3,4} → ℝ
𝑃1 𝑃2 𝑃3 𝑃4
𝑉 = {𝑙, 2,3,4}
ここでは、要素数の上...
貪欲法をカバー関数最大化問題に適用
初期化
ステップ0なので、S = {}とする。
点集合𝑃
𝑃1 𝑃2 𝑃3 𝑃4
貪欲法をカバー関数最大化問題に適用
反復1
ステップ1では、 S = 0 < 2より停止しない。
貪欲法
ステップ2では、 i = 3がもっとも大きくするので
これを選ぶ。
貪欲法をカバー関数最大化問題に適用
点集合𝑃
𝑃1 𝑃2 𝑃3 𝑃4
𝑓𝑐𝑜𝑣 1 = 3
𝑓𝑐𝑜𝑣 2 = 5
𝑓𝑐𝑜𝑣 3 = 7
𝑓𝑐𝑜𝑣 4 = 6
←一番大きい
貪欲法をカバー関数最大化問題に適用
反復2
ステップ1では、 S = 1 < 2より停止しない。
貪欲法
ステップ2では、 i = 1𝑜𝑟4がもっとも大きくする
のでこれを選ぶ。
貪欲法をカバー関数最大化問題に適用
点集合𝑃
𝑃1 𝑃2 𝑃3 𝑃4
𝑓𝑐𝑜𝑣 1, 3 = 10 ←一番大きい
貪欲法をカバー関数最大化問題に適用
反復3
ステップ1で、 S = 2 ≥ 2より停止
貪欲法
結果として、𝑓𝑐𝑜𝑣 1, 3 = 10が選ばれ、アル
ゴリズムが停止する。
貪欲法と最適解を比較
貪欲法(近似解):
𝑓𝑐𝑜𝑣 1, 3 = 10
最適解:
𝑓𝑐𝑜𝑣 2, 4 = 11
近似解は、最適解の10/11≈0.91倍程度の目的
関数値を取るので、いい解が得れたと考えら
れる。
貪欲法の近似率について
要素数の上限が𝑘であるような一般の場合の単調な
劣モジュラ関数の最大化問題について、必ず次の
不等式が成り立つ。
最適解:𝑆 𝑂𝑃𝑇 ⊆ 𝑉
貪欲法が出力する近似解:𝑆 𝐺𝐴 ⊆ 𝑉
1 − 1 −
1
𝑘
𝑘
𝑓 𝑆 ...
貪欲法の近似率について
α 𝑘 = 1 − 1 −
1
𝑘
𝑘
は、自然数𝑘に関して単調減少
α 𝑘は、𝑘 → ∞のとき、α 𝑘 → 1 −
1
𝑒
> 0.63となり、貪欲法は、0.63-近似
アルゴリズムであることがわかる。この証明は、次で...
貪欲法の近似率の証明
• 本をご参照あれ。
コンテンツ
• 3.1 劣モジュラ最大化と貪欲法
• 3.1.1 劣モジュラ最大化と近似アルゴリズム
• 3.1.2 劣モジュラ最大化のための貪欲法
• 3.1.3 貪欲法の近似率
• 3.2 適用例1 : 文書要約への適用
• 3.2.1 文...
適用例1 : 文書要約への適用
• 問題設定:
• ある文章が与えられたときに、その文章を構成する文
の中から、できるだけもとの文章を表現できるような、
その一部の文を選択する
• 直感的なイメージ:
• 文を1つずつ足していくと徐々にもとの文...
適用例1 : 文書要約への適用
文書要約は、劣モジュラ最大化問題の代表的な例の1つ。実
際、文書要約でよく用いられる規準がこのような効果をもっ
ていることが多い。
文書要約の劣モジュラ最大化としての定式化
• ある文章が与えられたとき、その文章を構成する
文を要素とする有限集合𝑉 = {1, … , 𝑛}を考える
文書要約の劣モジュラ最大化としての定式化
• 一般に、文書要約において選択される文の集合
𝑆 ⊆ 𝑉がもつべき重要な規準として、以下が挙げら
れる。
• ℒ 𝑆 :文章全体に対して関連の高い文の集合を選択す
ること
• 𝑅 𝑆 :選択する文間の...
文書要約の劣モジュラ最大化としての定式化
ℒ 𝑆 :文章全体に対して関連の高い文の集合を選択すること
𝑅(𝑆):選択する文間の冗長性を少なくするように文の集合を
選択すること
トレードオフの関係
文書要約の劣モジュラ最大化としての定式化
ℒ 𝑆 :文章全体に対して関連の高い文の集合を選択すること
𝑅(𝑆):選択する文間の冗長性を少なくするように文の集合を
選択すること
トレードオフの関係
選択する文章を増やすことを評価
選択する文章をで...
文書要約の劣モジュラ最大化としての定式化
𝑓𝑑𝑜𝑐 𝑆 = ℒ 𝑆 + λ𝑅 𝑆
一般に相反するこれらのトレードオフは各応用場面
によるので, トレードオフを調整するパラメータ𝜆を
用いて次式のように規準を表す
ℒ 𝑆 :文章全体に対して関連の...
文書要約の劣モジュラ最大化としての定式化
𝑓𝑑𝑜𝑐 𝑆 = ℒ 𝑆 + λ𝑅 𝑆
一般に相反するこれらのトレードオフは各応用場面
によるので, トレードオフを調整するパラメータ𝜆を
用いて次式のように規準を表す
ℒ 𝑆 :文章全体に対して関連の...
関連性を評価する関数ℒ 𝑆 の例
2文間の相関
直感的には, 文章全体と関連の高い文を選択しようと
いう規準
ℒ 𝑆 =
𝑖∈𝑉,𝑗∈𝑆
𝑠𝑖𝑗
関連性を評価する関数ℒ 𝑆 の例
各概念𝑖 ∈ Γ(𝑆)の重要度γ𝑖
概念に基づく要約
文の集合𝑆に含まれる概念の集合:Γ(𝑆)
ℒ 𝑆 =
𝑖∈Γ(𝑆)
γ𝑖
関連性を評価する関数ℒ 𝑆 の例
LinとBilmesによる基準
ℒ 𝑆 =
𝑖∈𝑉
𝑚𝑖𝑛{𝐶𝑖(𝑆), γ𝐶𝑖(𝑉)}
𝐶𝑖(𝑆):2 𝑉 → ℝ:文𝑖がどの程度𝑆によりカバーされているかを
表す単調な劣モジュラ関数
0 ≤ γ ≤ 1はし...
関連性を評価する関数ℒ 𝑆 の例
LinとBilmesによる基準
ℒ 𝑆 =
𝑖∈𝑉
𝑚𝑖𝑛{𝐶𝑖(𝑆), γ𝐶𝑖(𝑉)}
𝐶𝑖(𝑆):2 𝑉 → ℝ:文𝑖がどの程度𝑆によりカバーされているかを
表す単調な劣モジュラ関数
0 ≤ γ ≤ 1はし...
この規準の直感的説明
LinとBilmesによる基準
ℒ 𝑆 =
𝑖∈𝑉
𝑚𝑖𝑛{𝐶𝑖(𝑆), γ𝐶𝑖(𝑉)}
𝐶𝑖(𝑉)は𝐶𝑖(𝑆)が到達できる最大値
この規準の直感的説明
LinとBilmesによる基準
ℒ 𝑆 =
𝑖∈𝑉
𝑚𝑖𝑛{𝐶𝑖(𝑆), γ𝐶𝑖(𝑉)}
ある文𝑖に関して𝐶𝑖 𝑆 ≤ γ𝐶𝑖(𝑉)の場合(本では、𝐶𝑖 𝑆 ≥ γ𝐶𝑖(𝑉)。多分ミス)
まだγ𝐶𝑖(𝑉)に到達していない別...
冗長性の評価関数:𝑅 𝑆
• 冗長な文に対して何らかの罰則を課すのも1つの
有効な手段
冗長性の評価関数:𝑅 𝑆
冗長性の評価関数
𝑅 𝑆 =
𝑘=1
𝐾
𝑗∈𝑃 𝑘∩𝑆
𝑟𝑗
文の集合𝑆を選択することの多様性に対する報酬を
加える式。これも有効な関数の一つ。
𝑃𝑘 (𝑘 = 1. , . . 𝐾, ):文全体の分割。
→ 𝑘 𝑃...
冗長性の評価関数:𝑅 𝑆
冗長性の評価関数
𝑅 𝑆 =
𝑘=1
𝐾
𝑗∈𝑃 𝑘∩𝑆
𝑟𝑗
文の集合𝑆を選択することの多様性に対する報酬を
加える式。これも有効な関数の一つ。
𝑃𝑘 (𝑘 = 1. , . . 𝐾, ):文全体の分割。
→ 𝑘 𝑃...
冗長性の評価関数:𝑅 𝑆
冗長性の評価関数
𝑅 𝑆 =
𝑘=1
𝐾
𝑗∈𝑃 𝑘∩𝑆
𝑟𝑗
文の集合𝑆を選択することの多様性に対する報酬を
加える式。これも有効な関数の一つ。
この規準を用いることで、まだ1度も選ばれていない分割の中から文𝑖
を選...
関数𝑓𝑑𝑜𝑐を用いた文書要約のまとめ
𝑓𝑑𝑜𝑐 𝑆 = ℒ 𝑆 + λ𝑅 𝑆
ℒ 𝑆 :文章全体に対して関連の高い文の集合を選択すること
𝑅(𝑆):選択する文間の冗長性を少なくするように文の集合を選択すること
単調劣モジュラ関数単調劣モジュラ関...
関数𝑓𝑑𝑜𝑐を用いた文書要約のまとめ
𝑓𝑑𝑜𝑐 𝑆 = ℒ 𝑆 + λ𝑅 𝑆
単調劣モジュラ関数単調劣モジュラ関数
単調劣モジュラ関数
規準𝑓𝑑𝑜𝑐 を用いた文書要約は劣モジュラ関数の最大化問題へと帰着
𝑘個以下の文から成る要約を考えれば十分な...
実用的な場面での定式化
実用的な場面
文の長さもまちまち
単に文の数だけに制約を課したので
は長い文ばかりが選ばれてしまう
文の長さをコストとみなし、選択した文のコスト
の和で制約を課すのも1つの有効な定式化
実用的な場面での定式化
各文のコストを𝐶𝑖とすると、このような定式化は次の
ように表される。
目的:𝑓𝑑𝑜𝑐 𝑆 →最大
制約:S ⊆ 𝑉, 𝑖∈𝑆
𝑐𝑖 ≤ 𝑘
(3.6)
ナップサック制約
目的:𝑓𝑑𝑜𝑐 𝑆 →最大
制約:S ⊆ 𝑉, 𝑖∈𝑆
𝑐𝑖 ≤ 𝑘
(3.6)
選択した集合Sに関するコストの和に対する制約
ナップサック制約
ナップサック制約
目的:𝑓𝑑𝑜𝑐 𝑆 →最大
制約:S ⊆ 𝑉, 𝑖∈𝑆
𝑐𝑖 ≤ 𝑘
(3.6)
選択した集合Sに関するコストの和に対する制約
ナップサック制約
要素数制約の場合と同様、𝒇が単調関数であれば(3.6)への貪欲
法の適用により近...
ナップサック制約下の劣モジュラ関数最大化
のための貪欲法
貪欲法
ナップサック制約下の劣モジュラ関数最大化
のための貪欲法
要素数制約の場合との違いはステップ3
貪欲法
ナップサック制約下では、コストで正規化され
た関数の値を最大とする要素を選択する
文書要約のその他の規準
文書要約の問題設定は、劣モジュラ関数の逓減性
を表す定義式(1.2)によく合致するものだといえる。
文書要約のその他の規準
実際、𝑓𝑑𝑜𝑐以外の劣モジュラ性をもつ文書要約の規
準もいくつか知られており、ここからはそのいくつか
を紹介する。
したがって、劣モジュラ性を満たす文書要約の規準
は𝑓𝑑𝑜𝑐に限らない。
最大限界関連度
最大限界関連度
従来からよく用いられてきた基準
既に選択されている文の集合𝑆に対して、新しい文i ∈ 𝑉
を加えたときの増分を表す
最大限界関連度
最大限界関連度
文𝑖とクエリー𝑞の間の類似度
文𝑗 と𝑖の間の類似度
0 ≤ λ ≤ 1はバランスを調整する係数
文𝑖を加えることによる差分が上式により定義される集合関数は、劣モ
ジュラ性の逓減性の定義(1.2)から、劣モジュラ...
ROUGE-Nスコア
ROUGE-Nスコア
Linにより提案され、最近でも実用的にもよく用い
られる
単調劣モジュラ関数であることが知られている
ROUGE-Nスコア
ROUGE-Nスコア
候補となる要約と参照となるそれとの間の𝑛 − 𝑔𝑟𝑎𝑚
に基づく再現率として定義される
𝑐 𝑒: 2 𝑉 → 𝑍:要約𝑆の中のn-gram 𝑒の個数
𝑅 𝑘 (𝑘 = 1, … , 𝐾) :参照となる...
ROUGE-Nスコア
ROUGE-Nにより得られる要約は、人間の感覚に近
いことが知られている。
コンテンツ
• 3.1 劣モジュラ最大化と貪欲法
• 3.1.1 劣モジュラ最大化と近似アルゴリズム
• 3.1.2 劣モジュラ最大化のための貪欲法
• 3.1.3 貪欲法の近似率
• 3.2 適用例1 : 文書要約への適用
• 3.2.1 文...
適用例2: センサ配置問題
問題設定
状況設定
空間内で何らかの物理量(例えば室温など)をセ
ンサを用いて観測するという状況
できるだけその観測誤差が小さくなるようにいく
つかのセンサを配置する問題
適用例2: センサ配置問題
第2章
この問題をガウス過程回帰によりモデル化し、 最
終的に劣モジュラ最大化問題へ帰着する
これと類似した状況をカバー関数を使って考えた
3.3節
ガウス過程回帰による定式化
※現実的には、空間は連続的なので、センサの置き得る箇所も有限ではない場
合が普通ですが、どの程度の粒度で箇所を考えれば十分かについてはあとで言
及する
𝒙 𝟏, … , 𝒙 𝒏:センサを置き得る箇所
𝑆 ⊆ 𝑉:𝑆 ...
一般的なセンサ観測における仮説
1. センサの観測はノイズを含むと考えるのが自然
2. 近い箇所にセンサが複数ある場合は、その付近の観測は
誤差は小さい
観測量に関する予測分布の分散が小さくなる
ガウス過程回帰による定式化
不確実性を考慮しての𝒚 𝑺分布が、以下の多次元正規分布に従うとする
𝒙 𝟏, … , 𝒙 𝒏:センサを置き得る箇所
𝑆 ⊆ 𝑉:𝑆 ⊆ 𝑉に対応する箇所に設置したセンサ集合
𝑉 = {𝑙, … , 𝑛}:その各箇所を...
ガウス過程回帰による定式化
𝒙 𝟏, … , 𝒙 𝒏:センサを置き得る箇所
𝑆 ⊆ 𝑉:𝑆 ⊆ 𝑉に対応する箇所に設置したセンサ集合
𝑉 = {𝑙, … , 𝑛}:その各箇所を表す添え字から成る集合
𝒚 𝑺:実際にセンサを置いた箇所𝑆 ⊆ 𝑉に...
ガウス過程回帰による定式化
𝒙 𝟏, … , 𝒙 𝒏:センサを置き得る箇所
𝑆 ⊆ 𝑉:𝑆 ⊆ 𝑉に対応する箇所に設置したセンサ集合
𝑉 = {𝑙, … , 𝑛}:その各箇所を表す添え字から成る集合
𝒚 𝑺:実際にセンサを置いた箇所𝑆 ⊆ 𝑉に...
何がしたいかわからなくなってきたよね。
まとめよう!!
問題設定
できるだけその観測誤差が小さくなるようにいくつかのセ
ンサを配置する問題
見るべき規準
配置したセンサによって、考えている領域の任意の箇所
のにおける観測の不確実性をどれほど小さくできるか
式での表現
𝑦(𝒙) I 𝒚 𝑺
𝒚 𝑺:セ...
次は、この条件付き分布𝑦(𝒙) I 𝒚 𝑺がどの
ようになるかを見る
各箇所における観測量の間の共分散
各箇所における観測量の間の共分散をカーネル関数𝐾(𝑥, 𝑥′)により与える
カーネル関数の例:ガウノアンカーネル
𝛾 > 0:カーネル関数のパラメータ
観測量𝑦(𝒙) と 𝒚 𝑺の同時分布
観測量𝑦(𝒙) と 𝒚 𝑺の同時分布
𝐾0: = 𝐾 (𝒙, 𝒙)、また𝒌の各要素は𝐾 (𝒙, 𝒙𝒊) (𝑖 ∈ 𝑆)を表す
観測量𝑦(𝒙) と 𝒚 𝑺の同時分布
条件つき分布𝑝(𝑦(𝑥)|𝒚 𝑺) = 𝑁...
分割公式
多次元正規分布𝑁(𝜇, )に従う確率変数𝒙が与えられていると
する
𝒙を分割 平均ベクトル𝜇と分散共分散行列 を分割
𝒙 = (𝑥 𝑎
Τ
, 𝑥 𝑏
Τ
)Τ
このとき、𝑝 𝒙 𝒂 𝒙 𝒃 は、正規分布となる。これをΝ(µ 𝑎|𝑏,...
このような分布の計算方法を抑えた上で、セン
サ配置のよさを評価する規準へ話を移す
問題設定
できるだけその観測誤差が小さくなるようにいくつかのセ
ンサを配置する問題
見るべき規準
配置したセンサによって、考えている領域の任意の箇所
のにおける観測の不確実性をどれほど小さくできるか
式での表現
𝑦(𝒙) I 𝒚 𝑺
𝒚 𝑺:セ...
観測の不確実性:エントロピー
観測の不確実性としては, エントロピーが一般的によく
用いられる。
確率変数𝑦の同時エントロピー
別の変数y‘を条件とする条件つきエントロピー
センサを箇所Sに置いたときの、 ある箇所𝑥におけ
る観測量𝑦(𝑥)の条件つきエントロピー
正規分布を仮定した場合、次式のように表される
この式の値は、先述のガウス過程回帰により得られた
𝜎2(𝑥|𝑆)を用いて計算できる
不確実性の削減の定量化
センサを箇所𝑆に置いた際に、どの程度観測量𝑦(𝒙)の不確
実性を減らすことができるかは、以下のように定量化できる
𝐻(𝑦(𝒙)) − 𝐻(𝑦(𝒙)|𝒚 𝑺)
センサを箇所Sに置いたときの、 ある箇所𝑥に
おける観測量𝑦(...
不確実性の削減の定量化
センサを箇所𝑆に置いた際に、どの程度観測量𝑦(𝒙)の不確
実性を減らすことができるかは、以下のように定量化できる
𝐻(𝑦(𝒙)) − 𝐻(𝑦(𝒙)|𝒚 𝑺)
この値が大きければ、箇所𝑆に置いたことで不確実性がより
減って...
不確実性の削減の定量化
センサを箇所𝑆に置いた際に、どの程度観測量𝑦(𝒙)の不確
実性を減らすことができるかは、以下のように定量化できる
𝐻(𝑦(𝒙)) − 𝐻(𝑦(𝒙)|𝒚 𝑺)
現実的には、任意の箇所について計算することはできない。
実際の評価方法:相互情報量
いくつかの代表的な箇所 𝒙 𝟏,…, 𝒙 𝒎 をあらかじめ選択してお
きこれらの箇所と、センサを置けなかった箇所𝑉 ∖ 𝑆について
のこの量を評価する
この量は、𝒚 𝒔と(𝒚 𝑽∖𝑺, 𝐲( 𝒙))の相互情報量とも呼...
実際の評価方法:相互情報量
この値が大きければ、箇所𝑆に置いたことで、不確実性がよ
り減っていることがわかる
我々の目標は、配置したセンサによって、考えている
領域の任意の箇所における観測の不確実性をどれ
ほど小さくできるか、であった。
この値...
命題3.4 : 相互情報量は劣モジュラ関数である
本を参照あれ
ここまでが準備。長かったね〜笑
おさらいをしておきまするよ。
問題設定
できるだけその観測誤差が小さくなるようにいくつかのセ
ンサを配置する問題
見るべき規準
配置したセンサによって、考えている領域の任意の箇所
のにおける観測の不確実性をどれほど小さくできるか
式での表現
劣モジュラ関数の一つである、以下...
問題は結局こうなる
センサを置く個数については無数にセンサを配置するという
のは現実的ではない
目的関数は劣モジュラ関数。よって、本問題は要素数制約
下の劣モジュラ関数最大化として定式化された!!!
よって、配置するセンサにより観測量の不確実性...
コンテンツ
• 3.1 劣モジュラ最大化と貪欲法
• 3.1.1 劣モジュラ最大化と近似アルゴリズム
• 3.1.2 劣モジュラ最大化のための貪欲法
• 3.1.3 貪欲法の近似率
• 3.2 適用例1 : 文書要約への適用
• 3.2.1 文...
• 本を参照あれ。
コンテンツ
• 3.1 劣モジュラ最大化と貪欲法
• 3.1.1 劣モジュラ最大化と近似アルゴリズム
• 3.1.2 劣モジュラ最大化のための貪欲法
• 3.1.3 貪欲法の近似率
• 3.2 適用例1 : 文書要約への適用
• 3.2.1 文...
適用例3: 能動学習
• っとその前に
能動学習とは?
まともに調べたことはなかったので、調べてみた
本の内容に戻るよ
教師あり学習においてラベルづけのコストが高いような
場合
能動学習を使う場面
能動学習
重要なサンプルのみを選択してラベルづけを行うための
方法で、機械学習における重要な問題の1つ
能動学習の目的
プールベース能動学習
ラベルのないサンプルの中から学習に有用となるラベル
づけを行うサンプルを選択するという問題
プールベース能動学習
一括型能動学習
ラベルのないサンプルの中から学習に有用となるラ
ベルづけを行うサンプルを選択するという問題
プールベース能動学習
ラベルづけを行うサンプルを複数同時に選択する
一括型能動学習
一種の集合関数の最適化問題
一括型能動学習
ラベルづけを行うサンプルを複数同時に選択する
一括型能動学習
一種の集合関数の最適化問題
すでにラベルづけされているサンプルが多ければ多いほど,
新しくラベルづけするサンプルの有用性は徐々に小さくなっ
ていくという逓減的性質が成...
一括型能動学習の問題設定
𝒙 𝟏, … , 𝒙 𝒏 ∈ ℝ:ラベルづけされていないサンプル
簡単のため二値分 類器を対象として考える
𝑉 = {1, … , 𝑛}:𝒙の添え字の集合
𝑦𝑖 ∈ {−1, +1} :各サンプル𝒙𝑖の(未知の)ラベル...
一括型能動学習の目的
ラベルづけを行うサンプルを複数同時に選択する
一括型能動学習
一種の集合関数の最適化問題
できるだけ性能の高い分類器𝑝(𝑦|𝒙)の学習が可能
になるように、ラベルづけを行うできるだけ少ない(事
前に与えた 𝑘個以下の)サン...
フィッシャー情報行列
ラベルづけを行うサンプルの集合がもつ有用性(どれだけ分
類器の学習のための情報をもっているか)をフィッシャ ー 情
報行列に基づいて考える
𝒘:有限のパラメ ー タ
𝑝(𝑦|𝒙):パラメータ𝒘に基づく分類器
フィッシャ ー...
補足:フィッシャー情報行列
• フィッシャー情報行列は統計学や情報理論におい
てよく用いられるもの
• 観測される確率変数が対象とするパラメ ー タに
対してもつ情報の量を与える規準
• 参考:
とりあえず今は、
フィッシャー情報行列
ラベルづけを行うサンプルの集合がもつ有用性(どれだけ分
類器の学習のための情報をもっているか)をフィッシャ ー 情
報行列に基づいて考える
𝒘:有限のパラメ ー タ
𝑝(𝑦|𝒙):パラメータ𝒘に基づく分類器
フィッシャ ー...
というものだと抑えるので良いと思う。
フィッシャ ー情報行列を用いた能動学習の規
準
� :有限のパラメ ー タ
� (� |� ):パラメータ� に基づく分類器
フィッシャ ー情報行列
� (� ):ラベルづけを行うサンプルに関する分布
� (� ):すべてのサンプルに関する分布...
分類器としてのロ ジスティック回帰
分類器として(線形)ロ ジスティック回帰を用いて具
体的な定式化を考えていく。
ロジスティック回帰
機械学習分野でよく用いられる二値分類器の1つ
ロジスティック回帰に関するフィッシャ ー
情報行列
積分の近似計算
有限のサンプルを用いるので、積分の厳密な計算
はできないので、以下のように近似する
今回考えるべきは、以下の式。これから展開してくぞ!
𝑡𝑟(𝐼 𝑞
−1
𝐼 𝑝)
� :有限のパラメ ー タ
� (� |� ):パラメータ� に基づく分類器
フィッシャ ー情報行列
� (� ):ラベルづけを行うサンプルに関する分布
� (�...
𝑆 ⊆ 𝑉 : ラベルづけを行うサンプル集合
𝐼 𝑑 : 𝑑行𝑑列の単位行列
𝛿 ≪ 1 : 特異行列を避けるための小さな実数値
これらを今回最小化したい𝑡𝑟(𝐼 𝑞
−1
𝐼 𝑝) に代入すると次のよう
になる
𝑆 ⊆ 𝑉 : ラベルづけを行うサンプル集合
𝐼 𝑑 : 𝑑行𝑑列の単位行列
𝛿 ≪ 1 : 特異行列を避けるための小さな実数値
これらを今回最小化したい𝑡𝑟(𝐼 𝑞
−1
𝐼 𝑝) に代入すると次のよう
になる
𝛿に比例するので無視
できるほ...
𝑆 ⊆ 𝑉 : ラベルづけを行うサンプル集合
𝐼 𝑑 : 𝑑行𝑑列の単位行列
𝛿 ≪ 1 : 特異行列を避けるための小さな実数値
これらを今回最小化したい𝑡𝑟(𝐼 𝑞
−1
𝐼 𝑝) に代入すると次のよう
になる
選択するサ ンプル集合𝑺に
依...
𝑆 ⊆ 𝑉 : ラベルづけを行うサンプル集合
𝐼 𝑑 : 𝑑行𝑑列の単位行列
𝛿 ≪ 1 : 特異行列を避けるための小さな実数値
これらを今回最小化したい𝑡𝑟(𝐼 𝑞
−1
𝐼 𝑝) に代入すると次のよう
になる
この第3項についてもう少
し整...
第3項
{(λ𝑙, 𝒗𝑙)}𝑙=1
𝑑
:𝐼 𝑞 𝑆, 𝒘 の固有値と固有ベクトルの組
任意の𝒙について次のような近
似を与える ことができる
第3項
{(λ𝑙, 𝒗𝑙)}𝑙=1
𝑑
:𝐼 𝑞 𝑆, 𝒘 の固有値と固有ベクトルの組
任意の𝒙について次のような近
似を与える ことができる
固有値 𝑵 の調和平均を
算術平均で置き換える
𝛾𝑖 = (𝒙Τ 𝒗𝑖)2/ 𝒙 2
2
とおくと
...
今デー タの前処理を行うことによって
サンプルは1に正規化されているとす
る(つまり 𝒙 2
2
= 1)
近似した第3項
最終的な第3項
さぁ、思い出そう。
今回考える、最小化すべきは、以下の式だったぞ!
𝑡𝑟(𝐼 𝑞
−1
𝐼 𝑝)
� :有限のパラメ ー タ
� (� |� ):パラメータ� に基づく分類器
フィッシャ ー情報行列
� (� ):ラベルづけを行うサンプルに関する分布
� (� )...
なので
最終的な第3項
0無視
、と変換できたこともわかった。最小化にマイナ
スをつけて最大化問題とする
−𝑡𝑟(𝐼 𝑞
−1
𝐼 𝑝)
最大化すべき関数
最小化すべき関数
最大化すべき関数
𝑽に関して式3.15を評価したもの
𝑓𝑏𝑎は選択するサンプル集合で、
どの程度フィッシャ ー行列の比
を小さくできるかを表す
𝑆に関して式3.15を評価したもの
命題3.5:𝑓𝑏𝑎が劣モジュラかどうか
• 本を読もう
コンテンツ
• 3.1 劣モジュラ最大化と貪欲法
• 3.1.1 劣モジュラ最大化と近似アルゴリズム
• 3.1.2 劣モジュラ最大化のための貪欲法
• 3.1.3 貪欲法の近似率
• 3.2 適用例1 : 文書要約への適用
• 3.2.1 文...
劣モジュラ関数最大化としての定式化と貪欲
法の適用例
• グラフマイニングにより得られた部分グ ラフ選択の劣モ
ジュラ関数最大化として定式化(Thoma)
• 線形回帰モデルにおける変数選択の規準の劣モジュラ性
に関してする議論(Das, Ke...
劣モジュラ関数最大化としての定式化と貪欲
法の適用例
• インデイアン・ブッフェ過程おいて 計算途中で必要となる最
適化を劣モジュラ関数最大化として近似的に定式化すること
で効率的な実装を実現(Reed, Ghahramani)
• ケンペらの...
文書要約の拡張
• 文章の階層構造を用いたり、複数の文章を同時に
要約するなどの拡張(Lin, Bilmes)
センサ配置の拡張
• ここで説明した相互情報量とは異なる規準や頑強
化されたアルゴリズムの提案されている
• 詳しくは本にある参考文献参照
能動学習の拡張
• 時々刻々と変化する状況下での能動学習への拡張
• そこでは, 適応劣モジュラ性と呼ばれる劣モジュラ性を一
般化した概念も重要な役割を果たす
さらなる応用へ
• さらに関連する応用的話題について興味をもったら、本に
ある参考文献を見よう。
おわり
Upcoming SlideShare
Loading in …5
×

劣モジュラ最適化と機械学習 3章

1,406 views

Published on

機械学習プロフェッショナルシリーズの、劣モジュラ最適化と機械学習 3章 の内容です。

Published in: Data & Analytics
  • Be the first to comment

劣モジュラ最適化と機械学習 3章

  1. 1. 劣モジュラ最適化と機械学習 3章 機械学習プロフェッショナルシリーズ @St_Hakky
  2. 2. 自己紹介と告知 • Twitter : @St_Hakky • ブログ:http://st-hakky.hatenablog.com/ • 関西で機械学習勉強会を実施中!! • 団体のモットー: • 圧倒的スピード感で大量の書物と論文をぶった切る • 「えっ、まだ読んでないの?」と煽り奉り、輪講会を乱立させる • 過去のイベント例 • PRML輪講会、PRML上巻/下巻一気読み • データ解析のための統計モデリング入門の輪講会 • わかりやすいパターン認識(続)の輪講会 • 参加したい方は、Facebookのグループにまずは参加を。 • URL :https://www.facebook.com/groups/1767916400127792/
  3. 3. 劣モジュラ最適化と機械学習の 3章をやります
  4. 4. 今日やらないこと • 証明は必要最小限しかやりません。 • 本を読んでください(投げやり)
  5. 5. 今日やること • 応用例を見ます。 • 応用例が、最終的に単調列もジュラ最大化問題と 同じ形で表現されることをひたすらにみます。 • 飽きたら、寝てください。
  6. 6. コンテンツ • 3.1 劣モジュラ最大化と貪欲法 • 3.1.1 劣モジュラ最大化と近似アルゴリズム • 3.1.2 劣モジュラ最大化のための貪欲法 • 3.1.3 貪欲法の近似率 • 3.2 適用例1 : 文書要約への適用 • 3.2.1 文書要約の劣モジュラ最大化としての定式化 • 3.2.2 文書要約のその他の規準 • 3.3 適用例2:センサ配掴問題 • 3.3.1 ガウス過程回帰による分布の推定 • 3.3.2 センサ配置の規準と劣モジュラ性 • 3.4 適用例3: 能動学習 • 3.4.1 一括型能動学習と劣モジュラ性 • 3.5 その他の適用例 • 3.6 補足:センサ配置可能箇所の設定について
  7. 7. この章で考える問題 𝑓: 2 𝑉 → ℝ は、単調な劣モジュラ関数 目的:𝑓(𝑆) → 最大 制約:𝑆 → 最大 (3.1) 劣モジュラ関数を最大化する問題について考える 制約条件は、選択する部分集合の要素数が最大でk (> 0)個である
  8. 8. 前章までで見てきたこと • 劣モジュラ性の有用性 • 劣モジュラ性は集合関数における凸性にあたる構造を 持つ • これにより(連続の)凸関数と同様に、最小化が効率的に • 劣モジュラ関数は凹関数のような性質ももっている最 大化においても複数の有用な性質を持つ
  9. 9. この章で見る問題 • まず、代表的な例として、最大化への貪欲法の適 用を取り上げる。→ 3.1節 • その後、機械学習などにおける様々な問題への適 用例として、以下を見る。 • 文書要約 → 3.2節 • センサ配置問題→ 3.3節 • 能動学習→ 3.4節
  10. 10. コンテンツ • 3.1 劣モジュラ最大化と貪欲法 • 3.1.1 劣モジュラ最大化と近似アルゴリズム • 3.1.2 劣モジュラ最大化のための貪欲法 • 3.1.3 貪欲法の近似率 • 3.2 適用例1 : 文書要約への適用 • 3.2.1 文書要約の劣モジュラ最大化としての定式化 • 3.2.2 文書要約のその他の規準 • 3.3 適用例2:センサ配掴問題 • 3.3.1 ガウス過程回帰による分布の推定 • 3.3.2 センサ配置の規準と劣モジュラ性 • 3.4 適用例3: 能動学習 • 3.4.1 一括型能動学習と劣モジュラ性 • 3.5 その他の適用例 • 3.6 補足:センサ配置可能箇所の設定について
  11. 11. 劣モジュラ最大化と貪欲法 単調な劣モジュラ関数の最大化問題 目的:𝑓(𝑆) → 最大 制約:𝑆 → 最大 (3.1) NP困難な最適化問題 厳密な最適解を多項式時間で求める ことは困難
  12. 12. • 劣モジュラ関数の最大化について、最大化すべき 単調な劣モジュラ関数としてカバー関数を用いて、 具体例を見る 𝑃1 𝑃2 𝑃3 𝑃4 劣モジュラ最大化と近似アルゴリズム
  13. 13. 劣モジュラ最大化と近似アルゴリズム 点集合𝑃 𝑃の𝑛 = 4個の部分集合𝑃1, 𝑃2 𝑃3 𝑃4 ⊆ 𝑃 すべての点の重みは1 𝑓𝑐𝑜𝑣: 2{1,2,3,4} → ℝ 𝑃1 𝑃2 𝑃3 𝑃4 𝑉 = {𝑙, 2,3,4}
  14. 14. カバー関数最大化問題 目的関数𝑓 をカバー関数𝑓𝑐𝑜𝑣とし、これを最大化する 要素数の上限を𝑘 = 2 点集合𝑃 𝑃1 𝑃2 𝑃3 𝑃4
  15. 15. k=1の場合のカバー関数の値 点集合𝑃 𝑃1 𝑃2 𝑃3 𝑃4 𝑓𝑐𝑜𝑣 1 = 3 𝑓𝑐𝑜𝑣 2 = 5 𝑓𝑐𝑜𝑣 3 = 7 𝑓𝑐𝑜𝑣 4 = 6 ←一番大きい
  16. 16. k=2の場合のカバー関数の値 点集合𝑃 𝑃1 𝑃2 𝑃3 𝑃4 𝑓𝑐𝑜𝑣 1,2 = 6
  17. 17. k=2の場合のカバー関数の値 点集合𝑃 𝑃1 𝑃2 𝑃3 𝑃4 𝑓𝑐𝑜𝑣 2,4 = 11 すべての組み合わせについて考えると、{2,4}が最大となる
  18. 18. 組み合わせ爆発の問題 台集合の要素数𝑛や要素数の上限𝑘が大きくなる 解の候補は爆発的に大きくなる すべてを調べることは現実的には困難。
  19. 19. 組み合わせ爆発の問題 実際劣モジュラ関数最大化問題はNP困難な最適 化問題であり、カバー関数も同様
  20. 20. ・最適値とアルゴリズムによって得られる近似 解の目的関数値の比が、どのような場合も一 定値よりよくなることが理論的に保証される 近似アルゴリズム ・アルゴリズムによって近似解が多項式時間で 得られる。 近似アルゴリズムとは
  21. 21. 近似アルゴリズムとは • 単調な劣モジュラ関数の最大化問題に対しては, 3.1.2で紹介する貪欲法が、性能のよい近似アルゴ リズムになることが理論的に保証できる
  22. 22. 近似率 𝒜 𝑃 :問題(𝑃)の近似解を求める多項式時間アルゴ リズムとする。 この時、問題(𝑃)が最大化問題であるため、明らか に次の不等式が成り立つ 𝒜 𝑃 が出力する解の目的関数値 ≤ 問題(𝑃)の最適値
  23. 23. 近似率 𝛼を0 < 𝛼 ≤ 1 を満たす定数として. 問題(𝑃)の任意 の入力について、以下が成り立つ。 𝛼 * 問題(𝑃)の最適値 ≤ 𝒜 𝑃 が出力する解の目的関数値 𝛼:𝒜 𝑃 の近似率あるいは近似保証という。 またこのとき、𝒜 𝑃 を問題(𝑃)の𝛼-近似アルゴリズ ムと呼ぶ
  24. 24. 近似率 一般論ですが、多くの場合で、𝛼-近似アルゴリズム によって得られる近似解の目的関数値と最適値の 比は、近似率𝛼よりずっとよくなる。
  25. 25. 3.1.2 劣モジュラ最大化のための貪欲法 貪欲法 貪欲法はS = {}からスタートして、𝑆 ⊆ 𝑉の要素数 が𝑘になるまで「貪欲」に要素を増やしていく単純な 方法
  26. 26. 貪欲法をカバー関数最大化問題に適用 点集合𝑃 𝑃の𝑛 = 4個の部分集合𝑃1, 𝑃2 𝑃3 𝑃4 ⊆ 𝑃 すべての点の重みは1 𝑓𝑐𝑜𝑣: 2{1,2,3,4} → ℝ 𝑃1 𝑃2 𝑃3 𝑃4 𝑉 = {𝑙, 2,3,4} ここでは、要素数の上限を𝑘 = 2とする
  27. 27. 貪欲法をカバー関数最大化問題に適用 初期化 ステップ0なので、S = {}とする。 点集合𝑃 𝑃1 𝑃2 𝑃3 𝑃4
  28. 28. 貪欲法をカバー関数最大化問題に適用 反復1 ステップ1では、 S = 0 < 2より停止しない。 貪欲法 ステップ2では、 i = 3がもっとも大きくするので これを選ぶ。
  29. 29. 貪欲法をカバー関数最大化問題に適用 点集合𝑃 𝑃1 𝑃2 𝑃3 𝑃4 𝑓𝑐𝑜𝑣 1 = 3 𝑓𝑐𝑜𝑣 2 = 5 𝑓𝑐𝑜𝑣 3 = 7 𝑓𝑐𝑜𝑣 4 = 6 ←一番大きい
  30. 30. 貪欲法をカバー関数最大化問題に適用 反復2 ステップ1では、 S = 1 < 2より停止しない。 貪欲法 ステップ2では、 i = 1𝑜𝑟4がもっとも大きくする のでこれを選ぶ。
  31. 31. 貪欲法をカバー関数最大化問題に適用 点集合𝑃 𝑃1 𝑃2 𝑃3 𝑃4 𝑓𝑐𝑜𝑣 1, 3 = 10 ←一番大きい
  32. 32. 貪欲法をカバー関数最大化問題に適用 反復3 ステップ1で、 S = 2 ≥ 2より停止 貪欲法 結果として、𝑓𝑐𝑜𝑣 1, 3 = 10が選ばれ、アル ゴリズムが停止する。
  33. 33. 貪欲法と最適解を比較 貪欲法(近似解): 𝑓𝑐𝑜𝑣 1, 3 = 10 最適解: 𝑓𝑐𝑜𝑣 2, 4 = 11 近似解は、最適解の10/11≈0.91倍程度の目的 関数値を取るので、いい解が得れたと考えら れる。
  34. 34. 貪欲法の近似率について 要素数の上限が𝑘であるような一般の場合の単調な 劣モジュラ関数の最大化問題について、必ず次の 不等式が成り立つ。 最適解:𝑆 𝑂𝑃𝑇 ⊆ 𝑉 貪欲法が出力する近似解:𝑆 𝐺𝐴 ⊆ 𝑉 1 − 1 − 1 𝑘 𝑘 𝑓 𝑆 𝑂𝑃𝑇 ≤ 𝑓(𝑆 𝐺𝐴)
  35. 35. 貪欲法の近似率について α 𝑘 = 1 − 1 − 1 𝑘 𝑘 は、自然数𝑘に関して単調減少 α 𝑘は、𝑘 → ∞のとき、α 𝑘 → 1 − 1 𝑒 > 0.63となり、貪欲法は、0.63-近似 アルゴリズムであることがわかる。この証明は、次で与える。
  36. 36. 貪欲法の近似率の証明 • 本をご参照あれ。
  37. 37. コンテンツ • 3.1 劣モジュラ最大化と貪欲法 • 3.1.1 劣モジュラ最大化と近似アルゴリズム • 3.1.2 劣モジュラ最大化のための貪欲法 • 3.1.3 貪欲法の近似率 • 3.2 適用例1 : 文書要約への適用 • 3.2.1 文書要約の劣モジュラ最大化としての定式化 • 3.2.2 文書要約のその他の規準 • 3.3 適用例2:センサ配掴問題 • 3.3.1 ガウス過程回帰による分布の推定 • 3.3.2 センサ配置の規準と劣モジュラ性 • 3.4 適用例3: 能動学習 • 3.4.1 一括型能動学習と劣モジュラ性 • 3.5 その他の適用例 • 3.6 補足:センサ配置可能箇所の設定について
  38. 38. 適用例1 : 文書要約への適用 • 問題設定: • ある文章が与えられたときに、その文章を構成する文 の中から、できるだけもとの文章を表現できるような、 その一部の文を選択する • 直感的なイメージ: • 文を1つずつ足していくと徐々にもとの文章の意味を表 す表現力は高まる。 • 逆に、その効果はすでに採用した文が多ければ小さく なっていく。
  39. 39. 適用例1 : 文書要約への適用 文書要約は、劣モジュラ最大化問題の代表的な例の1つ。実 際、文書要約でよく用いられる規準がこのような効果をもっ ていることが多い。
  40. 40. 文書要約の劣モジュラ最大化としての定式化 • ある文章が与えられたとき、その文章を構成する 文を要素とする有限集合𝑉 = {1, … , 𝑛}を考える
  41. 41. 文書要約の劣モジュラ最大化としての定式化 • 一般に、文書要約において選択される文の集合 𝑆 ⊆ 𝑉がもつべき重要な規準として、以下が挙げら れる。 • ℒ 𝑆 :文章全体に対して関連の高い文の集合を選択す ること • 𝑅 𝑆 :選択する文間の冗長性を少なくするように文の 集合を選択すること
  42. 42. 文書要約の劣モジュラ最大化としての定式化 ℒ 𝑆 :文章全体に対して関連の高い文の集合を選択すること 𝑅(𝑆):選択する文間の冗長性を少なくするように文の集合を 選択すること トレードオフの関係
  43. 43. 文書要約の劣モジュラ最大化としての定式化 ℒ 𝑆 :文章全体に対して関連の高い文の集合を選択すること 𝑅(𝑆):選択する文間の冗長性を少なくするように文の集合を 選択すること トレードオフの関係 選択する文章を増やすことを評価 選択する文章をできるだけ増やさないことを評価
  44. 44. 文書要約の劣モジュラ最大化としての定式化 𝑓𝑑𝑜𝑐 𝑆 = ℒ 𝑆 + λ𝑅 𝑆 一般に相反するこれらのトレードオフは各応用場面 によるので, トレードオフを調整するパラメータ𝜆を 用いて次式のように規準を表す ℒ 𝑆 :文章全体に対して関連の高い文の集合を選択すること 𝑅(𝑆):選択する文間の冗長性を少なくするように文の集合を選択すること
  45. 45. 文書要約の劣モジュラ最大化としての定式化 𝑓𝑑𝑜𝑐 𝑆 = ℒ 𝑆 + λ𝑅 𝑆 一般に相反するこれらのトレードオフは各応用場面 によるので, トレードオフを調整するパラメータ𝜆を 用いて次式のように規準を表す ℒ 𝑆 :文章全体に対して関連の高い文の集合を選択すること 𝑅(𝑆):選択する文間の冗長性を少なくするように文の集合を選択すること 単調劣モジュラ関数単調劣モジュラ関数
  46. 46. 関連性を評価する関数ℒ 𝑆 の例 2文間の相関 直感的には, 文章全体と関連の高い文を選択しようと いう規準 ℒ 𝑆 = 𝑖∈𝑉,𝑗∈𝑆 𝑠𝑖𝑗
  47. 47. 関連性を評価する関数ℒ 𝑆 の例 各概念𝑖 ∈ Γ(𝑆)の重要度γ𝑖 概念に基づく要約 文の集合𝑆に含まれる概念の集合:Γ(𝑆) ℒ 𝑆 = 𝑖∈Γ(𝑆) γ𝑖
  48. 48. 関連性を評価する関数ℒ 𝑆 の例 LinとBilmesによる基準 ℒ 𝑆 = 𝑖∈𝑉 𝑚𝑖𝑛{𝐶𝑖(𝑆), γ𝐶𝑖(𝑉)} 𝐶𝑖(𝑆):2 𝑉 → ℝ:文𝑖がどの程度𝑆によりカバーされているかを 表す単調な劣モジュラ関数 0 ≤ γ ≤ 1はしきい値を調整するためのパラメータ 選択した文の集合がどれ だけ文𝑖に類似しているか
  49. 49. 関連性を評価する関数ℒ 𝑆 の例 LinとBilmesによる基準 ℒ 𝑆 = 𝑖∈𝑉 𝑚𝑖𝑛{𝐶𝑖(𝑆), γ𝐶𝑖(𝑉)} 𝐶𝑖(𝑆):2 𝑉 → ℝ:文𝑖がどの程度𝑆によりカバーされているかを 表す単調な劣モジュラ関数 0 ≤ γ ≤ 1はしきい値を調整するためのパラメータ このような関数𝐶𝑖の例: 𝐶𝑖(𝑆) := 𝑖∈𝑉 𝑠𝑖𝑗など。
  50. 50. この規準の直感的説明 LinとBilmesによる基準 ℒ 𝑆 = 𝑖∈𝑉 𝑚𝑖𝑛{𝐶𝑖(𝑆), γ𝐶𝑖(𝑉)} 𝐶𝑖(𝑉)は𝐶𝑖(𝑆)が到達できる最大値
  51. 51. この規準の直感的説明 LinとBilmesによる基準 ℒ 𝑆 = 𝑖∈𝑉 𝑚𝑖𝑛{𝐶𝑖(𝑆), γ𝐶𝑖(𝑉)} ある文𝑖に関して𝐶𝑖 𝑆 ≤ γ𝐶𝑖(𝑉)の場合(本では、𝐶𝑖 𝑆 ≥ γ𝐶𝑖(𝑉)。多分ミス) まだγ𝐶𝑖(𝑉)に到達していない別の文𝑗に関してのみℒ 𝑆 の値を改善することができる このようにまんべんなく文全体の意味がカバーされる ような規準になっている
  52. 52. 冗長性の評価関数:𝑅 𝑆 • 冗長な文に対して何らかの罰則を課すのも1つの 有効な手段
  53. 53. 冗長性の評価関数:𝑅 𝑆 冗長性の評価関数 𝑅 𝑆 = 𝑘=1 𝐾 𝑗∈𝑃 𝑘∩𝑆 𝑟𝑗 文の集合𝑆を選択することの多様性に対する報酬を 加える式。これも有効な関数の一つ。 𝑃𝑘 (𝑘 = 1. , . . 𝐾, ):文全体の分割。 → 𝑘 𝑃𝑘 = 𝑉で異なる𝑘, 𝑙 ∈ {1. , . . , 𝐾}に対して𝑃𝑘 ∩ 𝑃𝑧 = {} 𝑟𝑗 > 0:新しく文𝑗を空集合へ加えることに対する報酬
  54. 54. 冗長性の評価関数:𝑅 𝑆 冗長性の評価関数 𝑅 𝑆 = 𝑘=1 𝐾 𝑗∈𝑃 𝑘∩𝑆 𝑟𝑗 文の集合𝑆を選択することの多様性に対する報酬を 加える式。これも有効な関数の一つ。 𝑃𝑘 (𝑘 = 1. , . . 𝐾, ):文全体の分割。 → 𝑘 𝑃𝑘 = 𝑉で異なる𝑘, 𝑙 ∈ {1. , . . , 𝐾}に対して𝑃𝑘 ∩ 𝑃𝑧 = {} 𝑟𝑗 > 0:新しく文𝑗を空集合へ加えることに対する報酬 分割𝑃𝑖を得るための例: 文章全体に対してクラスタリング等
  55. 55. 冗長性の評価関数:𝑅 𝑆 冗長性の評価関数 𝑅 𝑆 = 𝑘=1 𝐾 𝑗∈𝑃 𝑘∩𝑆 𝑟𝑗 文の集合𝑆を選択することの多様性に対する報酬を 加える式。これも有効な関数の一つ。 この規準を用いることで、まだ1度も選ばれていない分割の中から文𝑖 を選ぶことに対して報酬を加えることで選択する文の多様性を確保
  56. 56. 関数𝑓𝑑𝑜𝑐を用いた文書要約のまとめ 𝑓𝑑𝑜𝑐 𝑆 = ℒ 𝑆 + λ𝑅 𝑆 ℒ 𝑆 :文章全体に対して関連の高い文の集合を選択すること 𝑅(𝑆):選択する文間の冗長性を少なくするように文の集合を選択すること 単調劣モジュラ関数単調劣モジュラ関数 単調劣モジュラ関数!!
  57. 57. 関数𝑓𝑑𝑜𝑐を用いた文書要約のまとめ 𝑓𝑑𝑜𝑐 𝑆 = ℒ 𝑆 + λ𝑅 𝑆 単調劣モジュラ関数単調劣モジュラ関数 単調劣モジュラ関数 規準𝑓𝑑𝑜𝑐 を用いた文書要約は劣モジュラ関数の最大化問題へと帰着 𝑘個以下の文から成る要約を考えれば十分な場合は𝑓𝑑𝑜𝑐 の単調性か ら、これは単調な劣モジュラ関数最大化問題として定式化される
  58. 58. 実用的な場面での定式化 実用的な場面 文の長さもまちまち 単に文の数だけに制約を課したので は長い文ばかりが選ばれてしまう 文の長さをコストとみなし、選択した文のコスト の和で制約を課すのも1つの有効な定式化
  59. 59. 実用的な場面での定式化 各文のコストを𝐶𝑖とすると、このような定式化は次の ように表される。 目的:𝑓𝑑𝑜𝑐 𝑆 →最大 制約:S ⊆ 𝑉, 𝑖∈𝑆 𝑐𝑖 ≤ 𝑘 (3.6)
  60. 60. ナップサック制約 目的:𝑓𝑑𝑜𝑐 𝑆 →最大 制約:S ⊆ 𝑉, 𝑖∈𝑆 𝑐𝑖 ≤ 𝑘 (3.6) 選択した集合Sに関するコストの和に対する制約 ナップサック制約
  61. 61. ナップサック制約 目的:𝑓𝑑𝑜𝑐 𝑆 →最大 制約:S ⊆ 𝑉, 𝑖∈𝑆 𝑐𝑖 ≤ 𝑘 (3.6) 選択した集合Sに関するコストの和に対する制約 ナップサック制約 要素数制約の場合と同様、𝒇が単調関数であれば(3.6)への貪欲 法の適用により近似率として0.63が得られる
  62. 62. ナップサック制約下の劣モジュラ関数最大化 のための貪欲法 貪欲法
  63. 63. ナップサック制約下の劣モジュラ関数最大化 のための貪欲法 要素数制約の場合との違いはステップ3 貪欲法 ナップサック制約下では、コストで正規化され た関数の値を最大とする要素を選択する
  64. 64. 文書要約のその他の規準 文書要約の問題設定は、劣モジュラ関数の逓減性 を表す定義式(1.2)によく合致するものだといえる。
  65. 65. 文書要約のその他の規準 実際、𝑓𝑑𝑜𝑐以外の劣モジュラ性をもつ文書要約の規 準もいくつか知られており、ここからはそのいくつか を紹介する。 したがって、劣モジュラ性を満たす文書要約の規準 は𝑓𝑑𝑜𝑐に限らない。
  66. 66. 最大限界関連度 最大限界関連度 従来からよく用いられてきた基準 既に選択されている文の集合𝑆に対して、新しい文i ∈ 𝑉 を加えたときの増分を表す
  67. 67. 最大限界関連度 最大限界関連度 文𝑖とクエリー𝑞の間の類似度 文𝑗 と𝑖の間の類似度 0 ≤ λ ≤ 1はバランスを調整する係数 文𝑖を加えることによる差分が上式により定義される集合関数は、劣モ ジュラ性の逓減性の定義(1.2)から、劣モジュラ関数となることが示せ る。ただし、この関数は非単調。
  68. 68. ROUGE-Nスコア ROUGE-Nスコア Linにより提案され、最近でも実用的にもよく用い られる 単調劣モジュラ関数であることが知られている
  69. 69. ROUGE-Nスコア ROUGE-Nスコア 候補となる要約と参照となるそれとの間の𝑛 − 𝑔𝑟𝑎𝑚 に基づく再現率として定義される 𝑐 𝑒: 2 𝑉 → 𝑍:要約𝑆の中のn-gram 𝑒の個数 𝑅 𝑘 (𝑘 = 1, … , 𝐾) :参照となる要約𝑘の中に含まれるn-gramの集合 𝑟𝑒,𝑘:参照となる要約𝑘の中のn-gram 𝑒の個数
  70. 70. ROUGE-Nスコア ROUGE-Nにより得られる要約は、人間の感覚に近 いことが知られている。
  71. 71. コンテンツ • 3.1 劣モジュラ最大化と貪欲法 • 3.1.1 劣モジュラ最大化と近似アルゴリズム • 3.1.2 劣モジュラ最大化のための貪欲法 • 3.1.3 貪欲法の近似率 • 3.2 適用例1 : 文書要約への適用 • 3.2.1 文書要約の劣モジュラ最大化としての定式化 • 3.2.2 文書要約のその他の規準 • 3.3 適用例2:センサ配掴問題 • 3.3.1 ガウス過程回帰による分布の推定 • 3.3.2 センサ配置の規準と劣モジュラ性 • 3.4 適用例3: 能動学習 • 3.4.1 一括型能動学習と劣モジュラ性 • 3.5 その他の適用例 • 3.6 補足:センサ配置可能箇所の設定について
  72. 72. 適用例2: センサ配置問題 問題設定 状況設定 空間内で何らかの物理量(例えば室温など)をセ ンサを用いて観測するという状況 できるだけその観測誤差が小さくなるようにいく つかのセンサを配置する問題
  73. 73. 適用例2: センサ配置問題 第2章 この問題をガウス過程回帰によりモデル化し、 最 終的に劣モジュラ最大化問題へ帰着する これと類似した状況をカバー関数を使って考えた 3.3節
  74. 74. ガウス過程回帰による定式化 ※現実的には、空間は連続的なので、センサの置き得る箇所も有限ではない場 合が普通ですが、どの程度の粒度で箇所を考えれば十分かについてはあとで言 及する 𝒙 𝟏, … , 𝒙 𝒏:センサを置き得る箇所 𝑆 ⊆ 𝑉:𝑆 ⊆ 𝑉に対応する箇所に設置したセンサ集合 𝑉 = {𝑙, … , 𝑛}:その各箇所を表す添え字から成る集合 𝒚 𝑺:実際にセンサを置いた箇所𝑆 ⊆ 𝑉における観測量 記号
  75. 75. 一般的なセンサ観測における仮説 1. センサの観測はノイズを含むと考えるのが自然 2. 近い箇所にセンサが複数ある場合は、その付近の観測は 誤差は小さい 観測量に関する予測分布の分散が小さくなる
  76. 76. ガウス過程回帰による定式化 不確実性を考慮しての𝒚 𝑺分布が、以下の多次元正規分布に従うとする 𝒙 𝟏, … , 𝒙 𝒏:センサを置き得る箇所 𝑆 ⊆ 𝑉:𝑆 ⊆ 𝑉に対応する箇所に設置したセンサ集合 𝑉 = {𝑙, … , 𝑛}:その各箇所を表す添え字から成る集合 𝒚 𝑺:実際にセンサを置いた箇所𝑆 ⊆ 𝑉における観測量 記号 𝝁 𝑺:平均ベクトル S:分散共分散行列 | S|:行列式
  77. 77. ガウス過程回帰による定式化 𝒙 𝟏, … , 𝒙 𝒏:センサを置き得る箇所 𝑆 ⊆ 𝑉:𝑆 ⊆ 𝑉に対応する箇所に設置したセンサ集合 𝑉 = {𝑙, … , 𝑛}:その各箇所を表す添え字から成る集合 𝒚 𝑺:実際にセンサを置いた箇所𝑆 ⊆ 𝑉における観測量 記号 𝑦(𝒙): (センサを置いた箇所とは限らない)任意の箇所xの観測量 センサを置いた箇所だけではなく空間内全体で観測誤差も見たい。この分布は 正規分布に従うと考える。 平均µ(𝒙)と分散σ2 (𝒙)が、𝒙の関数として、 非線形性を表せるようにモデル化してある
  78. 78. ガウス過程回帰による定式化 𝒙 𝟏, … , 𝒙 𝒏:センサを置き得る箇所 𝑆 ⊆ 𝑉:𝑆 ⊆ 𝑉に対応する箇所に設置したセンサ集合 𝑉 = {𝑙, … , 𝑛}:その各箇所を表す添え字から成る集合 𝒚 𝑺:実際にセンサを置いた箇所𝑆 ⊆ 𝑉における観測量 記号 𝑦(𝒙): (センサを置いた箇所とは限らない)任意の箇所xの観測量
  79. 79. 何がしたいかわからなくなってきたよね。
  80. 80. まとめよう!!
  81. 81. 問題設定 できるだけその観測誤差が小さくなるようにいくつかのセ ンサを配置する問題 見るべき規準 配置したセンサによって、考えている領域の任意の箇所 のにおける観測の不確実性をどれほど小さくできるか 式での表現 𝑦(𝒙) I 𝒚 𝑺 𝒚 𝑺:センサを置いた 箇所の観測量 𝑦(𝒙): (センサを置いた箇所とは限 らない)任意の箇所xの観測量
  82. 82. 次は、この条件付き分布𝑦(𝒙) I 𝒚 𝑺がどの ようになるかを見る
  83. 83. 各箇所における観測量の間の共分散 各箇所における観測量の間の共分散をカーネル関数𝐾(𝑥, 𝑥′)により与える カーネル関数の例:ガウノアンカーネル 𝛾 > 0:カーネル関数のパラメータ
  84. 84. 観測量𝑦(𝒙) と 𝒚 𝑺の同時分布 観測量𝑦(𝒙) と 𝒚 𝑺の同時分布 𝐾0: = 𝐾 (𝒙, 𝒙)、また𝒌の各要素は𝐾 (𝒙, 𝒙𝒊) (𝑖 ∈ 𝑆)を表す 観測量𝑦(𝒙) と 𝒚 𝑺の同時分布 条件つき分布𝑝(𝑦(𝑥)|𝒚 𝑺) = 𝑁(𝜇(𝒙|𝑆), σ2(𝒙|𝑆))は、分割公式 (次スライドで解説)を用いて次のようになる
  85. 85. 分割公式 多次元正規分布𝑁(𝜇, )に従う確率変数𝒙が与えられていると する 𝒙を分割 平均ベクトル𝜇と分散共分散行列 を分割 𝒙 = (𝑥 𝑎 Τ , 𝑥 𝑏 Τ )Τ このとき、𝑝 𝒙 𝒂 𝒙 𝒃 は、正規分布となる。これをΝ(µ 𝑎|𝑏, 𝑎|𝑏)とすると、平均 ベクトルと分散共分散行列は以下のようになる
  86. 86. このような分布の計算方法を抑えた上で、セン サ配置のよさを評価する規準へ話を移す
  87. 87. 問題設定 できるだけその観測誤差が小さくなるようにいくつかのセ ンサを配置する問題 見るべき規準 配置したセンサによって、考えている領域の任意の箇所 のにおける観測の不確実性をどれほど小さくできるか 式での表現 𝑦(𝒙) I 𝒚 𝑺 𝒚 𝑺:センサを置いた 箇所の観測量 𝑦(𝒙): (センサを置いた箇所とは限 らない)任意の箇所xの観測量
  88. 88. 観測の不確実性:エントロピー 観測の不確実性としては, エントロピーが一般的によく 用いられる。 確率変数𝑦の同時エントロピー 別の変数y‘を条件とする条件つきエントロピー
  89. 89. センサを箇所Sに置いたときの、 ある箇所𝑥におけ る観測量𝑦(𝑥)の条件つきエントロピー 正規分布を仮定した場合、次式のように表される この式の値は、先述のガウス過程回帰により得られた 𝜎2(𝑥|𝑆)を用いて計算できる
  90. 90. 不確実性の削減の定量化 センサを箇所𝑆に置いた際に、どの程度観測量𝑦(𝒙)の不確 実性を減らすことができるかは、以下のように定量化できる 𝐻(𝑦(𝒙)) − 𝐻(𝑦(𝒙)|𝒚 𝑺) センサを箇所Sに置いたときの、 ある箇所𝑥に おける観測量𝑦(𝑥)の条件つきエントロピー ある箇所𝒙における観測の不確実性
  91. 91. 不確実性の削減の定量化 センサを箇所𝑆に置いた際に、どの程度観測量𝑦(𝒙)の不確 実性を減らすことができるかは、以下のように定量化できる 𝐻(𝑦(𝒙)) − 𝐻(𝑦(𝒙)|𝒚 𝑺) この値が大きければ、箇所𝑆に置いたことで不確実性がより 減っていることがわかる
  92. 92. 不確実性の削減の定量化 センサを箇所𝑆に置いた際に、どの程度観測量𝑦(𝒙)の不確 実性を減らすことができるかは、以下のように定量化できる 𝐻(𝑦(𝒙)) − 𝐻(𝑦(𝒙)|𝒚 𝑺) 現実的には、任意の箇所について計算することはできない。
  93. 93. 実際の評価方法:相互情報量 いくつかの代表的な箇所 𝒙 𝟏,…, 𝒙 𝒎 をあらかじめ選択してお きこれらの箇所と、センサを置けなかった箇所𝑉 ∖ 𝑆について のこの量を評価する この量は、𝒚 𝒔と(𝒚 𝑽∖𝑺, 𝐲( 𝒙))の相互情報量とも呼ばれる 𝑦( 𝒙): = (𝑦( 𝒙 𝟏), … , 𝑦( 𝒙 𝒎))
  94. 94. 実際の評価方法:相互情報量 この値が大きければ、箇所𝑆に置いたことで、不確実性がよ り減っていることがわかる 我々の目標は、配置したセンサによって、考えている 領域の任意の箇所における観測の不確実性をどれ ほど小さくできるか、であった。 この値MI(S)を最大化することが目標となる。
  95. 95. 命題3.4 : 相互情報量は劣モジュラ関数である 本を参照あれ
  96. 96. ここまでが準備。長かったね〜笑 おさらいをしておきまするよ。
  97. 97. 問題設定 できるだけその観測誤差が小さくなるようにいくつかのセ ンサを配置する問題 見るべき規準 配置したセンサによって、考えている領域の任意の箇所 のにおける観測の不確実性をどれほど小さくできるか 式での表現 劣モジュラ関数の一つである、以下の式の最大化に帰着
  98. 98. 問題は結局こうなる センサを置く個数については無数にセンサを配置するという のは現実的ではない 目的関数は劣モジュラ関数。よって、本問題は要素数制約 下の劣モジュラ関数最大化として定式化された!!! よって、配置するセンサにより観測量の不確実性をできるだ け大きく減らすという問題は、以下のようになる。 置くことができる個数を限定することが自然
  99. 99. コンテンツ • 3.1 劣モジュラ最大化と貪欲法 • 3.1.1 劣モジュラ最大化と近似アルゴリズム • 3.1.2 劣モジュラ最大化のための貪欲法 • 3.1.3 貪欲法の近似率 • 3.2 適用例1 : 文書要約への適用 • 3.2.1 文書要約の劣モジュラ最大化としての定式化 • 3.2.2 文書要約のその他の規準 • 3.3 適用例2:センサ配掴問題 • 3.3.1 ガウス過程回帰による分布の推定 • 3.3.2 センサ配置の規準と劣モジュラ性 • 3.4 適用例3: 能動学習 • 3.4.1 一括型能動学習と劣モジュラ性 • 3.5 その他の適用例 • 3.6 補足:センサ配置可能箇所の設定について
  100. 100. • 本を参照あれ。
  101. 101. コンテンツ • 3.1 劣モジュラ最大化と貪欲法 • 3.1.1 劣モジュラ最大化と近似アルゴリズム • 3.1.2 劣モジュラ最大化のための貪欲法 • 3.1.3 貪欲法の近似率 • 3.2 適用例1 : 文書要約への適用 • 3.2.1 文書要約の劣モジュラ最大化としての定式化 • 3.2.2 文書要約のその他の規準 • 3.3 適用例2:センサ配掴問題 • 3.3.1 ガウス過程回帰による分布の推定 • 3.3.2 センサ配置の規準と劣モジュラ性 • 3.4 適用例3: 能動学習 • 3.4.1 一括型能動学習と劣モジュラ性 • 3.5 その他の適用例 • 3.6 補足:センサ配置可能箇所の設定について
  102. 102. 適用例3: 能動学習 • っとその前に
  103. 103. 能動学習とは?
  104. 104. まともに調べたことはなかったので、調べてみた
  105. 105. 本の内容に戻るよ
  106. 106. 教師あり学習においてラベルづけのコストが高いような 場合 能動学習を使う場面 能動学習 重要なサンプルのみを選択してラベルづけを行うための 方法で、機械学習における重要な問題の1つ 能動学習の目的
  107. 107. プールベース能動学習 ラベルのないサンプルの中から学習に有用となるラベル づけを行うサンプルを選択するという問題 プールベース能動学習
  108. 108. 一括型能動学習 ラベルのないサンプルの中から学習に有用となるラ ベルづけを行うサンプルを選択するという問題 プールベース能動学習 ラベルづけを行うサンプルを複数同時に選択する 一括型能動学習 一種の集合関数の最適化問題
  109. 109. 一括型能動学習 ラベルづけを行うサンプルを複数同時に選択する 一括型能動学習 一種の集合関数の最適化問題 すでにラベルづけされているサンプルが多ければ多いほど, 新しくラベルづけするサンプルの有用性は徐々に小さくなっ ていくという逓減的性質が成り立つ 劣モジュラ!!!
  110. 110. 一括型能動学習の問題設定 𝒙 𝟏, … , 𝒙 𝒏 ∈ ℝ:ラベルづけされていないサンプル 簡単のため二値分 類器を対象として考える 𝑉 = {1, … , 𝑛}:𝒙の添え字の集合 𝑦𝑖 ∈ {−1, +1} :各サンプル𝒙𝑖の(未知の)ラベル 記号
  111. 111. 一括型能動学習の目的 ラベルづけを行うサンプルを複数同時に選択する 一括型能動学習 一種の集合関数の最適化問題 できるだけ性能の高い分類器𝑝(𝑦|𝒙)の学習が可能 になるように、ラベルづけを行うできるだけ少ない(事 前に与えた 𝑘個以下の)サンプルを選択すること 一括型能動学習の目的
  112. 112. フィッシャー情報行列 ラベルづけを行うサンプルの集合がもつ有用性(どれだけ分 類器の学習のための情報をもっているか)をフィッシャ ー 情 報行列に基づいて考える 𝒘:有限のパラメ ー タ 𝑝(𝑦|𝒙):パラメータ𝒘に基づく分類器 フィッシャ ー情報行列 𝑞(𝒙):ラベルづけを行うサンプルに関する分布 𝑝(𝒙):すべてのサンプルに関する分布
  113. 113. 補足:フィッシャー情報行列 • フィッシャー情報行列は統計学や情報理論におい てよく用いられるもの • 観測される確率変数が対象とするパラメ ー タに 対してもつ情報の量を与える規準 • 参考:
  114. 114. とりあえず今は、
  115. 115. フィッシャー情報行列 ラベルづけを行うサンプルの集合がもつ有用性(どれだけ分 類器の学習のための情報をもっているか)をフィッシャ ー 情 報行列に基づいて考える 𝒘:有限のパラメ ー タ 𝑝(𝑦|𝒙):パラメータ𝒘に基づく分類器 フィッシャ ー情報行列 𝑞(𝒙):ラベルづけを行うサンプルに関する分布 𝑝(𝒙):すべてのサンプルに関する分布
  116. 116. というものだと抑えるので良いと思う。
  117. 117. フィッシャ ー情報行列を用いた能動学習の規 準 � :有限のパラメ ー タ � (� |� ):パラメータ� に基づく分類器 フィッシャ ー情報行列 � (� ):ラベルづけを行うサンプルに関する分布 � (� ):すべてのサンプルに関する分布 ラベルづけを行おうとするサンプルがもつ情報が、できるだ け全サ ンプルのそれに近くなるように選ぽうとする規準
  118. 118. 分類器としてのロ ジスティック回帰 分類器として(線形)ロ ジスティック回帰を用いて具 体的な定式化を考えていく。 ロジスティック回帰 機械学習分野でよく用いられる二値分類器の1つ
  119. 119. ロジスティック回帰に関するフィッシャ ー 情報行列
  120. 120. 積分の近似計算 有限のサンプルを用いるので、積分の厳密な計算 はできないので、以下のように近似する
  121. 121. 今回考えるべきは、以下の式。これから展開してくぞ! 𝑡𝑟(𝐼 𝑞 −1 𝐼 𝑝) � :有限のパラメ ー タ � (� |� ):パラメータ� に基づく分類器 フィッシャ ー情報行列 � (� ):ラベルづけを行うサンプルに関する分布 � (� ):すべてのサンプルに関する分布 ラベルづけを行おうとするサンプルがもつ情報が、できるだ け全サ ンプルのそれに近くなるように選ぽうとする規準
  122. 122. 𝑆 ⊆ 𝑉 : ラベルづけを行うサンプル集合 𝐼 𝑑 : 𝑑行𝑑列の単位行列 𝛿 ≪ 1 : 特異行列を避けるための小さな実数値 これらを今回最小化したい𝑡𝑟(𝐼 𝑞 −1 𝐼 𝑝) に代入すると次のよう になる
  123. 123. 𝑆 ⊆ 𝑉 : ラベルづけを行うサンプル集合 𝐼 𝑑 : 𝑑行𝑑列の単位行列 𝛿 ≪ 1 : 特異行列を避けるための小さな実数値 これらを今回最小化したい𝑡𝑟(𝐼 𝑞 −1 𝐼 𝑝) に代入すると次のよう になる 𝛿に比例するので無視 できるほど小さい
  124. 124. 𝑆 ⊆ 𝑉 : ラベルづけを行うサンプル集合 𝐼 𝑑 : 𝑑行𝑑列の単位行列 𝛿 ≪ 1 : 特異行列を避けるための小さな実数値 これらを今回最小化したい𝑡𝑟(𝐼 𝑞 −1 𝐼 𝑝) に代入すると次のよう になる 選択するサ ンプル集合𝑺に 依存する項は第3項のみ
  125. 125. 𝑆 ⊆ 𝑉 : ラベルづけを行うサンプル集合 𝐼 𝑑 : 𝑑行𝑑列の単位行列 𝛿 ≪ 1 : 特異行列を避けるための小さな実数値 これらを今回最小化したい𝑡𝑟(𝐼 𝑞 −1 𝐼 𝑝) に代入すると次のよう になる この第3項についてもう少 し整理して見てみる
  126. 126. 第3項 {(λ𝑙, 𝒗𝑙)}𝑙=1 𝑑 :𝐼 𝑞 𝑆, 𝒘 の固有値と固有ベクトルの組 任意の𝒙について次のような近 似を与える ことができる
  127. 127. 第3項 {(λ𝑙, 𝒗𝑙)}𝑙=1 𝑑 :𝐼 𝑞 𝑆, 𝒘 の固有値と固有ベクトルの組 任意の𝒙について次のような近 似を与える ことができる 固有値 𝑵 の調和平均を 算術平均で置き換える 𝛾𝑖 = (𝒙Τ 𝒗𝑖)2/ 𝒙 2 2 とおくと ( 𝑙=1 𝑑 λ𝑖 −1 γ𝑖)−1≈ 𝑙=1 𝑑 λ𝑖 −1 γ𝑖
  128. 128. 今デー タの前処理を行うことによって サンプルは1に正規化されているとす る(つまり 𝒙 2 2 = 1) 近似した第3項 最終的な第3項
  129. 129. さぁ、思い出そう。
  130. 130. 今回考える、最小化すべきは、以下の式だったぞ! 𝑡𝑟(𝐼 𝑞 −1 𝐼 𝑝) � :有限のパラメ ー タ � (� |� ):パラメータ� に基づく分類器 フィッシャ ー情報行列 � (� ):ラベルづけを行うサンプルに関する分布 � (� ):すべてのサンプルに関する分布 ラベルづけを行おうとするサンプルがもつ情報が、できるだ け全サ ンプルのそれに近くなるように選ぽうとする規準
  131. 131. なので
  132. 132. 最終的な第3項 0無視
  133. 133. 、と変換できたこともわかった。最小化にマイナ スをつけて最大化問題とする
  134. 134. −𝑡𝑟(𝐼 𝑞 −1 𝐼 𝑝) 最大化すべき関数 最小化すべき関数
  135. 135. 最大化すべき関数 𝑽に関して式3.15を評価したもの 𝑓𝑏𝑎は選択するサンプル集合で、 どの程度フィッシャ ー行列の比 を小さくできるかを表す 𝑆に関して式3.15を評価したもの
  136. 136. 命題3.5:𝑓𝑏𝑎が劣モジュラかどうか • 本を読もう
  137. 137. コンテンツ • 3.1 劣モジュラ最大化と貪欲法 • 3.1.1 劣モジュラ最大化と近似アルゴリズム • 3.1.2 劣モジュラ最大化のための貪欲法 • 3.1.3 貪欲法の近似率 • 3.2 適用例1 : 文書要約への適用 • 3.2.1 文書要約の劣モジュラ最大化としての定式化 • 3.2.2 文書要約のその他の規準 • 3.3 適用例2:センサ配掴問題 • 3.3.1 ガウス過程回帰による分布の推定 • 3.3.2 センサ配置の規準と劣モジュラ性 • 3.4 適用例3: 能動学習 • 3.4.1 一括型能動学習と劣モジュラ性 • 3.5 その他の適用例 • 3.6 補足:センサ配置可能箇所の設定について
  138. 138. 劣モジュラ関数最大化としての定式化と貪欲 法の適用例 • グラフマイニングにより得られた部分グ ラフ選択の劣モ ジュラ関数最大化として定式化(Thoma) • 線形回帰モデルにおける変数選択の規準の劣モジュラ性 に関してする議論(Das, Kempe)
  139. 139. 劣モジュラ関数最大化としての定式化と貪欲 法の適用例 • インデイアン・ブッフェ過程おいて 計算途中で必要となる最 適化を劣モジュラ関数最大化として近似的に定式化すること で効率的な実装を実現(Reed, Ghahramani) • ケンペらのネッ トワー ク上での影響最大化の劣モジュラ関 数最大化としての定式化が挙げら れる • ソーシャル・ネットワークにおけるマーケティング など、応用的にも 重要な適用例
  140. 140. 文書要約の拡張 • 文章の階層構造を用いたり、複数の文章を同時に 要約するなどの拡張(Lin, Bilmes)
  141. 141. センサ配置の拡張 • ここで説明した相互情報量とは異なる規準や頑強 化されたアルゴリズムの提案されている • 詳しくは本にある参考文献参照
  142. 142. 能動学習の拡張 • 時々刻々と変化する状況下での能動学習への拡張 • そこでは, 適応劣モジュラ性と呼ばれる劣モジュラ性を一 般化した概念も重要な役割を果たす
  143. 143. さらなる応用へ • さらに関連する応用的話題について興味をもったら、本に ある参考文献を見よう。
  144. 144. おわり

×