Skip to next slide
You can skip to the next slide in
3
Ad
Skip to next slide
You can skip to the next slide in
3
Ad
Skip to next slide
You can skip to the next slide in
3
Ad
Skip to next slide
You can skip to the next slide in
3
Ad
Skip to next slide
You can skip to the next slide in
3
Ad
Skip to next slide
You can skip to the next slide in
3
Ad
Skip to next slide
You can skip to the next slide in
3
Ad
Skip to next slide
You can skip to the next slide in
3
Ad
Skip to next slide
You can skip to the next slide in
3
Ad
Skip to next slide
You can skip to the next slide in
3
Ad
Skip to next slide
You can skip to the next slide in
3
Ad
×
Your browser does not support the video tag.
Skip to next slide
Ad
×
Share Slideshare
LinkedIn
Facebook
Twitter
Embed
Size (px)
Show related Slideshows at end
WordPress Shortcode
Link
Share
Email
2024 Trend Updates: What Really Wor...
by Search Engine Jou...
1012946 views
Storytelling For The Web: Integrate...
by Chiara Aliotta
921259 views
Artificial Intelligence, Data and C...
by OECD Directorate ...
824586 views
How to Leverage AI to Boost Employe...
by SocialHRCamp
344056 views
2024 State of Marketing Report – by...
by Marius Sescu
196216 views
Everything You Need To Know About C...
by Expeed Software
219258 views
View on Slideshare
1
of
216
Ad
View on Slideshare
1
of
216
Ad
![ガウス過程の特徴づけ
• ガウス過程は, 平均関数とカーネル関数
µ(x) = E[f(x)]
k(x, x′
) = E[(f(x) − µ(x))(f(x′
) − µ(x′
)]
によって特徴づけることができる (µ と k を決めるとガ...](https://image.slidesharecdn.com/bolecture-210820015848/75/-44-2048.jpg?cb=1735231089)
![ベイズ最適化における超パラメータ ii
獲得関数最適化と同時に超パラメータを考慮する方法
θ の分布を考え, ベイズ最適化実行時の獲得関数に θ の不確実
性を取り入れる:
αn(x) := Eθ|Dn
[α(x; θ)] =
Z
α(x; θ...](https://image.slidesharecdn.com/bolecture-210820015848/75/-76-2048.jpg?cb=1735231089)
![Probability of Improvement (PI)
アイデア:
x が現在の最良関数値 τ = min
i=1,...,n
f(xi) を改善する確率を評価:
αPI(x; Dn) := Pr[v τ] = Φ
τ − µn(x...](https://image.slidesharecdn.com/bolecture-210820015848/75/-83-2048.jpg?cb=1735231089)
![トンプソン抽出 (Thompson Sampling, TS)
αTS(x; D) = E[y | x, θ], θ ∼ P(θ | D)
• 本当は観測系の事後分布 p(y | x, D) に関する期待値
Ep(y|x,D)[y]
を計算した...](https://image.slidesharecdn.com/bolecture-210820015848/75/-119-2048.jpg?cb=1735231089)
![(Predictive) Entropy Search [Hernández-Lobato+ (NIPS’14)]
アイデア
Black box 関数 f の大域最大値を達成するパラメータ
x∗ = arg min
x∈X
f(x) に関する情...](https://image.slidesharecdn.com/bolecture-210820015848/75/-131-2048.jpg?cb=1735231089)
![Predictive Entropy Search i
次の評価点の決定
xn+1 = arg max
x∈X
αn(x)
= H[p(y | Dn, x)] − Ep(x∗|Dn)[H[p(y | Dn, x, x∗)]]
第 1 項について...](https://image.slidesharecdn.com/bolecture-210820015848/75/-132-2048.jpg?cb=1735231089)
![Max-Value Entropy Search (MES) [Wang+ ICML’17] i
• ES, PES : 最適解 x∗ に関する情報量を測る
• MES : 最適値 y∗ = f(x∗) に関する情報量を測る
Acquisiti...](https://image.slidesharecdn.com/bolecture-210820015848/75/-135-2048.jpg?cb=1735231089)
![Max-Value Entropy Search (MES) [Wang+ (ICML’17)] ii
H(p(y | Dt, x)) − Ep(y∗|Dn)[H(p(y | Dn, x, y∗))]
• 期待値は K 回 f の最大値をサンプ...](https://image.slidesharecdn.com/bolecture-210820015848/75/-136-2048.jpg?cb=1735231089)
![レベル集合推定 i
レベル集合推定 (level set estimation, LSE) [Gotovos+ (2013)]
ブラックボックス関数 f と入力候補点 {xi}N
i=1 が与えられた
とき, 関数値 f(xi) が所望のしきい...](https://image.slidesharecdn.com/bolecture-210820015848/75/-153-2048.jpg?cb=1735231089)
![相関のある多出力のガウス過程モデル i
マルチタスクガウス過程 [Bonilla+(NIPS07), Alvare+(2012)]
f1
f2
.
.
.
fM
| {z }
=f
∼ N
...](https://image.slidesharecdn.com/bolecture-210820015848/75/-161-2048.jpg?cb=1735231089)
![提案法の方針と目的関数 [Matsui+ (2019)]
方針
• 所望の出力 f0 とガウス過程の予測 y との誤差
L(x) = E(x)⊤
E(x) =
M
X
m=1
(ym − f0,m)2
を最小化する (E(x) = (y1 − ...](https://image.slidesharecdn.com/bolecture-210820015848/75/-164-2048.jpg?cb=1735231089)
![アルゴリズム [Matsui+ (2019)]
入力: 観測データ D = {(xi, yi)}N
i=1, 所望の出力 f0
初期化: x∗ = arg min
xi,i=1,...,N
L(xi)
for t = 1, 2, ... do
...](https://image.slidesharecdn.com/bolecture-210820015848/75/-165-2048.jpg?cb=1735231089)
![獲得関数 [Matsui+ (2019)]
Probability of Improvement (PI)
αPI(x) = Pr(L∗
≥ L(x))
Expected Improvement (EI)
αEI(x) = E[max{0, L...](https://image.slidesharecdn.com/bolecture-210820015848/75/-166-2048.jpg?cb=1735231089)
![獲得関数の評価方法 ii
• LCB, PI は一般化 χ2 分布の累積分布関数から計算される
• EI は
α(x) = E[max{0, L∗
− L(x)}]
=
Z L∗
0
(L∗
− t)pGχ2 (t)dt
= L∗
Gχ2 (L...](https://image.slidesharecdn.com/bolecture-210820015848/75/-168-2048.jpg?cb=1735231089)
![制約付き最適化 ii
[GramacyLee (2011)]
integrated expected conditional improvement
αIECI(x) :=
Z
x′
αEI(x′
, Dn) − αEI(x′
, Dn ∪ x...](https://image.slidesharecdn.com/bolecture-210820015848/75/-171-2048.jpg?cb=1735231089)
![制約付き最適化 iii
[Snoek, PhD thesis; Gardner+ (2014)]
weighted expected improvement
EI に制約条件を満たす確率をかける
αwEI(x) := αEI(x, Dn)h(x...](https://image.slidesharecdn.com/bolecture-210820015848/75/-172-2048.jpg?cb=1735231089)
![制約付き最適化 iv
その他の制約付きベイズ最適化
• [Hernndez-Lobato+ (2015)]
• predictive entropy search (PES) のバリアント
• 目的関数と制約条件を独立に評価する
• [Gram...](https://image.slidesharecdn.com/bolecture-210820015848/75/-173-2048.jpg?cb=1735231089)
![ベイズ最適化によるパレートフロントの推定 i
[Zuluaga+ (2013)]
⼊⼒ の不確実性領域
⼊⼒ の不確実性
with the largest wt(x) is chosen as the next sample xt
to be ...](https://image.slidesharecdn.com/bolecture-210820015848/75/-177-2048.jpg?cb=1735231089)
![ベイズ最適化によるパレートフロントの推定 ii
[Suzuki+ (2020)]
松井 (名古屋大) 機械学習による実験計画 108 / 145](https://image.slidesharecdn.com/bolecture-210820015848/75/-178-2048.jpg?cb=1735231089)
![バッチベイズ最適化の方法 i
並列 EI [Snoek+ (2012), Hernandez-Lobato+ (2017)]
獲得関数:
αPEI(x | D, C) = Ep({yc}c∈C|{xc}c∈C,D)[αEI(x | D ∪ {(...](https://image.slidesharecdn.com/bolecture-210820015848/75/-180-2048.jpg?cb=1735231089)
![バッチベイズ最適化の方法 ii
並列分散トンプソン抽出 [Hernandez-Lobato+ (2017)]
松井 (名古屋大) 機械学習による実験計画 111 / 145](https://image.slidesharecdn.com/bolecture-210820015848/75/-181-2048.jpg?cb=1735231089)
![高次元のベイズ最適化の方法
大きく分けて 3 つのアプローチがある
1. 目的関数の事前分布モデルを工夫する
• 加法的ガウス過程に基づく BO [Kandasamy+ (2015)]
2. 次元削減を行い低次元空間で BO を行う
• REM...](https://image.slidesharecdn.com/bolecture-210820015848/75/-183-2048.jpg?cb=1735231089)
![加法的ガウス過程に基づくベイズ最適化
Additive GP-UCB [Kandasamy+ (2015)]:
α(x) = µt−1(x) +
p
βt
M
X
j=1
σ
(j)
t−1(x(j)
)
• α は各 j に対する GP-UC...](https://image.slidesharecdn.com/bolecture-210820015848/75/-186-2048.jpg?cb=1735231089)
![次元削減に基づくベイズ最適化 iii
ランダム埋め込みによるベイズ最適化 (REMBO) [Wang+ (2013)]
Theorem 4 (Wang+ (2013) Theorem 3)
関数 f の, 中心 0 の box constrai...](https://image.slidesharecdn.com/bolecture-210820015848/75/-189-2048.jpg?cb=1735231089)
![事例 ii : レベル集合推定による適応的マッピング
[穂積 +, JSAI2019]
!# !$# % !'# (
!)# * !+# , !-# ,.
• 2 次元入力 (測定点の座標), 1 次元出力 (物性値) 関数を GP
でモデリン...](https://image.slidesharecdn.com/bolecture-210820015848/75/-199-2048.jpg?cb=1735231089)
![事例 iii : イオン電動性物質の伝導度推定 [Kanamori+ (2018)]
電池材料などのイオン電動性物質の伝導度を知りたい
• ポテンシャルエネルギー (PE) 曲面内のイオン伝導経路を
同定できれば，その経路内の最安定点（エネル...](https://image.slidesharecdn.com/bolecture-210820015848/75/-200-2048.jpg?cb=1735231089)
![事例 iii : イオン電動性物質の伝導度推定 [Kanamori+ (2018)]
以下の 3 ステップの繰り返しアルゴリズムとして実現
Step 1 ガウス過程モデルから PE 関数のランダムサンプ
ルを多数生成
Step 2 Step 1...](https://image.slidesharecdn.com/bolecture-210820015848/75/-201-2048.jpg?cb=1735231089)
![事例 iii : イオン電動性物質の伝導度推定 [Kanamori+ (2018)]
• 左図: 2 次元空間のポテンシャルエネルギー (PE) 曲面をガ
ウス過程でモデル化して得られた予測平均と予測分散
• 右図: ガウス過程モデルからランダ...](https://image.slidesharecdn.com/bolecture-210820015848/75/-202-2048.jpg?cb=1735231089)
![事例 iv : SiC モデリングの出力デザイン [Matsui+ (2020)]
SiC (シリコンカーバイド) 結晶成長シミュレーションデータ
• 入力: 9 次元の実験パラメータ
• 接着剤熱伝導率
• 黒鉛熱伝導率
• 断熱材熱伝導率
...](https://image.slidesharecdn.com/bolecture-210820015848/75/-203-2048.jpg?cb=1735231089)
![事例 iv : SiC モデリングの出力デザイン [Matsui+ (2020)]
1 次元入力の場合のデモ
• 黒鉛-溶液界面速度係数のみ入力とした 1 入力 10 出力の系
• 初期点は 5 点, 獲得関数には EI を使用
L(x)
EI...](https://image.slidesharecdn.com/bolecture-210820015848/75/-204-2048.jpg?cb=1735231089)
![事例 iv : SiC モデリングの出力デザイン [Matsui+ (2020)]
9 次元入力の場合の実データ実験
データから各測定地点に対応する関数の相関を推定
0 1 2 3 4 5 6 7 8 9
0
1
2
3
4
5
6
7
8
9...](https://image.slidesharecdn.com/bolecture-210820015848/75/-205-2048.jpg?cb=1735231089)
![事例 iv : SiC モデリングの出力デザイン [Matsui+ (2020)]
9 次元入力の場合の実データ実験
単純リグレット min1≤i≤n L (xi) − minx∈X L(x) による比較
0 20 40 60 80 100
N...](https://image.slidesharecdn.com/bolecture-210820015848/75/-206-2048.jpg?cb=1735231089)
![事例 v : Si エピタキシャル成長プロセス最適化 [Osada+ (2020)]
目的
成長速度を最大にしつつ, その他の 5 つの評価項目を基準値
以下にするプロセス条件の組合せを見つける
松井 (名古屋大) 機械学習による実験計画 13...](https://image.slidesharecdn.com/bolecture-210820015848/75/-207-2048.jpg?cb=1735231089)
![事例 v : Si エピタキシャル成長プロセス最適化 [Osada+ (2020)]
Thickness uniformity Less than a threshold Low Available High
Uniformity of res...](https://image.slidesharecdn.com/bolecture-210820015848/75/-208-2048.jpg?cb=1735231089)
![事例 v : Si エピタキシャル成長プロセス最適化 [Osada+ (2020)]
松井 (名古屋大) 機械学習による実験計画 138 / 145](https://image.slidesharecdn.com/bolecture-210820015848/75/-209-2048.jpg?cb=1735231089)
![References
[1] James S Bergstra, Rémi Bardenet, Yoshua Bengio, and Balázs Kégl. Algorithms for hyper-parameter
optimizatio...](https://image.slidesharecdn.com/bolecture-210820015848/75/-214-2048.jpg?cb=1735231089)
![[11] José Miguel Hernández-Lobato, James Requeima, Edward O Pyzer-Knapp, and Alán Aspuru-Guzik. Parallel and
distributed t...](https://image.slidesharecdn.com/bolecture-210820015848/75/-215-2048.jpg?cb=1735231089)
![[23] Zi Wang and Stefanie Jegelka. Max-value entropy search for efficient bayesian optimization. ICML, 2017.
[24] Ziyu Wan...](https://image.slidesharecdn.com/bolecture-210820015848/75/-216-2048.jpg?cb=1735231089)