Skip to main content
Confidential. Copyright © DataRobot, Inc. - All Rights Reserved
予測モデルを用いた
シミュレーションと最適化
Confidential. Copyright © DataRobot, Inc. - All Rights Reserved
本編
Confidential. Copyright © DataRobot, Inc. - All Rights Reserved
予測モデルを用いたシミュレーションと最適化
今回やること
● DataRobotでの予測モデル作成のやり方を復習する
● DataRobotのAPIを用いて予測を自動で回してみる
● 簡単なシミュレーションと最適化をやってみる
今回やらないこと
● Pythonそのものの書き方
● 最適化の数理的にガチな話
Confidential. Copyright © DataRobot, Inc. - All Rights Reserved
予測モデルを用いたシミュレーションと最適化
DataRobotで現実の因果関係を代替し、 = シミュレーション
予測値が最適になる条件を求める    = 最適化
● DataRobotは入力データに対して予測値を返す予測モデルを簡単に作る
ことができる。
● 一方で、特に製造業などでは欲しいのは予測値というよりも、最適な予測
値となる入力データというケースが多い。
Confidential. Copyright © DataRobot, Inc. - All Rights Reserved
DataRobotのインサイト機能
● モデルX-Rayから特徴量の効果についてインサイトを得る
ことができる。
Confidential. Copyright © DataRobot, Inc. - All Rights Reserved
DataRobotのインサイト機能
● 大量のインサイト機能を踏まえて実務上の決定を行うのは
困難。
● 最適な入力候補そのものを知りたい。
Confidential. Copyright © DataRobot, Inc. - All Rights Reserved
DataRobotを用いてシミュレーションと最適化を行う
データの取得
前処理
データの用意
探索空間
の設定
最適化の
実行
結果
確認
モデル
生成
最適化対象
の設定
複数のモデルを生
成・比較して選択す
る
どの範囲をどのよう
に探索するかを決め
る
最適化する指標
(コスト関数)を決
める
最適化を実行する 結果の妥当性を確
認する
実際のR&D、ビジネスに
適用し、効果を検証する
得られた実データを加えて更に最適
化サイクルを回していく
最適化エンジンが
予測モデルを使っ
て”実験”しながら最
適条件を探してくれ
る。
(DataRobot APIを利
用)
Confidential. Copyright © DataRobot, Inc. - All Rights Reserved
予測モデルを用いたシミュレーションと最適化
1. DataRobotによる予測モデルの構築
a. ターゲットの設定とオートパイロット開始
b. 生成したモデルの確認
c. モデル選択
d. 予測APIのアクティベーション
2. シミュレーションと最適化の概要
a. 最適化の各アプローチと特徴
i. グリッドサーチ
ii. ランダムサーチ
iii. Sequential Model Based Optimization
(SMBO)
3. ランダムサーチ的アプローチによる最適化
a. 探索空間の設定
b. 乱数による入力データの生成
c. 予測の実行
d. 最適データの抽出
4. 【応用】hyperoptによる最適化
a. 探索空間の設定
b. 最適化対象の設定
c. 最適化の実行
d. 結果の確認と可視化
5. 【応用】その他、最適化を行う際の工夫
Confidential. Copyright © DataRobot, Inc. - All Rights Reserved
DataRobotによる予測モデルの構築
今回は題材として、コンクリート圧縮強度のデータ( concrete.csv)を用いる。
コンクリート圧縮強度が最大になるような配合を求めたい。
Confidential. Copyright © DataRobot, Inc. - All Rights Reserved
ハンズオン(復習)
1. 「concrete.csv」のデータをアップロードしてください。
2. ターゲットに「コンクリート圧縮強度(Mpa)」を選択してください。
3. これから、手順を説明するので、予測モデルを作って行きましょう。
Confidential. Copyright © DataRobot, Inc. - All Rights Reserved
ターゲットの設定とオートパイロット開始
 ターゲット を
選択
1
 開始ボタンを
クリック
2
Confidential. Copyright © DataRobot, Inc. - All Rights Reserved
生成したモデルの確認 速度 対 精度
を選択
1
Confidential. Copyright © DataRobot, Inc. - All Rights Reserved
モデル選択
何回もAPIを叩くので、ここでは速度を考慮して3位のENET Blenderを選ぶこととす
る。他にも各モデルについて色々検討してみてください。
精度は良いけれ
ど、速度が遅い
かな?
このくらいがちょ
うどいいかな?
Confidential. Copyright © DataRobot, Inc. - All Rights Reserved
予測モデルを用いたシミュレーションと最適化
1. DataRobotによる予測モデルの構築
a. ターゲットの設定とオートパイロット開始
b. 生成したモデルの確認
c. モデル選択
d. 予測APIのアクティベーション
2. シミュレーションと最適化の概要
a. 最適化の各アプローチと特徴
i. グリッドサーチ
ii. ランダムサーチ
iii. Sequential Model Based Optimization
(SMBO)
3. ランダムサーチ的アプローチによる最適化
a. 探索空間の設定
b. 乱数による入力データの生成
c. 予測の実行
d. 最適データの抽出
4. 【応用】hyperoptによる最適化
a. 探索空間の設定
b. 最適化対象の設定
c. 最適化の実行
d. 結果の確認と可視化
5. 【応用】その他、最適化を行う際の工夫
Confidential. Copyright © DataRobot, Inc. - All Rights Reserved
最適化について
最小化した
いなぁ
Confidential. Copyright © DataRobot, Inc. - All Rights Reserved
最適化について
この辺り?
Confidential. Copyright © DataRobot, Inc. - All Rights Reserved
最適化について
この辺り?
高次元の特徴空間ではより複雑になるので、やり方を考える必要がある。
Confidential. Copyright © DataRobot, Inc. - All Rights Reserved
最適化手法について
グリッドサーチ ランダムサーチ
Sequential Model Based
Optimization (SMBO)
探索の仕方
各変数について、設定した候
補について、全ての組合せを
しらみ潰しにする。
探索空間からランダムサンプ
リングした変数の組合せにつ
いて試行を繰り返す。
内部に計算の軽い近似モデル
を持っていて、このモデルを元
に逐次更新しながら探索す
る。
メリット
並列化が容易
探索空間が比較的に小さい場
合には、網羅的な探索が可能
である。
並列化が容易
グリッドサーチと比較して試行
回数を減らせる。
有望な領域を集中的に探索し
てくれるので、無駄な試行が少
ない。
デメリット
探索空間が広大な場合、しら
み潰しは無理(重要変数の最
適値が抜け落ちる)。
無駄な試行が多い。
高次元になってくると厳しい場
合がある。
無駄な試行が多い。
並列化には工夫が必要
元関数が軽い場合、探索範囲
が狭すぎる場合には効率悪
い。
利用シナリオ
少ないパラメータ数を網羅的
に探索したい
探索領域が広い/モデルの計
算速度が遅い
探索領域が広い/モデルの計
算速度が遅い
Confidential. Copyright © DataRobot, Inc. - All Rights Reserved
予測モデルを用いたシミュレーションと最適化
1. DataRobotによる予測モデルの構築
a. ターゲットの設定とオートパイロット開始
b. 生成したモデルの確認
c. モデル選択
d. 予測APIのアクティベーション
2. シミュレーションと最適化の概要
a. 最適化の各アプローチと特徴
i. グリッドサーチ
ii. ランダムサーチ
iii. Sequential Model Based Optimization
(SMBO)
3. ランダムサーチ的アプローチによる最適化
a. 探索空間の設定
b. 乱数による入力データの生成
c. 予測の実行
d. 最適データの抽出
4. hyperoptによる最適化
a. 探索空間の設定
b. 最適化対象の設定
c. 最適化の実行
d. 結果の確認と可視化
5. 【応用】最適化対象関数のカスタマイズ
6. 【応用】その他の使い方例
Confidential. Copyright © DataRobot, Inc. - All Rights Reserved
Random Search
Confidential. Copyright © DataRobot, Inc. - All Rights Reserved
ハンズオン
1. 配布したsimulation.zipを任意の場所に展開してください。
2. jupyter notebookを立ち上げて、randomsearch.ipynbを開いてください。
3. これから、手順を説明するので、予測モデルを用いたシミュレーション&最適化を
行いましょう。まずはランダムサーチでやってみます。
展開したzipの/simulation/input/に本日実施する内容の作成済notebookがあります
ので、不慣れな方はこれを順に実行しながら流れを追ってみてください。
Confidential. Copyright © DataRobot, Inc. - All Rights Reserved
準備
必要なライブラリのインポートとデータセットの読み込みを行います。
説明変数と目的変数を分けておきましょう。
Confidential. Copyright © DataRobot, Inc. - All Rights Reserved
探索空間の指定
各変数について正規分布からランダムサンプリングすることで、
探索に用いるデータを作成します。
Confidential. Copyright © DataRobot, Inc. - All Rights Reserved
乱数による入力データの生成
作成した探索用データの先頭5行を確認しておきます。
Confidential. Copyright © DataRobot, Inc. - All Rights Reserved
予測の実行
 ここの作成したファイルをド
ラッグ&ドロップ
1
 予測を計算をクリック
2
 ダウンロードをク
リック
3
Confidential. Copyright © DataRobot, Inc. - All Rights Reserved
最適データの抽出
作成した探索用データと得られた予測結果を結合し、予測結果で降順にソートす
ることで、今回の探索における最良条件が求める。
元データの強度最大値と比較し
て良いとは言えない。
探索件数を1,000から10,000程
度に増やしてもう一度やってみ
よう。
(得られた結果の妥当性は別途確認が必要です)
Confidential. Copyright © DataRobot, Inc. - All Rights Reserved
探索空間の検証(2D)
特徴量インパクトの上位についてデータ点の分布と予測結果を可視化する。
材齢(日)
単位水量(kginm^3)
生成データの分布 コンクリート圧縮強度
材齢(日)
単位水量(kginm^3)
Confidential. Copyright © DataRobot, Inc. - All Rights Reserved
探索空間の検証(1D)
材齢(日) 単位水量(kg in m^3)
コンクリート圧縮強度(Mpa)
コンクリート圧縮強度(Mpa)
Confidential. Copyright © DataRobot, Inc. - All Rights Reserved
予測モデルを用いたシミュレーションと最適化
1. DataRobotによる予測モデルの構築
a. ターゲットの設定とオートパイロット開始
b. 生成したモデルの確認
c. モデル選択
d. 予測APIのアクティベーション
2. シミュレーションと最適化の概要
a. 最適化の各アプローチと特徴
i. グリッドサーチ
ii. ランダムサーチ
iii. Sequential Model Based Optimization
(SMBO)
3. ランダムサーチ的アプローチによる最適化
a. 探索空間の設定
b. 乱数による入力データの生成
c. 予測の実行
d. 最適データの抽出
4. 【応用】hyperoptによる最適化
a. 探索空間の設定
b. 最適化対象の設定
c. 最適化の実行
d. 結果の確認と可視化
5. 【応用】その他、最適化を行う際の工夫
Confidential. Copyright © DataRobot, Inc. - All Rights Reserved
Intelligent Search by SMBO
(hyperopt)
Confidential. Copyright © DataRobot, Inc. - All Rights Reserved
予測APIのアクティベーション
リーダーボード上から3つ目のENET Blenderをクリックし、予測タブをクリックする。
次に、出てきたモデルをデプロイAPIを選択する。
 上から3つ目の
ENET Blenderをク
リックする
1
 モデルをデプロイ
APIを選択
3
 予測をクリック2
Confidential. Copyright © DataRobot, Inc. - All Rights Reserved
予測APIのアクティベーション
 インスタンスを選択し
てください
1
※オンプレ環境の場合はこのプロセスは必要ない可能性があります
Confidential. Copyright © DataRobot, Inc. - All Rights Reserved
予測APIのアクティベーション
 すぐにアクティベート
をクリック
1
※オンプレ環境の場合はこのプロセスは必要ない可能性があります
Confidential. Copyright © DataRobot, Inc. - All Rights Reserved
予測APIのアクティベーション
 例を表示ををク
リック
1
※オンプレ環境の場合はこのプロセスは必要ない可能性があります
Confidential. Copyright © DataRobot, Inc. - All Rights Reserved
予測APIのアクティベーション
API使用時に使い
ます
Confidential. Copyright © DataRobot, Inc. - All Rights Reserved
次元の呪い
(The Elements of Statistical Learning, p23)
探索する変数の次元が増えると、
探索空間は爆発的に増大し、カ
バーするのが難しくなる。
→ 探索空間の絞り込みが必要
● 重要な変数に絞る
● 期待値の高い領域に絞る
Confidential. Copyright © DataRobot, Inc. - All Rights Reserved
SMBOのアプローチの種類
近年よく使われるSMBOアルゴリズム
● Bayesian Optimization (bayesian-optimization, Spearmint etc.)
○ Gaussian Process
● TPE algorithm (hyperoptはこのタイプ)
○ Tree-structured Parzen Estimator Approach (TPE)
Algorithms for Hyper-Parameter Optimizationより
https://www.lri.fr/~kegl/research/PDFs/BeBaBeKe11.pdf
Confidential. Copyright © DataRobot, Inc. - All Rights Reserved
DataRobotとhyperoptによる最適化
探索空間を確率の形で記述して、最適化対象の関数を指定してあげるといい感じに
最適化してくれるライブラリ。
● Interfaceがsklearnのグリッドサーチやランダムサーチと似ていてとっつきやすい。
● Kaggleなどでもハイパーパラメータ調整などで頻繁に用いられている。
Confidential. Copyright © DataRobot, Inc. - All Rights Reserved
ハンズオン
1. 配布したsimulation.zipを任意の場所に展開してください。
2. jupyter notebookを立ち上げて、hyperopt.ipynbを開いてください。
3. これから、手順を説明するので、予測モデルを用いたシミュレーション&最適化を
行いましょう。次はhyperoptを用いてやってみます。
展開したzipの/simulation/input/に本日実施する内容の作成済notebookがあります
ので、不慣れな方はこれを順に実行しながら流れを追ってみてください。
Confidential. Copyright © DataRobot, Inc. - All Rights Reserved
予測APIの準備
API_TOKEN, PROJECT_ID, MODEL_ID, 予測サーバーの情報、DataRobot Keyを先ほ
どのデプロイの画面から持ってきます。また、予測結果を取得する関数を作成しておき
ます。
オンプレの場合必
要ない場合が有り
ます
御社の環境に合
わせて変更してく
ださい
Confidential. Copyright © DataRobot, Inc. - All Rights Reserved
予測APIの準備
V1サーバ用
Confidential. Copyright © DataRobot, Inc. - All Rights Reserved
予測APIの準備
V2サーバ用
Confidential. Copyright © DataRobot, Inc. - All Rights Reserved
予測APIの準備
必要に応じてV1/V2切り替え
(基本、予測はV1で行ってください)
Confidential. Copyright © DataRobot, Inc. - All Rights Reserved
予測APIの準備
これから、hyperoptでこの予測APIを叩きながら良い条件を探索していきます
Confidential. Copyright © DataRobot, Inc. - All Rights Reserved
ライブラリとデータの準備
先ほどと同様にライブラリのインポートとデータの読み込みを行います。
Confidential. Copyright © DataRobot, Inc. - All Rights Reserved
探索空間の設定
探索空間をランダムサーチと同様に確率の形で記述します。
今回は先ほどと同様に正規分布からサンプリングすることとします。
min_value max_value
norm_dist
Confidential. Copyright © DataRobot, Inc. - All Rights Reserved
最適化対象の設定
最適化対象の関数を記述します。hyperoptがするのは最小化であるため、今回
のように最大化したい場合には戻り値の符号を反転させておきます。
Confidential. Copyright © DataRobot, Inc. - All Rights Reserved
最適化実行
実行すると探索が始まります。今回は対象となる関数(DataRobotの予測モデ
ル)の計算コストが比較的小さいため、さほどメリットを感じられないかもしれま
せん
最適化対象の関数
探索空間
アルゴリズム(ランダムかTPE)
試行回数(通算)
ここに結果を格納する
乱数のシード指定
Confidential. Copyright © DataRobot, Inc. - All Rights Reserved
結果の確認と可視化
材齢(日)
単位水量(kginm^3)
コンクリート圧縮強度(Mpa)
特徴量インパクトの大きい変数について、最適化の進行する過程を可視化して
みましょう。
試行回数
Confidential. Copyright © DataRobot, Inc. - All Rights Reserved
結果の解釈
得られた結果は元データの最大強度(81.75
MPa)を上回るが、妥当性の検証にはドメイ
ン知識が必要
● どのような気づきがあるか?
○ 単位水量は少ないほうが強度が上がる傾向
があるが、少なすぎると逆効果かも
● 物理的に可能か?
● R&D上、ビシネス上価値があるか?
○ 性能評価において材齢は 28dが基準では?
○ セメント入れすぎでは? etc.
あくまでインサイト!「答え」ではない。
Confidential. Copyright © DataRobot, Inc. - All Rights Reserved
予測モデルを用いたシミュレーションと最適化
1. DataRobotによる予測モデルの構築
a. ターゲットの設定とオートパイロット開始
b. 生成したモデルの確認
c. モデル選択
d. 予測APIのアクティベーション
2. シミュレーションと最適化の概要
a. 最適化の各アプローチと特徴
i. グリッドサーチ
ii. ランダムサーチ
iii. Sequential Model Based Optimization
(SMBO)
3. ランダムサーチ的アプローチによる最適化
a. 探索空間の設定
b. 乱数による入力データの生成
c. 予測の実行
d. 最適データの抽出
4. 【応用】hyperoptによる最適化
a. 探索空間の設定
b. 最適化対象の設定
c. 最適化の実行
d. 結果の確認と可視化
5. 【応用】その他、最適化を行う際の工夫
Confidential. Copyright © DataRobot, Inc. - All Rights Reserved
その他、最適化を行う際の工夫
● 局所解に嵌ってしまいそうで心配だ
○ ランダムサーチでウォームアップしたのちにTPEの探索に移る
ことで回避しやすくなる。
● 探索をもっとはやくしたい
○ 元の訓練データをhyperoptに事前に与えておくことでよりはやく
収束する。
○ CodeGenを用いる。
● 元データからの新規性を重視したい
○ 元データからの乖離度を定量化して、指標に加える。
○ 逆に元データからの乖離を抑えることもできる。
Confidential. Copyright © DataRobot, Inc. - All Rights Reserved
hyperoptに訓練データの情報を事前に付与する
Confidential. Copyright © DataRobot, Inc. - All Rights Reserved
結果の確認と可視化
材齢(日)
単位水量(kginm^3)
コンクリート圧縮強度(Mpa)
● 収束性が改善し、より元データに即した結果が得られた。
試行回数
Confidential. Copyright © DataRobot, Inc. - All Rights Reserved
追加演習
1. 最適化対象の関数を書き換えて、単位セメント量あたりのコンクリート圧縮強度が
最大となる条件を探索してみましょう。
2. ランダムサーチとhyperoptを用いて結果を比べてみましょう。