Submit Search
Upload
“確率的最適化”を読む前に知っておくといいかもしれない関数解析のこと
•
7 likes
•
6,054 views
Hiroaki Kudo
Follow
Stochastic optimization http://owl-learn.connpass.com/event/28739/
Read less
Read more
Science
Report
Share
Report
Share
1 of 23
Download now
Download to read offline
Recommended
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII
全力解説!Transformer
全力解説!Transformer
Arithmer Inc.
SSII2019OS: 深層学習にかかる時間を短くしてみませんか? ~分散学習の勧め~
SSII2019OS: 深層学習にかかる時間を短くしてみませんか? ~分散学習の勧め~
SSII
[DL輪読会]Pay Attention to MLPs (gMLP)
[DL輪読会]Pay Attention to MLPs (gMLP)
Deep Learning JP
cvpaper.challenge 研究効率化 Tips
cvpaper.challenge 研究効率化 Tips
cvpaper. challenge
カメラ間人物照合サーベイ
カメラ間人物照合サーベイ
Yoshihisa Ijiri
[DL輪読会]Set Transformer: A Framework for Attention-based Permutation-Invariant...
[DL輪読会]Set Transformer: A Framework for Attention-based Permutation-Invariant...
Deep Learning JP
グラフニューラルネットワークとグラフ組合せ問題
グラフニューラルネットワークとグラフ組合せ問題
joisino
Recommended
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII
全力解説!Transformer
全力解説!Transformer
Arithmer Inc.
SSII2019OS: 深層学習にかかる時間を短くしてみませんか? ~分散学習の勧め~
SSII2019OS: 深層学習にかかる時間を短くしてみませんか? ~分散学習の勧め~
SSII
[DL輪読会]Pay Attention to MLPs (gMLP)
[DL輪読会]Pay Attention to MLPs (gMLP)
Deep Learning JP
cvpaper.challenge 研究効率化 Tips
cvpaper.challenge 研究効率化 Tips
cvpaper. challenge
カメラ間人物照合サーベイ
カメラ間人物照合サーベイ
Yoshihisa Ijiri
[DL輪読会]Set Transformer: A Framework for Attention-based Permutation-Invariant...
[DL輪読会]Set Transformer: A Framework for Attention-based Permutation-Invariant...
Deep Learning JP
グラフニューラルネットワークとグラフ組合せ問題
グラフニューラルネットワークとグラフ組合せ問題
joisino
深層生成モデルと世界モデル
深層生成モデルと世界モデル
Masahiro Suzuki
[DL輪読会]`強化学習のための状態表現学習 -より良い「世界モデル」の獲得に向けて-
[DL輪読会]`強化学習のための状態表現学習 -より良い「世界モデル」の獲得に向けて-
Deep Learning JP
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Yusuke Uchida
最適化超入門
最適化超入門
Takami Sato
【宝くじ仮説】The Lottery Ticket Hypothesis: Finding Small, Trainable Neural Networks
【宝くじ仮説】The Lottery Ticket Hypothesis: Finding Small, Trainable Neural Networks
Yosuke Shinya
最適輸送入門
最適輸送入門
joisino
[DL輪読会]Relational inductive biases, deep learning, and graph networks
[DL輪読会]Relational inductive biases, deep learning, and graph networks
Deep Learning JP
Lucas kanade法について
Lucas kanade法について
Hitoshi Nishimura
時系列予測にTransformerを使うのは有効か?
時系列予測にTransformerを使うのは有効か?
Fumihiko Takahashi
線形計画法入門
線形計画法入門
Shunji Umetani
Transformerを多層にする際の勾配消失問題と解決法について
Transformerを多層にする際の勾配消失問題と解決法について
Sho Takase
SSII2022 [TS1] Transformerの最前線〜 畳込みニューラルネットワークの先へ 〜
SSII2022 [TS1] Transformerの最前線〜 畳込みニューラルネットワークの先へ 〜
SSII
【DL輪読会】The Forward-Forward Algorithm: Some Preliminary
【DL輪読会】The Forward-Forward Algorithm: Some Preliminary
Deep Learning JP
[DL輪読会] Spectral Norm Regularization for Improving the Generalizability of De...
[DL輪読会] Spectral Norm Regularization for Improving the Generalizability of De...
Deep Learning JP
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII
Semantic segmentation
Semantic segmentation
Takuya Minagawa
三次元表現まとめ(深層学習を中心に)
三次元表現まとめ(深層学習を中心に)
Tomohiro Motoda
最近のDeep Learning (NLP) 界隈におけるAttention事情
最近のDeep Learning (NLP) 界隈におけるAttention事情
Yuta Kikuchi
[DL輪読会]Focal Loss for Dense Object Detection
[DL輪読会]Focal Loss for Dense Object Detection
Deep Learning JP
ICML 2020 最適輸送まとめ
ICML 2020 最適輸送まとめ
ohken
あなただけにそっと教える弊社の分析事情 #data analyst meetup tokyo vol.1 LT
あなただけにそっと教える弊社の分析事情 #data analyst meetup tokyo vol.1 LT
Hiroaki Kudo
WebDB Forum 2016 gunosy
WebDB Forum 2016 gunosy
Hiroaki Kudo
More Related Content
What's hot
深層生成モデルと世界モデル
深層生成モデルと世界モデル
Masahiro Suzuki
[DL輪読会]`強化学習のための状態表現学習 -より良い「世界モデル」の獲得に向けて-
[DL輪読会]`強化学習のための状態表現学習 -より良い「世界モデル」の獲得に向けて-
Deep Learning JP
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Yusuke Uchida
最適化超入門
最適化超入門
Takami Sato
【宝くじ仮説】The Lottery Ticket Hypothesis: Finding Small, Trainable Neural Networks
【宝くじ仮説】The Lottery Ticket Hypothesis: Finding Small, Trainable Neural Networks
Yosuke Shinya
最適輸送入門
最適輸送入門
joisino
[DL輪読会]Relational inductive biases, deep learning, and graph networks
[DL輪読会]Relational inductive biases, deep learning, and graph networks
Deep Learning JP
Lucas kanade法について
Lucas kanade法について
Hitoshi Nishimura
時系列予測にTransformerを使うのは有効か?
時系列予測にTransformerを使うのは有効か?
Fumihiko Takahashi
線形計画法入門
線形計画法入門
Shunji Umetani
Transformerを多層にする際の勾配消失問題と解決法について
Transformerを多層にする際の勾配消失問題と解決法について
Sho Takase
SSII2022 [TS1] Transformerの最前線〜 畳込みニューラルネットワークの先へ 〜
SSII2022 [TS1] Transformerの最前線〜 畳込みニューラルネットワークの先へ 〜
SSII
【DL輪読会】The Forward-Forward Algorithm: Some Preliminary
【DL輪読会】The Forward-Forward Algorithm: Some Preliminary
Deep Learning JP
[DL輪読会] Spectral Norm Regularization for Improving the Generalizability of De...
[DL輪読会] Spectral Norm Regularization for Improving the Generalizability of De...
Deep Learning JP
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII
Semantic segmentation
Semantic segmentation
Takuya Minagawa
三次元表現まとめ(深層学習を中心に)
三次元表現まとめ(深層学習を中心に)
Tomohiro Motoda
最近のDeep Learning (NLP) 界隈におけるAttention事情
最近のDeep Learning (NLP) 界隈におけるAttention事情
Yuta Kikuchi
[DL輪読会]Focal Loss for Dense Object Detection
[DL輪読会]Focal Loss for Dense Object Detection
Deep Learning JP
ICML 2020 最適輸送まとめ
ICML 2020 最適輸送まとめ
ohken
What's hot
(20)
深層生成モデルと世界モデル
深層生成モデルと世界モデル
[DL輪読会]`強化学習のための状態表現学習 -より良い「世界モデル」の獲得に向けて-
[DL輪読会]`強化学習のための状態表現学習 -より良い「世界モデル」の獲得に向けて-
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
最適化超入門
最適化超入門
【宝くじ仮説】The Lottery Ticket Hypothesis: Finding Small, Trainable Neural Networks
【宝くじ仮説】The Lottery Ticket Hypothesis: Finding Small, Trainable Neural Networks
最適輸送入門
最適輸送入門
[DL輪読会]Relational inductive biases, deep learning, and graph networks
[DL輪読会]Relational inductive biases, deep learning, and graph networks
Lucas kanade法について
Lucas kanade法について
時系列予測にTransformerを使うのは有効か?
時系列予測にTransformerを使うのは有効か?
線形計画法入門
線形計画法入門
Transformerを多層にする際の勾配消失問題と解決法について
Transformerを多層にする際の勾配消失問題と解決法について
SSII2022 [TS1] Transformerの最前線〜 畳込みニューラルネットワークの先へ 〜
SSII2022 [TS1] Transformerの最前線〜 畳込みニューラルネットワークの先へ 〜
【DL輪読会】The Forward-Forward Algorithm: Some Preliminary
【DL輪読会】The Forward-Forward Algorithm: Some Preliminary
[DL輪読会] Spectral Norm Regularization for Improving the Generalizability of De...
[DL輪読会] Spectral Norm Regularization for Improving the Generalizability of De...
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
Semantic segmentation
Semantic segmentation
三次元表現まとめ(深層学習を中心に)
三次元表現まとめ(深層学習を中心に)
最近のDeep Learning (NLP) 界隈におけるAttention事情
最近のDeep Learning (NLP) 界隈におけるAttention事情
[DL輪読会]Focal Loss for Dense Object Detection
[DL輪読会]Focal Loss for Dense Object Detection
ICML 2020 最適輸送まとめ
ICML 2020 最適輸送まとめ
Viewers also liked
あなただけにそっと教える弊社の分析事情 #data analyst meetup tokyo vol.1 LT
あなただけにそっと教える弊社の分析事情 #data analyst meetup tokyo vol.1 LT
Hiroaki Kudo
WebDB Forum 2016 gunosy
WebDB Forum 2016 gunosy
Hiroaki Kudo
パターン認識と機械学習 §6.2 カーネル関数の構成
パターン認識と機械学習 §6.2 カーネル関数の構成
Prunus 1350
PRML第6章「カーネル法」
PRML第6章「カーネル法」
Keisuke Sugawara
Gunosyデータマイニング研究会 #118 これからの強化学習
Gunosyデータマイニング研究会 #118 これからの強化学習
圭輔 大曽根
機械学習で大事なことをミニGunosyをつくって学んだ╭( ・ㅂ・)و ̑̑
機械学習で大事なことをミニGunosyをつくって学んだ╭( ・ㅂ・)و ̑̑
Seiji Takahashi
A/B Testing at Pinterest: Building a Culture of Experimentation
A/B Testing at Pinterest: Building a Culture of Experimentation
WrangleConf
#cwt2016 Apache Kudu 構成とテーブル設計
#cwt2016 Apache Kudu 構成とテーブル設計
Cloudera Japan
「新製品 Kudu 及び RecordServiceの概要」 #cwt2015
「新製品 Kudu 及び RecordServiceの概要」 #cwt2015
Cloudera Japan
Apache Kudu - Updatable Analytical Storage #rakutentech
Apache Kudu - Updatable Analytical Storage #rakutentech
Cloudera Japan
爆速クエリエンジン”Presto”を使いたくなる話
爆速クエリエンジン”Presto”を使いたくなる話
Kentaro Yoshida
記事分類における教師データおよびモデルの管理
記事分類における教師データおよびモデルの管理
圭輔 大曽根
マイクロサービスとABテスト
マイクロサービスとABテスト
圭輔 大曽根
Gunosy における AWS 上での自然言語処理・機械学習の活用事例
Gunosy における AWS 上での自然言語処理・機械学習の活用事例
圭輔 大曽根
論文紹介@ Gunosyデータマイニング研究会 #97
論文紹介@ Gunosyデータマイニング研究会 #97
圭輔 大曽根
実践多クラス分類 Kaggle Ottoから学んだこと
実践多クラス分類 Kaggle Ottoから学んだこと
nishio
いまさら聞けない機械学習の評価指標
いまさら聞けない機械学習の評価指標
圭輔 大曽根
Apache Kuduは何がそんなに「速い」DBなのか? #dbts2017
Apache Kuduは何がそんなに「速い」DBなのか? #dbts2017
Cloudera Japan
Viewers also liked
(18)
あなただけにそっと教える弊社の分析事情 #data analyst meetup tokyo vol.1 LT
あなただけにそっと教える弊社の分析事情 #data analyst meetup tokyo vol.1 LT
WebDB Forum 2016 gunosy
WebDB Forum 2016 gunosy
パターン認識と機械学習 §6.2 カーネル関数の構成
パターン認識と機械学習 §6.2 カーネル関数の構成
PRML第6章「カーネル法」
PRML第6章「カーネル法」
Gunosyデータマイニング研究会 #118 これからの強化学習
Gunosyデータマイニング研究会 #118 これからの強化学習
機械学習で大事なことをミニGunosyをつくって学んだ╭( ・ㅂ・)و ̑̑
機械学習で大事なことをミニGunosyをつくって学んだ╭( ・ㅂ・)و ̑̑
A/B Testing at Pinterest: Building a Culture of Experimentation
A/B Testing at Pinterest: Building a Culture of Experimentation
#cwt2016 Apache Kudu 構成とテーブル設計
#cwt2016 Apache Kudu 構成とテーブル設計
「新製品 Kudu 及び RecordServiceの概要」 #cwt2015
「新製品 Kudu 及び RecordServiceの概要」 #cwt2015
Apache Kudu - Updatable Analytical Storage #rakutentech
Apache Kudu - Updatable Analytical Storage #rakutentech
爆速クエリエンジン”Presto”を使いたくなる話
爆速クエリエンジン”Presto”を使いたくなる話
記事分類における教師データおよびモデルの管理
記事分類における教師データおよびモデルの管理
マイクロサービスとABテスト
マイクロサービスとABテスト
Gunosy における AWS 上での自然言語処理・機械学習の活用事例
Gunosy における AWS 上での自然言語処理・機械学習の活用事例
論文紹介@ Gunosyデータマイニング研究会 #97
論文紹介@ Gunosyデータマイニング研究会 #97
実践多クラス分類 Kaggle Ottoから学んだこと
実践多クラス分類 Kaggle Ottoから学んだこと
いまさら聞けない機械学習の評価指標
いまさら聞けない機械学習の評価指標
Apache Kuduは何がそんなに「速い」DBなのか? #dbts2017
Apache Kuduは何がそんなに「速い」DBなのか? #dbts2017
Similar to “確率的最適化”を読む前に知っておくといいかもしれない関数解析のこと
Deep Q-LearningでFXしてみた
Deep Q-LearningでFXしてみた
Junichiro Katsuta
機械学習ゴリゴリ派のための数学とPython
機械学習ゴリゴリ派のための数学とPython
Kimikazu Kato
日経コンピュータ主催:さわってわかる機械学習 Azure Machine Learning 実践セミナー
日経コンピュータ主催:さわってわかる機械学習 Azure Machine Learning 実践セミナー
Hiroshi Senga
Watson summit 公開用
Watson summit 公開用
Izumi Akiyama
slackの会話ネットワークの分析、及びチャネル内活性化指標の提案
slackの会話ネットワークの分析、及びチャネル内活性化指標の提案
takutori
Slack data Analysis
Slack data Analysis
takutori
多変量解析の授業(駒場キャンパス)の演習で話すために作った資料
多変量解析の授業(駒場キャンパス)の演習で話すために作った資料
Toshiyuki Shimono
人の想像力3段階〜社会変革の思考法
人の想像力3段階〜社会変革の思考法
Takafumi Matsuda
データ分析というお仕事のこれまでとこれから(HCMPL2014)
データ分析というお仕事のこれまでとこれから(HCMPL2014)
Takashi J OZAKI
20160527_07_IoT勉強会 分析WG 配布用
20160527_07_IoT勉強会 分析WG 配布用
IoTビジネス共創ラボ
元ソシャゲプランナー幻談
元ソシャゲプランナー幻談
YukiSamuraki
Similar to “確率的最適化”を読む前に知っておくといいかもしれない関数解析のこと
(11)
Deep Q-LearningでFXしてみた
Deep Q-LearningでFXしてみた
機械学習ゴリゴリ派のための数学とPython
機械学習ゴリゴリ派のための数学とPython
日経コンピュータ主催:さわってわかる機械学習 Azure Machine Learning 実践セミナー
日経コンピュータ主催:さわってわかる機械学習 Azure Machine Learning 実践セミナー
Watson summit 公開用
Watson summit 公開用
slackの会話ネットワークの分析、及びチャネル内活性化指標の提案
slackの会話ネットワークの分析、及びチャネル内活性化指標の提案
Slack data Analysis
Slack data Analysis
多変量解析の授業(駒場キャンパス)の演習で話すために作った資料
多変量解析の授業(駒場キャンパス)の演習で話すために作った資料
人の想像力3段階〜社会変革の思考法
人の想像力3段階〜社会変革の思考法
データ分析というお仕事のこれまでとこれから(HCMPL2014)
データ分析というお仕事のこれまでとこれから(HCMPL2014)
20160527_07_IoT勉強会 分析WG 配布用
20160527_07_IoT勉強会 分析WG 配布用
元ソシャゲプランナー幻談
元ソシャゲプランナー幻談
“確率的最適化”を読む前に知っておくといいかもしれない関数解析のこと
1.
“確率的最適化” を読む前に知っておくと いいかもしれない関数解析のこと 新年度!実務家が集まる春の機械学習LT大会! 工藤 啓朗 (Gunosy
Inc.) 2016/04/08
2.
自己紹介 くどう ひろあき (@Hmj_kd) 株式会社Gunosy
データ分析部 所属 - 北海道釧路市出身, 30代, 妻子あり - 高専 : 情報工学科 - 大学 : ブラックホール, インフレーション宇宙論 - 前職 : プログラマー → Pandas データマエショリスト, データ分析 - 現在 : 3ヶ月目 - 好きな食べ物 : 中本の蒙古タンメン、二郎
3.
以前 こんな発表をした者です・・・ http://www.slideshare.net/owllearnbiz/lagrange-50543837
4.
自己紹介(数学勉強歴) 確率微分方程式 ファイバー束 トポロジー 微分幾何学 関数解析学 群、環、体 微分方程式 線形代数 微分積分 t
5.
今日のお話 1. 確率的最適化を読んでみた感想 2. 上記を読む前に前提として知っておくとよいことは
?? a. 関数解析 ?? 3. まとめ
6.
➔ 教師あり学習のお話 ➔ 確率的勾配降下法(SGD)
や AdaGrad などの理論面を理解できる。 確率的最適化を読んだ感想
7.
でも,数学の基礎的なこと がわからないと 読むのは辛いっす!!
8.
確率的最適化を読んだ感想 ➔ 数学の基礎的なことがわからないと読むのは辛い!! ➔ 凸最適化問題のエッセンスを知っている方が,理解しやすいかも ➔
(数学の)事前知識としてどういったことが必要かわからない
9.
例えば - そもそも,微分積分,ベクトル空間などがわからない - どうして,凸関数や凸集合を扱うの
? - 劣勾配,劣微分って何だ !? - なんで逐次処理なんだろう !?
10.
前提知識はどんな分野 ? 関数解析学 という分野です 全部理解しなくてもいいと思いますが...
11.
最適化問題の例
12.
一般の最適化問題を まるっと解決する方法はない
13.
気になること 1. 最適解が存在するか ? 2.
最適解は何個あるのか ? 3. 最適解を求めるアルゴリズムがあるか ? 4. より速く求まるアルゴリズムはあるか ? a. 計算量と収束の速さ
14.
凸最適化問題なら 1. 最適解が存在するか ? a.
→ 存在する 2. 最適解は何個あるのか ? a. → 唯一存在する 3. 最適解を求めるアルゴリズムがあるか ? a. → ある 4. より速く求まるアルゴリズムはあるか ? a. → 枠組みのなかで改良可能 !! でも トピックス - 不動点定理 - ノルムの等価性 - 凸集合と凸関数
15.
トピックス 距離,ノルム,内積 不動点定理 ノルムの等価性 凸関数と凸集合、最小値の存在 完備な(X, d) 縮小写像 F →
|| F(x0 ) - F(x1 ) || ≦ k || x0 - x1 ||, k < 1 x0 x1 x2 y0 y1 y2 F F F F z = F(z) 不動点
16.
トピックス 距離,ノルム,内積 不動点定理 ノルムの等価性 凸関数と凸集合、最小値の存在 縮小写像 F を,別のノルムで評価したらどうなるか? 収束するのか
? → 有限次元のベクトル空間では,定義可能なノルムは等価です → 等価なノルムを用いる限り「ある点に収束するかどうかの結論」は変わ りません
17.
トピックス 距離,ノルム,内積 不動点定理 ノルムの等価性 凸関数と凸集合、最小値の存在 凸関数 閉凸集合 PC (I - η
* f ’) : 縮小写像 C f PC
18.
凸最適化問題なら 1. 最適解が存在するか ? a.
→ 存在する 2. 最適解は何個あるのか ? a. → 唯一存在する 3. 最適解を求めるアルゴリズムがあるか ? a. → ある 4. より速く求まるアルゴリズムはあるか ? a. → 枠組みのなかで改良可能 !! 縮小写像を改良する 事前に知っているといいエッセンス まとめ 凸集合,凸関数の最小値の存在 縮小写像を手作りできれば, 不動点定理により最適解へ収束 !!
19.
1. 関数 f
が,微分できないとき a. 単純には勾配法が使えない ...... → 劣勾配法 2. 非可算無限個の解をもつ問題もある a. 縮小写像の不動点定理はそのままは使えない 3. 縮小写像の勾配計算など,大規模データでは計算コストが高い a. データを分割して,部分的に最適化を解きたい 凸最適化問題で万事OK ではない... 確率的最適化,が必要だね
20.
さいごに
21.
Gunosy データ分析部メンバーの発表資料 http://www.slideshare.net/keisukeosone/ss-60014333 https://speakerdeck.com/ij_spitz/gunosyniokeruabtesuto
22.
メンバー募集 ➔ Gunosy では,データ分析エンジニアを募集して おります
!! ➔ Webエンジニアだけど ”分析をしてみたい” という 方もぜひ !!
23.
ご清聴 ありがとうございます
Download now