SlideShare a Scribd company logo
深層学習よもやま話
~DL的思考~
3/23, 2018
Preferred Networks, 丸山 宏
DLL 勉強会
 普通のIT技術者から見ると
– 「DLはなんか違うぞ」
– DL的思考って何?
 今日のテーマ
– データがあればDLができるのか?
– DLをシステムに組み込むには?
– ハイパーパラメターをどのように選ぶか?
2
深層学習って何だったっけ?
 関数(プログラム)の作り方
– 演繹でなくて帰納
– つまり、モデルフリー
 モデルやアルゴリズムがわからなくても、訓練データセットさえあれ
ば作れる
– 教師信号の与え方次第で、驚くようなことが…
 本質的に統計モデリング
– 元分布が独立・同分布であることが前提
– 近似しかできない(バイアスが入ることを避けられない)
3
1.データがあれば深層機械学習ができるのか?
人工知能 = ビッグデータ??
「我が社にはビッグデータがあるので、これで人工知能を作って欲しい」
4
1. そのデータ、独立・同分布ですか?
(バイアスはありませんか?)
2. 教師信号はありますか?
5
統計的機械学習の本質的仮定
元分布 訓練データ
学習済みモデル
独立・同分布
(i.i.d.)
別分布データを混ぜないで!
6
教師信号の工夫
 人手によるアノテーション
 逆問題としての定式化
 シミュレーションによるフィードバック
7
8
教師信号の与え方:人手による正解アノテーション(1)
音声によるロボットのコントロール
9
教師信号の与え方:人手による正解アノテーション(2)
Consumer Electronics Show (CES) 2016
CESにおける自動運転デモ
教師信号の与え方:強化学習によるフィードバック
線画への自動着色アプリPaintsChainer
教師信号の与え方:逆問題として定式化
深層学習のためのデータ設計
 バイアスを補正できる情報を同時に記録する
– 最初に同じ対象を観測する、など
 教師信号(に代わるもの)を同時に設計する
– アノテーション、逆問題、シミュレーション …
– アイディア次第で驚くようなことが。。。
12
ITシステムの中に
どのようにDLを組み込むか?
13
14
モデルベース開発か、モデルフリー開発か?
モデルベース開発
(演繹的)
モデルフリー開発
(帰納的)
• モデルがよく知られている
• アルゴリズムが構成できる
• 常に正確な解を必要とする
• 教師信号がない
• モデルが不明
• アルゴリズムが不明
• 近似解で構わない
• 教師信号が得られる
適材適所
確率的に出てきてしまう「あってはならない解」をどのよう
に排除するか
15
 ポリシー・モジュールで、不適切な解をフィルタする
 DL出力(Rn空間の点)を、実行可能空間にマップする
 実行可能空間を探索するプログラムのオラクルとしてDLを使う
DLモジュール
ポリシーモ
ジュール
教師信号
DLモジュール
空
間
変
換
教師信号
16
AlphaGoは木探索とDLの融合
Silver, David, et al. "Mastering the game of Go with deep neural networks and tree
search." nature 529.7587 (2016): 484-489.
17
実行可能解を、非決定的探索問題の解として定式化し、探索
オラクルとしてDLを使う
探索オラクル
NP困難問題に対する新しいアーキテクチャ・パターン
ハイパーパラメターの与え方(丸山流)
 ネットワーク構造
– まずは黙ってMLP!
– 格子構造だったらCNN (Chainer CV)
– 時系列だったらRNN
– グラフ構造だったらGraph CNN (Chainer Chemistry)
 サンプルコードのマジックナンバーは基本いじらない
– バッチサイズ、学習率、…
 学習曲線を見て、汎化誤差が大きくなりはじめたら止める
18
例:指の振動から個人を特定(名工大田中先生の例)
Hiroshi Maruyama19
これは誰の指か?
4,301次元の入力
0, 1, 2, …, 9 を判別
100サンプル✕10名の振動データ
Hiroshi Maruyama20
5,000ノード
10通り
4,301次元の入力
5,000ノード
4層、中間ノード5,000のパーセプトロンで学習
40秒ほどの学習で、45%くらいの精度
終わりに:機械学習工学研究会シンポジウム (5/17)
21
ストリーミングのための予算が不足し
ています。スポンサーお願いします!
22
Thank You

More Related Content

Similar to 深層学習よもやま話

【技術情報協会】人工知能を使ったR&D業務効率化・生産性向上のシステム作り
【技術情報協会】人工知能を使ったR&D業務効率化・生産性向上のシステム作り【技術情報協会】人工知能を使ったR&D業務効率化・生産性向上のシステム作り
【技術情報協会】人工知能を使ったR&D業務効率化・生産性向上のシステム作り
Hajime Fujita
 
Deep learningの概要とドメインモデルの変遷
Deep learningの概要とドメインモデルの変遷Deep learningの概要とドメインモデルの変遷
Deep learningの概要とドメインモデルの変遷
Taiga Nomi
 
データサイエンスことはじめ
データサイエンスことはじめデータサイエンスことはじめ
データサイエンスことはじめ
大貴 末廣
 
E2D3に見るオープンイノベーション
E2D3に見るオープンイノベーションE2D3に見るオープンイノベーション
E2D3に見るオープンイノベーション
E2D3.org
 
Jubatus Casual Talks #2 異常検知入門
Jubatus Casual Talks #2 異常検知入門Jubatus Casual Talks #2 異常検知入門
Jubatus Casual Talks #2 異常検知入門
Shohei Hido
 
データアカデミー・エッセンス(東京)1
データアカデミー・エッセンス(東京)1データアカデミー・エッセンス(東京)1
データアカデミー・エッセンス(東京)1
Hiroyuki Ichikawa
 
人間の思考、機械の思考
人間の思考、機械の思考人間の思考、機械の思考
人間の思考、機械の思考
maruyama097
 
初めてのデータ分析基盤構築をまかされた、その時何を考えておくと良いのか
初めてのデータ分析基盤構築をまかされた、その時何を考えておくと良いのか初めてのデータ分析基盤構築をまかされた、その時何を考えておくと良いのか
初めてのデータ分析基盤構築をまかされた、その時何を考えておくと良いのか
Techon Organization
 
1028 TECH & BRIDGE MEETING
1028 TECH & BRIDGE MEETING1028 TECH & BRIDGE MEETING
1028 TECH & BRIDGE MEETING
健司 亀本
 
プロダクトマネージャのお仕事
プロダクトマネージャのお仕事プロダクトマネージャのお仕事
プロダクトマネージャのお仕事
Shohei Hido
 
dplyrとは何だったのか
dplyrとは何だったのかdplyrとは何だったのか
dplyrとは何だったのか
yutannihilation
 
Elasticsearchと機械学習を実際に連携させる
Elasticsearchと機械学習を実際に連携させるElasticsearchと機械学習を実際に連携させる
Elasticsearchと機械学習を実際に連携させる
nobu_k
 
tut_pfi_2012
tut_pfi_2012tut_pfi_2012
tut_pfi_2012
Preferred Networks
 
情シスのひみつ
情シスのひみつ情シスのひみつ
情シスのひみつ
cloretsblack
 
PoCで終わらせない!データ分析・AI活用
PoCで終わらせない!データ分析・AI活用PoCで終わらせない!データ分析・AI活用
PoCで終わらせない!データ分析・AI活用
__john_smith__
 
データサイエンス概論第一=0 まえがき
データサイエンス概論第一=0 まえがきデータサイエンス概論第一=0 まえがき
データサイエンス概論第一=0 まえがき
Seiichi Uchida
 
はじパタ2章
はじパタ2章はじパタ2章
はじパタ2章
tetsuro ito
 
Webリソースを利用したDeep Learning ~地図タイルを例として
Webリソースを利用したDeep Learning  ~地図タイルを例としてWebリソースを利用したDeep Learning  ~地図タイルを例として
Webリソースを利用したDeep Learning ~地図タイルを例として
IWASAKI NOBUSUKE
 
20130605-JSAI2013
20130605-JSAI201320130605-JSAI2013
20130605-JSAI2013
Hiroshi Kajino
 
aiconf2017okanohara
aiconf2017okanoharaaiconf2017okanohara
aiconf2017okanohara
Preferred Networks
 

Similar to 深層学習よもやま話 (20)

【技術情報協会】人工知能を使ったR&D業務効率化・生産性向上のシステム作り
【技術情報協会】人工知能を使ったR&D業務効率化・生産性向上のシステム作り【技術情報協会】人工知能を使ったR&D業務効率化・生産性向上のシステム作り
【技術情報協会】人工知能を使ったR&D業務効率化・生産性向上のシステム作り
 
Deep learningの概要とドメインモデルの変遷
Deep learningの概要とドメインモデルの変遷Deep learningの概要とドメインモデルの変遷
Deep learningの概要とドメインモデルの変遷
 
データサイエンスことはじめ
データサイエンスことはじめデータサイエンスことはじめ
データサイエンスことはじめ
 
E2D3に見るオープンイノベーション
E2D3に見るオープンイノベーションE2D3に見るオープンイノベーション
E2D3に見るオープンイノベーション
 
Jubatus Casual Talks #2 異常検知入門
Jubatus Casual Talks #2 異常検知入門Jubatus Casual Talks #2 異常検知入門
Jubatus Casual Talks #2 異常検知入門
 
データアカデミー・エッセンス(東京)1
データアカデミー・エッセンス(東京)1データアカデミー・エッセンス(東京)1
データアカデミー・エッセンス(東京)1
 
人間の思考、機械の思考
人間の思考、機械の思考人間の思考、機械の思考
人間の思考、機械の思考
 
初めてのデータ分析基盤構築をまかされた、その時何を考えておくと良いのか
初めてのデータ分析基盤構築をまかされた、その時何を考えておくと良いのか初めてのデータ分析基盤構築をまかされた、その時何を考えておくと良いのか
初めてのデータ分析基盤構築をまかされた、その時何を考えておくと良いのか
 
1028 TECH & BRIDGE MEETING
1028 TECH & BRIDGE MEETING1028 TECH & BRIDGE MEETING
1028 TECH & BRIDGE MEETING
 
プロダクトマネージャのお仕事
プロダクトマネージャのお仕事プロダクトマネージャのお仕事
プロダクトマネージャのお仕事
 
dplyrとは何だったのか
dplyrとは何だったのかdplyrとは何だったのか
dplyrとは何だったのか
 
Elasticsearchと機械学習を実際に連携させる
Elasticsearchと機械学習を実際に連携させるElasticsearchと機械学習を実際に連携させる
Elasticsearchと機械学習を実際に連携させる
 
tut_pfi_2012
tut_pfi_2012tut_pfi_2012
tut_pfi_2012
 
情シスのひみつ
情シスのひみつ情シスのひみつ
情シスのひみつ
 
PoCで終わらせない!データ分析・AI活用
PoCで終わらせない!データ分析・AI活用PoCで終わらせない!データ分析・AI活用
PoCで終わらせない!データ分析・AI活用
 
データサイエンス概論第一=0 まえがき
データサイエンス概論第一=0 まえがきデータサイエンス概論第一=0 まえがき
データサイエンス概論第一=0 まえがき
 
はじパタ2章
はじパタ2章はじパタ2章
はじパタ2章
 
Webリソースを利用したDeep Learning ~地図タイルを例として
Webリソースを利用したDeep Learning  ~地図タイルを例としてWebリソースを利用したDeep Learning  ~地図タイルを例として
Webリソースを利用したDeep Learning ~地図タイルを例として
 
20130605-JSAI2013
20130605-JSAI201320130605-JSAI2013
20130605-JSAI2013
 
aiconf2017okanohara
aiconf2017okanoharaaiconf2017okanohara
aiconf2017okanohara
 

More from Hiroshi Maruyama

20230925プレジデント社60周年.pdf
20230925プレジデント社60周年.pdf20230925プレジデント社60周年.pdf
20230925プレジデント社60周年.pdf
Hiroshi Maruyama
 
20230912JSSST大会基調講演_丸山.pdf
20230912JSSST大会基調講演_丸山.pdf20230912JSSST大会基調講演_丸山.pdf
20230912JSSST大会基調講演_丸山.pdf
Hiroshi Maruyama
 
20230712Kuramae-Seminar.pdf
20230712Kuramae-Seminar.pdf20230712Kuramae-Seminar.pdf
20230712Kuramae-Seminar.pdf
Hiroshi Maruyama
 
202212APSEC.pptx.pdf
202212APSEC.pptx.pdf202212APSEC.pptx.pdf
202212APSEC.pptx.pdf
Hiroshi Maruyama
 
20210731知財学会研究会
20210731知財学会研究会20210731知財学会研究会
20210731知財学会研究会
Hiroshi Maruyama
 
2021 06-17 ism-symposium
2021 06-17 ism-symposium2021 06-17 ism-symposium
2021 06-17 ism-symposium
Hiroshi Maruyama
 
Jsai
JsaiJsai
20181212 ibm aot
20181212 ibm aot20181212 ibm aot
20181212 ibm aot
Hiroshi Maruyama
 
20181205 sakigake
20181205 sakigake20181205 sakigake
20181205 sakigake
Hiroshi Maruyama
 
20181204i mlse discussions
20181204i mlse discussions20181204i mlse discussions
20181204i mlse discussions
Hiroshi Maruyama
 
20181204i mlse 1
20181204i mlse 120181204i mlse 1
20181204i mlse 1
Hiroshi Maruyama
 
20181120 ldp ai
20181120 ldp ai20181120 ldp ai
20181120 ldp ai
Hiroshi Maruyama
 
20181030 fun
20181030 fun20181030 fun
20181030 fun
Hiroshi Maruyama
 
20180719 cocn dist
20180719 cocn dist20180719 cocn dist
20180719 cocn dist
Hiroshi Maruyama
 
20180601 ai discussions
20180601 ai discussions20180601 ai discussions
20180601 ai discussions
Hiroshi Maruyama
 
構造改革徹底推進会合におけるプレゼン
構造改革徹底推進会合におけるプレゼン構造改革徹底推進会合におけるプレゼン
構造改革徹底推進会合におけるプレゼン
Hiroshi Maruyama
 

More from Hiroshi Maruyama (16)

20230925プレジデント社60周年.pdf
20230925プレジデント社60周年.pdf20230925プレジデント社60周年.pdf
20230925プレジデント社60周年.pdf
 
20230912JSSST大会基調講演_丸山.pdf
20230912JSSST大会基調講演_丸山.pdf20230912JSSST大会基調講演_丸山.pdf
20230912JSSST大会基調講演_丸山.pdf
 
20230712Kuramae-Seminar.pdf
20230712Kuramae-Seminar.pdf20230712Kuramae-Seminar.pdf
20230712Kuramae-Seminar.pdf
 
202212APSEC.pptx.pdf
202212APSEC.pptx.pdf202212APSEC.pptx.pdf
202212APSEC.pptx.pdf
 
20210731知財学会研究会
20210731知財学会研究会20210731知財学会研究会
20210731知財学会研究会
 
2021 06-17 ism-symposium
2021 06-17 ism-symposium2021 06-17 ism-symposium
2021 06-17 ism-symposium
 
Jsai
JsaiJsai
Jsai
 
20181212 ibm aot
20181212 ibm aot20181212 ibm aot
20181212 ibm aot
 
20181205 sakigake
20181205 sakigake20181205 sakigake
20181205 sakigake
 
20181204i mlse discussions
20181204i mlse discussions20181204i mlse discussions
20181204i mlse discussions
 
20181204i mlse 1
20181204i mlse 120181204i mlse 1
20181204i mlse 1
 
20181120 ldp ai
20181120 ldp ai20181120 ldp ai
20181120 ldp ai
 
20181030 fun
20181030 fun20181030 fun
20181030 fun
 
20180719 cocn dist
20180719 cocn dist20180719 cocn dist
20180719 cocn dist
 
20180601 ai discussions
20180601 ai discussions20180601 ai discussions
20180601 ai discussions
 
構造改革徹底推進会合におけるプレゼン
構造改革徹底推進会合におけるプレゼン構造改革徹底推進会合におけるプレゼン
構造改革徹底推進会合におけるプレゼン
 

Recently uploaded

MOSHI: 革新的な音声AI QAIが開発した次世代のコミュニケーションツール
MOSHI: 革新的な音声AI QAIが開発した次世代のコミュニケーションツールMOSHI: 革新的な音声AI QAIが開発した次世代のコミュニケーションツール
MOSHI: 革新的な音声AI QAIが開発した次世代のコミュニケーションツール
TsuyoshiSaito7
 
MySQLの文字コードと照合順序について 2024/07/05の勉強会で発表されたものです。
MySQLの文字コードと照合順序について 2024/07/05の勉強会で発表されたものです。MySQLの文字コードと照合順序について 2024/07/05の勉強会で発表されたものです。
MySQLの文字コードと照合順序について 2024/07/05の勉強会で発表されたものです。
iPride Co., Ltd.
 
第61回CV勉強会「CVPR2024読み会」(前編)発表資料:State Space Models for Event Cameras
第61回CV勉強会「CVPR2024読み会」(前編)発表資料:State Space Models for Event Cameras第61回CV勉強会「CVPR2024読み会」(前編)発表資料:State Space Models for Event Cameras
第61回CV勉強会「CVPR2024読み会」(前編)発表資料:State Space Models for Event Cameras
Takuya Minagawa
 
【GPT4-o越えのリアルタイム会話AI】kyutai labsのMoshiデモ動画を解説
【GPT4-o越えのリアルタイム会話AI】kyutai labsのMoshiデモ動画を解説【GPT4-o越えのリアルタイム会話AI】kyutai labsのMoshiデモ動画を解説
【GPT4-o越えのリアルタイム会話AI】kyutai labsのMoshiデモ動画を解説
TsuyoshiSaito7
 
2024/07/04 Blazor+ローコードで実現する.NET資産のモダナイズ
2024/07/04 Blazor+ローコードで実現する.NET資産のモダナイズ2024/07/04 Blazor+ローコードで実現する.NET資産のモダナイズ
2024/07/04 Blazor+ローコードで実現する.NET資産のモダナイズ
Tatsuya Ishikawa
 
能動的サイバー防御の時代へ - GPTsから垣間見えた私達と未来のAIについて
能動的サイバー防御の時代へ - GPTsから垣間見えた私達と未来のAIについて能動的サイバー防御の時代へ - GPTsから垣間見えた私達と未来のAIについて
能動的サイバー防御の時代へ - GPTsから垣間見えた私達と未来のAIについて
Tetsuya Nihonmatsu
 
「福利厚生をコストから投資へ」AIで社員1人ひとりに最適な支援を届ける 全く新しいカフェテリアプラン
「福利厚生をコストから投資へ」AIで社員1人ひとりに最適な支援を届ける 全く新しいカフェテリアプラン「福利厚生をコストから投資へ」AIで社員1人ひとりに最適な支援を届ける 全く新しいカフェテリアプラン
「福利厚生をコストから投資へ」AIで社員1人ひとりに最適な支援を届ける 全く新しいカフェテリアプラン
shogotaguchi
 
VRM*VOICEVOX*GoogleCloudを使って自分だけのAIパートナーを作る話
VRM*VOICEVOX*GoogleCloudを使って自分だけのAIパートナーを作る話VRM*VOICEVOX*GoogleCloudを使って自分だけのAIパートナーを作る話
VRM*VOICEVOX*GoogleCloudを使って自分だけのAIパートナーを作る話
company21
 
Kyndryl Developer Services のご紹介 2024年7月
Kyndryl Developer Services のご紹介  2024年7月Kyndryl Developer Services のご紹介  2024年7月
Kyndryl Developer Services のご紹介 2024年7月
Takayuki Nakayama
 
「スマートエスイー」におけるスマートシステム&サービスおよびDX推進人材の産学連携育成ならびに参照モデルに基づく育成プログラム分析
「スマートエスイー」におけるスマートシステム&サービスおよびDX推進人材の産学連携育成ならびに参照モデルに基づく育成プログラム分析「スマートエスイー」におけるスマートシステム&サービスおよびDX推進人材の産学連携育成ならびに参照モデルに基づく育成プログラム分析
「スマートエスイー」におけるスマートシステム&サービスおよびDX推進人材の産学連携育成ならびに参照モデルに基づく育成プログラム分析
Hironori Washizaki
 

Recently uploaded (10)

MOSHI: 革新的な音声AI QAIが開発した次世代のコミュニケーションツール
MOSHI: 革新的な音声AI QAIが開発した次世代のコミュニケーションツールMOSHI: 革新的な音声AI QAIが開発した次世代のコミュニケーションツール
MOSHI: 革新的な音声AI QAIが開発した次世代のコミュニケーションツール
 
MySQLの文字コードと照合順序について 2024/07/05の勉強会で発表されたものです。
MySQLの文字コードと照合順序について 2024/07/05の勉強会で発表されたものです。MySQLの文字コードと照合順序について 2024/07/05の勉強会で発表されたものです。
MySQLの文字コードと照合順序について 2024/07/05の勉強会で発表されたものです。
 
第61回CV勉強会「CVPR2024読み会」(前編)発表資料:State Space Models for Event Cameras
第61回CV勉強会「CVPR2024読み会」(前編)発表資料:State Space Models for Event Cameras第61回CV勉強会「CVPR2024読み会」(前編)発表資料:State Space Models for Event Cameras
第61回CV勉強会「CVPR2024読み会」(前編)発表資料:State Space Models for Event Cameras
 
【GPT4-o越えのリアルタイム会話AI】kyutai labsのMoshiデモ動画を解説
【GPT4-o越えのリアルタイム会話AI】kyutai labsのMoshiデモ動画を解説【GPT4-o越えのリアルタイム会話AI】kyutai labsのMoshiデモ動画を解説
【GPT4-o越えのリアルタイム会話AI】kyutai labsのMoshiデモ動画を解説
 
2024/07/04 Blazor+ローコードで実現する.NET資産のモダナイズ
2024/07/04 Blazor+ローコードで実現する.NET資産のモダナイズ2024/07/04 Blazor+ローコードで実現する.NET資産のモダナイズ
2024/07/04 Blazor+ローコードで実現する.NET資産のモダナイズ
 
能動的サイバー防御の時代へ - GPTsから垣間見えた私達と未来のAIについて
能動的サイバー防御の時代へ - GPTsから垣間見えた私達と未来のAIについて能動的サイバー防御の時代へ - GPTsから垣間見えた私達と未来のAIについて
能動的サイバー防御の時代へ - GPTsから垣間見えた私達と未来のAIについて
 
「福利厚生をコストから投資へ」AIで社員1人ひとりに最適な支援を届ける 全く新しいカフェテリアプラン
「福利厚生をコストから投資へ」AIで社員1人ひとりに最適な支援を届ける 全く新しいカフェテリアプラン「福利厚生をコストから投資へ」AIで社員1人ひとりに最適な支援を届ける 全く新しいカフェテリアプラン
「福利厚生をコストから投資へ」AIで社員1人ひとりに最適な支援を届ける 全く新しいカフェテリアプラン
 
VRM*VOICEVOX*GoogleCloudを使って自分だけのAIパートナーを作る話
VRM*VOICEVOX*GoogleCloudを使って自分だけのAIパートナーを作る話VRM*VOICEVOX*GoogleCloudを使って自分だけのAIパートナーを作る話
VRM*VOICEVOX*GoogleCloudを使って自分だけのAIパートナーを作る話
 
Kyndryl Developer Services のご紹介 2024年7月
Kyndryl Developer Services のご紹介  2024年7月Kyndryl Developer Services のご紹介  2024年7月
Kyndryl Developer Services のご紹介 2024年7月
 
「スマートエスイー」におけるスマートシステム&サービスおよびDX推進人材の産学連携育成ならびに参照モデルに基づく育成プログラム分析
「スマートエスイー」におけるスマートシステム&サービスおよびDX推進人材の産学連携育成ならびに参照モデルに基づく育成プログラム分析「スマートエスイー」におけるスマートシステム&サービスおよびDX推進人材の産学連携育成ならびに参照モデルに基づく育成プログラム分析
「スマートエスイー」におけるスマートシステム&サービスおよびDX推進人材の産学連携育成ならびに参照モデルに基づく育成プログラム分析
 

深層学習よもやま話