More Related Content
Similar to 一般向けのDeep Learning (19)
More from Preferred Networks (20)
一般向けのDeep Learning
- 5. あらゆる分野でDeep Learningの話がでてくる
l 学会での嵐嵐
l 主要学会のチュートリアルで紹介
l ICML(機械学習), ACL(⾃自然⾔言語処理理), CVPR(画像処理理)
l 学会も誕⽣生!ICLR (元々snowbird workshop)
l ビジネスでの嵐嵐
l Microsoftが⾳音声認識識をDeepLearningベースに置き換える
l おそらく、Googleなど他の企業も置き換える
l 中⼼心⼈人物のHinton+ポスドクが⽴立立ち上げた会社をGoogleが即買収
l Googleのエンジニアの中⼼心⼈人物のJeff Deanも携わる
l 新聞などの記事でも取り上げられる
5
- 7. ニューラルネット(NN)の歴史 (1/2)
l 1940年年代頃から何度度もブームが
l Perceptron, BackPropagation, …
l しかし90年年代頃からの⻑⾧長い冬の時代
l 2006年年からDeep Neural Netとしての復復活
l Hinton, BengioらによるPreTraining とAutoEncoderの登場
l 深い階層を持った場合でも勾配が拡散せず学習できる
l Ngらによる視覚野の働きに似た画像特徴抽出
l ⼈人の視覚認識識の仕組みを部分的に再現できた
l しかしまだ⼀一部の研究者のみが注⽬目している状況
7
- 8. ニューラルネット(NN)の歴史 (2/2)
l 2010年年以降降の発展
l 多くの分野でのベンチマークテストによる圧勝
l ⼀一般物体画像認識識、⾳音声認識識、薬物活性予測
l これまでのstate-of-the-artを⼤大きく凌凌駕すると共に、
⾮非専⾨門家が達成したことに衝撃
l ⼤大規模NNからの教師無学習(後述)
l Googleらがは1000万枚の画像を利利⽤用してパラメータ数が数⼗十億
からなる⼤大規模NNを2000台(16000コア)で1週間で学習
l 教師無し学習で知識識のようなものが得られる
8
- 11. 機械学習が急速に広まった理理由
特徴表現と分析処理理の分離離
11
特徴抽出:問題や分野の特徴を
捉えた抽象化されたデータ
分野に依存しない
様々な⼿手法の適⽤用
11
⽂文書 (0, 1, 0, 2.5, -‐‑‒1, …)
(1, 0.5, 0.1, -‐‑‒2, 3, …)
(0, 1, 0, 1.5, 2, …)
特徴ベクトル
グラフィカルモデル
分類/回帰
SVM, LogReg, PA, CW, ALOW,
Naïve Bayes, CNB, DT, RF, ANN
クラスタリング
K-‐‑‒means, Spectral Clustering,
NNF, MMC, LSI, LDA, GM, DP
構造分析
HMM, MRF, CRF, …
画像
センサ情報
⾏行行動履履歴
l 異異なる分野で同じ機械学習⼿手法が適⽤用可能
- 15. 情報表現の代表選⼿手
主成分分析 (PCA: Principal Component Analysis)
l ⾼高次元データの集合を少数の主成分のベクトルで表す
l 各⾏行行がデータに対応する⾏行行列列Xに対する特異異値分解が
X = UΣVT の時、Uが主成分ベクトル, VΣTが主成分値
l 元のデータを⼆二乗誤差最⼩小での近似に対応
l redsvdを使えばコマンド1発で
巨⼤大な⾏行行列列もPCAできるよ!
15
- 19. 表現学習をとことんやったら?
DistBelief [J. Dean+, NIPS 13]
19
非同期での大規模学習をサポート
- オンラインの並列学習 (SGD)
- バッチ学習の並列学習 (L-BFGS)
- 16000コアでの並列学習が可能
Youtubeから得られた 200 x 200の
画像 1000万枚に対して教師無し学習
(AutoEncoderと似たRICAと呼ばれる
方法でDNNを学習)
次項以降で学習で得られた
最上部のニューロンが反応する画像
を紹介
- 26. DNNの信じる世界 = Principal of Compositionality
l 複雑な現象の意味は、それを構成する部品の意味の組み合わせであ
る
l ⼈人間(⽣生物)の多くの認識識がこれを満たす
l テキスト、画像、⾳音声
l DNNはPrincipal of Compositionalityを利利⽤用している
l 情報表現も、単純な部品の組み合わせで複雑な情報も表現できる
l 部品は上位の複数の部品で共有される
l これらの関係再帰的に効率率率よく学習できる
26
- 28. 深層学習 = 表現学習
l DNNにより、表現学習を⾏行行える
l ⼈人間の認識識がうまくいく分野はうまく学習しているようにみえる
l 構⽂文解析, Sentiment Analysis
l ⾳音声認識識
l 画像認識識、映像認識識
l 化合物分類(職⼈人が⾒見見ると⼀一発で分かる)
l しかし …
l 精度度が欲しいだけの場合は必ずしもDNNじゃなくても良良い
l 3層程度度のfully-connected NN + dropout + maxoutで最⾼高精度度
l http://rodrigob.github.io/
l DNNの研究・実⽤用化はまだ道半ば
28