Generative deeplearning #02

1. GenerativeDeepLearning #02
2020/02/01

2. Motivation
- 生成モデルを使用した研究開発において、使用できる知見や実装を貯める
- 従来のモデル(分類問題等)の改善に応用できる生成モデルについて
学習することで、精度の向上を行う
- 知的好奇心

3. Index (GenerativeDeepLearning)
I. Introduction to Generative Deep Learning
1. Generative Modeling
2. Deep Learning
3. VAE
4. GAN
II. Teaching Machine to Paint, Write, Compose, and Play
5. Paint
6. Write
7. Compose
8. Play
9. The Future of Generative Modeling
10. Conclusion

4. Index (GenerativeDeepLearning)
I. Introduction to Generative Deep Learning
1. Generative Modeling
2. Deep Learning
3. VAE
4. GAN
II. Teaching Machine to Paint, Write, Compose, and Play
5. Paint
6. Write
7. Compose
8. Play
9. The Future of Generative Modeling
10. Conclusion

5. Index
- Chapter 2 Deep Learning
- Structured and Unstructured Data
- Deep Neural Networks
- Your First Deep Neural Network
- Improving the Model
- Summary

6. Index
- Chapter 2 Deep Learning
- Structured and Unstructured Data
- Deep Neural Networks
- Your First Deep Neural Network
- Improving the Model
- Summary

7. Structured and Unstructured Data

8. Structured and Unstructured Data
- 構造化データ
- 多くのMLアルゴリズムで、インプットデータとして使用できる
- 例
- 年齢、収入、web サイトの閲覧数/月 などのテーブルデータ
- これらの情報を特徴量として個人の次の行動などを推定する
- 非構造データ
- 音声、画像、テキスト etc
- データを分解して、特徴量を生成しなければならない
- 画像 : ピクセル、テキスト : 文字 文節
- DLでないモデルに比べDLのモデルの方が精度がでる

9. Index
- Chapter 2 Deep Learning
- Structured and Unstructured Data
- Deep Neural Networks
- Your First Deep Neural Network
- Improving the Model
- Summary

10. Deep Neural Networks

11. Deep Neural Networks
- DNN(Deep Neural Network)の構造
- 入力データの高次元データの表現を学習するために、多くのnetwork層を
使用する
- それぞれの層は unit で構成され、weight を通して、次の layer の units へ
伝播される
- predict と ground truth の差 (loss)が最小になるように backpropagation
によって、weigt を更新する

12. Index
- Chapter 2 Deep Learning
- Structured and Unstructured Data
- Deep Neural Networks
- Your First Deep Neural Network
- Improving the Model
- Summary

13. Your First Deep Neural Network
- データセット
- CIFAR-10 のデータセット
- 60000 データセット
- 32 x 32 の画像データ
- 10 class
- task
- 分類

14. Your First Deep Neural Network
- 最初のDNN のモデル
- 単純な DNNモデル
- 画像を一次元に変換
- 全結合層を3層
- 精度は49 % 程度

15. Index
- Chapter 2 Deep Learning
- Structured and Unstructured Data
- Deep Neural Networks
- Your First Deep Neural Network
- Improving the Model
- Summary

16. Improving the Model
- いくつかの改善を加えていく
- 改善点
- Convolutional Layer (畳み込み層)
- Batch Normalization
- Dropout

17. Improving the Model
- Network 構成
- CNN Layer x 3
- Convolution Layer
- Batch Normalization
- Dropout Layer
- Activation Layer
- 全結合層
- 精度としては、 71%

18. Index
- Chapter 2 Deep Learning
- Structured and Unstructured Data
- Deep Neural Networks
- Your First Deep Neural Network
- Improving the Model
- Summary

19. Summary
- DL の概念を紹介した
- ポイントは
- DLのモデルは柔軟に変更可能で、アーキテクチャに関しては決まったルー
ルはない
- ガイドラインやベストプラクティスはあるが、使用するLayerや順序は実験し
ながら決定していく

20. Reference
- Generative Deep Learning