0
Deep Learning
сложный анализ данных простыми словами
Сергей Шельпук
sshel@softserveinc.com
Проблема классификации
Отличить мотоцикл от Луны
Проблема классификации
Классификатор
© A. Ng и др.
Проблема классификации
пиксель
светимость
Проблема классификации
«Сырые» данные не описывают данные достаточно
хорошо. Нам нужны какие-то «умные» представления.
сод...
Извлечение признаков
Классификатор
Определитель
признаков
© A. Ng и др.
Извлечение признаков
Есть ли лучшие способы?
© A. Ng и др.
Автоэнкодер
Автоэнкодер
© Honglak Lee и др.
▪См. Convolutional Deep Belief Networks for Scalable Unsupervised Learning of Hierarchical...
Автоэнкодер
© Quoc V. Le и др.
См. Building high-level features using large scale unsupervised learning
Deep Learning Нейронные Сети
Обучен предварительно
как автоэнкодер
Типичный классификатор
Moon
Deep Learning Нейронные Сети
© A. Ng и др.
Deep Learning Нейронные Сети
© A. Ng и др.
Deep Learning Нейронные Сети
Video
Text/NLP
Images
©A.Ngидр.
Deep Learning Нейронные Сети
Особенности обучения
 Можно использовать немаркированные данные
 Легко переобучить
 Очень ...
Немаркированные данные
колеса
руль
Переобучение автоэнкодера
Sparsity constraint – способ ограничения
вариативности автоэнкодера
Идея: ограничить активацию
с...
Переобучение классификатора
Dropout создает «ансамбль» нейронных сетей
Вычислительные ресурсы
 Тысячи ядер
 Частота: 300-900 МГц
 Память: 2-6 Gb
 Производительность: до 3.5
Tflops
 Instruc...
MNIST
Data:
Features:
Galaxy Zoo
Data: Features:
Thank you
Upcoming SlideShare
Loading in...5
×

Deep learning: Cложный анализ данных простыми словами_Сергей Шелпук

9,798

Published on

Конференция AI&BigData Lab, 12 апреля 2014

Published in: Data & Analytics
0 Comments
2 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
9,798
On Slideshare
0
From Embeds
0
Number of Embeds
24
Actions
Shares
0
Downloads
19
Comments
0
Likes
2
Embeds 0
No embeds

No notes for slide

Transcript of "Deep learning: Cложный анализ данных простыми словами_Сергей Шелпук"

  1. 1. Deep Learning сложный анализ данных простыми словами Сергей Шельпук sshel@softserveinc.com
  2. 2. Проблема классификации Отличить мотоцикл от Луны
  3. 3. Проблема классификации Классификатор © A. Ng и др.
  4. 4. Проблема классификации пиксель светимость
  5. 5. Проблема классификации «Сырые» данные не описывают данные достаточно хорошо. Нам нужны какие-то «умные» представления. содержит колеса содержит «моря»
  6. 6. Извлечение признаков Классификатор Определитель признаков © A. Ng и др.
  7. 7. Извлечение признаков Есть ли лучшие способы? © A. Ng и др.
  8. 8. Автоэнкодер
  9. 9. Автоэнкодер © Honglak Lee и др. ▪См. Convolutional Deep Belief Networks for Scalable Unsupervised Learning of Hierarchical Representations
  10. 10. Автоэнкодер © Quoc V. Le и др. См. Building high-level features using large scale unsupervised learning
  11. 11. Deep Learning Нейронные Сети Обучен предварительно как автоэнкодер Типичный классификатор Moon
  12. 12. Deep Learning Нейронные Сети © A. Ng и др.
  13. 13. Deep Learning Нейронные Сети © A. Ng и др.
  14. 14. Deep Learning Нейронные Сети Video Text/NLP Images ©A.Ngидр.
  15. 15. Deep Learning Нейронные Сети Особенности обучения  Можно использовать немаркированные данные  Легко переобучить  Очень большой объем вычислений
  16. 16. Немаркированные данные колеса руль
  17. 17. Переобучение автоэнкодера Sparsity constraint – способ ограничения вариативности автоэнкодера Идея: ограничить активацию скрытого слоя на восстановление одного примера
  18. 18. Переобучение классификатора Dropout создает «ансамбль» нейронных сетей
  19. 19. Вычислительные ресурсы  Тысячи ядер  Частота: 300-900 МГц  Память: 2-6 Gb  Производительность: до 3.5 Tflops  Instruction-level parallelism  Shared memory  До 4 устройств в кластере
  20. 20. MNIST Data: Features:
  21. 21. Galaxy Zoo Data: Features:
  22. 22. Thank you
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×