Deep learning: Cложный анализ данных простыми словами_Сергей Шелпук

10,913 views

Published on

Конференция AI&BigData Lab, 12 апреля 2014

Published in: Data & Analytics
0 Comments
2 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
10,913
On SlideShare
0
From Embeds
0
Number of Embeds
9,195
Actions
Shares
0
Downloads
34
Comments
0
Likes
2
Embeds 0
No embeds

No notes for slide

Deep learning: Cложный анализ данных простыми словами_Сергей Шелпук

  1. 1. Deep Learning сложный анализ данных простыми словами Сергей Шельпук sshel@softserveinc.com
  2. 2. Проблема классификации Отличить мотоцикл от Луны
  3. 3. Проблема классификации Классификатор © A. Ng и др.
  4. 4. Проблема классификации пиксель светимость
  5. 5. Проблема классификации «Сырые» данные не описывают данные достаточно хорошо. Нам нужны какие-то «умные» представления. содержит колеса содержит «моря»
  6. 6. Извлечение признаков Классификатор Определитель признаков © A. Ng и др.
  7. 7. Извлечение признаков Есть ли лучшие способы? © A. Ng и др.
  8. 8. Автоэнкодер
  9. 9. Автоэнкодер © Honglak Lee и др. ▪См. Convolutional Deep Belief Networks for Scalable Unsupervised Learning of Hierarchical Representations
  10. 10. Автоэнкодер © Quoc V. Le и др. См. Building high-level features using large scale unsupervised learning
  11. 11. Deep Learning Нейронные Сети Обучен предварительно как автоэнкодер Типичный классификатор Moon
  12. 12. Deep Learning Нейронные Сети © A. Ng и др.
  13. 13. Deep Learning Нейронные Сети © A. Ng и др.
  14. 14. Deep Learning Нейронные Сети Video Text/NLP Images ©A.Ngидр.
  15. 15. Deep Learning Нейронные Сети Особенности обучения  Можно использовать немаркированные данные  Легко переобучить  Очень большой объем вычислений
  16. 16. Немаркированные данные колеса руль
  17. 17. Переобучение автоэнкодера Sparsity constraint – способ ограничения вариативности автоэнкодера Идея: ограничить активацию скрытого слоя на восстановление одного примера
  18. 18. Переобучение классификатора Dropout создает «ансамбль» нейронных сетей
  19. 19. Вычислительные ресурсы  Тысячи ядер  Частота: 300-900 МГц  Память: 2-6 Gb  Производительность: до 3.5 Tflops  Instruction-level parallelism  Shared memory  До 4 устройств в кластере
  20. 20. MNIST Data: Features:
  21. 21. Galaxy Zoo Data: Features:
  22. 22. Thank you

×