Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Deep learning: technology overview and trends

843 views

Published on

The presentation explains the core concepts behind deep learning as well as provides an overview of the main architectures of neural networks. A deeper view on employing neural networks for computer vision is provided.

Published in: Technology
  • Be the first to comment

Deep learning: technology overview and trends

  1. 1. Deep Learning Обзор технологии и трендов Дмитрий Коробченко
  2. 2. 2
  3. 3. 3 Машинное обучение Машинное обучение Математическая оптимизация Статистика Информатика
  4. 4. 4 Машинное обучение Машинное обучение Математическая оптимизация Статистика Информатика Искусственный интеллект
  5. 5. 5 Машинное обучение Данные Обучение без учителя unsupervised Обучение с подкреплением reinforcement Обучение с учителем supervised Неразмеченные данные Данные о вознаграждении Данные с метками
  6. 6. 6 Машинное обучение: примеры Регрессия y x Классификация ? ? ? ?
  7. 7. 7 Машинное обучение: примеры Регрессия y x     Классификация
  8. 8. 8 Машинное обучение: примеры Регрессия y x     Классификация
  9. 9. 9 Нейронные сети Вход Выход
  10. 10. 10 Нейронные сети Нейрон ∑
  11. 11. 11 Нейронные сети Нейрон ∑ 𝒙 𝟏 𝒙 𝒏 𝒘 𝟏 𝑦 𝒘 𝒏 𝑦 = 𝑓 ෍ 𝑖 𝑤𝑖 𝑥𝑖
  12. 12. 12 Нейронные сети ПерсептронНейрон ∑ 𝒙 𝟏 𝒙 𝒏 𝒘 𝟏 𝑦 𝒘 𝒏 𝑦 = 𝑓 ෍ 𝑖 𝑤𝑖 𝑥𝑖
  13. 13. 13 Нейронные сети ПерсептронНейрон ∑ 𝑦 = 𝑓 ෍ 𝑖 𝑤𝑖 𝑥𝑖 𝒙 𝟏 𝒙 𝒏 𝒘 𝟏 𝑦 𝒘 𝒏 𝐻 = 𝑓 𝑊1 𝑋 𝑾 𝟏 𝑾 𝟐 𝑋 𝐻 𝑌 𝑌 = 𝑓 𝑊2 𝐻
  14. 14. 14 Нейронные сети 𝑋 𝑘 = 𝑓 𝑊𝑘 𝑋 𝑘−1 𝑾 𝟏 𝑿 𝟎 𝑿 𝟏 𝑾 𝟐 𝑿 𝟐 𝑾 𝟑 𝑿 𝟑 𝑾 𝟒 𝑿 𝟒 Прямое распространение Слой 0 Слой 1 Слой 2 Слой 3 Слой 4
  15. 15. 15 Нейронные сети 𝑋 𝑘 = 𝑓 𝑊𝑘 𝑋 𝑘−1 𝑾 𝟏 𝑿 𝟎 𝑿 𝟏 𝑾 𝟐 𝑿 𝟐 𝑾 𝟑 𝑿 𝟑 𝑾 𝟒 𝑿 𝟒 Прямое распространение 𝑋 𝑁 = 𝐺 𝑊 𝑋0 Слой 0 Слой 1 Слой 2 Слой 3 Слой 4
  16. 16. 16 Нейронные сети: обучение • Обучение с учителем (на примерах) 𝒁 𝟏 , 𝑫 𝟏 … Обучающая выборка 𝒁 𝟐 , 𝑫 𝟐 𝒁 𝑷 , 𝑫 𝑷
  17. 17. 17 Нейронные сети: обучение • Обучение с учителем (на примерах) 𝒁 𝟏 , 𝑫 𝟏 … Обучающая выборка 𝒁 𝟐 , 𝑫 𝟐 𝒁 𝑷 , 𝑫 𝑷 Обучение
  18. 18. 18 Нейронные сети: обучение • Обучение с учителем (на примерах) 𝒁 𝟏 , 𝑫 𝟏 … Обучающая выборка 𝒁 𝟐 , 𝑫 𝟐 𝒁 𝑷 , 𝑫 𝑷 Обучение Найти 𝑊: 𝒁𝒊 𝑫𝒊 𝐺 𝑊
  19. 19. 19 Нейронные сети: обучение • Обучение с учителем (на примерах) 𝒁 𝟏 , 𝑫 𝟏 … Обучающая выборка 𝒁 𝟐 , 𝑫 𝟐 𝒁 𝑷 , 𝑫 𝑷 Обучение Найти 𝑊: 𝒁𝒊 𝑫𝒊 𝐺 𝑊 𝑊∗ = argmin 𝑊 𝐸(𝑊) 𝐸 = 𝐷 − 𝐺 𝑊(𝑍) 2
  20. 20. 20 Нейронные сети: обучение • Градиентный спуск • Итерационный процесс 𝑊∗ 𝐸 𝑊 − 𝜕𝐸 𝜕𝑊 𝑊 𝑡+1 = 𝑊 𝑡 − 𝛼 𝜕𝐸 𝜕𝑊 𝑊 𝑡 𝑊 𝑡
  21. 21. 21 Нейронные сети: обучение • Стохастический градиентный спуск На итерации t: 𝒁 𝒕 𝑫 𝒕 Образец
  22. 22. 22 Нейронные сети: обучение • Стохастический градиентный спуск На итерации t: 𝒁 𝒕 𝑫 𝒕 Образец 𝑊 𝑡
  23. 23. 23 Нейронные сети: обучение • Стохастический градиентный спуск На итерации t: 𝒁 𝒕 𝑫 𝒕 Образец 𝐺 𝑊(𝑍𝑡) 𝑊 𝑡 Предсказание
  24. 24. 24 Нейронные сети: обучение • Стохастический градиентный спуск На итерации t: 𝒁 𝒕 𝑫 𝒕 Образец 𝐸 𝑡 = 𝐷𝑡 − 𝐺 𝑊 𝑍𝑡 2Как сильно мы ошиблись? 𝐺 𝑊(𝑍𝑡) 𝑊 𝑡 Предсказание
  25. 25. 25 Нейронные сети: обучение • Стохастический градиентный спуск На итерации t: 𝒁 𝒕 𝑫 𝒕 Образец 𝑊 𝑡+1 = 𝑊 𝑡 − 𝛼 𝜕𝐸 𝑡 𝜕𝑊 𝑊 𝑡 𝐸 𝑡 = 𝐷𝑡 − 𝐺 𝑊 𝑍𝑡 2Как сильно мы ошиблись? 𝐺 𝑊(𝑍𝑡) 𝑊 𝑡 Предсказание Поправить веса!
  26. 26. 26 Нейронные сети: обучение • Обратное распространение ошибки 𝑬 𝜕𝐸 𝜕𝑋4 𝜕𝐸 𝜕𝑊4 𝜕𝐸 𝜕𝑋3 𝜕𝐸 𝜕𝑊3 𝜕𝐸 𝜕𝑋2 𝜕𝐸 𝜕𝑊2 𝜕𝐸 𝜕𝑋1 𝜕𝐸 𝜕𝑊1 Слой 1 Слой 2 Слой 3 Слой 4
  27. 27. 27 Нейронные сети: пример ? ? ? ? Данные легко разделимы    
  28. 28. 28 Компьютерное зрение Описание Семантическая информация Изображение Или Видео
  29. 29. 29 Компьютерное зрение: Задачи “Котик” Классификация
  30. 30. 30 Компьютерное зрение: Задачи • Человек • Собака • Стул “Котик” Классификация Детектирование объектов
  31. 31. 31 Компьютерное зрение: Задачи Семантическая сегментация
  32. 32. 32 Трудности    
  33. 33. 33 Трудности ???    
  34. 34. 34 Трудности R G B = • Много неструктурированной информации
  35. 35. 35 Признаки
  36. 36. 36 Признаки
  37. 37. 37 Признаки Меньше чисел Больше смысла
  38. 38. 38 Признаки “Lenna” Меньше чисел Больше смысла
  39. 39. 39 Признаки + нейронные сети Признаки “Lenna”
  40. 40. 40 Свёртка
  41. 41. 41 Свёртка 𝑿
  42. 42. 42 Свёртка * 𝑾 𝑿
  43. 43. 43 Свёртка * 𝑾 𝑿 𝑦 = ෍ 𝑖 𝑤𝑖 𝑥𝑖
  44. 44. 44 Свёртка *
  45. 45. 45 Свёрточная нейронная сеть “Lenna”
  46. 46. 46 Проблемы не закончились Легко“шесть”
  47. 47. 47 Проблемы не закончились Сложно Легко“шесть” = ?
  48. 48. 48
  49. 49. 49 Иерархия признаков Пиксели Границы Фрагменты Объекты
  50. 50. 50 Иерархия признаков Пиксели Границы Фрагменты Объекты Выделение признаков + Классификация “Котик” Глубокие нейронные сети
  51. 51. 51 Deep Learning Обучение иерархии признаковых представлений
  52. 52. 52 Типы слоёв • Свёрточный слой *
  53. 53. 53 Типы слоёв • Pooling (понижение размерности) • Локальное усреднение • Локальный максимум
  54. 54. 54 Типы слоёв • Полносвязный слой
  55. 55. 55 Архитектура сети: пример Свертка СверткаPooling Pooling Полно- связный Вход Выход
  56. 56. 56 Примеры и тренды
  57. 57. 57 Deep Learning хорош для Картинки Видео Звук Текст
  58. 58. 58 Сверхчеловеческий уровень Человек распознаёт  98.81% Глубокая нейронная сеть  99.17% Дорожные знаки
  59. 59. 59 Лица Brad Pitt Идентификация Пол, возраст
  60. 60. 60 Умные приборы
  61. 61. 61 Дополненная реальность
  62. 62. 62 Медицина Диагностика Хирургия
  63. 63. 63 Камеры наблюдения Совершается преступление
  64. 64. 64 Умные автомобили
  65. 65. 65 Умные роботы и дроны
  66. 66. 66 Естественный язык Рекуррентные нейронные сети Перевод Чат ботыУмная клавиатура П… …Р И В Е Т
  67. 67. 67 Siri Ok, Google Распознавание речи Рекуррентные нейронные сети П… …Р И В Е Т
  68. 68. 68 Текстовое описание “A woman drinking something near a TV”
  69. 69. 69 Обучение без учителя Данные без меток Сеть ? ? ? ? ? ? ?? ?
  70. 70. 70 Обучение без учителя Данные без меток Сеть
  71. 71. 71 Обучение без учителя И снова котики…
  72. 72. 72 Обучение с подкреплением
  73. 73. 73 Ускорение
  74. 74. 74 Ускорение CPU GPU
  75. 75. 75 Распределённое обучение … Данные Данные Данные Данные Модель
  76. 76. 76 Распределённое обучение … Данные Данные Данные Данные Модель
  77. 77. 77 Распределённое обучение … Данные Данные Данные Данные Модель
  78. 78. 78 Нейропроцессоры Оптимальная архитектура процессора
  79. 79. 79 Нейропроцессоры Интернет вещей (IoT) Оптимальная архитектура процессора Меньше тепла Меньше энергии
  80. 80. 80 От распознавания к синтезу
  81. 81. 81 Синтез речи WaveNet “Сегодня отличная погода, на правда ли?”
  82. 82. 82 Сверх-разрешение Photoshop Deep Learning
  83. 83. 83 Расцвечивание Вход Deep Learning Оригинал
  84. 84. 84 Перенос стиля
  85. 85. 85 Глубокое спасибо!

×