Overview of the field of deep learning with background information, history, a little theory and applications.

1. Deep Learning
Ivaylo Popov
13/02/2017

2. Защо дълбоки невронни мрежи?
● По-добри резултати от предишните методи:
○ Изображения, говорима и писмена реч
○ Роботика, автономни автомобили, управление на системи
● Голям интерес в много индустрии: VW, Google, ...
● Подобен начин на работа с човешкия кортекс
● Artificial general intelligence (AGI)
● Нови технологии с динамично развитие

3. С две думи за мен:
Високо-честотно търгуване
Хедж фонд, Германия (2010-)
Роботика, научни изледвания
DeepMind, Лондон (2015-)

4. С две думи за DeepMind
DeepMind Research
● Reinforcement learning
● Роботика и контрол
● Памет, генеративни модели
● Starcraft
DeepMind Applied
● Здравеопазване и за Google продукти

5. Разпознаване на изображения

6. Сегментация, оцветяване, ...

7. Генериране на изображения

8. Говорима реч: разпознаване и синтезиране

9. Писмена реч: генериране, превод и диалогови системи

10. Мултимодални: от изображение до заглавие

11. Reinforcement learning: игри
DQN playing Atari Breakout AlphaGo playing vs. Lee Sedol

12. Reinforcement learning: роботика и контрол
Хващане на обекти с роботизирана ръка (Google)

13. Огромен интерес в ИТ и други индустрии

14. Връзки с начина на работа на мозъка
Универсалност на мозъчната кора
Backpropagation в мозъка:
G. Hinton, Y. Bengio, T. Lillicrap
Backpropagation - STDP
(spike-time dependent plasticity,
пластичност на синапсите)
Допамин - reinforcement сигнал

15. Слоеве и филтри
Съответствие на зрителните слоеве с
определени зони на мозъчната кора
Габор-филтри в невронни мрежи и
неврони реагиращи на ориентация в мозъка

16. История
1960’ Поредица от нелинейни операции; chain rule
Kelley, 1960; Bryson, 1961; Bryson and Denham, 1961;
Pontryagin et al., 1961; Dreyfus, 1962; Bryson and Ho, 1969
1980’ Популяриция на backpropagation за невронни мрежи
Rumelhart, D. E., Hinton, G. E., and Williams, R. J., 1986
1990’ Конволюционни мрежи и LSTM рекурентни невронни мрежи
LeCun et al., 1989, 1990, 1998, Hochreiter and Schmidhuber, 1997
2000’ Deep learning
Пред-трениране на дълбоки мрежи със стек от RBM, Hinton and Salakhutdinov, 2006

17. Режим на количеството данни

18. Малко теория
● Типове машинно обучение
● Невронни мрежи
● Графове
● Трениране

19. Типове машинно обучение
Тип машинно обучение Данни Целеви стойности
Supervised learning Фиксирани Зададени
Unsupervised learning Фиксирани Не са зададени
Reinforcement learning Динамични Reward

20. Reinforcement learning

21. Невронни мрежи - класически поглед

22. Невронни мрежи - генерализация
Директен ацикличен граф (DAG) от
● Входни данни (зададени стойности)
● Диференцируеми операции
○ Матрично умножение
○ Нелинейни операции
○ Гейтинг (умножение точка по
точка)
○ Dropout, batch нормализация, ...
● Целева фунция (MSE, cross-entropy)
● Параметри (променливи)

23. Платформи

24. Трениране
1. Граф от деференцируеми операции
2. Backpropagation (chain rule) - обратно разпространение на грешката
Mетод за изразяване на градиента на съставна функция по отношение на аргумените
… целевата функция по отношение на параметрите
3. Stochastic gradient descent (SGD)
Итеративен алгоритъм за оптимизация (с мини-батчове)
4. Adam, Rmsprop
По-ефективни (+ статистики от първи и втори ред)
Всичко това получаваме наготово в TensorFlow

25. Преизвикателства в тренирането
1. Локални минимуми
2. Седловининни точки
3. Overfitting
4. Изчезване на градиента (diminishing gradients)
5. Дългосрочна памет (също long term credit assignment)

26. Седловинни точки

27. Предизвикателства в тренирането
1. Локални минимуми
2. Седловининни точки
3. Overfitting
4. Изчезване на градиента (diminishing gradients)
5. Дългосрочна памет (също long term credit assignment)

28. Overfitting

29. Методи за регуляризация
● Ранно спиране на тренирането
● Рекурентни и конволюционни слове
● Dropout
● Batch нормализация
● Добавяне на шум в данните
● Генереране на данни
● Използване на допълнителни данни
● Стохастични слоеве
Всички промени по архитектурата и тренирането - регуляризация или prior

30. Регулярицация с валидация и ранно спиране

31. *Слоеве - съвкупност от няколко операции
● Конволюционни (convolutional)
● Секвенционни / рекурентни (recurrent)
● Batch нормализация, dropout и много други
Специални слоеве и операции

32. Конволюционни слоеве

33. Секвенциални / рекурентни слоеве (recurrent)

34. Примерни приложения
● Residual networks
● Sequence-to-sequence модел за превод на текст
● Generative adversarial networks (GAN)
● PixelCNN
● WaveNet
● Tree search + policy / value мрежи (AlphaGo)
● Контрол с дискретни действия (DQN)

35. Все по-дълбоки мрежи за изображения

36. Residual мрежи за класификация
Deep Residual Learning for Image Recognition, He et al., 2015

37. Sequence-to-sequence модел за превод

38. Generative adversarial networks (GAN)

39. Generative adversarial networks (GAN)

40. PixelCNN - генериране на изображения

41. PixelCNN - генериране на изображения

42. WaveNet - генериране на говорима реч

43. Контрол с дискретни действия (DQN)
● Конволюционна Q-мрежа
● Памет с предишен опит
● Q-reinforcement learning
● Target мрежи

44. AlphaGo - policy/value мрежи

45. Работен процес на научно изследване
1. Начална версия на модел и метода за трениране - baseline
2. Малки и изолирани промени
3. Дефиниране на очакваните резултати
4. Експерименти (тестове)
a. Бързи експерименти (малък брой вариации, <1 ден)
b. Широки експерименти (голям брой вариации, 1-30 дни)
5. Визуализиране и анализиране резултатите
6. Обясняване на резултатите и търсене на грешките навреме
7. Запазване и документиране на нови baselines

46. Визуализиране на резултати с IPython

47. Самообучение
● Основи линейна алгебра и анализ
● Книги:
a. Deep Learning, Goodfellow et al. 2016
b. Машинно обучение: C. Bishop, K. Murphy, Hastie and Tibshirani, и други
c. Reinforcement learning: R. Sutton
● Онлайн курсове и лекции:
d. Machine learning course, Andrew Ng (Coursera)
e. Machine learning lectures, Nando de Freitas (University of Oxford)
f. Reinforcement learning lectures, David Silver (UCL)

48. Самообучение - продължение...
● Статии:
○ Следване на новостите в arxiv и google (автори, катедри, компании, ...)
○ Конференции
■ NIPS - Neural Information Processing Systems
■ ICML - International Conference on Machine Learning
■ ICLR - International Conference on Learning Representations
● Експериментиране с последни модели от статии (github)
● Kaggle - успешни решения и практики

49. Хардуеър
● CPU - евтино и достатъчно бързи за non-CNN*
● GPU - изкючително бързи за CNN
● Специализирани - напр. Google TPU
● Локална машина - бързи експерименти
● Cloud - широки експерименти

50. Настояще и бъдеще
Deep learning вече революционира:
● Oбработка на изображения, видео, писмена и говорима реч
● Автономно управление на автомобили и дронове
● Автоматизация в маркетинг, продажби и доставки
● Здравеопазване
● Виртуални асистенти и чатботове
● Автоматизация и роботика

51. Автоматизация и роботика в Ocado Technology
Системи за контрол
Роботика
Маршрутизиращи системи
Машинно обучение CRM и SCM
Симулатори

52. Международни компании
shivonzilis.com

53. Thank you!
Ivaylo . popov @ hotmail . com
LinkedIn | Facebook