1. Deep Learning: фреймворки
Константин Созыкин
Kazan Data Science MeetUp
14 июня 2017 г.
1/17

2. Содержание
Почему обучение глубокое?
Deep lerarning Фреймворки.
Мои проекты
2/17

3. Почему глубокое?
3/17

4. Фреймворки
4/17

5. Symbolic vs. Imperative Programs
Imperative подход
import numpy as np
a = np . ones (10)
b = np . ones (10) ∗ 2
c = b ∗ a
d = c + 1
Symbolic подход
A = V a r i a b l e ( ’A ’ )
B = V a r i a b l e ( ’B ’ )
C = B ∗ A
D = C + Constant (1)
# compiles the f u n c t i o n
f = compile (D)
d = f (A=np . ones (10) , B=np . ones (10) ∗2)
взято из http://mxnet.io/architecture/program_model.html#symbolic-vs-imperative-programs
5/17

6. Theano
+
гибкость, в т.к. в первую очередь это инструмент для
вычислений
производительность, при правильно использовании
-
долгая компиляция вычислительного графа.
не-простое низкоуровневое api
Кто использует - в основном исследователи
6/17

7. Tensorflow
+
большое коммьюнити
хорошая документация
наличие низко- и высоко-уровненных абстракции
поддержка нескольких gpu
-
медленнее чем theano
Кто использует: Google в своих продуктах, а так же
исследователи.
7/17

8. Keras
+
возможность выбора Theano или Tensorflow как backend
интуитивное API, хорошая документация много end-to-end
решений.
-
меньшая гибкость
Кто использует: Исследователи, участники соревнований
8/17

9. Lasagne
+
гибкость, несмотря на более высокий уровень абстракций
-
маленькое коммьюнити
Кто использует: Исследователи
9/17

10. Mxnet
+
от авторов Xgboost
высокая производительность и работа с памятью
очень много поддерживаемых языков кроме Python.
-
маленькое коммьюнити
Кто использует: Amazon
10/17

11. Caffe
+
ориентированность на визуальные задачи
распространенность в продакшене
скорость работы
можно тренировать модели без единой строчки кода
-
ориентированность на визуальные задачи
сложность в сборке ( настоящая боль ;) )
Недавно Facebook представил caffe2, который исправляет
указанные недостатки и добавляет новые возможности,
например ориентированность на мобильные платформы
Кто использует: Facebook
11/17

12. Torch
+
lua
императивный подход ( код чем-то похож на matlab или
octave)
очень много end-to-end решений, реализации разных
статей и т.д.
-
lua, хотя недавно появился идейный наследник PyTorch
слабая документация
Кто использует: Twitter, Facebook, исследователи
12/17

13. Туториалы для MNIST
KERAS https://elitedatascience.com/
keras-tutorial-deep-learning-in-python
TENSORFLOW
https://www.tensorflow.org/get_started/mnist/pros
MXNET http://mxnet.io/tutorials/python/mnist.html
13/17

14. Мои проекты и исследования
представлены только те, которые не касаются работы из
реализованных:
поиск лиц на изображении (theano + lasagne)
14/17

15. Мои проекты и исследования
распознавание событиый на записях хоккеный матчей
(keras + theano/tensorflow). Готовится публикация в IEEE
издание.
мультимодальный анализ видео, на примере игры
"мафия". (keras + theano/tensorflow)
15/17

16. Мои проекты и исследования
из текущих и будущих:
feature fusion для медицинских изображений
кое-какие идеи по обработке звука
...
16/17

17. Контакты
Все контакты можно найти тут
http://gogolgrind.github.io/
17/17