Slides from the talk on UseData 2019 conference. Describes what happened in the NN architecture space in the last two years. Focus on production-ready things. Other interesting but more research-related topics (like Graph networks) are not covered here.

1. Modern Neural Net
Architectures /
Year 2019 version
Григорий Сапунов (CTO, Intento)

2. План доклада
• Recap: основные типы нейросетей
• Self-Attention и Трансформер
• Трансформер
• BERT, XLNet, GPT-2
• GAN
• Modern Sequence Learning
• Другие архитектурные улучшения
• Процедуры обучения

3. Recap: “классические” типы нейросетей

4. FNN: Feedforward Neural Network
Multilayer Perceptron (MLP) — классика FFN.
Хорошо работают для классификации, но
есть трудности:
● много параметров
● градиенты затухают в глубокой сети → трудно обучать

5. ResNet: Residual Network
Помогает сохранить градиенты в глубоких сетях.

6. СNN: Convolutional Neural Network
FNN сеть специального вида для работы с данными, имеющими
локальную структуру

7. RNN: Recurrent Neural Network
RNN имеют циклические связи в структуре сети, подходит для
работы с последовательностями.

8. LSTM/GRU: более хитрые RNN
http://kvitajakub.github.io/2016/04/14/rnn-diagrams
Позволяет выучивать более “длинные” закономерности, помогает
бороться с затуханием или взрывом градиентов.

9. http://karpathy.github.io/2015/05/21/rnn-effectiveness/
Последовательность как first-class citizen.
Sequence to Sequence Learning (seq2seq)

10. https://www.quora.com/What-is-an-Encoder-Decoder-in-Deep-Learning
Encoder-Decoder architecture
Классика работы с последовательностями разной длины.

11. Self-attention & Transformer

12. Проблемы архитектуры Encoder-Decoder
Энкодер кодирует всю входную последовательность в вектор
фиксированной длины (контекст) независимо от её размера.
Достаточен ли размер этого вектора? Одинаково ли хорош этот
вектор для каждого генерируемого выходного элемента?

13. Механизм внимания
Механизм внимания позволяет декодеру учитывать разные
элементы входной последовательности по-разному при генерации
каждого элемента выходной последовательности.
Мы даём модели возможность сформировать свой контекст для
каждой позиции.

14. Механизм внимания (soft attention)
http://en.diveintodeeplearning.org/chapter_natural-language-processing/attention.html

15. Внимание можно визуализировать
Neural Machine Translation by Jointly Learning to Align and Translate
https://arxiv.org/abs/1409.0473

16. Внимание можно визуализировать
Teaching Machines to Read and Comprehend, https://arxiv.org/abs/1506.03340

17. Self-attention (Intra-Attention)
Каждый элемент последовательности “принимает во внимание”
остальные элементы этой же последовательности.

18. All you need is...

19. https://arxiv.org/abs/1706.03762

20. Трансформер
Энкодер-декодер специального вида,
построенный на блоках attention без
использования RNN/CNN.
Основной компонент — multi-head self-attention.
Быстрые матричные операции, хорошее качество
на различных задачах (в первую очередь
машинный перевод).

22. Multi-head self-attention
По сути, просто несколько слоёв внимания,
производящие различные линейные
преобразования над входными данными и
составленные вместе.

23. Энкодер-декодер
http://jalammar.github.io/illustrated-transformer/

24. Вход
http://jalammar.github.io/illustrated-transformer/

25. Энкодер
http://jalammar.github.io/illustrated-transformer/

26. Более правдивый энкодер
http://jalammar.github.io/illustrated-transformer/

27. Более правдивый энкодер-декодер
http://jalammar.github.io/illustrated-transformer/

28. Пример визуализации (2 головы)

29. Энкодер-декодер в работе
http://jalammar.github.io/illustrated-transformer/

30. Transformer-XL
https://arxiv.org/abs/1901.02860
Модификация LM на обычном трансформере (декодере)
Добавляется возможность посмотреть на репрезентации
предыдущего сегмента → можно выучивать более длинные
зависимости.

31. Другие виды трансформеров
● Image Transformer
● Music Transformer
● Universal Transformer
● Transformer-XL
● Sparse Transformer
● ...

32. BERT
Bidirectional Encoder Representations from Transformers
Использует только энкодер трансформера.
Предобучается на больших массивах текстов, учитывая
для каждой позиции контекст слева и справа.
Можно взять предобученный BERT (представления из
него) и дообучить его под свою задачу (часто на небольшом
датасете).
Open Sourcing BERT: State-of-the-Art Pre-training for Natural Language Processing,
https://ai.googleblog.com/2018/11/open-sourcing-bert-state-of-art-pre.html

33. BERT vs. GPT vs. ELMo
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding,
https://arxiv.org/abs/1810.04805

34. BERT: masked language model
https://jalammar.github.io/illustrated-bert/

35. BERT: next sentence prediction (deprecated)
https://jalammar.github.io/illustrated-bert/

36. BERT: using fine-tuning approach
https://arxiv.org/abs/1810.04805

37. XLNet: Permutation Language Modeling
BERT — это, по сути, denoising autoencoder.
Он не учитывает взаимозависимость
маскируемых слов.
Традиционные LM не видят правый
контекст.
Как устранить проблемы этих методов?
Берём в качестве левого контекста
различные перестановки слов во всём
предложении.
XLNet = Transformer-XL + PLM
XLNet: Generalized Autoregressive Pretraining for Language Understanding
https://arxiv.org/abs/1906.08237

38. RoBERTa: A Robustly Optimized BERT
https://arxiv.org/abs/1907.11692
BERT был “недотюнен”.
Улучшения:
● Взять больше данных, тренировать дольше
● Next sentence prediction лишний
● Более длинные предложения
● Большие батчи
● Динамическое маскирование
Результат: state-of-the-art на 4 из 9 задачах в GLUE.

39. GPT-2
Языковая модель на декодере трансформера.
Умеет генерить продолжение текста. Настолько хорошо, что
OpenAI отказался её публиковать и устроил мощный PR.
Публикует понемногу, начиная с маленьких моделей.
Разные языковые модели на трансформерах можно попробовать
здесь: https://transformer.huggingface.co/
https://openai.com/blog/better-language-models/

40. GPT-2
http://jalammar.github.io/illustrated-gpt2/

41. GPT-2
http://jalammar.github.io/illustrated-gpt2/

42. GPT-2 / BERT / Transformer-XL
http://jalammar.github.io/illustrated-gpt2/

43. Language Model Zoo
● ELMo
● ULMFiT
● GPT
● BERT (BioBERT, ClinicalBERT, …)
● ERNIE
● XLNet
● KERMIT
● ERNIE 2.0
● GPT-2
● …
Готовые модели:
• https://github.com/huggingface/pytorch-transformers
• https://github.com/deepmipt/DeepPavlov

44. Generative Adversarial Networks (GANs)

45. AE & VAE (not a GAN, but ...)
http://kvfrans.com/variational-autoencoders-explained/

46. VAE: арифметика в латентном пространстве
https://www.manning.com/books/deep-learning-with-python

47. Классика для задач сегментации изображений.
U-Net: AE со skip-connections

48. GAN
https://arxiv.org/abs/1411.5928

49. https://github.com/hindupuravinash/the-gan-zoo

50. GAN rapid evolution
https://twitter.com/goodfellow_ian/status/1084973596236144640

51. Проблемы GAN
Одна из главных проблем — нестабильность процесса обучения.
Много трюков предназначены для решения этого класса проблем:
● Более хитрые loss-функции
● Различные процедуры нормализации и регуляризации
● Модификации процедуры обучения (например, на одну
итерацию обучения дискриминатора выполняем N итераций
обучения генератора)
● Модификации архитектуры нейросети (например, добавление
BatchNorm)
● Пример: “How to Train a GAN? Tips and tricks to make GANs
work”, https://github.com/soumith/ganhacks

52. DCGAN: deep convolutional GAN
https://arxiv.org/abs/1511.06434
● Генератор и дискриминатор становятся свёрточными
● Используется batch normalization

53. DCGAN: generated bedrooms
https://arxiv.org/abs/1511.06434

54. Арифметика в пространстве z
https://arxiv.org/abs/1511.06434

55. Progressive GAN (aka PGGAN, or ProGAN)
https://arxiv.org/abs/1710.10196
Постепенное наращивание разрешения в процессе обучения.

56. https://arxiv.org/abs/1710.10196

57. SGAN: Semi-Supervised GAN

58. SGAN: Semi-Supervised GAN
Improved Techniques for Training GANs
https://arxiv.org/abs/1606.03498
● Дискриминатор — мультиклассовый классификатор (N классов
объектов + 1 класс для real/fake, а не, как обычно, бинарный
real/fake)
● Здесь ценность не в обученном генераторе, а в обученном
дискриминаторе
● Позволяет обучаться на небольшом числе размеченных
примеров и большом — неразмеченных. GAN, по сути,
используется для задачи, похожей на multi-task learning.

59. CGAN: Conditional GAN
Conditional Generative Adversarial Nets
https://arxiv.org/abs/1411.1784
● Хочется иметь генератор, способный генерировать объекты
заданных классов

60. pix2pix: CGAN для целых изображений
Image-to-Image Translation with Conditional Adversarial Networks
https://arxiv.org/abs/1611.07004

61. pix2pix: CGAN для целых изображений
Image-to-Image Translation with Conditional Adversarial Networks
https://arxiv.org/abs/1611.07004
● Зачем GAN? Почему не свести к задаче supervised learning?
● Есть трудности с формулированием loss function, особенно под
специальные варианты трансляции.
● GAN позволяет использовать универсальный фреймворк без
“hand-engineering our loss functions”.
● GAN — это и есть обучаемая loss функция!
● Одна нейросеть используется в качестве loss функции для
обучения другой нейросети.

62. pix2pix: выбор loss-функции
Image-to-Image Translation with Conditional Adversarial Networks
https://arxiv.org/abs/1611.07004

63. pix2pix: CGAN для целых изображений
Image-to-Image Translation with Conditional Adversarial Networks
https://arxiv.org/abs/1611.07004
● Проблема: нужны пары изображений.
● В некоторых случаях пары можно получить или сгенерировать
(например, цветное→ч/б), но в других случаях это сделать
трудно или нельзя.
● Как перейти к задаче unpaired domain translation?

64. CycleGAN: Cycle-Consistent GAN
Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks
https://arxiv.org/abs/1703.10593
Как перейти к задаче unpaired domain translation?

65. CycleGAN: Cycle-Consistent GAN
Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks
https://arxiv.org/abs/1703.10593
Как перейти к задаче unpaired domain translation?
→ Хитрые функции потерь

66. CycleGAN: Cycle-Consistent GAN
Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks
https://arxiv.org/abs/1703.10593
Как перейти к задаче unpaired domain translation?
→ Хитрые функции потерь:
● Cycle-consistent loss: обеспечивает F(G(X)) ≈ X и наоборот.
● Identity loss: помогает сохранить цвет исходных
изображений.
● Adversarial loss: обеспечивает реалистичность картинки.

67. CycleGAN: Cycle-Consistent GAN
Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks
https://arxiv.org/abs/1703.10593

68. Но...
https://arxiv.org/abs/1712.02950

69. Но...
https://arxiv.org/abs/1712.02950

70. Будьте осторожны со своими желаниями!
Cycle-consistent loss делает ровно то, что его попросили.

71. StackGAN: Мультимодальный GAN
https://arxiv.org/abs/1612.03242

72. StackGAN: Мультимодальный GAN
StackGAN: Text to Photo-realistic Image Synthesis with Stacked Generative Adversarial Networks
https://arxiv.org/abs/1612.03242

73. SA-GAN: Self-attention GAN
При генерации изображений хочется учитывать дальние
зависимости (long-range dependencies), в то время как CNN
оперируют в основном локальными признаками.
В случае CNN локальная
структура может быть
непротиворечива, но
глобальная —
бессмысленна.

74. SA-GAN: Self-attention GAN
Self-Attention Generative Adversarial Networks
https://arxiv.org/abs/1805.08318
Специальный self-attention модуль + spectral normalization

75. SA-GAN: Пример применения
https://github.com/jantic/DeOldify

76. BigGAN: прогресс в качестве генерации
Large Scale GAN Training for High Fidelity Natural Image Synthesis,
https://arxiv.org/abs/1809.11096

77. BigGAN: особенности
Large Scale GAN Training for High Fidelity Natural Image Synthesis,
https://arxiv.org/abs/1809.11096
● SAGAN + class conditioning (CGAN)
● Более тяжёлая архитектура (больше каналов, 2-4x больше
параметров, 8x больше размер батча)
● Более мощное железо для обучения
● Различные улучшения и хаки в процессе обучения: Truncation
Trick, Spectral Normalization, ...

78. Но...
https://twitter.com/quasimondo/status/1065610256917692416

79. Свежие примеры: GauGAN/SPADE
Semantic Image Synthesis with Spatially-Adaptive Normalization
https://arxiv.org/abs/1903.07291, https://nvlabs.github.io/SPADE/demo.html

80. Свежие примеры: vid2vid
https://github.com/NVIDIA/vid2vid
Video-to-Video Synthesis: https://arxiv.org/abs/1808.06601

81. https://distill.pub/2019/gan-open-problems/

82. Modern Sequence Learning

83. Classical RNN Encoder-Decoder
Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation,
https://arxiv.org/abs/1609.08144

84. СNN+RNN character-level Encoder-Decoder
Fully Character-Level Neural Machine Translation without Explicit Segmentation,
https://arxiv.org/abs/1610.03017

85. CNN encoder
A Convolutional Encoder Model for Neural Machine Translation
https://arxiv.org/abs/1611.02344

86. CNN encoder + decoder
Convolutional Sequence to Sequence Learning
https://arxiv.org/abs/1705.03122

87. Modern seq2seq architectures
Why Self-Attention? A Targeted Evaluation of Neural Machine Translation Architectures,
https://arxiv.org/abs/1808.08946

88. Другие архитектурные улучшения

89. Separable Convolution
Xception: Deep Learning with Depthwise Separable Convolutions
https://arxiv.org/abs/1610.02357
model = Sequential()
model.add(SeparableConv2D(32, activation='relu', input_shape=(height, width, channels)))
model.add(SeparableConv2D(64, activation='relu'))
model.add(MaxPooling2D(2))
Separable conv =
Depthwise conv + Pointwise conv

90. Dynamic Convolutions
Pay Less Attention with Lightweight and Dynamic Convolutions
https://arxiv.org/abs/1901.10430

91. Обучение

92. Batch Normalization
https://arxiv.org/abs/1805.11604

93. Роль skip connections
Visualizing the Loss Landscape of Neural Nets
https://arxiv.org/abs/1712.09913, https://www.cs.umd.edu/~tomg/projects/landscapes/

94. Другие нормализации
https://research.fb.com/wp-content/uploads/2018/09/Group-Normalization.pdf
● Batch Renormalization
● Layer Normalization
● Instance Normalization
● Group Normalization
● Weight Normalization
● ...

95. CLR: Cyclical Learning Rate
Cyclical Learning Rates for Training Neural Networks
https://arxiv.org/abs/1506.01186, https://github.com/bckenstler/CLR

96. SGDR: SGD with Warm Restarts
SGDR: Stochastic Gradient Descent with Warm Restarts
https://arxiv.org/abs/1608.03983

97. Snapshot Ensembling
Snapshot Ensembles: Train 1, get M for free
https://arxiv.org/abs/1704.00109

98. Спасибо!