Документ обсуждает использование нейронных сетей, в частности автоэнкодеров и генеративных состязательных сетей (GAN), в задаче обработки изображений, включая удаление дефектов с фотографий котиков и генерацию изображений котов. Он включает технические детали о том, как строить и обучать автоэнкодеры с помощью Keras, а также области применения GAN в различных сферах. Дополнительно предоставлены ссылки на ресурсы и примеры данных для обучения моделей.

1. Python. Нейросети.
Keras.
Часть 2

2. Руденко Данил
Backend - разработчик
Немного GOlang
Немного Python (нейросети + аугментация данных)
Немного Embedded

3. Текущие задачи
- “Удаление” дефектов с фотографий котэ
- Генерирование котиков

4. Множество видов
нейронных сетей
- Автоэнкодеры, автокодировщики(Autoencoders)
- Генеративные состязательные сети,
порождающие соперничающие сети,
порождающие соревнующиеся сети (Generative
Adversarial Networks, GANs)

5. Dataset
Cats vs dogs:
https://www.kaggle.com/c/dogs-vs-cats
- Удалим собак из выборки
- Для обучения автоэнкодера преобразуем
к размерности: 224 X 224 X 3
- Для обучения GAN’а преобразуем к
размерности: 32 X 32 X 3
12 500 изображений котов

6. Keras

7. Jupyter Notebook и Anaconda

8. Anaconda

9. Jupyter
- Разработка
- Документирование
- Выполнение кода
- Сохранение кода
- Экспорт в HTML и PDF

10. Решим задачу
номер раз
(Убираем дефекты с фотографий котиков)

11. Автоэнкодеры(AE)
- Сети прямого распространения
- Скрытый слой(слои) - описывает
модель
- Старается восстановить входной
сигнал на выходе
- Учится создавать компактное
описание входных данных

12. Автоэнкодеры. Матан.
Энкодер - g и декодер - f .
Энкодер переводит входной сигнал в его представление(код): h = g(x), а декодер
восстанавливает сигнал по его коду: x = f(h) .
Автоэнкодер, изменяя f и g, стремится выучить тождественную функцию x =
f(g(x)), минимизируя функционал ошибки: L(x, f(g(x))).

13. Автоэнкодеры.
Keras.
input_img = Input(shape=(28, 28, 1))
encoding_dim = 49
flat_img = Flatten()(input_img)
encoded = Dense(encoding_dim, activation='relu')(flat_img)
input_encoded = Input(shape=(encoding_dim,))
flat_decoded = Dense(28*28, activation='sigmoid')(input_encoded)
decoded = Reshape((28, 28, 1))(flat_decoded)
encoder = Model(input_img, encoded, name="encoder")
decoder = Model(input_encoded, decoded, name="decoder")
autoencoder = Model(input_img, decoder(encoder(input_img)),
name="autoencoder")
decoded_imgs = decoder.predict(encoded_imgs, batch_size=n)
plot_digits(imgs, decoded_imgs)

14. Много видов
- Глубокий
- Разреженный
- Сжимающий
- Сверточный
- Шумоподавляющий
Keras blog: https://goo.gl/TSx1yb
Deep learning book: https://goo.gl/oHNZkM
Habr: https://goo.gl/P6J4sf

15. Конструирование своего автокодировщика
Сложные нелинейные закономерности - больше слоев
Пространственная инвариантность - свертка и пулинг
Убрать дефекты - шумоподавление

16. Шумоподавляющий(denoising) автоэнкодер
Получает на входе искаженные данные и обучается предсказывать истинные, неискаженные данные
Оригинал с дефектами 9 эпоха обучения 45 эпоха обучения 90 эпоха обучения

17. Решим задачу
номер два
(Посмотрим как можно нагенерировать котов)

18. Генеративно-состязательные сети
Оригинальная статья: https://goo.gl/7DkbGw

19. Идея

20. Генератор и дискриминатор
UpSampling2D - Keras (Transposed
convolution)
Оригинальная статья: https://goo.gl/y2Cnb1

21. Как это все работает?

22. Области применения
- Получение фотореалистичных изображений(дизайн одежды, сцены
компьютерных игр)
- Улучшение изображений(применение в астрономии)
- Подготовка кадров фильмов и мультипликации
- Аугментация изображений
- И многое другое...

23. Вопросы?