Download as PDF, PPTX
Uploaded byit-people
Что такое Transfer Learning, или как перестать бояться и начать использовать свёрточные нейронные сети, Руслан Талипов, findmeals.com
Документ представляет собой обсуждение применения transfer learning и свёрточных нейронных сетей (CNN) для классификации и обработки изображений. Освещаются проблемы, с которыми сталкиваются разработчики, такие как необходимость в больших наборах данных и навыках работы с GPU, а также описывается методика дообучения моделей на основе предварительно обученных слоев. В результате подчеркивается важность использования таких технологий для упрощения задач в области глубокого обучения.
More Related Content
Similar to Что такое Transfer Learning, или как перестать бояться и начать использовать свёрточные нейронные сети, Руслан Талипов, findmeals.com
Что такое Transfer Learning, или как перестать бояться и начать использовать свёрточные нейронные сети, Руслан Талипов, findmeals.com
- 1. Transfer Learning Как перестатьбояться и начать использовать сверхточные нейронные сети? Талипов Руслан findmeals.com
- 2. План • Кто мыи с какой проблемой столкнулись • Теоретические зарисовки о CNN • Наше решение
- 3. Покупайте продукты длярецептов
- 4. Специфика Покупатель принимает решение оценивая«по одёжке».
- 5.
- 6.
- 7.
- 8.
- 9. Векторное представление изображения • Помогаетклассифицировать • Помогает фильтровать контент
- 10.
- 11.
- 12. И как намего использовать?
- 13. Страшная правда • DeepLearning – BaseWord (Big Data, NoSQL, Growth Hacking) • Deep Learning = Нейронные сети. • Deep = Большое количество слоёв.
- 14.
- 15.
- 16.
- 17.
- 18.
- 19. Причины роста интереса Этимодели работают
- 20.
- 21.
- 22. Признаки сами посебе
- 23.
- 24. CNN • Convolutional NeuralNetwork = Свёрточная нейронная сеть
- 25. Задачи • Классификация изображений( Image Classification, какому классу принадлежит изображение) • Верификация изображений ( Image verification, изображено ли на картинках одно и тоже? ) • Поиск изображений ( image retrieval, поиск похожих картинок) • Всё остальное
- 26. Проблема при работес изображениями Признаки на входе = Пиксели. RGB пиксель – это 3 значения
- 27. Линейный классификатор на датасетеCIFAR-10 Распускаем RGB картинку 32х32х3 в 1 длинный вектор размерностью 3072. Оцениваем важность каждой координаты для классификации.
- 28. Составим из весов изображения СобакаЛягушка Лошадка Корабль Грузовик Самолёт Автомоб. Птица Котик Олень http://cs231n.github.io/linear-classify/
- 29. Недостатки • Не учитываетсоседство пикселей • Большая размерность • Неустойчив к изменениям фона и освещения, перекрытиям, деформациям, изменению угла обзора
- 30.
- 31.
- 32.
- 33. ILSVRC ImageNet • 1000классов по 1000 изображений в каждом • Несколько задач: – выявление объектов (классификация) – локализация объектов (указать где находится объект)
- 34.
- 35.
- 36. AlexNet 2012 2 GTX580 3GB GPUs 5 - 6 дней обучения 16.4% Top5 error papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf
- 37. VGG 2014 4 GTXTitan Black 2 - 3 недели обучения 7.3% Top5 error http://arxiv.org/pdf/1409.1556.pdf
- 38. GoogleNet 2014 Несколько TeslaK80 Долго 6.6% Top5 error http://www.cs.unc.edu/~wliu/papers/GoogLeNet.pdf
- 39. ResNet 2015 3.6% Top5error 2-3 Недели 8 Tesla K80 http://arxiv.org/pdf/1512.03385v1.pdf
- 40. !!!!!!!!!!!!!!!!! • Это КРУТО. •Но, у меня нет времени • Но, мои навыки разработки под GPU отстой • Но, у меня нет достаточного количества размеченных данных • Вот.
- 41. И ЧО? • Уменя другая задача. Мне не нужно отличать клеща от сухогруза.
- 42.
- 43.
- 44.
- 45.
- 46. Слои 4 и5 • > http://arxiv.org/pdf/1311.2901v3.pdf https://habrahabr.ru/company/nordavind/blog/253859/
- 47. Наблюдение • Признаки напервых слоях достаточно общие • Признаки на глубоких слоях более конкретные, но всё равно активны на различных изображениях • Классификатор обучается на признаках полученных с последнего сверхточного слоя.
- 48. Вопросы в голове… •Зачем обучать сеть с нуля, если в процессе обучения получаются аналогичные визуальные признаки? • Для разработки приложений мы используем фреймворки с готовыми компонентами… • Можем ли мы использовать обученные слои в качестве таких компонентов?
- 49. Transfer Learning • Берёмобученные слои хорошей модели • Добавляем их в свою модель • Обучаем получившегося гибрида (Fine-tune) • PROFIT
- 50. Transfer Learning Learning visualrepresentations - Andrea Vedaldi, University of Oxford https://events.yandex.ru/lib/talks/2793/
- 51. Признаки? • Для контролятребуется векторное представление изображения • Используем для этого признаки с глубоких слоёв сети.
- 52. Железки • 8 GBRAM • 1 TB HDD • GeForce GTX 960 2GB
- 53. Данные • Набор данныхFood-101 https://www.vision.ee.ethz.ch/datasets_extra/ food-101/ • 101 класс 1000 изображений в каждом
- 54. Архитектура модели http://www.robots.ox.ac.uk/~vgg/research/very_deep/ База VGG19 Не обучается 4096 101
- 55. Проблемы • Модели дляImageNet проектируются и обучаются для множества классов/примеров • Сложная модель на простой задаче с недостатком данных приводит к…
- 56. Переобучение • Аугментация данных (кропы224х224 с отражениями) • Нормализация (Dropout 0.6 - 0.8) • L1 и L2
- 57. Реализация • Python3.4, CUDA7.5 (cuDNN) • Theano (Базовые классы и функции) • Lasagne (Слои, Нелинейные функ., Методы оптимизации)
- 58.
- 59. Другие варианты • Caffe •TensorFlow • Torch • CNTK
- 60.
- 61.
- 62.
- 63.
- 64.
- 65.
- 66. Суши, Пицца, Салат,Оладья, Крылышки, Мороженое.
- 67. Суши, Пицца, Салат,Оладья, Крылышки, Мороженое.
- 68.
- 69. Выводы • Свёрточные сетиработают и могут повторно использоваться. • Чтобы не умереть от старости обучая сеть нужно использовать GPU • В мире Нейронных сетей только появляются инструменты такие как PHP в мире Web
- 70.
- 71.