SlideShare a Scribd company logo
1 of 54
Download to read offline
Нейронные сети
на практике
R&D, Azoft
rnd.azoft.com
План лекции
1. Однослойные нейронные сети
2. Многослойные нейронные сети
3. Свёрточные нейронные сети
4. Обучение свёрточной нейронной сети с Caffe
5. Современные нейронные сети и их применение
6. Современные библиотеки по deep learning
7. Трюки в обучении
8. Как развиваться в этой области
Однослойные нейронные сети
 Понятие биологического и искусственного
нейрона
 Однослойная нейронная сеть
Биологический нейрон
Искусственный нейрон
Сеть с одним скрытым слоем
Многослойные нейронные сети
 Применение и количество слоёв
 Подготовка данных для обучения
 Стохастический градиентный спуск
 Параметры обучения
 Выбор архитектуры
 Борьба с переобучением
Сеть с двумя скрытыми слоями
Сеть с тремя скрытыми слоями
Применение
Подготовка данных
 Разный диапазон данных
 Категориальные данные
 Пропуски в данных
Стохастический градиентный
спуск
Попадание в локальный
минимум
Важность параметра learning rate
Понятие momentum
Выбор метода оптимизации
 Nesterov momentum – популярный
 Adam – новый
Выбор количества нейронов
 Мало нейронов – глупая сеть
 Золотая середина
 Много нейронов - переобучение
Борьба с переобучением
 Хорошая и большая выборка
Без drop out
C drop out
Борьба с переобучением
 Weight decay. Добавляет пенальти на веса
нейронной сети
 Добавление шума и искажений при недостаточной
выборке
 Контроль за обучением. Остановка сети до начала
переобучения
Свёрточные нейронные сети
 Зрительная кора головного мозга человека в
сравнении со свёрточной нейронной сетью
 Что происходит в разных слоях свёрточной
нейронной сети
 Предобработка изображений
 Аугментация данных
Простые клетки зрительной коры
головного мозга
Сложные клетки зрительной
коры головного мозга
Визуализация первого слоя
свёрточной нейронной сети
Первый и второй слой. Градиенты, углы и
другие перепады в яркости/цветах.
Третий слой. Текстуры.
Четвертый и пятый слой. Фичи,
специфичные классу.
Предобработка изображений
 Ускорить обучение
 Улучшить плохую выборку
 Помочь сети в сложных задачах
Эквализация гистограммы
Автоуровни
PCA whitening
ZCA whitening
Усиление/ослабление
высоких/низких частот
Аугментация данных
Способы аугментации данных
 Соль и перец
 Резкость и размытие
 Повороты и перспективные искажения
 Масштабирование
 Сдвиги
 Эрозия и дилатация
 Зеркальные отражения
 Изменения яркости и контрастности
Полностью искусственный
датасет
 Не допускать пересечений в обучающей,
валидационной и тестовой выборках
Обучение CNN при помощи Caffe
 Выбор параметров обучения
 Выбор архитектуры
Параметры обучения
Выбор архитектуры. Выбор
входного слоя.
Conv + ReLU
Слой нормализации
Слой пулинга
Слой ошибки
Современные нейронные сети и
их применение
 Рекуррентные нейронные сети и lstm. Применяются в
natural language processing и speech recognition.
 Сиамские нейронные сети. Две нейронные сети
связывает один слой ошибки. Одно из применений для
распознавания классов, которые не были в обучающей
выборке.
 Свёрточные нейронные сети в генной инженирии.
 Свёрточные нейронные сети в natural language
processing
 Свёрточные нейронные сети в детекции объектов и для
попиксельная сегментация
 Свёрточные нейронные сети в одномерных сигналах.
Современные библиотеки по
deep learning
 Caffe
 theano
 lasagne
 torch
 TensorFlow от Google (новое)
Трюки в обучении
 Хирургия нейронных сетей
 Ансамбли
 Fractional max pooling
 Recurrent convolutional layers
 «Широкие» нейронные сети
Хирургия в CNN
Хорошие и плохие feature maps
Ансамбли
 Первый уровень. Несколько нейронных сетей.
 Второй уровень. Например Random Forest
Recurrent convolutional layers
«Широкие» нейронные сети
Как лучше развиваться в данной
области
 Вдоволь наэкспериментируйте с датасетами cifar-
10, mnist и другими.
 Не торопитесь, выжимайте максимум из каждого
шага, начиная от датасета, заканчивая полным
контролем сети во время обучения
 Делайте бредовые вещи.
 Постоянно пробуйте новые технологии
 Для распознавания изображений изучите
поподробнее computer vision в общем
 Изучите машинной обучение в общем
Спасибо за внимание!
R&D, Azoft
rnd.azoft.com

More Related Content

Viewers also liked

К.В. Воронцов "Нейронные сети (продолжение)"
К.В. Воронцов "Нейронные сети (продолжение)"К.В. Воронцов "Нейронные сети (продолжение)"
К.В. Воронцов "Нейронные сети (продолжение)"Yandex
 
Руководство по обучению сверточной нейронной сети для поиска ключевых точек о...
Руководство по обучению сверточной нейронной сети для поиска ключевых точек о...Руководство по обучению сверточной нейронной сети для поиска ключевых точек о...
Руководство по обучению сверточной нейронной сети для поиска ключевых точек о...Azoft
 
Искусственные нейронные сети
Искусственные нейронные сетиИскусственные нейронные сети
Искусственные нейронные сетиArtem Lukanin
 
Сверточные нейронные сети
Сверточные нейронные сетиСверточные нейронные сети
Сверточные нейронные сетиIvan Kavalerov
 
Машинное обучение для интеллектуализации ваших приложений
Машинное обучение  для интеллектуализации ваших приложенийМашинное обучение  для интеллектуализации ваших приложений
Машинное обучение для интеллектуализации ваших приложенийPAY2 YOU
 
Введение в искусственные нейронные сети
Введение в искусственные нейронные сетиВведение в искусственные нейронные сети
Введение в искусственные нейронные сетиIvan Miniailenko
 
Лекция №13 "Глубокие нейронные сети"
Лекция №13 "Глубокие нейронные сети" Лекция №13 "Глубокие нейронные сети"
Лекция №13 "Глубокие нейронные сети" Technosphere1
 
Deep learning: Тооцоолон бодох машиныг яаж зураг ойлгодог болгох вэ?
Deep learning: Тооцоолон бодох машиныг яаж зураг ойлгодог болгох вэ? Deep learning: Тооцоолон бодох машиныг яаж зураг ойлгодог болгох вэ?
Deep learning: Тооцоолон бодох машиныг яаж зураг ойлгодог болгох вэ? Bilgee Bayaraa
 
Prospects of Information Technologies
Prospects of Information TechnologiesProspects of Information Technologies
Prospects of Information TechnologiesDanila Medvedev
 
Андрей Фильченков - Погружение в глубокие нейронные сети за 20 минут - Muzis ...
Андрей Фильченков - Погружение в глубокие нейронные сети за 20 минут - Muzis ...Андрей Фильченков - Погружение в глубокие нейронные сети за 20 минут - Muzis ...
Андрей Фильченков - Погружение в глубокие нейронные сети за 20 минут - Muzis ...chatbotscommunity
 
Погружение в Deep Learning
Погружение в Deep LearningПогружение в Deep Learning
Погружение в Deep LearningDeepHackLab
 
Нейронные сети: практическое применение / Наталия Ефремова (NTechLab)
Нейронные сети: практическое применение / Наталия Ефремова (NTechLab)Нейронные сети: практическое применение / Наталия Ефремова (NTechLab)
Нейронные сети: практическое применение / Наталия Ефремова (NTechLab)Ontico
 

Viewers also liked (13)

К.В. Воронцов "Нейронные сети (продолжение)"
К.В. Воронцов "Нейронные сети (продолжение)"К.В. Воронцов "Нейронные сети (продолжение)"
К.В. Воронцов "Нейронные сети (продолжение)"
 
Руководство по обучению сверточной нейронной сети для поиска ключевых точек о...
Руководство по обучению сверточной нейронной сети для поиска ключевых точек о...Руководство по обучению сверточной нейронной сети для поиска ключевых точек о...
Руководство по обучению сверточной нейронной сети для поиска ключевых точек о...
 
Thankscap by looi
Thankscap by looiThankscap by looi
Thankscap by looi
 
Искусственные нейронные сети
Искусственные нейронные сетиИскусственные нейронные сети
Искусственные нейронные сети
 
Сверточные нейронные сети
Сверточные нейронные сетиСверточные нейронные сети
Сверточные нейронные сети
 
Машинное обучение для интеллектуализации ваших приложений
Машинное обучение  для интеллектуализации ваших приложенийМашинное обучение  для интеллектуализации ваших приложений
Машинное обучение для интеллектуализации ваших приложений
 
Введение в искусственные нейронные сети
Введение в искусственные нейронные сетиВведение в искусственные нейронные сети
Введение в искусственные нейронные сети
 
Лекция №13 "Глубокие нейронные сети"
Лекция №13 "Глубокие нейронные сети" Лекция №13 "Глубокие нейронные сети"
Лекция №13 "Глубокие нейронные сети"
 
Deep learning: Тооцоолон бодох машиныг яаж зураг ойлгодог болгох вэ?
Deep learning: Тооцоолон бодох машиныг яаж зураг ойлгодог болгох вэ? Deep learning: Тооцоолон бодох машиныг яаж зураг ойлгодог болгох вэ?
Deep learning: Тооцоолон бодох машиныг яаж зураг ойлгодог болгох вэ?
 
Prospects of Information Technologies
Prospects of Information TechnologiesProspects of Information Technologies
Prospects of Information Technologies
 
Андрей Фильченков - Погружение в глубокие нейронные сети за 20 минут - Muzis ...
Андрей Фильченков - Погружение в глубокие нейронные сети за 20 минут - Muzis ...Андрей Фильченков - Погружение в глубокие нейронные сети за 20 минут - Muzis ...
Андрей Фильченков - Погружение в глубокие нейронные сети за 20 минут - Muzis ...
 
Погружение в Deep Learning
Погружение в Deep LearningПогружение в Deep Learning
Погружение в Deep Learning
 
Нейронные сети: практическое применение / Наталия Ефремова (NTechLab)
Нейронные сети: практическое применение / Наталия Ефремова (NTechLab)Нейронные сети: практическое применение / Наталия Ефремова (NTechLab)
Нейронные сети: практическое применение / Наталия Ефремова (NTechLab)
 

Similar to Hейронные сети на практике — R&D, Azoft

Тестирование Нейронных сетей
Тестирование Нейронных сетейТестирование Нейронных сетей
Тестирование Нейронных сетейSQALab
 
Введение в архитектуры нейронных сетей / Григорий Сапунов (Intento)
Введение в архитектуры нейронных сетей / Григорий Сапунов (Intento)Введение в архитектуры нейронных сетей / Григорий Сапунов (Intento)
Введение в архитектуры нейронных сетей / Григорий Сапунов (Intento)Ontico
 
Deep Learning Course Introduction
Deep Learning Course IntroductionDeep Learning Course Introduction
Deep Learning Course IntroductionIhar Nestsiareania
 
Deep Learning and Convolutional Networks
Deep Learning and Convolutional NetworksDeep Learning and Convolutional Networks
Deep Learning and Convolutional NetworksAlignedResearch
 
якобовский - введение в параллельное программирование (2)
якобовский - введение в параллельное программирование (2)якобовский - введение в параллельное программирование (2)
якобовский - введение в параллельное программирование (2)Michael Karpov
 
Семинар ДНК 16/05/2014 Трошин
Семинар ДНК 16/05/2014 ТрошинСеминар ДНК 16/05/2014 Трошин
Семинар ДНК 16/05/2014 ТрошинRuslan Titov
 
Нейроморфный чип “Алтай” ориентированный на использование в РТК (ПСиЗУ 2016)
Нейроморфный чип “Алтай” ориентированный на использование в РТК (ПСиЗУ 2016)Нейроморфный чип “Алтай” ориентированный на использование в РТК (ПСиЗУ 2016)
Нейроморфный чип “Алтай” ориентированный на использование в РТК (ПСиЗУ 2016)motivnt
 
Доклад к защите кандидатской диссертации
Доклад к защите кандидатской диссертацииДоклад к защите кандидатской диссертации
Доклад к защите кандидатской диссертацииАндрей Гайнулин
 
Экзаменационные вопросы ит 4 курс 2011 год
Экзаменационные вопросы ит 4 курс 2011 годЭкзаменационные вопросы ит 4 курс 2011 год
Экзаменационные вопросы ит 4 курс 2011 годАлексей Боровской
 
Сборка генома: мифы и реальность. Доклад на пленарном заседании III Всероссий...
Сборка генома: мифы и реальность. Доклад на пленарном заседании III Всероссий...Сборка генома: мифы и реальность. Доклад на пленарном заседании III Всероссий...
Сборка генома: мифы и реальность. Доклад на пленарном заседании III Всероссий...Fedor Tsarev
 
Современные средства NLP в поисковых задач - Стачка 2017
Современные средства NLP в поисковых задач - Стачка 2017Современные средства NLP в поисковых задач - Стачка 2017
Современные средства NLP в поисковых задач - Стачка 2017Nikita Zhiltsov
 
Наталья Полковникова. Кардио ИИ. Построение системы распознавания коронарных ...
Наталья Полковникова. Кардио ИИ. Построение системы распознавания коронарных ...Наталья Полковникова. Кардио ИИ. Построение системы распознавания коронарных ...
Наталья Полковникова. Кардио ИИ. Построение системы распознавания коронарных ...Global Innovation Labs
 

Similar to Hейронные сети на практике — R&D, Azoft (20)

Тестирование Нейронных сетей
Тестирование Нейронных сетейТестирование Нейронных сетей
Тестирование Нейронных сетей
 
Введение в архитектуры нейронных сетей / Григорий Сапунов (Intento)
Введение в архитектуры нейронных сетей / Григорий Сапунов (Intento)Введение в архитектуры нейронных сетей / Григорий Сапунов (Intento)
Введение в архитектуры нейронных сетей / Григорий Сапунов (Intento)
 
Deep Learning Course Introduction
Deep Learning Course IntroductionDeep Learning Course Introduction
Deep Learning Course Introduction
 
37359 (1).pptx
37359 (1).pptx37359 (1).pptx
37359 (1).pptx
 
Deep Learning and Convolutional Networks
Deep Learning and Convolutional NetworksDeep Learning and Convolutional Networks
Deep Learning and Convolutional Networks
 
Pt1 nanopore
Pt1 nanoporePt1 nanopore
Pt1 nanopore
 
Nanopores sequencing
Nanopores sequencingNanopores sequencing
Nanopores sequencing
 
Нейросети
НейросетиНейросети
Нейросети
 
якобовский - введение в параллельное программирование (2)
якобовский - введение в параллельное программирование (2)якобовский - введение в параллельное программирование (2)
якобовский - введение в параллельное программирование (2)
 
Лекция 9
Лекция 9Лекция 9
Лекция 9
 
Лекция 1
Лекция 1Лекция 1
Лекция 1
 
Семинар ДНК 16/05/2014 Трошин
Семинар ДНК 16/05/2014 ТрошинСеминар ДНК 16/05/2014 Трошин
Семинар ДНК 16/05/2014 Трошин
 
Нейроморфный чип “Алтай” ориентированный на использование в РТК (ПСиЗУ 2016)
Нейроморфный чип “Алтай” ориентированный на использование в РТК (ПСиЗУ 2016)Нейроморфный чип “Алтай” ориентированный на использование в РТК (ПСиЗУ 2016)
Нейроморфный чип “Алтай” ориентированный на использование в РТК (ПСиЗУ 2016)
 
Ngs 2014 troshin
Ngs 2014 troshinNgs 2014 troshin
Ngs 2014 troshin
 
Доклад к защите кандидатской диссертации
Доклад к защите кандидатской диссертацииДоклад к защите кандидатской диссертации
Доклад к защите кандидатской диссертации
 
Ngs conf troshin_v4_vt
Ngs conf troshin_v4_vtNgs conf troshin_v4_vt
Ngs conf troshin_v4_vt
 
Экзаменационные вопросы ит 4 курс 2011 год
Экзаменационные вопросы ит 4 курс 2011 годЭкзаменационные вопросы ит 4 курс 2011 год
Экзаменационные вопросы ит 4 курс 2011 год
 
Сборка генома: мифы и реальность. Доклад на пленарном заседании III Всероссий...
Сборка генома: мифы и реальность. Доклад на пленарном заседании III Всероссий...Сборка генома: мифы и реальность. Доклад на пленарном заседании III Всероссий...
Сборка генома: мифы и реальность. Доклад на пленарном заседании III Всероссий...
 
Современные средства NLP в поисковых задач - Стачка 2017
Современные средства NLP в поисковых задач - Стачка 2017Современные средства NLP в поисковых задач - Стачка 2017
Современные средства NLP в поисковых задач - Стачка 2017
 
Наталья Полковникова. Кардио ИИ. Построение системы распознавания коронарных ...
Наталья Полковникова. Кардио ИИ. Построение системы распознавания коронарных ...Наталья Полковникова. Кардио ИИ. Построение системы распознавания коронарных ...
Наталья Полковникова. Кардио ИИ. Построение системы распознавания коронарных ...
 

Hейронные сети на практике — R&D, Azoft