В стенах Azoft прошла лекция по практическому применению нейронных сетей.
На лекции рассказывалось о типах нейронных сетей, способах и особенностях их обучения и практическом применении. В конце доклада ребята дали советы для тех, кто только хочет начать развиваться в этой сфере: какие задачи решать, с чем экспериментировать, на какие смежные области обратить особенное внимание.
Видеозапись лекции вы можете посмотреть на YouTube: https://youtu.be/gwf18CGJM5c
2. План лекции
1. Однослойные нейронные сети
2. Многослойные нейронные сети
3. Свёрточные нейронные сети
4. Обучение свёрточной нейронной сети с Caffe
5. Современные нейронные сети и их применение
6. Современные библиотеки по deep learning
7. Трюки в обучении
8. Как развиваться в этой области
7. Многослойные нейронные сети
Применение и количество слоёв
Подготовка данных для обучения
Стохастический градиентный спуск
Параметры обучения
Выбор архитектуры
Борьба с переобучением
21. Борьба с переобучением
Weight decay. Добавляет пенальти на веса
нейронной сети
Добавление шума и искажений при недостаточной
выборке
Контроль за обучением. Остановка сети до начала
переобучения
22. Свёрточные нейронные сети
Зрительная кора головного мозга человека в
сравнении со свёрточной нейронной сетью
Что происходит в разных слоях свёрточной
нейронной сети
Предобработка изображений
Аугментация данных
36. Способы аугментации данных
Соль и перец
Резкость и размытие
Повороты и перспективные искажения
Масштабирование
Сдвиги
Эрозия и дилатация
Зеркальные отражения
Изменения яркости и контрастности
45. Современные нейронные сети и
их применение
Рекуррентные нейронные сети и lstm. Применяются в
natural language processing и speech recognition.
Сиамские нейронные сети. Две нейронные сети
связывает один слой ошибки. Одно из применений для
распознавания классов, которые не были в обучающей
выборке.
Свёрточные нейронные сети в генной инженирии.
Свёрточные нейронные сети в natural language
processing
Свёрточные нейронные сети в детекции объектов и для
попиксельная сегментация
Свёрточные нейронные сети в одномерных сигналах.
53. Как лучше развиваться в данной
области
Вдоволь наэкспериментируйте с датасетами cifar-
10, mnist и другими.
Не торопитесь, выжимайте максимум из каждого
шага, начиная от датасета, заканчивая полным
контролем сети во время обучения
Делайте бредовые вещи.
Постоянно пробуйте новые технологии
Для распознавания изображений изучите
поподробнее computer vision в общем
Изучите машинной обучение в общем