Downloaded 45 times
Uploaded byAzoft
Hейронные сети на практике — R&D, Azoft
Доклад охватывает основные темы нейронных сетей, включая однослойные и многослойные нейронные сети, свёрточные нейронные сети и методы их обучения, такие как стохастический градиентный спуск. Обсуждаются современные библиотеки для глубокого обучения, трюки в обучении и применение нейронных сетей в различных областях, таких как обработка изображений и естественный язык. Также даются рекомендации по развитию в этой области и экспериментированию с различными датасетами.
![[SuperSliv.biz] Как работают нейросети .pdf](https://cdn.slidesharecdn.com/ss_thumbnails/supersliv-250629200120-acab90ca-thumbnail.jpg?width=640&height=640&fit=bounds)
Hейронные сети на практике — R&D, Azoft
- 1. Нейронные сети на практике R&D,Azoft rnd.azoft.com
- 2. План лекции 1. Однослойныенейронные сети 2. Многослойные нейронные сети 3. Свёрточные нейронные сети 4. Обучение свёрточной нейронной сети с Caffe 5. Современные нейронные сети и их применение 6. Современные библиотеки по deep learning 7. Трюки в обучении 8. Как развиваться в этой области
- 3. Однослойные нейронные сети Понятие биологического и искусственного нейрона Однослойная нейронная сеть
- 4.
- 5.
- 6. Сеть с однимскрытым слоем
- 7. Многослойные нейронные сети Применение и количество слоёв Подготовка данных для обучения Стохастический градиентный спуск Параметры обучения Выбор архитектуры Борьба с переобучением
- 8. Сеть с двумяскрытыми слоями
- 9. Сеть с тремяскрытыми слоями
- 10.
- 11. Подготовка данных Разныйдиапазон данных Категориальные данные Пропуски в данных
- 12.
- 13.
- 14.
- 15.
- 16. Выбор метода оптимизации Nesterov momentum – популярный Adam – новый
- 17. Выбор количества нейронов Мало нейронов – глупая сеть Золотая середина Много нейронов - переобучение
- 18. Борьба с переобучением Хорошая и большая выборка
- 19.
- 20.
- 21. Борьба с переобучением Weight decay. Добавляет пенальти на веса нейронной сети Добавление шума и искажений при недостаточной выборке Контроль за обучением. Остановка сети до начала переобучения
- 22. Свёрточные нейронные сети Зрительная кора головного мозга человека в сравнении со свёрточной нейронной сетью Что происходит в разных слоях свёрточной нейронной сети Предобработка изображений Аугментация данных
- 23. Простые клетки зрительнойкоры головного мозга
- 24. Сложные клетки зрительной корыголовного мозга
- 25. Визуализация первого слоя свёрточнойнейронной сети
- 26. Первый и второйслой. Градиенты, углы и другие перепады в яркости/цветах.
- 27.
- 28. Четвертый и пятыйслой. Фичи, специфичные классу.
- 29. Предобработка изображений Ускоритьобучение Улучшить плохую выборку Помочь сети в сложных задачах
- 30.
- 31.
- 32.
- 33.
- 34.
- 35.
- 36. Способы аугментации данных Соль и перец Резкость и размытие Повороты и перспективные искажения Масштабирование Сдвиги Эрозия и дилатация Зеркальные отражения Изменения яркости и контрастности
- 37. Полностью искусственный датасет Недопускать пересечений в обучающей, валидационной и тестовой выборках
- 38. Обучение CNN припомощи Caffe Выбор параметров обучения Выбор архитектуры
- 39.
- 40.
- 41.
- 42.
- 43.
- 44.
- 45. Современные нейронные сетии их применение Рекуррентные нейронные сети и lstm. Применяются в natural language processing и speech recognition. Сиамские нейронные сети. Две нейронные сети связывает один слой ошибки. Одно из применений для распознавания классов, которые не были в обучающей выборке. Свёрточные нейронные сети в генной инженирии. Свёрточные нейронные сети в natural language processing Свёрточные нейронные сети в детекции объектов и для попиксельная сегментация Свёрточные нейронные сети в одномерных сигналах.
- 46. Современные библиотеки по deeplearning Caffe theano lasagne torch TensorFlow от Google (новое)
- 47. Трюки в обучении Хирургия нейронных сетей Ансамбли Fractional max pooling Recurrent convolutional layers «Широкие» нейронные сети
- 48.
- 49. Хорошие и плохиеfeature maps
- 50. Ансамбли Первый уровень.Несколько нейронных сетей. Второй уровень. Например Random Forest
- 51.
- 52.
- 53. Как лучше развиватьсяв данной области Вдоволь наэкспериментируйте с датасетами cifar- 10, mnist и другими. Не торопитесь, выжимайте максимум из каждого шага, начиная от датасета, заканчивая полным контролем сети во время обучения Делайте бредовые вещи. Постоянно пробуйте новые технологии Для распознавания изображений изучите поподробнее computer vision в общем Изучите машинной обучение в общем
- 54. Спасибо за внимание! R&D,Azoft rnd.azoft.com