Техносфера Mail.ru Group, МГУ им. М.В. Ломоносова. Курс "Алгоритмы интеллектуальной обработки больших объемов данных", Лекция №8 "Методы снижения размерности пространства"
Лектор - Владимир Гулин
Проблема проклятия размерности. Отбор и выделение признаков. Методы выделения признаков (feature extraction). Метод главных компонент (PCA). Метод независимых компонент (ICA). Методы основанные на автоэнкодерах. Методы отбора признаков (feature selection). Методы основанные на взаимной корреляции признаков. Метод максимальной релевантность и минимальной избыточности (mRMR). Методы основанные на деревьях решений.
Видео лекции курса https://www.youtube.com/playlist?list=PLrCZzMib1e9pyyrqknouMZbIPf4l3CwUP
Основы машинного обучения, базовые понятия (например переобучение и способы его предотвращения), различные архитектуры сетей, и, в частности, сверточные сети. Так же рассмотрены методы оптимизации вычислений в подобных архитектурах: quantization, binary-net и другие.
Техносфера Mail.ru Group, МГУ им. М.В. Ломоносова. Курс "Алгоритмы интеллектуальной обработки больших объемов данных", Лекция №8 "Методы снижения размерности пространства"
Лектор - Владимир Гулин
Проблема проклятия размерности. Отбор и выделение признаков. Методы выделения признаков (feature extraction). Метод главных компонент (PCA). Метод независимых компонент (ICA). Методы основанные на автоэнкодерах. Методы отбора признаков (feature selection). Методы основанные на взаимной корреляции признаков. Метод максимальной релевантность и минимальной избыточности (mRMR). Методы основанные на деревьях решений.
Видео лекции курса https://www.youtube.com/playlist?list=PLrCZzMib1e9pyyrqknouMZbIPf4l3CwUP
Основы машинного обучения, базовые понятия (например переобучение и способы его предотвращения), различные архитектуры сетей, и, в частности, сверточные сети. Так же рассмотрены методы оптимизации вычислений в подобных архитектурах: quantization, binary-net и другие.
Лекция №12 "Ограниченная машина Больцмана" Technosphere1
Техносфера Mail.ru Group, МГУ им. М.В. Ломоносова. Курс "Алгоритмы интеллектуальной обработки больших объемов данных", Лекция №12 "Ограниченная машина Больцмана"
Лектор - Павел Нестеров
Нейросетейвой автоэнкодер. Стохастические и рекурентные нейронные сети. Машина Больцмана и ограниченная машина Больцмана. Распределение Гиббса. Алгоритм contrastive divergence для обучения РБМ. Сэмплирование данных из РБМ. Бинарная РБМ и гауссово-бинарная РБМ. Влияние регуляризации, нелинейное сжатие размерности, извлечение признаков. Semantic hashing.
Видео лекции курса https://www.youtube.com/playlist?list=PLrCZzMib1e9pyyrqknouMZbIPf4l3CwUP
РЕАЛИЗАЦИЯ РАДИАЛЬНО-БАЗИСНОЙ НЕЙРОННОЙ СЕТИ НА МАССИВНО-ПАРАЛЛЕЛЬНОЙ АРХИТЕК...ITMO University
Предлагается распараллеливание в технологии программно-аппаратной архитектуры (CUDA) алгоритма обучения радиально-базисной нейронной сети (RBFNN), основанного на идее последовательной настройки центров, ширины и весов сети, а также идее коррекции весов по алгоритму минимизации квадратичного функционала методом сопряженных градиентов. Приводятся результаты сравнения времени обучения RBFNN на различных центральных и графических процессорах, доказывающие эффективность распараллеливания.
Domain-тестирование – формальное название методики тестирования, за которым скрывается банальная работа с классами эквивалентности. Впрочем, не такая уж и банальная. Даже в популярной литературе по тестированию часто упоминают только о существовании классов эквивалентности и о том, что с их граничными значениями работать очень полезно.
Мы знакомимся с основами этой методики, когда делаем первые шаги в тестировании, и больше никогда о ней не задумываемся, наивно считая, что она попала в нашу зону неосознанной компетентности и мы всегда используем ее правильно. А так ли это?
Лекция №12 "Ограниченная машина Больцмана" Technosphere1
Техносфера Mail.ru Group, МГУ им. М.В. Ломоносова. Курс "Алгоритмы интеллектуальной обработки больших объемов данных", Лекция №12 "Ограниченная машина Больцмана"
Лектор - Павел Нестеров
Нейросетейвой автоэнкодер. Стохастические и рекурентные нейронные сети. Машина Больцмана и ограниченная машина Больцмана. Распределение Гиббса. Алгоритм contrastive divergence для обучения РБМ. Сэмплирование данных из РБМ. Бинарная РБМ и гауссово-бинарная РБМ. Влияние регуляризации, нелинейное сжатие размерности, извлечение признаков. Semantic hashing.
Видео лекции курса https://www.youtube.com/playlist?list=PLrCZzMib1e9pyyrqknouMZbIPf4l3CwUP
РЕАЛИЗАЦИЯ РАДИАЛЬНО-БАЗИСНОЙ НЕЙРОННОЙ СЕТИ НА МАССИВНО-ПАРАЛЛЕЛЬНОЙ АРХИТЕК...ITMO University
Предлагается распараллеливание в технологии программно-аппаратной архитектуры (CUDA) алгоритма обучения радиально-базисной нейронной сети (RBFNN), основанного на идее последовательной настройки центров, ширины и весов сети, а также идее коррекции весов по алгоритму минимизации квадратичного функционала методом сопряженных градиентов. Приводятся результаты сравнения времени обучения RBFNN на различных центральных и графических процессорах, доказывающие эффективность распараллеливания.
Domain-тестирование – формальное название методики тестирования, за которым скрывается банальная работа с классами эквивалентности. Впрочем, не такая уж и банальная. Даже в популярной литературе по тестированию часто упоминают только о существовании классов эквивалентности и о том, что с их граничными значениями работать очень полезно.
Мы знакомимся с основами этой методики, когда делаем первые шаги в тестировании, и больше никогда о ней не задумываемся, наивно считая, что она попала в нашу зону неосознанной компетентности и мы всегда используем ее правильно. А так ли это?
7. Режимы работы НС. Обучение Цель обучение - вычисление весов синаптических связей сети. Обучение проводится на примерах. Обучающая выборка: S={(x i ,d i )|i=1,2,…,N} . x i – входной вектор ; d i - вектор, определяющий класс входного вектора . Процесс обучения заключается в последовательном применении НС к векторам из обучающей выборки с одновременной коррекцией весов синаптических связей. Процесс обучения состоит из набора итераций, в рамках каждой из них сеть обучается на всех примерах из обучающей выборки.
8. Режимы работы НС. Обучение Пусть g i - выход НС для входного вектора x i . Смыслом алгоритма обучения является сравнение желаемого ( d i ) и реального ( g i ) выходов и корректировка всех весов в сети таким образом, чтобы новый выходной вектор для этого же входного вектора был «ближе» к желаемому, чем предыдущий. Критерий окончания процесса обучения - суммарная ошибка на всех примерах обучающей выборки должна быть меньше заданного порога. Проблемы, возникающие на этапе обучения: 1. Выбор алгоритма обучения. 2. Построение обучающей выборки. 3. Начальная инициализация весов. 4. Определение момента окончания процесса обучения.
9. Режимы работы НС. Функционирование НС Вход НС: вектор неизвестного класса. Проведение вычислений в нейронах внутренних слоев. Выход НС: вектор g , характеризующий класс входного вектора.
11. Однослойный персептрон. Линейная разделимость Однослойная НС позволяет решать задачи классификации, в которых образы линейно разделимы. Персептрон - модель МакКаллока-Питса с соответствующей стратегией обучения. 1 слой, где проводятся вычисления. Знак выражения определяет класс, к которому будет отнесена точка ( x 1 ,x 2 ) - разделяющая прямая.
12. Однослойный персептрон. Обучение. Бинарный нейрон: Обучающая выборка: ( x i ,d i ) Правило персептрона (обучение с учителем): 1. Если y совпадает с ожидаемым значением d , то веса не изменяются. 2. Если y =0, d =1, то 3. Если y =1, d =0, то Правило Видроу-Хоффа:
13. Обучение однослойной НС, состоящей из сигмоидальных нейронов Функция активации: Принцип обучения - минимизация целевой функции: d - желаемый выход y - реальный выход Метод обучения - градиентный спуск. - коэффициент обучения, выбирается из интервала (0,1).
14. Обучение однослойной НС, состоящей из сигмоидальных нейронов Обучающая выборка: S={(X i ,d i )|i=1,2,…,N} .
15. Обучение однослойной НС, состоящей из сигмоидальных нейронов Особенности сигмоидальной функции и функции гиперболического тангенса: сигмоида: гиперболический тангенс: Проблема градиентного метода - достижение локального минимума. Модификация градиентного метода обучения:
16. Обучение однослойной НС. Алгоритм ADALINE Однослойный персептрон. d - желаемый выход. y - реальный выход. - функция ошибки для градиентного спуска. Функция активации: Функция ошибки ADALINE: Значения весов являются точками минимума квадратичной функции.
17.
Editor's Notes
Форма функции регулирует степень усиления сигнала.
Общая схема алгоритма обучения
Проблемы с алгоритмом обучения персептрона: Необходимость линейной разделимости Алгоритм сойдется за конечное время Не доказано, что он быстрее полного перебора