Спецкурс Нейросети и их практическое применение. (Буряк Д.)

1. Лекция 2 . Однослойные НС.

2. Структура искусственного нейрона f(u) - активационная функция; f(u) - обычно нелинейная.

3. Бинарный нейрон - пороговая активационная функция.

4. Функции активации. Сигмоида Сигмоидальная ( S- образная) функция: параметр  выбирается пользователем.

5. Функции активации. Сигмоида Влияние параметра  на форму кривой. сигмоидальная функция превращается в пороговую. При

6. Функции активации. Гиперболический тангенс Функция гиперболический тангенс:

7. Режимы работы НС. Обучение Цель обучение - вычисление весов синаптических связей сети. Обучение проводится на примерах. Обучающая выборка: S={(x i ,d i )|i=1,2,…,N} . x i – входной вектор ; d i - вектор, определяющий класс входного вектора . Процесс обучения заключается в последовательном применении НС к векторам из обучающей выборки с одновременной коррекцией весов синаптических связей. Процесс обучения состоит из набора итераций, в рамках каждой из них сеть обучается на всех примерах из обучающей выборки.

8. Режимы работы НС. Обучение Пусть g i - выход НС для входного вектора x i . Смыслом алгоритма обучения является сравнение желаемого ( d i ) и реального ( g i ) выходов и корректировка всех весов в сети таким образом, чтобы новый выходной вектор для этого же входного вектора был «ближе» к желаемому, чем предыдущий. Критерий окончания процесса обучения - суммарная ошибка на всех примерах обучающей выборки должна быть меньше заданного порога. Проблемы, возникающие на этапе обучения: 1. Выбор алгоритма обучения. 2. Построение обучающей выборки. 3. Начальная инициализация весов. 4. Определение момента окончания процесса обучения.

9. Режимы работы НС. Функционирование НС Вход НС: вектор неизвестного класса. Проведение вычислений в нейронах внутренних слоев. Выход НС: вектор g , характеризующий класс входного вектора.

10. Задача классификации Рассмотрим множества точек на плоскости: Можно ли построить НС, классифицирующую точки из S 1 и S 2 ?

11. Однослойный персептрон. Линейная разделимость Однослойная НС позволяет решать задачи классификации, в которых образы линейно разделимы. Персептрон - модель МакКаллока-Питса с соответствующей стратегией обучения. 1 слой, где проводятся вычисления. Знак выражения определяет класс, к которому будет отнесена точка ( x 1 ,x 2 ) - разделяющая прямая.

12. Однослойный персептрон. Обучение. Бинарный нейрон: Обучающая выборка: ( x i ,d i ) Правило персептрона (обучение с учителем): 1. Если y совпадает с ожидаемым значением d , то веса не изменяются. 2. Если y =0, d =1, то 3. Если y =1, d =0, то Правило Видроу-Хоффа:

13. Обучение однослойной НС, состоящей из сигмоидальных нейронов Функция активации: Принцип обучения - минимизация целевой функции: d - желаемый выход y - реальный выход Метод обучения - градиентный спуск.  - коэффициент обучения, выбирается из интервала (0,1).

14. Обучение однослойной НС, состоящей из сигмоидальных нейронов Обучающая выборка: S={(X i ,d i )|i=1,2,…,N} .

15. Обучение однослойной НС, состоящей из сигмоидальных нейронов Особенности сигмоидальной функции и функции гиперболического тангенса: сигмоида: гиперболический тангенс: Проблема градиентного метода - достижение локального минимума. Модификация градиентного метода обучения:

16. Обучение однослойной НС. Алгоритм ADALINE Однослойный персептрон. d - желаемый выход. y - реальный выход. - функция ошибки для градиентного спуска. Функция активации: Функция ошибки ADALINE: Значения весов являются точками минимума квадратичной функции.