Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

2012 11 01_machine_learning_lecture08

933 views

Published on

  • Be the first to comment

  • Be the first to like this

2012 11 01_machine_learning_lecture08

  1. 1. Нейронные сети И. Е. Кураленок ikuralenok@gmail.com
  2. 2. Нейронные сети: идея Основная идея: “давайте научим машину ’думать’ по тем же принципам, что работает центральная нервная система” Нейроны → Узлы Аксоны → Связи (топология) Синапс → Вес связи Дендрит → Функция активации
  3. 3. Нейронные сети: как это выглядит
  4. 4. Обучение нейронных сетей Как и в случае с генетикой, нейронные сети скорее язык описания решения, нежели местод обучения. Градиентные методы (когда производную легко взять → персептронные сети) регрессии (оптимизация) генеративные модели (графические модели) Минимизация функция энергии в заданых точках (сети Хопфилда) Смешанные (Bolzmann machine) EM etc.
  5. 5. Многоуровневые персептронные сети Персептронная сеть – это искуственная нейронная сеть обладающая свойствами: ацикличность функция активации – сигмойд tanh(x), 1 1+e −x , 1, wi x ≥ θ 0 or − 1, otherwise нейроны расположены слоями нейроны в слое не связаны между собой существуют связи только между нейронами, находящимися в соседних слоях связи направлены от нижних слоев к верхним
  6. 6. МПС: мат модель P = {W }L , K 1 y = K (WL K (WL−1 K (...K (W1 (x)))) По шагам: подаем сигнал x на входной уровень последовательно для каждого уровня применяем сумматор Wl и фунфцию активации K размерности Wl могут изменяться
  7. 7. МПС: обучение Метод коррекции ошибок с обратной передачей сигнала Зададим p1 , p2 , p3 и Посчитаем модель с текущими весами Назначим ошибкой выходных точек отклонение от искомого значения Er = R − r Для каждого элемента последнего внутреннего слоя Поставим Ei = 0 Для каждой связи элемента с выходным слоем Активен wij отличается от знака ошибки ⇒ добавить -1 с вероятностью p1 ; Не активен wij совпадает со знаком ошибки ⇒ добавить +1 с вероятностью p2 Не активен wij отличается от знака ошибки или 0 ⇒ добавить -1 с вероятностью p3 Если Ei = 0 ⇒ ко всем связям с элементом добавить ν = ai signEi Повторить для всех слоев, считая только что обработанный выходным
  8. 8. МПС: обучение Метод обратного распространения ошибки Функция активации гладкая. Зададим ν. H – целевая функция. Переход от уровня к уровню y l = s(W l y l−1 ), y 0 = x. Посчитаем модель с текущими весами l Честно посчитаем производную для каждого веса wij Для выходного слоя так: ∂H ∂s ∂yiL ∂wij L Для последнего скрытого слоя: ∂H ∂s ∂s t ∂ytL ∂yjL−1 L−1 ∂wij etc. Сходить против этой производной с шагом ν
  9. 9. МПС: обучение 1 2 Метод обратного распространения ошибки для H = 2 y −b и 1 s = 1+e − x Для выходного слоя так: ∂H ∂s = −yiL−1 yjL (1 − yjL )(yjL − b) ∂yiL ∂wij L Для последнего скрытого слоя: ∂H ∂s ∂s = yiL−2 yjL−1 (1−yjL−1 ) wjt ytL (1−ytL )(ytL −b) L t ∂ytL ∂yjL−1 L−1 ∂wij t etc.
  10. 10. Сеть Хопфилда (ассоциативная память) Свойства: Рекурентная Входные узлы == выходные == “думающие” Полносвязная Работает до сходимости (не детерминированно) Выглядит это так:
  11. 11. Сеть Хопфилда: Модель 1, wi x ≥ θi s(x) = 0, otherwise x(t + 1) = s (Wx(t)) Хотим, чтобы при t → ∞, при условии того, что начальная точка близка к одной из тренировочных xi , сетка сходилась бы к этой xi . Воспользуемся условием сходимости по Ляпунову. ∃V : V (x) ≥ 0 dV dt ≤ 0 V (x) = 0 ⇔ x(t) = 0 ⇒ Для нашей сети можно взять V = E = θT x − 1 x T Wx 2
  12. 12. Сеть Хопфилда: Обучение Чтобы E удовлетворяла условиям сходимости нужно: wij = wji wii = 0 А если мы хотим, чтобы сеть сходилась к набору точек xi , то в окрестности этих точек E должна соответствовать условиям. В частноти E (xi ) = 0 для всех xi из обучения.

×