нейронні мережі

1. Лекция 7
РЕКУРРЕНТНЫЕ НС.
НС ГЛУБОКОГО ОБУЧЕНИЯ (DEEP LEARNING).

2. РЕКУРРЕНТНАЯ НЕЙРОННАЯ СЕТЬ
2
(Recurrent Neural Network, RNN) – это НС с элементами памяти (временной
задержки) на входе и в цепи обратной связи.
Уравнение НС ( 0,1,2,...):
k 
RNN TDNN

(Time Delay NN)
∆ ∆
НС
( )
X k ( )
Y k

3. НС ДЖОРДАНА (Jordan M., 1986)
3
– НС с обратными связями с выходного слоя нейронов.
Уравнение НС:
где – вектор размерности
составленный из
компонент вектора
– дискретное
время.
( ) ( ( ), ( 1)),
Y k F X k Y k
 
( )
Y k
,
M n

( );
Y k
0,1,2,...
k 
 ‒ элемент временной
задержки на 1 такт
…
…
…
…
∆
∆
…
…
( )
X k
( 1)
Y k 
1( )
x k
( )
m
x k
1( )
z k
( )
N
z k
1( )
y k
2( )
y k
( )
n
y k
( )
Y k
M контекстных
нейронов
( )
Y k

4. НС ЭЛМАНА (Elman J., 1990)
4
– НС с обратными связями с нейронов скрытого слоя.
Уравнение НС:
где – вектор размерности
составленный из
компонент вектора
– дискретное
время.
1
2
( ) ( ( ));
( ) ( ( ), ( 1),
Y k F Z k
Z k F X k Z k



  


( )
Z k
,
M n

( );
Z k
0,1,2,...
k 
 ‒ элемент временной
задержки на 1 такт
…
…
…
…
∆
∆
…
…
( )
X k
1( )
x k
( )
m
x k
1( )
z k
( )
N
z k
1( )
y k
2( )
y k
( )
n
y k
M контекстных
нейронов
( )
Y k
( 1)
Z k 
( )
Z k

5. ПРОГНОЗИРОВАНИЕ ВРЕМЕННЫХ РЯДОВ
5
Решение: НС-предиктор на базе персептрона
Количество нейронов:
Обучающая выборка:
k x(k) x(k–1) … x(k–L) d(k)
L x(L) x(L–1) … x(0) x(L+1)
L+1 x(L+1) x(L) … x(1) x(L+2)
… … … … … …
n–1 x(n–1) x(n–2) … x(n–L–1) x(n)
R n L
 
СКО:
2
( ) ( )
НС
k
E y k d k
 
 
 

Точность прогноза:
.
( ) ( 1)
100%
( 1)
НС
прогн
y n x n
x n

 
 

1; 1;
2
R
m L n N
L
 
     

 

6. ГЛУБОКОЕ ОБУЧЕНИЕ (Deep Learning)
6
– это набор алгоритмов машинного обучения, которые моделируют множество
уровней представления (абстракций) данных с использованием глубоких
(многомерных) НС.
2005-2006 гг. – «Глубинная революция» в ИИ:
• Йошуа Бенджио (Университет Монреаля, Канада) – Автоенкодеры;
• Ян ЛеКун (Facebook) – Сверточные НС;
• Джеффри Хинтон (Университет Торонто, Канада) – Ограниченная машина
Больцмана.
/ Глубокие НС = НС 3-го поколения /

7. ОСНОВНАЯ ИДЕЯ ГЛУБОКОГО ОБУЧЕНИЯ
7
2 этапа обучения:
1) Извлекается «глубинная» информация о внутренней структуре входных
данных (feature extraction);
2) Принимается решение о принадлежности входного вектора X
определенному классу (classification).
= / Аналогия с
человеческим
мозгом /

8. ГЛУБОКИЕ НС НА ОСНОВЕ АВТОЕНКОДЕРА
8
Автоенкодер (автокодировщик, autoencoder) – это НС, которая пытается
максимально приблизить значение выходного сигнала к входному, т.е.
наилучшим образом аппроксимировать тождественное преобразование.
Центральный скрытый слой («bottleneck») – выделяет
наиболее существенные признаки входного объекта (образа).
Цель обучения:
где X – входной вектор; Y –
выходной вектор; – малая
величина.
,
Y X 
 


9. АРХИТЕКТУРА СВЕРТОЧНОЙ НС
9

10. ОПЕРАЦИЯ СВЕРТКИ (Convolutional)
10
– ядро свертки
6 фильтров → 6 карт признаков
Каждая карта признаков имеет свое ядро свертки (свой фильтр).
( ) ( )
5 5
k k
ij
w w


( 1,2,...,6).
k 
5
( )
, 1
k
k ij ij
i j
V w x

 

11. СЛОЙ СУБДИСКРЕТИЗАЦИИ (Subsampling / pooling layer)
11
Цель: снижение размерности карт признаков.
Основные операции:
‒ max;
‒ усреднение.
Сверточный слой Слой субдискретизации

12. ВИЗУАЛИЗАЦИЯ СЛОЕВ СВЕРТОЧНОЙ
(иерархия признаков)
12

13. ЛИТЕРАТУРА
(по глубокому обучению)
13
1. Николенко С., Кадурин А., Архангельская Е. Глубокое обучение.
Погружение в мир нейронных сетей. – СПб.: Питер, 2019. – 480 с.
2. Траск Э. Грокаем глубокое обучение / Пер. с англ. – СПб.: Питер, 2019. –
352 с.
3. Головко В.А. От многослойных персептронов к нейронным сетям глубокого
доверия: парадигмы обучения и применения // Лекции по
нейроинформатике. – М., 2017. – С. 47-84.
4. Визильтер Ю.В. Глубокое обучение и глубокая оптимизация: современное
состояние и перспективы развития технологий ИИ // Семинар НИУ ВШЭ по
высокопроизводительным вычислениям. – М.: ГосНИИАС, 2020.
(Презентация / 80 слайдов).