Процедура двокрокового оновлення параметрів штучних нейронів з адаптивними активаційними функціями.pptx
1. Харківський національний університет радіоелектроніки
Кафедра ШІ
Сергій Костюк,
асп. гр. КНдфв-19-1
serhii.kostiuk@nure.ua
Харків 2022
Процедура двокрокового
оновлення параметрів штучних
нейронів з адаптивними
активаційними функціями
Є.В. Бодянський,
д.т.н., проф.
yevgeniy.bodyanskiy@nure.ua
2. Адаптивні активаційні функції
2
● z - вхідний сигнал;
● ρ - параметр амплітуди;
● ζ - параметр форми.
Процедура 2SPU для нейронів з адаптивними активаційними функціями
4. Класична процедура оновлення параметрів
4
ваги
амплітуда
форма
сігма-
функція
град.
похибки
град.
похибки
Процедура 2SPU для нейронів з адаптивними активаційними функціями
до поп.
шару
5. ● нова процедура;
● врахування особливостей
адаптивних функцій;
● підвищення швидкості та
якості навчання ШНМ;
● сумісність з глибокими ШНМ.
Мета роботи
5
Процедура 2SPU для нейронів з адаптивними активаційними функціями
7. Варіанти двокрокової процедури
7
Процедура 2SPU для нейронів з адаптивними активаційними функціями
# 2SPU-1 - один шар; після всіх MB.
for epoch in epochs:
for l in reverse(net.layers()):
for mb in minibatches:
l.train_aclu(mb)
for mb in minibatches:
l.train_non_aclu(mb)
# 2SPU-2 - всі шари; після всіх MB.
for epoch in epochs:
for mb in minibatches:
net.train_all_aclu(mb)
for mb in minibatches:
net.train_all_non_aclu(mb)
# 2SPU-3 - один шар; в кінці епохи.
for epoch in epochs:
for mb in minibatches:
for l in re-
verse(net.layers()):
l.train_aclu(mb)
l.train_non_aclu(mb)
# 2SPU-4 - всі шари; в кінці епохи.
for epoch in epochs:
for mb in minibatches:
net.train_all_aclu(mb)
net.train_all_non_aclu(mb)
8. Експериментальна оцінка
8
● датасет CIFAR-10;
● задача класифікації;
● 10 категорій;
● зображення 32x32x3;
● 60000 елементів;
● 100 епох.
Процедура 2SPU для нейронів з адаптивними активаційними функціями