1. SIECI NEURONOWE
Robert Aranowski
Katedra Technologii Chemicznej
Wydział Chemiczny
Politechnika Gdańska
2. Budowa sieci neuronowych
Sieć neuronowa składa się z neuronów (w odniesieniu do
mózgu organizmów żywych oznacz to komórkę nerwową)
g g y y ę ą)
Jądro - "centrum obliczeniowe" neuronu. To tutaj
zachodzą procesy kluczowe dla funkcjonowania neuronu.
Akson - "wyjście" neuronu. Za jego pośrednictwem
neuron powiadamia ś świat zewnętrzny o swojej reakcji na
dane wejściowe. Neuron ma tylko jeden akson.
Wzgórek aksonu - stąd wysyłany jest sygnał
wyjściowy, który wędruje dalej poprzez akson.
Dendryt - "wejście" neuronu. Tędy trafiają do jądra
ś
sygnały mające być w nim później poddane obróbce.
Dendrytów może być wiele - biologiczne neurony mają
ich tysiące.
Synapsa - jeśli dendryt jest wejściem neuronu, to
śl d d ś
synapsa jest jego furtką. Może ona zmienić moc sygnału
napływającego poprzez dendryt.
Katedra Technologii Chemicznej
Politechnika Gdańska
3. Budowa sieci neuronowych – cd
cd.
Model neuronu składa się z dokładnie tych samych elementów co mózg
organizmów żywych.
Uproszczony schemat sieci neuronowych Katedra Technologii Chemicznej
Politechnika Gdańska
4. Budowa sieci neuronowych – cd
cd.
Wejścia to dendryty, lub ściślej: sygnały przez nie nadchodzące.
Wagi to cyfrowe odpowiedniki modyfikacji dokonywanych na
sygnałach przez synapsy.
Blok sumujący to odpowiednik jądra
Blok aktywacji to wzgórek aksonu
Katedra Technologii Chemicznej
Wyjście - to akson Politechnika Gdańska
5. Budowa sieci neuronowych – cd
cd.
Jeden neuron to też sieć -
j
jednoelementowa.
Aby jednak móc użyć sieci w jakimś
poważnym celu, trzeba użyć większej
ilości neuronów.
Neuron może mieć jeden lub więcej
dendrytów (a dla każdego po jednej
synapsie) i dokładnie jeden akson.
Neurony łączymy w prosty sposób:
układamy je warstwami – można
zbudować sieć o jednej, dwóch, lub
jednej dwóch
trzech warstwach, tworzenie większej
ilości warstw nie ma praktycznie sensu.
Neurony należące do danej warstwy
nie mają ze sobą żadnego kontaktu. Katedra Technologii Chemicznej
Politechnika Gdańska
6. Budowa sieci neuronowych – cd
cd.
Sieć wielowarstwowa nie jest dużo trudniejsza do zbudowania od
j
jednowarstwowej. Drugą warstwę tworzymy w ten sam sposób, co pierwszą.
j gą ę ą
Następnie łączymy obie warstwy. W najprostszym przypadku - każdy z każdym. A
dokładniej: aksony (wyjścia) neuronów warstwy poprzedniej łączą się z
dendrytami (wejściami) neuronów warstwy następnej.
Rozpatrzmy sieć dwuwarstwową mającą po trzy neurony w każdej warstwie.
Skoro łączymy neurony w systemie "każdy z każdym", to akson każdego neuronu
z pierwszej warstwy musi trafić do trzech różnych neuronów z drugiej warstwy. A
przecież akson jest jeden. Nic łatwiejszego - w biologicznym neuronie akson
rozwidla się w tzw. drzewko, którego poszczególne "gałęzie" trafiają do różnych
dendrytów. Podobnie jest w SSN. Ważne jest, iż mimo rozwidlenia sygnał
niesiony przez akson nie jest dzielony - do każdego neuronu docelowego trafia
taki sam sygnał, jaki wyszedł z neuronu macierzystego.
Katedra Technologii Chemicznej
Politechnika Gdańska
7. Budowa sieci neuronowych – cd
cd.
W sieci neuronowej można wyróżnić
jeszcze jedną warstwę - tzw. warstwę
wejściową. Służy ona do wstępnej
obróbki danych wejściowych. Na
wejściowych
wejście każdego neuronu pierwszej
warstwy trafia każdy z sygnałów
wejściowych, podanych przez
użytkownika.
użytkownika Neurony przetwarzają
sygnały wejściowe i podają poprzez
swoje wyjścia na wejścia neuronów
następnej warstwy. To, co pojawi się
na wyjściach neuronów warstwy
ostatniej (wyjściowej), jest wynikiem
działania sieci. Jeśli zatem na wejście
chcemy podać trzy sygnały, potrzebna
jest
j t nam d d tk
dodatkowa warstwa t
(wejściowa), która rozdzieli sygnały
wejściowe w taki sposób, aby każdy
neuron pierwszej warstwy otrzymał
pełen k
ł komplet d
l t danych.h
Katedra Technologii Chemicznej
Politechnika Gdańska
8. Budowa sieci neuronowych – cd
cd.
Warstwę wejściową pomija się podając ilość warstw sieci. Oznacza to, że
wyrażenie: "sieć jednowarstwowa oznacza de facto sieć dwuwarstwową,
sieć jednowarstwowa"
gdzie niejako "zerową" warstwą jest warstwa wejściowa, a dopiero po
niej następuje pierwsza.
Katedra Technologii Chemicznej
Politechnika Gdańska
9. Sieci rekurencyjne
W sieci jednokierunkowej
sygnały płyną od wejścia poprzez
warstwy ukryte do wyjścia. W
sieciach rekurencyjnych sygnały
mogą być zawracane do
poprzednich warstw sieci
(sprzężenia zwrotne).
Za i h pośrednictwem sygnały
ich ś d i ł
mogą po przejściu danej warstwy
wracać na jej wejście, zmieniając
przy tym swoje wartości, co
powtarza się wiele razy, aż do
osiągnięcia p
ąg ę pewnego stanu
g
ustalonego. Katedra Technologii Chemicznej
Politechnika Gdańska
10. Sposób działania sieci neuronowej
Na wejścia sieci trafiają sygnały wejściowe. Są to liczby opisujące zadanie, które
neuron ma rozwiązać. Każda z wag posiada pewną wartość. Sygnały są mnożone
przez wartości wag, wyniki mnożenia dodawane są do siebie w bloku sumującym
wag sumującym.
W ten sposób powstaje konkretna liczba, którą określa się jako potencjał
membranowy. Jest ona wysyłana do bloku aktywacji, gdzie może zostać
dodatkowo przetworzona Po ewentualnej operacji wykonanej w bloku aktywacji
przetworzona.
otrzymujemy gotową odpowiedź neuronu na sygnały wejściowe. Oto przykład z
pominięciem bloku aktywacji (za odpowiedź neuronu uznajemy potencjał
membranowy):
Katedra Technologii Chemicznej
Politechnika Gdańska
11. Sposób działania sieci neuronowej – cd
cd.
Blok aktywacji - jest pewną funkcją, której argumentem jest potencjał
membranowy. Innymi słowy: jeśli potencjał membranowy oznaczymy jako j,
odpowiedź, czyli wyjście neuronu jako y, a f k j aktywacji jako f, t operację
d i dź li jś i j k funkcję kt ji j k to j
wykonywaną w bloku aktywacji można zapisać tak:
y = f (j)
Odpowiedź neuronu zależy więc od tego, j k funkcją jest f. W powyższym
Od i dź l ż i dt jaką f k j j t ż
przykładzie pominięto zupełnie blok aktywacji, ponieważ przyjęto jako funkcję
aktywacji funkcją liniową postaci:
f (x) = x
lub:
f (j) = j
Zatem wartość f nkcji aktywacji, czyli odpowiedź ne on (f (j)), będzie miała
a tość funkcji akt acji c li odpo iedź neuronu (j)) będ ie
zawsze tę samą wartość, co potencjał membranowy (j). Neuron z taką funkcją
aktywacji nazywany jest neuronem liniowym.
Katedra Technologii Chemicznej
Politechnika Gdańska
12. Wagi
Wartości pewnych wejść będą bardziej istotne dla neuronu, niż innych.
Każde z wejść ma swoją wagę, czyli informację o tym, jak duże znaczenie
dla neuronu ma sygnał podany na to wejście. I tak: wartość wagi mała
co do wartości bezwzględnej znaczy, że dane wejście jest niezbyt ważne
dla neuronu. Duża wartość dodatnia oznacza, że dane wejście ma duże
neuronu oznacza
znaczenie "pozytywne", zaś duża co do wartości bezwzględnej wartość
ujemna to znak, iż wejście ma duże znaczenie "negatywne".
Katedra Technologii Chemicznej
Politechnika Gdańska
13. Wagi – cd
cd.
Wytłumaczę to na przykładzie. Przyjmijmy, że mamy neuron, który
"lubi"... samochody. Jako że jest to tylko prosty neuron, to potrafi ocenić
jedynie d i
j d i dwie cechy samochodu: czy jest on nowy i czy jest ł d
h h d j j ładny. Taki
T ki
neuron będzie miał dwa wejścia: jednym z nich wpłynie informacja o
wieku auta, zaś drugim - o jego "urodzie". Upodobania neuronu muszą
być odzwierciedlone przez wagi tych wejść.
WAGA "NOWY" WAGA "ŁADNY" Co to za neuron?
5 1 Lubi nowe samochody; ich wygląd mało się liczy.
1 -1 Wszystko mu jedno...
-5 4 Samochód musi być ładny, ale stary.
ó ć
4 5 Lubi nowe i piękne auta.
-4 -4 Ekstrawagancki neuron - lubi stare, brzydkie maszyny.
Katedra Technologii Chemicznej
Politechnika Gdańska
14. Neuron nieliniowy
Neuron oblicza swoje wyjście na podstawie
potencjału membranowego, czyli sumy ważonych
wejść. Ów p
j potencjał w bloku aktywacji jest
j y j j
przekształcany według pewnej funkcji zwanej
funkcją aktywacji neuronu. Jeśli funkcja
aktywacji jest liniowa, to wartość na wyjściu
neuronu jest równa jego potencjałowi
membranowemu.
Aby neuron (sieć neuronowa) był przydatny do
większej ilości zadań oraz bardziej odpowiadał
działaniu rzeczywistego, biologicznego neuronu,
trzeba zastosować w nim nieliniową funkcję
aktywacji. Jedna z prostszych funkcji stosowanych
w tym przypadku to tak zwana bipolarna funkcja
skoku jednostkowego.
Neuron w którym na wyjściu pojawiają się tylko
dwa rodzaje sygnałów: 1 (akceptacja) i -1
(odrzucenie) to perceptor, a d kł d i j - perceptr
( d i )t t dokładniej t
prosty. Służy on zazwyczaj do rozpoznawania Katedra Technologii Chemicznej
pewnych obiektów Politechnika Gdańska
15. Uogólnianie zdobytej wiedzy
Sieć nie uczy się obiektów "na pamięć", ale wychwytuje pewne ich
charakterystyczne cechy, dlatego zdolna jest rozpoznać obiekt podobny
do zadanego. Ta cecha sieci nazywa się zdolnością do uogólniania
zdobytej wiedzy.
Katedra Technologii Chemicznej
Politechnika Gdańska
16. Wybór struktury sieci neuronowej
Katedra Technologii Chemicznej
Politechnika Gdańska
