100 procent vývojářů to dělá zle. V 5 lidech jsme zabojovali a já po vyhodnocení zjistil, jak ve 3 krocích zdokonalit kteréhokoliv vývojáře.
Více na http://webexpo.cz/praha2012/prednaska/souboj-frameworku/
A few years ago, Domo created a wildly-popular infographic that catalogued how much data is created by common web services every minute. Since the internet landscape changes so quickly, we thought it would be interesting to revisit the topic and see what’s changed, through the same ‘one minute’ lens. Enjoy!
100 procent vývojářů to dělá zle. V 5 lidech jsme zabojovali a já po vyhodnocení zjistil, jak ve 3 krocích zdokonalit kteréhokoliv vývojáře.
Více na http://webexpo.cz/praha2012/prednaska/souboj-frameworku/
A few years ago, Domo created a wildly-popular infographic that catalogued how much data is created by common web services every minute. Since the internet landscape changes so quickly, we thought it would be interesting to revisit the topic and see what’s changed, through the same ‘one minute’ lens. Enjoy!
18. Àññîöèàòèâíàÿ ïàìÿòü è ñåòè Õîïôèëäà Äâóíàïðàâëåííàÿ àññîöèàòèâíàÿ ïàìÿòü
Îò íåéðîííûõ ñåòåé ê ñåòÿì Õîïôèëäà Ñõîäèìîñòü ñåòåé Õîïôèëäà
Äðóãèå çàìå÷àíèÿ î ñåòÿõ Õîïôèëäà
Äâóíàïðàâëåííàÿ àññîöèàòèâíàÿ ïàìÿòü
Åñëè â ïåðâîì ñëîå n ïåðöåïòðîíîâ, âî âòîðîì k , òî
ïîëó÷àåòñÿ ìàòðèöà âåñîâ W ðàçìåðîì n × k .
Íà âõîä ïîñòóïàåò âåêòîð x0 (ñòðîêà), êîòîðûé
ïðåîáðàçóåòñÿ â âåêòîð y0 .
Ìû áóäåì èñïîëüçîâàòü ëèíåéíûå ïåðöåïòðîíû ñ ëèìèòîì
àêòèâàöèè:
y0 = sgn(x0 W).
Ñåðãåé Íèêîëåíêî Ñåòè Õîïôèëäà
19. Àññîöèàòèâíàÿ ïàìÿòü è ñåòè Õîïôèëäà Äâóíàïðàâëåííàÿ àññîöèàòèâíàÿ ïàìÿòü
Îò íåéðîííûõ ñåòåé ê ñåòÿì Õîïôèëäà Ñõîäèìîñòü ñåòåé Õîïôèëäà
Äðóãèå çàìå÷àíèÿ î ñåòÿõ Õîïôèëäà
Äâóíàïðàâëåííàÿ àññîöèàòèâíàÿ ïàìÿòü
Ïîòîì y0 ïîäàþò íà âõîä; íîâûé øàã ïðîèñõîäèò êàê
x1 = sgn(Wy0 )
(ïîëó÷àåì èç âåêòîðà äëèíû k âåêòîð äëèíû n).
È òàê äàëåå; ïîëó÷àåòñÿ ïîñëåäîâàòåëüíîñòü ïàð (xi , yi ):
yi = sgn(xi W), xi +1 = sgn(Wyi ).
Ñåðãåé Íèêîëåíêî Ñåòè Õîïôèëäà
20. Àññîöèàòèâíàÿ ïàìÿòü è ñåòè Õîïôèëäà Äâóíàïðàâëåííàÿ àññîöèàòèâíàÿ ïàìÿòü
Îò íåéðîííûõ ñåòåé ê ñåòÿì Õîïôèëäà Ñõîäèìîñòü ñåòåé Õîïôèëäà
Äðóãèå çàìå÷àíèÿ î ñåòÿõ Õîïôèëäà
Äâóíàïðàâëåííàÿ àññîöèàòèâíàÿ ïàìÿòü
Âîïðîñ: ñîéä¼òñÿ ëè ïðîöåññ? Òî åñòü äîéä¼ì ëè ìû äî
âåêòîðîâ x è y:
y = sgn(xW), x = sgn(Wy ).
Åñëè äà, ïîëó÷èòñÿ àññîöèàòèâíàÿ ïàìÿòü: ìû äàëè îäèí
âåêòîð, à ïîòîì ïîñëå íåñêîëüêèõ èòåðàöèé ñåòü
¾âñïîìíèëà¿ äîïîëíèòåëüíûé ê íåìó âåêòîð, è íàîáîðîò.
Áîëåå òîãî, ñåòü âñïîìíèëà áû àññîöèàöèþ, äàæå åñëè áû
âåêòîð áûë íåìíîæêî íå òàêîé, êàê ðàíüøå âñ¼ ñîøëîñü
áû ê áëèæàéøåé ïàðå (x, y).
Ñåðãåé Íèêîëåíêî Ñåòè Õîïôèëäà
21. Àññîöèàòèâíàÿ ïàìÿòü è ñåòè Õîïôèëäà Äâóíàïðàâëåííàÿ àññîöèàòèâíàÿ ïàìÿòü
Îò íåéðîííûõ ñåòåé ê ñåòÿì Õîïôèëäà Ñõîäèìîñòü ñåòåé Õîïôèëäà
Äðóãèå çàìå÷àíèÿ î ñåòÿõ Õîïôèëäà
Äâóíàïðàâëåííàÿ àññîöèàòèâíàÿ ïàìÿòü
×òîáû îáó÷èòü BAM, ìîæíî èñïîëüçîâàòü õåááîâñêîå
îáó÷åíèå.
Êîãäà ìû õîòèì çàïîìíèòü âñåãî îäíó àññîöèàöèþ,
ìàòðèöà êîððåëÿöèé ìåæäó äâóìÿ âåêòîðàìè ýòî ïðîñòî
W = x y. Òîãäà
y = sgn(xW) = sgn(xx y) = sgn(||x||2 y) = y,
x = sgn(Wy ) = sgn(x yy ) = sgn(x ||y||2 ) = x .
Ñåðãåé Íèêîëåíêî Ñåòè Õîïôèëäà
22. Àññîöèàòèâíàÿ ïàìÿòü è ñåòè Õîïôèëäà Äâóíàïðàâëåííàÿ àññîöèàòèâíàÿ ïàìÿòü
Îò íåéðîííûõ ñåòåé ê ñåòÿì Õîïôèëäà Ñõîäèìîñòü ñåòåé Õîïôèëäà
Äðóãèå çàìå÷àíèÿ î ñåòÿõ Õîïôèëäà
Äâóíàïðàâëåííàÿ àññîöèàòèâíàÿ ïàìÿòü
Íî ìîæíî õðàíèòü è íåñêîëüêî àññîöèàöèé
(x1 , y1 ), . . . , (xm , ym ):
W = x1 y1 + . . . + xm ym .
Äëÿ ýòîãî ñëó÷àÿ áóäåò ëó÷øå, åñëè âåêòîðû xi è yi áóäóò
ìåæäó ñîáîé ïîïàðíî îðòîãîíàëüíû.
Ñåðãåé Íèêîëåíêî Ñåòè Õîïôèëäà
23. Àññîöèàòèâíàÿ ïàìÿòü è ñåòè Õîïôèëäà Äâóíàïðàâëåííàÿ àññîöèàòèâíàÿ ïàìÿòü
Îò íåéðîííûõ ñåòåé ê ñåòÿì Õîïôèëäà Ñõîäèìîñòü ñåòåé Õîïôèëäà
Äðóãèå çàìå÷àíèÿ î ñåòÿõ Õîïôèëäà
BAM è å¼ ôóíêöèÿ ýíåðãèè
Ðàññìîòðèì BAM ñî ñòàáèëüíûì ñîñòîÿíèåì (x, by ). Ìû
ñåé÷àñ â ïîëîæåíèè (x0 , y0 ).
Îïðåäåëèì âåêòîð âîçáóæäåíèé (excitation vector):
e = Wy0 .
Ïîëó÷àåòñÿ, ÷òî ñèñòåìà â ñòàáèëüíîì ñîñòîÿíèè, åñëè
sgn(e) = x0 .
Òî åñòü åñëè âåêòîð e äîñòàòî÷íî áëèçîê ê x0 .
Ñåðãåé Íèêîëåíêî Ñåòè Õîïôèëäà
24. Àññîöèàòèâíàÿ ïàìÿòü è ñåòè Õîïôèëäà Äâóíàïðàâëåííàÿ àññîöèàòèâíàÿ ïàìÿòü
Îò íåéðîííûõ ñåòåé ê ñåòÿì Õîïôèëäà Ñõîäèìîñòü ñåòåé Õîïôèëäà
Äðóãèå çàìå÷àíèÿ î ñåòÿõ Õîïôèëäà
BAM è å¼ ôóíêöèÿ ýíåðãèè
Çíà÷èò, ìîæíî ââåñòè ýíåðãèþ
E = −x0 e = −x0 Wy0 ,
è îíà áóäåò òåì ìåíüøå, ÷åì áëèæå e ê x0 .
E ïîëó÷àåòñÿ ìåðîé òîãî, íàñêîëüêî ìû áëèçêè ê
ñòàáèëüíîìó ñîñòîÿíèþ.
Ñåðãåé Íèêîëåíêî Ñåòè Õîïôèëäà
25. Àññîöèàòèâíàÿ ïàìÿòü è ñåòè Õîïôèëäà Äâóíàïðàâëåííàÿ àññîöèàòèâíàÿ ïàìÿòü
Îò íåéðîííûõ ñåòåé ê ñåòÿì Õîïôèëäà Ñõîäèìîñòü ñåòåé Õîïôèëäà
Äðóãèå çàìå÷àíèÿ î ñåòÿõ Õîïôèëäà
BAM è å¼ ôóíêöèÿ ýíåðãèè
Åñëè îáîáùèòü ýòî ïðîñòî íà BAM ñ ìàòðèöåé W, òî íà
øàãå (xi , yi ) ôóíêöèÿ ýíåðãèè îïðåäåëÿåòñÿ êàê
1
E (xi , yi ) = − xi Wyi .
2
1
2 ïðèãîäèòñÿ ïîçæå, ïðîñòî äëÿ óäîáñòâà.
Òåïåðü ìû ìîæåì äîêàçàòü, ÷òî BAM ðàíî èëè ïîçäíî
ñîéä¼òñÿ ê ñòàáèëüíîìó ñîñòîÿíèþ.
Ñåðãåé Íèêîëåíêî Ñåòè Õîïôèëäà
26. Àññîöèàòèâíàÿ ïàìÿòü è ñåòè Õîïôèëäà Äâóíàïðàâëåííàÿ àññîöèàòèâíàÿ ïàìÿòü
Îò íåéðîííûõ ñåòåé ê ñåòÿì Õîïôèëäà Ñõîäèìîñòü ñåòåé Õîïôèëäà
Äðóãèå çàìå÷àíèÿ î ñåòÿõ Õîïôèëäà
BAM è å¼ ôóíêöèÿ ýíåðãèè
Çàìåòèì, ÷òî E (x, by ) ìîæíî ïåðåïèñàòü â äâóõ ðàçíûõ
âèäàõ:
k n
1 1
E (x, y) = − ei yi = − gi xi ,
2 2
i =1 i =1
ãäå e = xW âîçáóæäåíèÿ íåéðîíîâ âòîðîãî ñëîÿ, à
g = Wy ïåðâîãî ñëîÿ.
Áóäåì ðàññìàòðèâàòü àñèíõðîííûå àïäåéòû: âî âðåìÿ t
ìû ñëó÷àéíî âûáèðàåì, êàêîé ïåðöåïòðîí ïåðåñ÷èòûâàòü.
Ñåðãåé Íèêîëåíêî Ñåòè Õîïôèëäà
27. Àññîöèàòèâíàÿ ïàìÿòü è ñåòè Õîïôèëäà Äâóíàïðàâëåííàÿ àññîöèàòèâíàÿ ïàìÿòü
Îò íåéðîííûõ ñåòåé ê ñåòÿì Õîïôèëäà Ñõîäèìîñòü ñåòåé Õîïôèëäà
Äðóãèå çàìå÷àíèÿ î ñåòÿõ Õîïôèëäà
BAM è å¼ ôóíêöèÿ ýíåðãèè
Ñîñòîÿíèå i -ãî ïåðöåïòðîíà ïåðâîãî ñëîÿ èçìåíèòñÿ,
òîëüêî åñëè gi è xi íå ñîâïàäàþò â çíàêå.
È â òàêîì ñëó÷àå xi çàìåíèòñÿ íà xi = sgn(gi ).
Ïîñêîëüêó îñòàëüíûå ïðè ýòîì àñèíõðîííîì àïäåéòå íå
ìåíÿþòñÿ, ýíåðãèÿ èçìåíÿåòñÿ êàê
1
E (x, y) − E (x , y) = − gi (xi − xi ) 0.
2
Çíà÷èò, ýíåðãèÿ óìåíüøàåòñÿ íà êàæäîì øàãå, à âñåãî
êîìáèíàöèé âîçìîæíûõ ñîñòîÿíèé êîíå÷íîå ÷èñëî.
Ñåðãåé Íèêîëåíêî Ñåòè Õîïôèëäà
28. Àññîöèàòèâíàÿ ïàìÿòü è ñåòè Õîïôèëäà Äâóíàïðàâëåííàÿ àññîöèàòèâíàÿ ïàìÿòü
Îò íåéðîííûõ ñåòåé ê ñåòÿì Õîïôèëäà Ñõîäèìîñòü ñåòåé Õîïôèëäà
Äðóãèå çàìå÷àíèÿ î ñåòÿõ Õîïôèëäà
Âàðèàöèîííûå ìåòîäû
 ñòàòôèçèêå ÷àñòî áûâàþò ðàñïðåäåëåíèÿ òèïà
1
p (x ) = e −βE (x ,J ) , ãäå, íàïðèìåð,
Z
1
E (x , J ) = − Jij xi xj − hi xi .
2
i ,j i
Ýòà E ôóíêöèÿ ýíåðãèè ñèñòåìû ýëåìåíòàðíûõ ÷àñòèö
ñî ñïèíàìè x .
Ñåðãåé Íèêîëåíêî Ñåòè Õîïôèëäà
29. Àññîöèàòèâíàÿ ïàìÿòü è ñåòè Õîïôèëäà Äâóíàïðàâëåííàÿ àññîöèàòèâíàÿ ïàìÿòü
Îò íåéðîííûõ ñåòåé ê ñåòÿì Õîïôèëäà Ñõîäèìîñòü ñåòåé Õîïôèëäà
Äðóãèå çàìå÷àíèÿ î ñåòÿõ Õîïôèëäà
Ïðèáëèæåíèå E
Êàê íàì îáðàáîòàòü òàêóþ ôóíêöèþ?
Áóäåì å¼ ïðèáëèæàòü áîëåå ïðîñòûì ðàñïðåäåëåíèåì:
1 i a i xi
Q (x , a) = e− .
Z
Êà÷åñòâî ïðèáëèæåíèÿ áóäåì îöåíèâàòü ïîñðåäñòâîì
âàðèàöèîííîé ñâîáîäíîé ýíåðãèè
~ Q (x , a)
βF = Q (x , a) ln .
x
e −βE (x ,J )
Ýòî íà ñàìîì äåëå ñðåäíÿÿ ýíåðãèÿ E ïî ðàñïðåäåëåíèþ Q
ìèíóñ ýíòðîïèÿ Q .
~
×åì áëèæå ïðèáëèæåíèå ê p , òåì ìåíüøå βF .
Ñåðãåé Íèêîëåíêî Ñåòè Õîïôèëäà
30. Àññîöèàòèâíàÿ ïàìÿòü è ñåòè Õîïôèëäà Äâóíàïðàâëåííàÿ àññîöèàòèâíàÿ ïàìÿòü
Îò íåéðîííûõ ñåòåé ê ñåòÿì Õîïôèëäà Ñõîäèìîñòü ñåòåé Õîïôèëäà
Äðóãèå çàìå÷àíèÿ î ñåòÿõ Õîïôèëäà
Ïðèáëèæåíèå E ÷åðåç Q : ýíòðîïèÿ
 íàøåì êîíêðåòíîì ñëó÷àå ýíòðîïèÿ Q ýòî ñóììà
ýíòðîïèé èíäèâèäóàëüíûõ ñïèíîâ
1 1 1
SQ = Q ln = H2 (qi ) = qi ln + (1 − q ) ln .
x
Q i i
q 1−q
Çäåñü qi âåðîÿòíîñòü òîãî, ÷òî ñïèí xi ðàâåí +1, òî åñòü
e ai 1
qi = ai + e −ai = 1 + e −2ai .
e
Ñåðãåé Íèêîëåíêî Ñåòè Õîïôèëäà
31. Àññîöèàòèâíàÿ ïàìÿòü è ñåòè Õîïôèëäà Äâóíàïðàâëåííàÿ àññîöèàòèâíàÿ ïàìÿòü
Îò íåéðîííûõ ñåòåé ê ñåòÿì Õîïôèëäà Ñõîäèìîñòü ñåòåé Õîïôèëäà
Äðóãèå çàìå÷àíèÿ î ñåòÿõ Õîïôèëäà
Ïðèáëèæåíèå E ÷åðåç Q : ñðåäíåå ïî Q
Ñðåäíåå ïî Q òîæå áóäåò äîñòàòî÷íî ïðîñòî ïîëó÷èòü:
1
Q (x , a)E (x , J ) = − Ji ,j xi xj −
hi xi ,
2
i i ,j i
ãäå xi = e aii −e −aii = tanh ai = 2qi − 1.
a −a
e +e
Óïðàæíåíèå. Äîêàçàòü ýòè ôîðìóëû. Ãëàâíîå òî, ÷òî xi è xj
â Jij xi xj íåçàâèñèìû.
Ñåðãåé Íèêîëåíêî Ñåòè Õîïôèëäà
32. Àññîöèàòèâíàÿ ïàìÿòü è ñåòè Õîïôèëäà Äâóíàïðàâëåííàÿ àññîöèàòèâíàÿ ïàìÿòü
Îò íåéðîííûõ ñåòåé ê ñåòÿì Õîïôèëäà Ñõîäèìîñòü ñåòåé Õîïôèëäà
Äðóãèå çàìå÷àíèÿ î ñåòÿõ Õîïôèëäà
Ìèíèìèçàöèÿ
Òåïåðü íàäî ìèíèìèçèðîâàòü âàðèàöèîííóþ ñâîáîäíóþ
ýíåðãèþ
~ 1
βF = β − Ji ,j xi xj −
hi xi −
H2 (qi ).
2
i ,j i i
Óïðàæíåíèå. Âçÿòü ÷àñòíûå ïðîèçâîäíûå è äîêàçàòü, ÷òî
ìèíèìóì äîñòèãàåòñÿ â
ak = β Jki xi + hk ,
xk = tanh ak .
i
Ñåðãåé Íèêîëåíêî Ñåòè Õîïôèëäà
33. Àññîöèàòèâíàÿ ïàìÿòü è ñåòè Õîïôèëäà Äâóíàïðàâëåííàÿ àññîöèàòèâíàÿ ïàìÿòü
Îò íåéðîííûõ ñåòåé ê ñåòÿì Õîïôèëäà Ñõîäèìîñòü ñåòåé Õîïôèëäà
Äðóãèå çàìå÷àíèÿ î ñåòÿõ Õîïôèëäà
Îò ìèíèìèçàöèè ê àëãîðèòìó
 ýòèõ óðàâíåíèÿõ ai âûðàæàþòñÿ ÷åðåç xi è íàîáîðîò.
Åñëè ïîëüçîâàòüñÿ èìè êàê èòåðàòèâíîé ïðîöåäóðîé, òî
~
βF áóäåò óìåíüøàòüñÿ.
Òàêàÿ ôóíêöèÿ íàçûâàåòñÿ ôóíêöèåé Ëÿïóíîâà. Åñëè
ôóíêöèÿ Ëÿïóíîâà åñòü, òî, çíà÷èò, äèíàìè÷åñêàÿ ñèñòåìà
òî÷íî ñõîäèòñÿ ê òî÷êå èëè öèêëó, íà êîòîðîì ôóíêöèÿ
Ëÿïóíîâà êîíñòàíòíà.
Ñåðãåé Íèêîëåíêî Ñåòè Õîïôèëäà
34. Àññîöèàòèâíàÿ ïàìÿòü è ñåòè Õîïôèëäà Äâóíàïðàâëåííàÿ àññîöèàòèâíàÿ ïàìÿòü
Îò íåéðîííûõ ñåòåé ê ñåòÿì Õîïôèëäà Ñõîäèìîñòü ñåòåé Õîïôèëäà
Äðóãèå çàìå÷àíèÿ î ñåòÿõ Õîïôèëäà
Ñåòè Õîïôèëäà
 ñåòÿõ Õîïôèëäà âñ¼ òî æå ñàìîå:
1 1 + xi
βF (x ) = −β x t Wx −
~ H2 .
2 2
i
Íî ýòî ñèëüíî çàâèñèò îò óñëîâèé çàäà÷è.
Óïðàæíåíèå.
1 Ïðèâåäèòå ïðèìåð ñåòè Õîïôèëäà ñ íåñèììåòðè÷íûìè
âåñàìè, êîòîðàÿ íå ñõîäèòñÿ ê îäíîìó ñîñòîÿíèþ.
2 Ïðèâåäèòå ïðèìåð ñåòè Õîïôèëäà ñ ñèíõðîííûìè
àïäåéòàìè, êîòîðàÿ íå ñõîäèòñÿ ê îäíîìó ñîñòîÿíèþ.
Ñåðãåé Íèêîëåíêî Ñåòè Õîïôèëäà
35. Àññîöèàòèâíàÿ ïàìÿòü è ñåòè Õîïôèëäà Âðåìÿ â ñåòÿõ Õîïôèëäà
Îò íåéðîííûõ ñåòåé ê ñåòÿì Õîïôèëäà Ïðèìåíåíèå ñåòåé Õîïôèëäà
Äðóãèå çàìå÷àíèÿ î ñåòÿõ Õîïôèëäà
Outline
1 Àññîöèàòèâíàÿ ïàìÿòü è ñåòè Õîïôèëäà
Àññîöèàòèâíàÿ ïàìÿòü
Îáó÷åíèå ïî Õåááó
Ñåòè Õîïôèëäà: îïðåäåëåíèÿ è îáó÷åíèå
2 Îò íåéðîííûõ ñåòåé ê ñåòÿì Õîïôèëäà
Äâóíàïðàâëåííàÿ àññîöèàòèâíàÿ ïàìÿòü
Ñõîäèìîñòü ñåòåé Õîïôèëäà
3 Äðóãèå çàìå÷àíèÿ î ñåòÿõ Õîïôèëäà
Âðåìÿ â ñåòÿõ Õîïôèëäà
Ïðèìåíåíèå ñåòåé Õîïôèëäà
Ñåðãåé Íèêîëåíêî Ñåòè Õîïôèëäà