Vsevolod Rodionov "Neural networks in js"

1. Нейронные сети на JS
ВСЕВОЛОД РОДИОНОВ (@JABHER)

3. Not in a very distant
code hosting not so
long ago

8. Javascipt
fatique

9. кто-то сделал
новый фреймворк
КОГДА В ТВИТТЕРЕ УЗНАЛИ, ЧТO

10. КАК JS ЗАХВАТИЛ МИР
ТИХАЯ РЕВОЛЮЦИЯ
Веб-серверы
Low-level
Интерфейсы
DevOps
Blockchain
Научные
инструменты

11. КАК JS ЗАХВАТИЛ МИР
ТИХАЯ РЕВОЛЮЦИЯ
Веб-серверы "Node is new Java"
Low-level
Интерфейсы
DevOps
Blockchain
Научные
инструменты

12. КАК JS ЗАХВАТИЛ МИР
ТИХАЯ РЕВОЛЮЦИЯ
Веб-серверы "Node is new Java"
Low-level Espruino/edison/raspberry
Интерфейсы
DevOps
Blockchain
Научные
инструменты

13. КАК JS ЗАХВАТИЛ МИР
ТИХАЯ РЕВОЛЮЦИЯ
Веб-серверы "Node is new Java"
Low-level Espruino/edison/raspberry
Интерфейсы ага
DevOps
Blockchain
Научные
инструменты

14. КАК JS ЗАХВАТИЛ МИР
ТИХАЯ РЕВОЛЮЦИЯ
Веб-серверы "Node is new Java"
Low-level Espruino/edison/raspberry
Интерфейсы ага
DevOps
успешная конкуренция:
микросервисы (now) и лямбды
Blockchain
Научные
инструменты

15. КАК JS ЗАХВАТИЛ МИР
ТИХАЯ РЕВОЛЮЦИЯ
Веб-серверы "Node is new Java"
Low-level Espruino/edison/raspberry
Интерфейсы ага
DevOps
успешная конкуренция:
микросервисы (now) и лямбды
Blockchain
Etherium работает на
JS + JS-alike typed language
Научные
инструменты

16. КАК JS ЗАХВАТИЛ МИР
ТИХАЯ РЕВОЛЮЦИЯ
Веб-серверы "Node is new Java"
Low-level Espruino/edison/raspberry
Интерфейсы ага
DevOps
успешная конкуренция:
микросервисы (now) и лямбды
Blockchain
Etherium работает на
JS + JS-alike Solidity
Научные
инструменты УПС

17. Я УВЕРЕН, ДЛЯ
ЭТОГО ЕСТЬ ПАКЕТ В
NPM
Любой JS-хипстер

18. нiт

19. data science is
new hype train

20. TEXT
WHO'S ON THE TRAIN
▸ Google
▸ Facebook
▸ Nvidia
▸ Tesla
▸ Microsoft
▸ Apple
▸ IBM

21. Не надо стоять
на пути
паравоза

22. НЕ ВСЕГДА ЛОГИКА ОПИСЫВАЕМА

23. function() {[native
code]}
НЕ ВСЕГДА ЛОГИКА ОПИСЫВАЕМА

24. Реальный мир -
это [native code]

25. a + b * x = y

26. a + b * x = y
рост = 100 + вес

27. a + b * x = y
рост = 100 + вес
с ошибкой в n%

29. Даннные важнее
алгоритмов

30. Даннные важнее
алгоритмов

31. Это все
про data flow

33. ReactiveX.io
/rxjs

34. Показывай
уже

35. ПОКАЗЫВАЙ УЖЕ
new Model([40, 128])
.pipe(new LSTM(128))
.pipe(new Dense(40))
.pipe(new Softmax())
.compile()

36. ПОКАЗЫВАЙ УЖЕ
new Model([40, 128])
.pipe(new LSTM(128))
.pipe(new Dense(40))
.pipe(new Softmax())
.compile()
:rxjs$Subject
<ndarray, ndarray>;

37. ПОКАЗЫВАЙ УЖЕ
model
.loss(new X_entropy())
.optimize(new SGD(.1))

38. ПОКАЗЫВАЙ УЖЕ
model
.loss(new X_entropy())
.optimize(new SGD(.1))
.compile()
:rxjs$Subject
<{in, expectedOut},
number>;

39. ГЕНЕРАЦИЯ ТЕКСТА
codec = new Codec(text);
input = new Subject()
.map(codec.encode);
stream = model
.compile(input)
.map(codec.decode);
stream.next('hell');'o'

40. ГЕНЕРАЦИЯ ТЕКСТА
stream.next('he');'l'

41. ГЕНЕРАЦИЯ ТЕКСТА
stream.next('he');'l'
stream.next('hel');'l'

42. ГЕНЕРАЦИЯ ТЕКСТА
stream.next('he');'l'
stream.next('hel');'l'
stream.next('hell');'o'

43. ГЕНЕРАЦИЯ ТЕКСТА
stream.next('h');'e'
stream.next('e');'l'
stream.next('l');'l'
stream.next('l');'o'

44. ГЕНЕРАЦИЯ ТЕКСТА

45. ГЕНЕРАЦИЯ ТЕКСТА

46. ГЕНЕРАЦИЯ ТЕКСТА

47. РАСПОЗНАВАНИЕ ИЗОБРАЖЕНИЙ
new Model([256, 256])
.pipe(
new Convolution2D(3, 3)
).pipe(
new Flatten()
).pipe(
new Sigmoid()
)

48. РАСПОЗНАВАНИЕ ИЗОБРАЖЕНИЙ

52. РАСПОЗНАВАНИЕ ИЗОБРАЖЕНИЙ

53. ГЕНЕРАЦИЯ ИЗОБРАЖЕНИЙ

54. ГЕНЕРАЦИЯ ИЗОБРАЖЕНИЙ

55. ГЕНЕРАЦИЯ ИЗОБРАЖЕНИЙ
Much deep
So wow
Very neural

56. ГЕНЕРАЦИЯ ИЗОБРАЖЕНИЙ

57. REENFORCEMENT LEARNING

58. REENFORCEMENT LEARNING

59. REENFORCEMENT LEARNING
To be done

60. КАК УЛУЧШИТЬ ОБУЧЕНИЕ
БОЛЬШЕ СЛОЕВ?

61. КАК УЛУЧШИТЬ ОБУЧЕНИЕ

62. КАК УЛУЧШИТЬ ОБУЧЕНИЕ

63. ПОКАЗЫВАЙ УЖЕ
model
.loss(new X_entropy())
.optimize(new SGD(.1))
.compile()
:rxjs$Subject
<{in, expectedOut},
number>;

64. КАК УЛУЧШИТЬ ОБУЧЕНИЕ
ОПТИМИЗАТОРЫ

65. ПРОБЛЕМЫ
НЕТ МОЩНЫХ РЕШЕНИЙ
▸ Synaptic 1 - только RNN/LSTM
▸ ConvnetJS - только Convolution
▸ Другие решения от Andrej Karpatny очень специфичны
▸ Brain.JS - нет computer science
▸ Keras.JS - только плеер
▸ MXnet - порт Asm.JS; довольно сложный в использовании
▸ NeuroJS - на самом деле вроде хорош, если не считать
отсутствия документации

67. Special thanks

68. Special thanks

69. github.com/floridajs
ВСЕВОЛОД РОДИОНОВ
WE@ARKTUR.IO