This time, it's our experience with implementing artificial neural networks to some of our ongoing projects and research. Content in Polish.

1. SIECI NEURONOWE
WPROWADZENIE: TEORIA I PRAKTYKA

2. AGENDA SPOTKANIA
2
01 PERCEPTRON I SIEĆ PERCEPTRONOWA
02 DZIAŁANIE I UCZENIE SIECI NEURONOWEJ
03 SIECI W PRAKTYCE
04 PROBLEM DANYCH WEJŚCIOWYCH
05 ZASTOSOWANIE
06 WYDAJNOŚĆ I SKALOWALNOŚĆ
07 PROJEKTY REALIZOWANE W TUATARA

3. PERCEPTRON01
3
y =
0 𝑑𝑙𝑎
𝑖=1
𝑛
𝑤𝑖 𝑥𝑖 ≤ 𝑏
1 𝑑𝑙𝑎
𝑖=1
𝑛
𝑤𝑖 𝑥𝑖 > 𝑏
y
W2
b
xn
x2
x1
…
W1
Wn

4. KLASYFIKACJA ZBIORU01
4
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
0 0.1 0.2 0.3 0.4 0.5 0.6
y
W2
b
x2
x1
W1

5. SIEĆ PERCEPTRONOWA01
5
𝑤11
1
𝑤22
1
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8
𝑏1
1
𝑥1
𝑥2
𝑦
𝑏2
1
𝑏1
2

6. UCZENIE SIECI NEURONOWEJ02
6
1. Przygotowanie danych uczących w postaci zbioru wektorów cech wraz z ich klasyfikacją.
2. Znalezienie takich parametrów w i t dla każdego neuronu w sieci, aby uzyskać
jak najlepszą klasyfikację (jak to zrobić?).
• Jeden ze sposobów to metoda gradientu prostego.
1. Wybieramy losowe parametry początkowe w i t.
2. Klasyfikujemy przy ich pomocy zbiór wejściowy.
3. Wprowadzamy poprawki do w i t w zależności od popełnionych błędów.
4. Powtarzamy aż do uzyskania zadowalających wyników.

7. SPOSOBY UCZENIA02
7
Znany zbiór uczący
wraz z klasyfikacją
Proponowanie klasyfikacji
na bazie zbioru cech
Uczenie nadzorowane
Klasyfikacja danych wejściowych
z jednoczesnym „douczaniem” sieci
Uczenie przez wzmacnianie
Autoenkodery
Poprawianie jakości obrazu
Sieć Kohonena
Klasteryzjacja
Uczenie bez nadzoru

8. TENSORFLOW03
8
1. Otwarto-źródłowa biblioteka dla języka Python do obliczeń
numerycznych przy wykorzystaniu grafów przepływu
2. Elastyczna na tyle aby umożliwić zastosowanie
w wielu dziedzinach badań
3. W szczególności, wspiera budowanie sieci neuronowych.
4. Wsparcie GPU przy użyciu CUDA

9. KERAS03
9
1. Wysokopoziomowa biblioteka dla języka Python
służąca do budowania sieci neuronowych.
2. Wykorzystuje jeden z popularnych niskopoziomowych
API – TensorFlow, CNTK, Theano.
3. Szybkie prototypowanie rozwiązań.
4. Ograniczenia pod względem możliwości
(w porównaniu do TensorFlow).

10. BAZA MNIST04
10
1. Baza MNIST to zbiór odręcznie pisanych cyfr.
2. Zbiór 60 tysięcy obrazów o wymiarach 28 na 28 pikseli.

11. BAZA MNIST04
11
0,00
0,45
0,98
0,87
0,86
0,82
0,76
0,00
0,00
…
…
xn
x2
x1
NORMALIZACJA

12. PRZYGOTOWANIE DANYCH WEJŚCIOWYCH04
12
0,5121
0,6422
0,7231
0,2351
-0,1842
-0,4612
www.g***le.pl
www.ins***ram.com
www.ny***es.com
www.i**b.com
www.re***rs.com
0,96
0,00
0,62
0,21
0,74
0,00
…
xn
x2
x1
…
xn
x2
x1

13. PRZYGOTOWANIE DANYCH WEJŚCIOWYCH04
13
1. Aby rozwiązać pewien problem klasyfikacji przy pomocy sieci neuronowej
potrzeba zastanowić się nad reprezentacją danych wejściowych.
2. Dane wejściowe do sieci neuronowej muszą być reprezentowalne za pomocą wektora liczb (cech).
3. W przypadku obrazu możemy to osiągnąć przez zamianę obrazu na odcienie czerni i bieli.
4. Wykorzystanie jednego piksela jako wejścia do jednego neuronu bardzo szybko okazuje się zawodne
(rozdzielczość 420x320 to już 134400 pikseli!).
5. Dźwięk może być reprezentowany jako szereg czasowy.
6. Dla danej osoby można przyporządkować wektor określający częstość wchodzenia na daną stronę.
7. Cechy podawane do sieci neuronowej powinny być znormalizowane.
Nie powinno być sytuacji, że na jednej pozycji w wektorze wartości odbiegają od pozostałych.
8. Odpowiednia liczba danych wejściowych (dziesiątki tysięcy lub więcej).
9. Odpowiednia równowaga pomiędzy reprezentantami poszczególnych klas.

14. PROBLEMY KLASYFIKACJI05
14
1. Analiza dźwięku:
a) Rozpoznawanie osób.
b) Identyfikowanie sentymentu.
2. Analiza obrazu:
a) Identyfikowanie nie pożądanych zdjęć – filtr NSFW Yahoo.
b) Wykrywanie i unikanie zagrożeń podczas lotu dronem – DJI.
c) Wspomaganie kierowcy samochodu – Autopilot Tesli.
3. Analiza szeregów czasowych:
a) Identyfikacja anomalii na podstawie danych sensorycznych.
b) Wykrywanie oszustw na podstawie wzorców zachowania.
c) Rekomendacje utworów muzycznych czy wideo – eksperyment Spotify, rekomendacje Netflix, YouTube.
4. Analiza danych:
a) Diagnostyka medyczna.
b) Wykrywanie złośliwego oprogramowania – Deep Instinct.
c) Predykcja następnych instrukcji lub potrzebnych danych – Neural Net Prediction i Smart Pre-Fetch AMD.
d) Gra w go/szachy/starcrafta – Deep Mind Google.

15. PLATFORMA PRZYKŁADÓW/SEK WYDAJNOŚĆ/$
2x GTX 1080 TI 12486.5 7.80
GTX 1080 1780.0 2.19
GTX 1070 1733.1 3.85
2x Geforce TitanX 796.7 0.38
1x Geforce TitanX 550.1 0.53
I7-3770K & GTX 970 641.4 1.01
Xeon E5-2670 + 1 GPU 325.2 0.12
Xeon E5-2670 + 4 GPU 337.9 0.06
Tesla K40 350.0 0.16
SZYBKOŚĆ UCZENIA06
15

16. UCZENIE ROZPROSZONE06
16
1. Serwery klastra współdzielą parametry modelu,
wspólnie wypracowując poprawni bazując
na różnych danych.
2. Serwery klastra mają własne parametry modelu
i niezależną pętlę uczącą. Parametry modelu
są jedynie synchronizowane do PS.
PARAMETER SERVER
MODEL REPLICAS
DATA SHARDS

17. TENSORFLOW ON SPARK06
17
SPARK DRIVER
Spark Executor
TensorFlow Alg
TensorFlow Core
gRPC RDMA
Spark Executor
TensorFlow Alg
TensorFlow Core
gRPC RDMA
Spark Executor
TensorFlow Alg
TensorFlow Core
gRPC RDMA
Spark Executor
Parameter Server
TrensorFlow Core
gRPC RDMA
Data Set on HDFS ect.

18. DISTRIBUTED SERVING06
18
DATA LEARNER MODEL 2
CONTINUOUS TRANING PIPELINE SERVING
MODEL 1 MODEL 2 MODEL 1 TENSORFLOW SERVING
CLIENTS
Response
Request

19. SIECI NEURONOWE06
19
1. Zagadnienia przerabiane w tej prezentacji to
tylko wstęp do szerokiej dziedziny sieci
neuronowych.
Źródło: http://www.asimovinstitute.org/neural-network-zoo/

20. 07
20
PROJEKTY REALIZOWANE W TUATARA
SYSTEM ANTI-PIRACY
SYSTEM ANTI-PIRACY
Crawlery Analiza treści oraz video Prowadzenie sprawy
Przeszukiwanie
internetu oraz sieci
społecznościowych
Automatyczna kategoryzacja treści
ze wsparciem algorytmów
uczenia maszynowego
Automatyzacja procesu blokowania
nielegalnych treści
oraz prowadzenia spraw
02 0301

21. PIŁKA NOŻNA SIATKÓWKA INNE – POPRAWNIE ODRZUCONE
07
21
PREZENTACJA WYNIKÓW
PREZENTACJA WYNIKÓW
22

22. ODRZUCONE OGÓLNA KLASYFIKACJAJAKO SPORT
07
22
PREZENTACJA WYNIKÓW
PREZENTACJA WYNIKÓW
22

23. Enhanced
Customer
Profile Store
on Hadoop
Real-Time
Sentiment
Analysis using
custom trained
model
Real-Time
Sentiment
Analysis using
custom trained
model
Custom Sentiment
Analysis model
training using
Tensorflow library
Custom Emotion
Analysis model
training using
Tensorflow library
Custom Named
Entity Recognition
model training using
Tensorflow library
Real-Time
Sentiment
Analysis using
custom trained
model
Reporting, BI
and Campaign
Management
Systems
* **
Hadoop – HDP & HDF based services* Service detail description on slide 5,6,7 Services outside Big Data platform
UNDERSTANDING CUSTOMERS BETTER BY ADDING ADDITIONAL INSIGHT FROM CALL
CENTER RECORDING, EMAILS, SOCIAL MEDIA
07
MULTICHANNEL ANALYTICS OFFER
Media Data
Call Center data
(Audio etc.)
Social Media Data
Twitter
LinkedIn
Facebook
Instagram
YouTube
Blogs
Documents Data
Emails
CSV
Plain Text
(Weblogs,Clickstrea
ms, Agents notes,
Online Chat)
BIU Data
Call Profiles and
Transactions
Speech-to-Text
Social Data
Adapter based
on Apache NiFi
Unstructure
data retrleval
service using
Apache Tika
Structure data
retrleval
service using
Apache NiFi
Hadoop
Data
Lake
TRAINING PHASE
EXECUTION PHASE

24. WYKRYWANIE DANYCH WRAŻLIWYCH
07 GDPR – SENSID
LEKSYKON
TECHNOLOGIA
Aktualny leksykon przygotowaliśmy pod wymagania RODO, może zostać jednak rozszerzony.
Wykorzystuje zaawansowane technologie. Dzięki temu uzyskaliśmy
unikalną skuteczność i wydajność.

25. 07
25
GDPR – SENSID
PRZYKŁAD WYKRYWANIA ML/NLP
Od: xyz@domain.com,
Do: reklamacje@bank.com,
Temat: Rezygnacja z karty kredytowej
Dzień dobry, nazywam się Jan Kowalski. Jestem Państwa klientem. Do końca lipca będę się leczył
w szpitalu na nerki, a chciałbym jak najszybciej zrezygnować z rachunku bankowego 94 8792 0008
7674 2834 4363 1795 oraz związanej z nim karty kredytowej 4191 1870 2261 1608, dla
potwierdzenia podaję mój nr PESEL: 7505078934 i adres Nowa Wieś 34, 98-275 Brzeźnio.
….
PRZYKŁAD
Osoba: Jan Kowalski
Numer rachunku : 94 8792 0008 7674 2834 4363 1795
Numer karty: 4191 1870 2261 1608
Dane o zdrowiu: do końca lipca będę się leczył w szpitalu na nerki
Adres/Miejsce: Nowa Wieś 34
Adres/Miejsce: 98-275 Brzeźnio
email: xyz@domain.com
PESEL: 7505078934

26. BIBLIOGRAFIA
26
1. Michael A. Nielsen, Neural Networks and Deep Learning, Determination Press, 2015.
2. Tensorflow Playground, http://playground.tensorflow.org.
3. Tensorflow Benchmarks, https://github.com/tobigithub/tensorflow-deep-learning/wiki/tf-benchmarks.

27. TUATARA SP. Z O.O.
Aleje Jerozolimskie 132
02-305 Warszawa
Polska
+48 726 648 000
MARKETING@TUATARA.PL
TUATARA BUSINESS SOLUTIONS LLC
Knowledge Oasis Muscat
Rusayl Industrial Estate
Muscat P.O. Box 63-135 KOM 4
Sultanate of Oman
@TUATARA_PL
TUATARAPOLAND
@TUATARA.PL
E
M
S TWITTER
WWW. TUATARA.PL
S FACEBOOK
S INSTAGRAM
DZIĘKUJEMY