1. Data Driven Innovation Open Summit (Roma, 21 Maggio 2016)
Big Data e Deep Learning
Simone Scardapane
{simone.scardapane@uniroma1.it}
Verso una nuova generazione di programmi intelligenti

2. Deep learning, in the press
05/06/2016
2
Big Data e Deep Learning
IBM Pushes Deep Learning with a Watson Upgrade
Technology Review, Jul. 09 2015
Google Just Open Sourced TensorFlow, Its Artificial Intelligence Engine
Wired, Sep. 11 2015
Google Cloud Vision API Delivers Sophisticated Image Recognition Service To
Developers
Forbes, Dec. 03 2015
Microsoft releases CNTK, its open source deep learning toolkit, on GitHub
Microsoft Blogs, Jan. 25 2016
Qualcomm's deep learning SDK will mean more AI on your smartphone
The Verge, May 02 2016
Nvidia’s vision for deep learning AI: Is there anything a computer can’t do?
Extremetech, Apr. 08 2016

3. Macchine che parlano?
05/06/2016
3
Big Data e Deep Learning
http://googleresearch.blogspot.it/2014/11/a-picture-is-worth-thousand-coherent.html
Vinyals, O., Toshev, A., Bengio, S., & Erhan, D. (2014). Show and tell: A neural image caption
generator. arXiv preprint arXiv:1411.4555.

4. Machine learning

5. Un problema "banale"
05/06/2016
5
Big Data e Deep Learning
Questa è
un'anatra:
Questa NON è
un'anatra:
Come si
implementa?

6. Come rappresentare una persona?
05/06/2016
6
Big Data e Deep Learning
Basso livello
Alto livello
Un computer vede una
sequenza di pixels…
… ma un umano "vede"
altezza, peso, sesso…

7. La soluzione è nei dati
05/06/2016
7
Big Data e Deep Learning
Microsoft, Google Beat Humans at Image Recognition

8. Estrazione di Feature
05/06/2016
8
Big Data e Deep Learning
Dati
Estrazione di
Feature
Classificazione

9. Rappresentare le immagini
05/06/2016
9
Big Data e Deep Learning
http://www.research.att.com/projects/Video/VisualBiometrics/

10. Deep Neural Networks

11. Un'Ispirazione Biologica
05/06/2016
11
Big Data e Deep Learning
Un elemento essenziale:
strati multipli di elaborazione
Urbanski, M., Coubard, O. A., & Bourlon, C. (2014). Visualizing the blind brain: brain imaging of visual field defects
from early recovery to rehabilitation techniques. Frontiers in integrative neuroscience, 8.

12. Deep (Artificial) Networks
05/06/2016
12
Big Data e Deep Learning

13. Breve Storia delle Reti Neurali
05/06/2016
13
Big Data e Deep Learning
• 1957: Frank Rosenblatt presenta il percettrone
• Anni '70: "AI Winter"
• Anni '80: la prima "rinascita" delle reti neurali
• Parziale abbandono fino al 2000
• Dal 2006: deep networks, la seconda "rinascita"

14. Fattori Scatenanti
05/06/2016
14
Big Data e Deep Learning
1. Nuovi algoritmi per allenare reti con vari strati
nascosti (inizializzazione unsupervised, ecc.).
2. Training set di svariati milioni di elementi ("big
data").
3. Grandi capacità computazionali: clusters, GPU,
ecc.

15. Image Representation

16. Deep learning per immagini
05/06/2016
16
Big Data e Deep Learning

17. La GoogleNet
05/06/2016
17
Big Data e Deep Learning
• Architettura con 1 miliardo di connessioni (9 strati).
• Allenata tramite 10 milioni di immagini estratte da
YouTube.
• Hardware: 1000 computer per un totale di 16000 CPUs.
• Nessuna classe di output predefinita: allenamento non
supervisionato.

18. Il “neurone dei gatti”
05/06/2016
18
Big Data e Deep Learning
Le, Q. V. (2013, May). Building high-level features using large scale unsupervised learning. In 2013 IEEE
International Conference on Acoustics, Speech and Signal Processing (ICASSP), (pp. 8595-8598). IEEE.

19. Il “neurone dei gatti” (2)
05/06/2016
19
Big Data e Deep Learning

20. Strati di rappresentazione
05/06/2016
20
Big Data e Deep Learning
LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep Learning. Nature, 521, 436-444.

21. Oggi (ieri?)
05/06/2016
21
Big Data e Deep Learning
Large-scale Video Classification with Convolutional Neural Networks

22. Deep learning e GPU
05/06/2016
22
Big Data e Deep Learning

23. Cosa "vede" una deep
network?

24. Deep dreams
05/06/2016
24
Big Data e Deep Learning
The best images from Google's
Deep Dream software

25. Stile e contenuto
05/06/2016
25
Big Data e Deep Learning
Gatys, L. A., Ecker, A. S., & Bethge, M. (2015). A neural algorithm of artistic style. arXiv preprint
arXiv:1508.06576.

26. 05/06/2016
26
Big Data e Deep Learning
Qualche risultato

27. 05/06/2016
27
Big Data e Deep Learning
Qualche risultato /2
Ruder, M., Dosovitskiy, A. & Brox, T. (2016). Artistic style transfer for videos. arXiv
preprint arXiv:1604.08610.

28. Ingannare una rete neurale
05/06/2016
28
Big Data e Deep Learning
Nguyen A, Yosinski J & Clune J. Deep Neural Networks are Easily Fooled: High Confidence Predictions for
Unrecognizable Images. In Computer Vision and Pattern Recognition (CVPR ’15), IEEE, 2015.

29. Apprendimento con
rinforzo

30. Dai pixel alle azioni
05/06/2016
30
Big Data e Deep Learning
Mnih, V., Kavukcuoglu, K., Silver, D., Rusu, A. A., Veness, J., Bellemare, M. G., ... & Petersen, S. (2015). Human-level control
through deep reinforcement learning. Nature, 518(7540), 529-533.

31. Dai pixel alle azioni /2
05/06/2016
31
Big Data e Deep Learning

32. Step 1 - Collecting data
05/06/2016
32
Big Data e Deep Learning
http://googleresearch.blogspot.it/2016/03/deep-learning-for-robots-
learning-from.html

33. Step 2 – Train the model
05/06/2016
33
Big Data e Deep Learning

34. Conclusione

35. A cosa servono i dati?
05/06/2016
35
Big Data e Deep Learning
Possiamo usare questi dati per predire cosa scriveranno gli utenti?
Swiftkey Releases Predictive Keyboard Built On A Neural Network

36. Riferimenti generali
05/06/2016
36
Big Data e Deep Learning
Bengio, Y., Courville, A., & Vincent, P. (2013). Representation learning: A review
and new perspectives. IEEE Transactions on Pattern Analysis and Machine
Intelligence, 35(8), 1798-1828.
Bengio, Y. (2009). Learning deep architectures for AI. Foundations and trends® in
Machine Learning, 2(1), 1-127.
LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep Learning. Nature, 521, 436-444.
Schmidhuber, J. (2015). Deep learning in neural networks: An overview. Neural
Networks, 61, 85-117.
Schmidhuber, J. (2010). Formal theory of creativity, fun, and intrinsic motivation
(1990–2010). IEEE Transactions on Autonomous Mental Development, 2(3), 230-247.

37. Copyright Immagini
05/06/2016
37
L'Apprendimento Automatico per la
Rappresentazione della Conoscenza
Titolo: All Rights Reserved: http://gureckislab.org/blog/?p=2648
Estrazione di Features: IconFinder, Devine Icons (Free for personal use)
Come rappresentare una persona: http://pixshark.com/person-icon-png.htm
Deep (Artificial) Networks: http://neuralnetworksanddeeplearning.com/chap1.html
Deep learning per immagini: http://deeplearning.net/tutorial/lenet.html
Deep learning per immagini (2): http://parse.ele.tue.nl/education/cluster2

38. Grazie per l’attenzione
Domande? 
“Don't blame you," said Marvin and counted five hundred and ninety-seven
thousand million sheep before falling asleep again a second later.”
[The Hitchhiker's Guide to the Galaxy]