Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Big Data e Deep Learning: verso una nuova generazione di programmi intelligenti

755 views

Published on

Simone Scardapane - Il deep learning rappresenta una nuova famiglia di tecniche data-driven, che stanno rapidamente aprendo nuovi orizzonti in quello che le macchine possono essere programmate a fare. In pochi anni, abbiamo visto macchine che si guidano da sole, reti neurali che analizzano immagini meglio e più velocemente degli umani, assistenti personali sui nostri smartphone, e molto altro. Fra false partenze e reali cambiamenti, cosa ci riserva il futuro? E, soprattutto, queste tecnologie sono alla portata di tutti? In questo talk daremo una panoramica di queste questioni e delle loro possibili risposte.

Published in: Technology
  • Be the first to comment

Big Data e Deep Learning: verso una nuova generazione di programmi intelligenti

  1. 1. Data Driven Innovation Open Summit (Roma, 21 Maggio 2016) Big Data e Deep Learning Simone Scardapane {simone.scardapane@uniroma1.it} Verso una nuova generazione di programmi intelligenti
  2. 2. Deep learning, in the press 05/06/2016 2 Big Data e Deep Learning IBM Pushes Deep Learning with a Watson Upgrade Technology Review, Jul. 09 2015 Google Just Open Sourced TensorFlow, Its Artificial Intelligence Engine Wired, Sep. 11 2015 Google Cloud Vision API Delivers Sophisticated Image Recognition Service To Developers Forbes, Dec. 03 2015 Microsoft releases CNTK, its open source deep learning toolkit, on GitHub Microsoft Blogs, Jan. 25 2016 Qualcomm's deep learning SDK will mean more AI on your smartphone The Verge, May 02 2016 Nvidia’s vision for deep learning AI: Is there anything a computer can’t do? Extremetech, Apr. 08 2016
  3. 3. Macchine che parlano? 05/06/2016 3 Big Data e Deep Learning http://googleresearch.blogspot.it/2014/11/a-picture-is-worth-thousand-coherent.html Vinyals, O., Toshev, A., Bengio, S., & Erhan, D. (2014). Show and tell: A neural image caption generator. arXiv preprint arXiv:1411.4555.
  4. 4. Machine learning
  5. 5. Un problema "banale" 05/06/2016 5 Big Data e Deep Learning Questa è un'anatra: Questa NON è un'anatra: Come si implementa?
  6. 6. Come rappresentare una persona? 05/06/2016 6 Big Data e Deep Learning Basso livello Alto livello Un computer vede una sequenza di pixels… … ma un umano "vede" altezza, peso, sesso…
  7. 7. La soluzione è nei dati 05/06/2016 7 Big Data e Deep Learning Microsoft, Google Beat Humans at Image Recognition
  8. 8. Estrazione di Feature 05/06/2016 8 Big Data e Deep Learning Dati Estrazione di Feature Classificazione
  9. 9. Rappresentare le immagini 05/06/2016 9 Big Data e Deep Learning http://www.research.att.com/projects/Video/VisualBiometrics/
  10. 10. Deep Neural Networks
  11. 11. Un'Ispirazione Biologica 05/06/2016 11 Big Data e Deep Learning Un elemento essenziale: strati multipli di elaborazione Urbanski, M., Coubard, O. A., & Bourlon, C. (2014). Visualizing the blind brain: brain imaging of visual field defects from early recovery to rehabilitation techniques. Frontiers in integrative neuroscience, 8.
  12. 12. Deep (Artificial) Networks 05/06/2016 12 Big Data e Deep Learning
  13. 13. Breve Storia delle Reti Neurali 05/06/2016 13 Big Data e Deep Learning • 1957: Frank Rosenblatt presenta il percettrone • Anni '70: "AI Winter" • Anni '80: la prima "rinascita" delle reti neurali • Parziale abbandono fino al 2000 • Dal 2006: deep networks, la seconda "rinascita"
  14. 14. Fattori Scatenanti 05/06/2016 14 Big Data e Deep Learning 1. Nuovi algoritmi per allenare reti con vari strati nascosti (inizializzazione unsupervised, ecc.). 2. Training set di svariati milioni di elementi ("big data"). 3. Grandi capacità computazionali: clusters, GPU, ecc.
  15. 15. Image Representation
  16. 16. Deep learning per immagini 05/06/2016 16 Big Data e Deep Learning
  17. 17. La GoogleNet 05/06/2016 17 Big Data e Deep Learning • Architettura con 1 miliardo di connessioni (9 strati). • Allenata tramite 10 milioni di immagini estratte da YouTube. • Hardware: 1000 computer per un totale di 16000 CPUs. • Nessuna classe di output predefinita: allenamento non supervisionato.
  18. 18. Il “neurone dei gatti” 05/06/2016 18 Big Data e Deep Learning Le, Q. V. (2013, May). Building high-level features using large scale unsupervised learning. In 2013 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), (pp. 8595-8598). IEEE.
  19. 19. Il “neurone dei gatti” (2) 05/06/2016 19 Big Data e Deep Learning
  20. 20. Strati di rappresentazione 05/06/2016 20 Big Data e Deep Learning LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep Learning. Nature, 521, 436-444.
  21. 21. Oggi (ieri?) 05/06/2016 21 Big Data e Deep Learning Large-scale Video Classification with Convolutional Neural Networks
  22. 22. Deep learning e GPU 05/06/2016 22 Big Data e Deep Learning
  23. 23. Cosa "vede" una deep network?
  24. 24. Deep dreams 05/06/2016 24 Big Data e Deep Learning The best images from Google's Deep Dream software
  25. 25. Stile e contenuto 05/06/2016 25 Big Data e Deep Learning Gatys, L. A., Ecker, A. S., & Bethge, M. (2015). A neural algorithm of artistic style. arXiv preprint arXiv:1508.06576.
  26. 26. 05/06/2016 26 Big Data e Deep Learning Qualche risultato
  27. 27. 05/06/2016 27 Big Data e Deep Learning Qualche risultato /2 Ruder, M., Dosovitskiy, A. & Brox, T. (2016). Artistic style transfer for videos. arXiv preprint arXiv:1604.08610.
  28. 28. Ingannare una rete neurale 05/06/2016 28 Big Data e Deep Learning Nguyen A, Yosinski J & Clune J. Deep Neural Networks are Easily Fooled: High Confidence Predictions for Unrecognizable Images. In Computer Vision and Pattern Recognition (CVPR ’15), IEEE, 2015.
  29. 29. Apprendimento con rinforzo
  30. 30. Dai pixel alle azioni 05/06/2016 30 Big Data e Deep Learning Mnih, V., Kavukcuoglu, K., Silver, D., Rusu, A. A., Veness, J., Bellemare, M. G., ... & Petersen, S. (2015). Human-level control through deep reinforcement learning. Nature, 518(7540), 529-533.
  31. 31. Dai pixel alle azioni /2 05/06/2016 31 Big Data e Deep Learning
  32. 32. Step 1 - Collecting data 05/06/2016 32 Big Data e Deep Learning http://googleresearch.blogspot.it/2016/03/deep-learning-for-robots- learning-from.html
  33. 33. Step 2 – Train the model 05/06/2016 33 Big Data e Deep Learning
  34. 34. Conclusione
  35. 35. A cosa servono i dati? 05/06/2016 35 Big Data e Deep Learning Possiamo usare questi dati per predire cosa scriveranno gli utenti? Swiftkey Releases Predictive Keyboard Built On A Neural Network
  36. 36. Riferimenti generali 05/06/2016 36 Big Data e Deep Learning Bengio, Y., Courville, A., & Vincent, P. (2013). Representation learning: A review and new perspectives. IEEE Transactions on Pattern Analysis and Machine Intelligence, 35(8), 1798-1828. Bengio, Y. (2009). Learning deep architectures for AI. Foundations and trends® in Machine Learning, 2(1), 1-127. LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep Learning. Nature, 521, 436-444. Schmidhuber, J. (2015). Deep learning in neural networks: An overview. Neural Networks, 61, 85-117. Schmidhuber, J. (2010). Formal theory of creativity, fun, and intrinsic motivation (1990–2010). IEEE Transactions on Autonomous Mental Development, 2(3), 230-247.
  37. 37. Copyright Immagini 05/06/2016 37 L'Apprendimento Automatico per la Rappresentazione della Conoscenza Titolo: All Rights Reserved: http://gureckislab.org/blog/?p=2648 Estrazione di Features: IconFinder, Devine Icons (Free for personal use) Come rappresentare una persona: http://pixshark.com/person-icon-png.htm Deep (Artificial) Networks: http://neuralnetworksanddeeplearning.com/chap1.html Deep learning per immagini: http://deeplearning.net/tutorial/lenet.html Deep learning per immagini (2): http://parse.ele.tue.nl/education/cluster2
  38. 38. Grazie per l’attenzione Domande?  “Don't blame you," said Marvin and counted five hundred and ninety-seven thousand million sheep before falling asleep again a second later.” [The Hitchhiker's Guide to the Galaxy]

×