Made with love by Stefano Gatti
Big Data: opportunità o problema?
Un viaggio nel mondo dei dati1 Giugno 2016 – Polo Tecnologico Pavia
2
Il Viaggio
Qualche dato su di me
Big Data: incominciamo dalla semantica …
La risposta!
La tecnologia
I problemi
Il futuro non è più quello di una volta …
Gli algoritmi
I dati
I datascientist
Le opportunità: abilitatori & nuovi business
Qualche dato su di me …
4
Qualcosa su di me …
• Data-lover & blogger
• Agile organization & mindset supporter
• A knowledge sharing and open-culture passionate
• Co-founder of CoderDojo Voghera & Iria Geeks
• Head of Innovation & Data Sources in Cerved
• A runner or better an endurance sports lover
More about me …
@micio1970
http://it.linkedin.com/in/gattistefano/
st.gatti@gmail.com
My blog about data: https://agilebigdata.wordpress.com/
My website: http://www.stefanogatti.info/
Big data incominciamo
dalla semantica …
6
Big data …
«Big data è il termine usato per descrivere
una raccolta di dati così estesa in termini
di volume, velocità e varietà da richiedere
tecnologie e metodi analitici specifici per
l'estrazione di valore»
Fonte: wikipedia
7
Le tre V … anzi sei!
Veracity
Value
Viable
Volume
Velocity
V
a
r
i
e
t
y
8
Le tre V “classiche”:qualche numero
9
Le quattro direttrici del fenomeno “big data”
Approfondimenti: AgileBigData
Tecnologia Algoritmi
DatiUmano-organizzativa
Opportunità o Problema?
La risposta
11
Approfondimenti: Qui e Qui
I dati
13
Perchè tanti dati e quali?
Come si generano i «big data»?
#Web-data (Web 2.0)
#OpenData
#Internet Of Things
14
Web Data
Le persone creano i contenuti …
15
Open data
Le amministrazioni liberano i dati …
Fonti: Mckinsey : Open data: Unlocking innovation and performance with liquid information
Open data
I problemi degli Open Data oggi
Autorevolezza fonte
Frequenza di aggiornamento Problemi di qualità del dato
Troppi formati differenti
Approfondimenti: qui
Open data
Un’opportunità se sapremo unire …
Trasparenza e Civic Hacking Valore di business
18
Internet Of Things Data
E le cose «connesse» creano i dati …
La tecnologia
20
Fonte:http://pin.it/vwY6L_B
21
22
DataStorage nell’era dei big data: il ranking
Fonte: http://db-engines.com/en/
23
La “killer big data technology”: il map reduce
Fonte: DataScienceCentral
24
I trend nell’ambito della tecnologia “Big data”
#DataLake
#NoSQL
#GraphDatabase
#SQLinNoSQL
#NoSQLinSQL
#PolyglotPersistence
25
Il poliglottismo è già realtà …
Fonte: Dzone
Gli algoritmi
27
Big data economy
Cosa accomuna questi unicorni? Dati e tecnologia …
28
L’arrivo dell’algorithmic economy
L’evoluzione della Big data economy
29
Big Data & Algorithmic economy
L’evoluzione della Big data economy
«Co-fondatore del MIT Media Lab,
pioniere della human-machine
interaction e fra i data scientist più
importanti del mondo»
Sandy Pentland
Fonte: http://www.betterdecisions.it
30
I leader corrono veloce
E stanno cambiando il mondo
«La rete neurale è stata capace di riconoscere correttamente il 3.6% delle immagini a
livello stradale e il 10.1% per quanto riguarda le città, indicando inoltre la nazione di
provenienza per il 28.4% di esse, salendo al 48% per quanto riguarda il continente.»
Provate anche voi!
31
I leader corrono veloce
E stanno cambiando il mondo
32
I leader corrono veloce
E stanno cambiando il mondo
33
Algoritmi & Valore
A cosa servono i dati …
Fonte: DatascienceCentral
34
Trend di Algoritmi
Datascience is eating the world …
#Machine learning
#Unsupervised learning
#Network Analisys
#Deep learning
#Intelligenza artificiale
I datascientist
36
Chi sono I data-scientist?
The «sexiest» job of 21° century?
Immagine tratte da http://biwhiz.com/Who-is-a-Data-Scientist.html
Incrocio di competenze
Source: Drew Conway, Sept 2010.
37
Cosa fanno i data-scientist?
The «sexiest» job of 21° century?
#DataTelling
#DataIntelligence
38
Dove stanno nelle organizzazioni?
Esiste una risposta unica?
A rete con team in aree aziendali strategiche?
Abilitatori & nuovi business
40
Abilitatori e amplificatori dei “big data”
Non solo big data …
Per approfondimenti: qui
#FacilitanoIntegrazione
#FormatoLeggero
#DataMonetization
API
41
Abilitatori e amplificatori dei “big data”
Non solo big data …
Per approfondimenti: qui
#FacilitaSetUp
#FacilitaScalabilità
#RendeCostiVariabili
Cloud
42
Abilitatori e amplificatori dei “big data”
Non solo big data …
Per approfondimenti: qui
#AdatteAllaComplessità
#FacilitanoApprendimento
#MinimizzanoIcostiErrori
Metodologie Agili
© Jurgen Appelo, Creative Commons 3.0 BY http://www.management30.com/
Martie
43
Abilitatori e amplificatori dei “big data”
Non solo big data …
Per approfondimenti: qui
Decentralizzazione
1969
Arpanet
1993
Internet
Rete
distribuita
2004
Web 2.0
Contenuti
distribuiti
2008
Hadoop
Computazione
distribuita
2009
BitCoin -
Blockchain
Transazioni
distribuite
44
Nuovi Mercati
Il dato ovunque … ed è la colla tra materiale e immateriale
#InternetOfThings
#DataMonetization
#DataLocalization #Manifattura 4.0
#Robotica
#Nanotecnologie
45
Google Driverless Car & Big Data
46
Altri “oggetti” Big Data
I problemi
48
Gli algoritmi possono essere neutrali?
Condivisi sì … neutrali no!
49
Ma di chi sono i dati?
Copyright, privacy, diritto all’oblio e tanto altro …
#Copyright
#CreativeCommons Es: Wikipedia
50
European Data Protection Law
Copyright, privacy, diritto all’oblio e tanto altro …
Per approfondimenti: qui
4 Maggio 2016
25 Maggio 2018
51
Copyright, privacy, diritto all’oblio e tanto altro …
Per approfondimenti: qui
European Data Protection Law
#DataInteroperability
#RightToBeForgotten
#DataProtectionByDefault
#DataProtectionByDesign
#EUDataLawHarmonisation
#EUDataLawAlsoOutsideEU
#EUDataLawSimplification
#BigDataTrustEnabler
52
Internet è un ente sovrannazionale che sovverte regole consolidate …
Il diritto all’oblio …
Per approfondimenti: qui
Fonte: Repubblica.it
53
Accelerazione esponenziale
Big data è anche … data-driven innovation!
“I often say that when you can measure what you
are speaking about, and express it in numbers, you
know something about it; but when you cannot
measure it, when you cannot express it in numbers,
your knowledge is of a meagre and unsatisfactory
Kind”
Lord Kelvin
“If you want to have good ideas you must have many
ideas”
Linus Pauling
"The greatest shortcoming of the human race is our inability to
understand the exponential function.“
Albert Allen Bartlett
54
Accelerazione esponenziale
Big data è anche …
Immagine tratta da «the second age machine» book
55
Produttività, disoccupazione … e tecnologia?
Big data è anche …
Immagine tratta da «the second age machine» book
56
Allargamento «spread culturale»
Big data è anche …
Immagine tratta da «the second age machine» book
57
Martec’s Law
Big data è anche …
58
Skill shortage
Big data è anche …
Fonte: Studio McKinsey
#1DeepAnalyticalTalents
#2DataSavyManagers
#3SupportingTechnologyPersonnel
Il futuro non è più quello di una volta …
60
L’importanza della consapevolezza …
Per affrontare il futuro che è qui …
Fonte: «Costruire il domani» - S.Quintarelli
«Il futuro è già qui, solo che non
è distribuito in modo uniforme»
W.Gibson
61
Consigli di lettura su #BigData & #Futuro
Lifetime university
62
Big data e non solo …
Un consiglio alle nuove generazioni
“Non si può sfuggire al futuro. Qualsiasi esso sia. Il futuro che
leggete potrebbe esistere oppure no, io credo di sì. Le
“macchine” danno l’opportunità di penetrare l’informazione
nella più incomparabile piegatura spazio temporale mai
concepita. Usatele queste macchine, usatele come si usano le
cose, ma fatelo criticamente, altrimenti esse useranno voi. La
differenza sarà il vostro approccio, e talvolta questione di
metodo, ma sappiate essere distaccate, pesare le informazioni,
interrompere il flusso di scambio, recuperare la vostra
dimensione. Si tratta della vostra vita”.
Fonte: «Costruire il domani» - S.Quintarelli
Grazie!
Dove non esplicitato le immagini della presentazione sono di © Jurgen Appelo, Creative Commons 3.0 BY http://www.management30.com/
Stefano Gatti
st.gatti@gmail.com
Twitter: @micio1970

Big data: opportunità o minaccia?

  • 1.
    Made with loveby Stefano Gatti Big Data: opportunità o problema? Un viaggio nel mondo dei dati1 Giugno 2016 – Polo Tecnologico Pavia
  • 2.
    2 Il Viaggio Qualche datosu di me Big Data: incominciamo dalla semantica … La risposta! La tecnologia I problemi Il futuro non è più quello di una volta … Gli algoritmi I dati I datascientist Le opportunità: abilitatori & nuovi business
  • 3.
    Qualche dato sudi me …
  • 4.
    4 Qualcosa su dime … • Data-lover & blogger • Agile organization & mindset supporter • A knowledge sharing and open-culture passionate • Co-founder of CoderDojo Voghera & Iria Geeks • Head of Innovation & Data Sources in Cerved • A runner or better an endurance sports lover More about me … @micio1970 http://it.linkedin.com/in/gattistefano/ st.gatti@gmail.com My blog about data: https://agilebigdata.wordpress.com/ My website: http://www.stefanogatti.info/
  • 5.
  • 6.
    6 Big data … «Bigdata è il termine usato per descrivere una raccolta di dati così estesa in termini di volume, velocità e varietà da richiedere tecnologie e metodi analitici specifici per l'estrazione di valore» Fonte: wikipedia
  • 7.
    7 Le tre V… anzi sei! Veracity Value Viable Volume Velocity V a r i e t y
  • 8.
    8 Le tre V“classiche”:qualche numero
  • 9.
    9 Le quattro direttricidel fenomeno “big data” Approfondimenti: AgileBigData Tecnologia Algoritmi DatiUmano-organizzativa
  • 10.
  • 11.
  • 12.
  • 13.
    13 Perchè tanti datie quali? Come si generano i «big data»? #Web-data (Web 2.0) #OpenData #Internet Of Things
  • 14.
    14 Web Data Le personecreano i contenuti …
  • 15.
    15 Open data Le amministrazioniliberano i dati … Fonti: Mckinsey : Open data: Unlocking innovation and performance with liquid information
  • 16.
    Open data I problemidegli Open Data oggi Autorevolezza fonte Frequenza di aggiornamento Problemi di qualità del dato Troppi formati differenti Approfondimenti: qui
  • 17.
    Open data Un’opportunità sesapremo unire … Trasparenza e Civic Hacking Valore di business
  • 18.
    18 Internet Of ThingsData E le cose «connesse» creano i dati …
  • 19.
  • 20.
  • 21.
  • 22.
    22 DataStorage nell’era deibig data: il ranking Fonte: http://db-engines.com/en/
  • 23.
    23 La “killer bigdata technology”: il map reduce Fonte: DataScienceCentral
  • 24.
    24 I trend nell’ambitodella tecnologia “Big data” #DataLake #NoSQL #GraphDatabase #SQLinNoSQL #NoSQLinSQL #PolyglotPersistence
  • 25.
    25 Il poliglottismo ègià realtà … Fonte: Dzone
  • 26.
  • 27.
    27 Big data economy Cosaaccomuna questi unicorni? Dati e tecnologia …
  • 28.
  • 29.
    29 Big Data &Algorithmic economy L’evoluzione della Big data economy «Co-fondatore del MIT Media Lab, pioniere della human-machine interaction e fra i data scientist più importanti del mondo» Sandy Pentland Fonte: http://www.betterdecisions.it
  • 30.
    30 I leader corronoveloce E stanno cambiando il mondo «La rete neurale è stata capace di riconoscere correttamente il 3.6% delle immagini a livello stradale e il 10.1% per quanto riguarda le città, indicando inoltre la nazione di provenienza per il 28.4% di esse, salendo al 48% per quanto riguarda il continente.» Provate anche voi!
  • 31.
    31 I leader corronoveloce E stanno cambiando il mondo
  • 32.
    32 I leader corronoveloce E stanno cambiando il mondo
  • 33.
    33 Algoritmi & Valore Acosa servono i dati … Fonte: DatascienceCentral
  • 34.
    34 Trend di Algoritmi Datascienceis eating the world … #Machine learning #Unsupervised learning #Network Analisys #Deep learning #Intelligenza artificiale
  • 35.
  • 36.
    36 Chi sono Idata-scientist? The «sexiest» job of 21° century? Immagine tratte da http://biwhiz.com/Who-is-a-Data-Scientist.html Incrocio di competenze Source: Drew Conway, Sept 2010.
  • 37.
    37 Cosa fanno idata-scientist? The «sexiest» job of 21° century? #DataTelling #DataIntelligence
  • 38.
    38 Dove stanno nelleorganizzazioni? Esiste una risposta unica? A rete con team in aree aziendali strategiche?
  • 39.
  • 40.
    40 Abilitatori e amplificatoridei “big data” Non solo big data … Per approfondimenti: qui #FacilitanoIntegrazione #FormatoLeggero #DataMonetization API
  • 41.
    41 Abilitatori e amplificatoridei “big data” Non solo big data … Per approfondimenti: qui #FacilitaSetUp #FacilitaScalabilità #RendeCostiVariabili Cloud
  • 42.
    42 Abilitatori e amplificatoridei “big data” Non solo big data … Per approfondimenti: qui #AdatteAllaComplessità #FacilitanoApprendimento #MinimizzanoIcostiErrori Metodologie Agili © Jurgen Appelo, Creative Commons 3.0 BY http://www.management30.com/ Martie
  • 43.
    43 Abilitatori e amplificatoridei “big data” Non solo big data … Per approfondimenti: qui Decentralizzazione 1969 Arpanet 1993 Internet Rete distribuita 2004 Web 2.0 Contenuti distribuiti 2008 Hadoop Computazione distribuita 2009 BitCoin - Blockchain Transazioni distribuite
  • 44.
    44 Nuovi Mercati Il datoovunque … ed è la colla tra materiale e immateriale #InternetOfThings #DataMonetization #DataLocalization #Manifattura 4.0 #Robotica #Nanotecnologie
  • 45.
  • 46.
  • 47.
  • 48.
    48 Gli algoritmi possonoessere neutrali? Condivisi sì … neutrali no!
  • 49.
    49 Ma di chisono i dati? Copyright, privacy, diritto all’oblio e tanto altro … #Copyright #CreativeCommons Es: Wikipedia
  • 50.
    50 European Data ProtectionLaw Copyright, privacy, diritto all’oblio e tanto altro … Per approfondimenti: qui 4 Maggio 2016 25 Maggio 2018
  • 51.
    51 Copyright, privacy, dirittoall’oblio e tanto altro … Per approfondimenti: qui European Data Protection Law #DataInteroperability #RightToBeForgotten #DataProtectionByDefault #DataProtectionByDesign #EUDataLawHarmonisation #EUDataLawAlsoOutsideEU #EUDataLawSimplification #BigDataTrustEnabler
  • 52.
    52 Internet è unente sovrannazionale che sovverte regole consolidate … Il diritto all’oblio … Per approfondimenti: qui Fonte: Repubblica.it
  • 53.
    53 Accelerazione esponenziale Big dataè anche … data-driven innovation! “I often say that when you can measure what you are speaking about, and express it in numbers, you know something about it; but when you cannot measure it, when you cannot express it in numbers, your knowledge is of a meagre and unsatisfactory Kind” Lord Kelvin “If you want to have good ideas you must have many ideas” Linus Pauling "The greatest shortcoming of the human race is our inability to understand the exponential function.“ Albert Allen Bartlett
  • 54.
    54 Accelerazione esponenziale Big dataè anche … Immagine tratta da «the second age machine» book
  • 55.
    55 Produttività, disoccupazione …e tecnologia? Big data è anche … Immagine tratta da «the second age machine» book
  • 56.
    56 Allargamento «spread culturale» Bigdata è anche … Immagine tratta da «the second age machine» book
  • 57.
  • 58.
    58 Skill shortage Big dataè anche … Fonte: Studio McKinsey #1DeepAnalyticalTalents #2DataSavyManagers #3SupportingTechnologyPersonnel
  • 59.
    Il futuro nonè più quello di una volta …
  • 60.
    60 L’importanza della consapevolezza… Per affrontare il futuro che è qui … Fonte: «Costruire il domani» - S.Quintarelli «Il futuro è già qui, solo che non è distribuito in modo uniforme» W.Gibson
  • 61.
    61 Consigli di letturasu #BigData & #Futuro Lifetime university
  • 62.
    62 Big data enon solo … Un consiglio alle nuove generazioni “Non si può sfuggire al futuro. Qualsiasi esso sia. Il futuro che leggete potrebbe esistere oppure no, io credo di sì. Le “macchine” danno l’opportunità di penetrare l’informazione nella più incomparabile piegatura spazio temporale mai concepita. Usatele queste macchine, usatele come si usano le cose, ma fatelo criticamente, altrimenti esse useranno voi. La differenza sarà il vostro approccio, e talvolta questione di metodo, ma sappiate essere distaccate, pesare le informazioni, interrompere il flusso di scambio, recuperare la vostra dimensione. Si tratta della vostra vita”. Fonte: «Costruire il domani» - S.Quintarelli
  • 63.
    Grazie! Dove non esplicitatole immagini della presentazione sono di © Jurgen Appelo, Creative Commons 3.0 BY http://www.management30.com/ Stefano Gatti st.gatti@gmail.com Twitter: @micio1970