SlideShare a Scribd company logo
1 of 70
Download to read offline
Umberto Cocchi - Senior IT Consultant and IoT Developer
Big Data & IoT
Agenda
01
02
03
04
05
06
07
Cos'è
Scopi e vantaggi di Big Data e & IoT
Come gestire in modo efficace i dati raccolti dai sensori
Architettura dei sistemi
Scalabilità e sistemi distribuiti
Principali freni che incontrano le PMI nell'adozione dei Big Data Analytics e
relative applicazioni
Use Cases
Cos'è e a cosa
servono 01
Cos'è
Immaginate un mondo in cui il confine tra tecnologia e natura, tra materiale e immateriale venga meno.
Immaginate un mondo in cui ogni oggetto incorpori in sé informazioni sulla sua natura, la sua storia, le sue funzionalità.
Immaginate poi, che ogni oggetto, con queste caratteristiche sia connesso in rete. Se siete riusciti in questo esercizio d'immaginazione
è perché questo mondo esiste già. Già da tempo, e proprio sotto i nostri occhi.
È l'Internet delle Cose
Quando nasce questo nuovo paradigma?
E quali sono le innovazioni che ne hanno permesso l'affermazione?
Cos'è
Anni '60
All'inizio ci sono stati i mainframe,
enormi calcolatori, il cui linguaggio fatto
di bit e luci era talmente complesso che
gli informatici costituivano una casta,
detentori assoluti del codice necessario
a farli funzionare
Cos'è
1981
Poi sono arrivati i personal computer. La
miniaturizzazione dei componenti e
l'abbattimento dei costi, portarono i PC
sulle scrivanie degli uffici. Ad onor del vero,
il primo personal computer è stato l’italiano
Programma 101 di Olivetti, messo in
produzione nel 1965
Cos'è
1983
le modalità grafiche introdotte dall'Apple
Lisa, trasformarono le interfacce delle
macchine in metafore comprensibili per gli
uomini.
Le finestre, la scrivania, il cestino e il menu.
Da allora il computer è diventato un media
di massa.
Cos'è
Nel 1988 Mark Weiser, CTO dello Xerox Palo
Alto Research Center, pubblica un articolo dal
titolo 'il computer del 21simo secolo'.
È il manifesto di un nuovo modello, secondo cui
il computer scompare sullo sfondo, si mimetizza
nell'ambiente fisico, mettendo in
comunicazione, attraverso Internet, computer,
oggetti e persone.
È l'ubiquitous computing.
Cos'è
Il nostro frigorifero riconosce i cibi che contiene, e può creare per noi il menù della cena, o compilare, al posto nostro la lista della
spesa. Gli alimenti avranno dei tag, delle etichette intelligenti basate sull'identificazione a radiofrequenza (RFId).
rfidpoint.co Mit Media Lab Samsung.com
Cos'è
Le etichette saranno lette da antenne,
posizionate nel frigorifero, che si connetterà a un
database di ricette online, per proporre le
combinazioni possibili, e comunicarci gli
ingredienti mancanti.
Questo è solo un banale esempio. Lo stesso
meccanismo può essere applicato a tutti gli
oggetti, creando un ecosistema interconnesso,
ricco di informazioni disponibili, sempre e
ovunque.
Cos'è
L'ubiquitous computing costituisce quindi un paradigma in
cui il computer sparisce sullo sfondo, permettendo l'accesso
alle informazioni sempre e da qualunque luogo.
Dimenticate il vostro computer, il vostro tablet, il vostro
smartphone, quello che abbiamo davanti è un nuovo
territorio, all'interno del quale uomini e macchine
interagiscono in un ambiente ibrido, fatto di atomi e bit. E' il
regno dell'ovunque.
Cos'è
IoT, che è l’acronimo di Internet of Things, in italiano
Internet delle Cose, è il nuovo paradigma, secondo il quale
tutti gli oggetti parleranno tra di loro.
Questa cosa creerà, anzi sta già creando, cambiamenti
epocali: la base della quarta rivoluzione industriale.
Una rivoluzione non è un passaggio transitorio di un modello
che evolve, è la rottura con il passato. Come quando si è
passati dalla carrozza all’automobile. Le carrozze sono
scomparse rapidamente. Un’automobile non è una carrozza
con un motore. È qualcosa di completamente diverso,
qualcosa che ha stravolto i modelli produttivi, che ha ridotto
le distanze, che ha modificato profondamente l’uomo e
l’ambiente che ci circonda.
IoT è la stessa cosa. I componenti per un nuovo mondo.
Cos'è
C’è qualcosa che non cambierà? Probabilmente NO!
Città
Edifici
Case
Cucine
Elettrodomestici
Sicurezza
Sanità domestica
Fabbriche
Macchine
Robot
Persone
Supply Chain
Safety
Security
Trasporti
Aeroporti, porti,
stazioni
Strade, binari
Auto, treni, aerei
Traffico, emissioni
Parcheggi
Ospedali
Macchinari
Personale
Pazienti
Ambulanze
Trauma Center
Farmaci
Sport
Monitoraggio delle
attrezzature
Tracciamento del
pallone
Tracciamento dei
giocatori
Telematica delle
prestazioni
Industria pesante
Oil and Gas
Miniere
Spedizioni
Costruzioni
Manifatturiero
Energia
Acqua
Cos'è
Applicazioni
Progettazione
e
infrastrutture
Componenti
e
tecnologie
Trasporti
Smart
buildings
Smart
homes
Aeroporti Ospedali
Smart
cities
VeicoliSensori Interfacce Setup RoboticaPosizione
Networking Architetture
Gestione dei
Dati
Sicurezza
Cos'è
Internet è generalista. Internet è stata progettata per collegare i
computer tra loro.
I computer sono dispositivi di uso generale (general purpose).
Quindi Internet è anch’essa una piattaforma per scopi generali.
Non ha idea di cosa viene usato.
Contrariamente al sistema telefonico o al sistema TV via cavo
(originale).
Le cose, al contrario, sono dispositivi a funzioni fisse.
Ma possono collegarsi a server di uso generale che eseguono
servizi che supportano le cose.
Cos'è
I computer sono piuttosto potenti: hanno schermi,
tastiere, ecc.
Le cose potrebbero essere molto semplici: nessuna
visualizzazione; nessuna tastiera; forse un LED o due.
Ma possono collegarsi a server di uso generale che
eseguono servizi che supportano le cose.
Come comunicano le ‘cose’?
Le connessioni sono di due tipi: cablate (con i fili),
wireless. I più comuni sono wireless ed il collegamento
avviene con WiFi, Bluetooth Low Energy (BLE), con
segnale indotto (RFID), NFC, LoRa, Zigbee, GSM, GPRS,
3G, 4G e, a breve, 5G. Il tipo di tecnologia dipende dalla
distanza che bisogna coprire.
Cos'è
Ma nello specifico, cosa sono le cose?
Le cose sono dispositivi che, generalmente, hanno una
funzione: rilevano o comandano. I primi si chiamano
sensori, i secondi attuatori.
I sensori rilevano uno o più parametri e li comunicano.
Un termostato rileva una temperatura; un pulsante la
pressione di un tasto.
Gli attuatori eseguono un’azione:
Accende o spegne una caldaia; accende o spegne una
lampadina.
Spostamento o tensione meccanica o reazione chimica
Come si misura (direttamente)
Termoelettrico o fotoelettrico o fotoelastico
Trasduzione (misura indiretta)
Sensing ID o gesti umani o materiale esplosivo
Funzioni ad alto livello
1
2
3
4
Intensità del segnale acustico, concentrazione chimica o segnale
ottico o forza magnetica
Cosa si misura
Classificazione dei sensori
Cos'è
Modalità di sensori
Serie temporali statiche: la temperatura, per esempio
Array 2D: Imaging in Elettro-ottico o IR, ad esempio
Rilevamento 3D: Kinect, radar, lidar
Sensori mobili: il proprio telefono
Sensori di scansione: Google Street View
Rilevamento Fiducial: Homing Beacon
Cos'è
Quindi i sensori restituiscono informazioni: Dati.
E questo aspetto apre un altro discorso.
Quanti sono questi dati? Cosa ne facciamo? Come li
gestiamo?
Nel solo 2012 sono stati prodotti più dati di quanti
l’umanità non ne abbia prodotti in circa 30.000 anni!
A fine marzo del 2013 erano stati prodotti più dati di
tutto il 2012.
Ovviamente i dati non hanno tutti lo stesso valore.
La Divina Commedia ha un valore diverso dalla
misurazione del rumore in un ambiente.
Cos'è
Introduciamo quindi il passaggio successivo: Big
Data.
Big Data è un termine generico per insiemi di dati
così grandi o complessi che le tradizionali
applicazioni di elaborazione dati sono inadeguate.
Le sfide comprendono: analisi, acquisizione,
gestione dei dati, ricerca, condivisione,
archiviazione, trasferimento, visualizzazione,
interrogazione e riservatezza delle informazioni.
Il termine spesso si riferisce semplicemente
all'utilizzo dell'analisi predittiva o di altri metodi
avanzati per estrarre il valore dai dati e raramente a
una determinata dimensione dell'insieme di dati.
Cos'è
L'accuratezza dei big data può portare a decisioni più sicure, e decisioni migliori possono portare a una
maggiore efficienza operativa, riduzione dei costi e riduzione dei rischi. L'analisi dei set di dati può trovare
nuove correlazioni per "individuare le tendenze del business, prevenire le malattie, combattere il crimine”
e così via.
Scienziati, dirigenti aziendali, professionisti della medicina, della pubblicità e dei governi trovano
regolarmente difficoltà con grandi set di dati in settori come la ricerca su Internet, la finanza e l'informatica
aziendale. Gli scienziati si imbattono nelle limitazioni nel lavoro di e-Science, tra cui meteorologia,
genomica, connettività, simulazioni di fisica complessa, biologia e ricerca ambientale.”
Scopi e vantaggi di
Big Data e & IoT 02
Scopi e vantaggi di Big Data e & IoT
Diamo un'occhiata ad alcune soluzioni estreme in cui i Big Data potrebbero portare o già sono attuate:
iStockphoto/petesaloutos
Nautilus è un supercomputer in grado di prevedere il futuro sulla
base di articoli di notizie. Si tratta di un supercomputer
autoapprendente a cui sono state fornite informazioni da milioni di
articoli, risalenti agli anni '40.
È stato in grado di localizzare Osama Bin Laden in un raggio di 200
km. Ora, gli scienziati stanno cercando di capire se è in grado di
prevedere eventi futuri reali, non quelli che si sono già verificati.
Scopi e vantaggi di Big Data e & IoT
robot schizofrenici
iStockphoto/TonisPan
I ricercatori dell'Università del Texas di Austin e della Yale
University hanno utilizzato una rete neurale denominata
DISCERN per insegnare al sistema determinate storie.
Per simulare un eccesso di dopamina e un processo chiamato
iper-apprendimento, hanno detto al sistema di non dimenticare
quanti più dettagli possibile.
I risultati sono stati che il sistema mostrava sintomi
simil-schizofrenici e iniziava a inserirsi nelle storie.
Ha anche rivendicato la responsabilità di un attentato terroristico
in una delle storie.
Scopi e vantaggi di Big Data e & IoT
catastrofe finanziaria
iStockphoto/cozyta
Non è un segreto che robot e algoritmi controllano
molti dei principali sistemi finanziari e governativi di
tutto il mondo, come il trading a Wall Street.
Ma, secondo Roman Yampolskiy, capo del
Cybersecurity Lab dell'Università di Louisville, i
difetti in quei sistemi potrebbero avere
conseguenze disastrose.
Scopi e vantaggi di Big Data e & IoT
robot che mentono
iStockphoto/iLexx
In molti casi, i robot e i sistemi di intelligenza artificiale
sembrano intrinsecamente affidabili, perché dovrebbero
avere qualche motivo per mentire o ingannare gli altri?
Bene, e se fossero stati addestrati a fare proprio questo?
I ricercatori di Georgia Tech hanno usato le azioni di
scoiattoli e uccelli per insegnare ai robot come
nascondersi e ingannarsi a vicenda.
I militari hanno, ovviamente, mostrato interesse per la
tecnologia.
Scopi e vantaggi di Big Data e & IoT
robot per la sopravvivenza
Boston Dynamics
In un esperimento condotto dagli scienziati di Intelligent
Systems in Svizzera, i robot sono stati costruiti per
competere per una fonte di cibo in una singola area.
I robot potevano comunicare emettendo luce e, dopo aver
trovato la fonte di cibo, hanno iniziato a spegnere le luci
oppure ad usarle per allontanare i concorrenti dalla fonte
di cibo.
Scopi e vantaggi di Big Data e & IoT
la Polizia che utilizza algoritmi AI per prevedere i crimini
iStockphoto/artolympic
La polizia in alcune città degli Stati Uniti sta sperimentando
un algoritmo di intelligenza artificiale che prevede quali
cittadini sono più propensi a commettere un crimine in
futuro.
Hitachi ha annunciato un sistema simile nel 2015.
Forse il film Minority Report non era completamente
infondato nella sua rappresentazione del futuro.
Scopi e vantaggi di Big Data e & IoT
trattamenti medici basati sull'intelligenza artificiale
Perfint Healthcare
Una delle più grandi industrie a cui l'IA potrebbe
potenzialmente giovare è l'assistenza sanitaria.
L'IA è già in uso in molti campi della medicina, anche
aiutando i medici a decidere sul trattamento. Un esempio
è Watson di IBM.
Ma cosa succede se a quel sistema di intelligenza
artificiale manca un aspetto critico della nostra storia
medica o fa la raccomandazione sbagliata?
Scopi e vantaggi di Big Data e & IoT
droni e armi autonome
U.S. Air Force photo/1st Lt. Shannon Collins
Ci sono state molte polemiche sull'uso dei droni da un
punto di vista civile, ma ancora di più sull'uso militare.
Tuttavia, il problema spaventoso non è che le persone li
stiano pilotando, ma il fatto che possano pilotarsi da soli.
La Marina degli Stati Uniti ha persino dato ai mezzi di
trasporto terrestri la possibilità di "identificare
autonomamente un bersaglio" prima di svolgere una
missione.
Pensiamo se è una macchina che decide chi è un amico e
chi è un nemico.
Scopi e vantaggi di Big Data e & IoT
veicoli autonomi
Mercedes Benz
I veicoli autonomi (AV) rappresentano un'importante
innovazione per l'industria automobilistica, ma il loro
potenziale impatto in termini di tempistica, assorbimento
e penetrazione rimane confuso.
Mentre alti livelli di incertezza attualmente circondano la
questione, il ruolo finale che gli AV potrebbero svolgere
per quanto riguarda l'economia, la mobilità e la società
nel suo complesso sarà profondo.
Come gestire in modo
efficace i dati raccolti dai
sensori
03
Tornando alle definizioni, i veri Big Data sono definiti
da tre V: Volume, Velocità e Varietà.
Questa è la definizione più riconosciuta, coniata da
Doug Laney di Gartner più di tredici anni fa.
Da allora, molti altri hanno provato a portarle a 11
con V aggiuntive, incluse Validità, Veracità, Valore e
Visibilità. Perché un termine di 13 anni fa è
improvvisamente comparso sotto i riflettori? Non è
semplicemente perché ora abbiamo davvero molto
più volume, velocità e varietà di dati rispetto a
tredici anni fa. Invece, è perché è stato alimentato
dalla nuova tecnologia, e in particolare dalla rapida
ascesa di tecnologie open source come Hadoop e
altri metodi NoSQL di archiviazione e manipolazione
dei dati.
Come gestire in modo efficace i dati
raccolti dai sensori
Gli utenti di questi nuovi strumenti avevano bisogno di un termine che li differenziasse dalle tecnologie precedenti e, in
qualche modo, finirono per adoperare il termine terribilmente inadeguato di Big Data.
Se si partecipa a una conferenza Big Data, si può essere certi che le sessioni con database relazionali,
indipendentemente dal numero di V che vantano, saranno in minoranza.
Big Data vengono gestiti in: transazioni, interazioni e osservazioni.
Le transazioni costituiscono la maggior parte di ciò che abbiamo raccolto, archiviato e analizzato in passato.
Le interazioni sono dati che provengono da cose come persone che cliccano su pagine web.
Le osservazioni sono dati raccolti automaticamente.
Come gestire in modo efficace i dati
raccolti dai sensori
Ciò che contraddistingue i Big Data è l’approccio al business che divide il mondo per intenti e tempistiche piuttosto che
per il tipo di dati. Il "vecchio mondo" riguarda le transazioni e quando queste transazioni vengono registrate, è troppo
tardi per fare qualcosa su di loro: le aziende sono costantemente "alla guida guardando nello specchietto retrovisore".
Nel "nuovo mondo", le aziende possono invece utilizzare nuovi dati "segnale" per anticipare ciò che accadrà e
intervenire per migliorare la situazione.
Come gestire in modo efficace i dati
raccolti dai sensori
Tutto, quindi, parte dai dati. Ma i dati rendono tutto chiaro? Un esempio classico è Seven Countries Study (Ancel Keys).
La rilevazione è partita nel 1958 ed ha seguito 13.000 soggetti in totale, per 5-40 anni.
4
0
60
15
La correlazione non implica la causa.
Come gestire in modo efficace i dati
raccolti dai sensori
Come gestire in modo efficace i dati
raccolti dai sensori
Nowcasting vs Forecasting (forecasting è traducibile in previsione,
ma nowcasting non ha una traduzione, ‘ora visione’ )
Esempio: Google Flu Trend (tendenze della diffusione
dell’influenza):
Febbraio 2010 ha rilevato in USA un'epidemia due settimane prima
dei dati dei Centri per il controllo e la prevenzione delle malattie
(CDC)
Inizialmente è stato accurato al 97%, ma poi sopravvalutato di due
volte nel periodo 2011-13, compreso un intervallo nel periodo
2012-13 in cui era disattivato (motivo scoperto e corretto)
I nuovi modelli stanno valutando quali sono le città più a rischio per
la diffusione del virus Ebola
Come gestire in modo efficace i dati
raccolti dai sensori
Da dove vengono i big data?
Tutto succede online – si possono registrare tutti:
● i click
● impression di annunci sulle pagine web
● evento di fatturazione di un acquisto
● avanti veloce, pausa, … (youtube)
● richieste dei server
● transazioni
● messaggi di rete
● errori
Contenuti generati dagli utenti (Web e dispositivi mobili)
● Facebook
● Instagram
● Yelp
● TripAdvisor
● Twitter
● Youtube
Come gestire in modo efficace i dati
raccolti dai sensori
Da dove vengono i big data?
Informatica sanitaria e scientifica (sensori e strumentazioni)
Come gestire in modo efficace i dati
raccolti dai sensori
I computer sono piuttosto potenti: hanno schermi,
tastiere, ecc.
Le cose potrebbero essere molto semplici: nessuna
visualizzazione; nessuna tastiera; forse un LED o due.
Ma possono collegarsi a server di uso generale che
eseguono servizi che supportano le cose.
Da dove vengono i big data?
Dati da grafi
Un sacco di dati interessanti ha una struttura grafica:
● social network
● reti di telecomunicazione
● reti di computer
● reti stradali
● collaborazioni/Relazioni
● ...
Alcuni di questi grafi possono essere abbastanza grandi (ad es., Grafo utente di Facebook)
Come gestire in modo efficace i dati
raccolti dai sensori
Come gestire in modo efficace i dati
raccolti dai sensori
Da dove vengono i big data?
File di log (es. Apache Web Server Log)
uplherc.upl.com . . [01/Aug/1995:00:00:07 .0400] "GET / HTTP/1.0" 304 0
uplherc.upl.com . . [01/Aug/1995:00:00:08 .0400] "GET /images/ksclogo.medium.gif HTTP/1.0" 304 0
uplherc.upl.com . . [01/Aug/1995:00:00:08 .0400] "GET /images/MOSAIC.logosmall.gif HTTP/1.0" 304 0
uplherc.upl.com . . [01/Aug/1995:00:00:08 .0400] "GET /images/USA.logosmall.gif HTTP/ 1.0" 304 0
ix.esc.ca2.07.ix.netcom.com . . [01/Aug/1995:00:00:09 .0400] "GET /images/launch. logo.gif HTTP/1.0" 200 1713
uplherc.upl.com . . [01/Aug/1995:00:00:10 .0400] "GET /images/WORLD.logosmall.gif HTTP/1.0" 304 0
slppp6.intermind.net . . [01/Aug/1995:00:00:10 .0400] "GET /history/skylab/ skylab.html HTTP/1.0" 200 1687
piweba4y.prodigy.com . . [01/Aug/1995:00:00:10 .0400] "GET /images/launchmedium.gif HTTP/1.0" 200 11853
tampico.usc.edu . . [14/Aug/1995:22:57:13 .0400] "GET /welcome.html HTTP/1.0" 200 790
Da dove vengono i big data?
Internet of Things. Esempi di misurazioni:
Come gestire in modo efficace i dati
raccolti dai sensori
Da dove vengono i big data?
Internet of Things: tag RFID
● Transponder per il pagamento elettronico del pedaggio California FasTrak
● Dati raccolti usati anche per la segnalazione del traffico
● http://www.511.org/
Come gestire in modo efficace i dati
raccolti dai sensori
Come gestire in modo efficace i dati
raccolti dai sensori
Cosa farci con i big data?
http://traffic.berkeley.edu
Architettura dei sistemi 04
Introduciamo un altro termine: Data Science.
Data Science mira a ricavare conoscenze dai big data, in
modo efficiente e intelligente.
Data Science comprende l'insieme di attività, strumenti e
metodi che consentono di creare attività basate sui dati in
ambito scientifico, aziendale, medico e governativo
Architettura dei sistemi
Architettura dei sistemi
Un Data Scientist deve avere:
● Competenze di programmazione;
● Conoscenza di Matematica e
Statistica
● Esperienza in un determinato settore
Una o due su tre non bastano.
Architettura dei sistemi
Data Science vs Database.
*CAP = Consistency, Availability, Partition Tolerance
+ACID = Atomicity, Consistency, Isolation and Durability
Architettura dei sistemi
Data Science vs Database.
Correlato: Business Analytics
● Obiettivo: ottenere "informazioni utili" in ambienti complessi
● Sfida: grandi quantità di dati disparati e non strutturati e tempo limitato
Architettura dei sistemi
Data Science vs Calcolo Scientifico.
Classificatore Machine Learning General Purpose
Architettura dei sistemi
Data Science vs Machine Learning tradizionale
Architettura dei sistemi
Due modelli di Data Science a confronto
Scalabilità e sistemi
distribuiti 05
Cosa ha permesso la nascita delle Data Science?
Il Cloud computing.
● Il cloud computing riduce i costi operativi di elaborazione
● Il cloud computing consente di applicare la Data Science su un numero enorme di computer economici
Scalabilità e sistemi distribuiti
Scalabilità e sistemi distribuiti
The Million-Server Data Center
Principali freni che incontrano le
PMI nell'adozione dei Big Data
Analytics e relative applicazioni
06
Nella Data Science, oltre a competenze elevate, concorrono una serie problematiche comuni a tutti:
● Superare le ipotesi
● Dare spiegazioni ad-hoc dei modelli di dati
● Non controllare abbastanza (convalidare modelli, integrità della pipeline dei dati, ecc.)
● Sovrageneralizzare
● Comunicazione
● Saper usare correttamente i test statistici
● Prototipo → Transizione alla produzione
● Complessità della pipeline di dati (a chi chiedere?)
Principali freni e relative applicazioni
Per esempio, vediamo le sorgenti di acquisizione dei dati per
una web company
(Esempio da Facebook)
Database dell'applicazione
Registri del server Web (log)
Registri eventi
Registri del server API (Application Programming Interface)
Registri server annunci e ricerca
Contenuto della pagina di destinazione della pubblicità
Wikipedia
Immagini e video
Principali freni e relative applicazioni
Ora diamo uno sguardo sull’acquisizione e preparazione dei dati:
Estrazione, Trasformazione, Caricamento (ETL)
● dobbiamo estrarre i dati dalla fonte (o più probabilmente, fonti)
● dobbiamo caricare i dati nel sink (un contenitore di dati)
● dobbiamo trasformare i dati alla fonte, nel sink o in un'area di staging
● Fonti: file, database, registro eventi, sito Web, Hadoop Distributed FileSystem (HDFS), ...
● Sink: Python, R, SQLite, archivio NoSQL, file, HDFS, sistema di gestione dei dati relazionali (RDBMS), ...
Principali freni e relative applicazioni
Principali freni e relative applicazioni
Impedimenti alla collaborazione
● La diversità di strumenti e linguaggi di
programmazione/scripting rende difficile la
condivisione
● Trovare uno script o un risultato calcolato è spesso
più difficile della semplice scrittura del programma da
zero!
● Tener presente che gran parte del lavoro di analisi è
"a perdere"
Use Cases 07
Use cases
Vediamo quali sono i ruoli e gli strumenti utilizzati
● Uomo d’affari
● Programmatore
● Azienda
● Web company
Use cases
Uomo d’affari
Fonte dei dati
● pagine web
● Excel
ETL
● copia e incolla
Data warehouse
● Excel
Business Intelligence e Analytics
● funzioni Excel
● grafici Excel
● Visual Basic
Use cases
Programmatore
Fonte dei dati
● Web scraping, API dei servizi Web
● Foglio di calcolo Excel esportato come csv
● Query del database
ETL
● wget, curl, Beautiful Soup, lxml
Data warehouse
● Semplici File
Business Intelligence e Analytics
● Numpy, Matplotlib, R, Matlab, Octave
Use cases
Azienda
Fonte dei dati
● Database delle applicazioni
● File Intranet
● File di registro dei server delle applicazioni
ETL
● Informatica, IBM DataStage, Ab Initio, Talend
Data warehouse
● Teradata, Oracle, IBM DB2, Microsoft SQL Server
Business Intelligence e Analytics
● SAP Business Objects, IBM Cognos, Microstrategy, SAS, SPSS
Use cases
Web company
Fonte dei dati
● Database delle applicazioni
● Log a livello dei servizi
● Dati da Web crawl
ETL
● Apache Flume, Sqoop, Pig, Oozie, Crunch
Data warehouse
● Apache Hadoop/Hive, Apache Spark/Spark SQL
Business Intelligence e Analytics
● Dashboard: Oracle Argus, Razorflow,
● R
Bibliografia
1. Big data analytics e data mining - De Luca Amedeo
Il libro è la prima guida alla gestione, analisi e interpretazione dei Big Data, di fondamentale supporto in azienda per
l’ottimizzazione dei processi decisionali, l’innovazione e la competitività, la riduzione dei costi, l’interazione con il cliente, l’offerta
di prodotti personalizzati, la customer experience, la produttività e il profitto.
L’attuale vertiginoso incremento di dati disponibili (strutturati e non), acquisiti da innumerevoli fonti (web, Gis, mobile, social
media, banche dati, da sensori, ecc.) pone le imprese di fronte a sfide ineludibili.
Le aziende che cavalcano la digital transformation, e che sono in grado di analizzare e valorizzare i Big Data, saranno le “imprese
eccellenti” di domani, avendo introdotte nuove funzioni di Data science e figure di Data scientist.
2. Big Data. La guida completa per il Data Scientist - A. Teti
Con l'avvento e il successivo sviluppo degli elaboratori elettronici e della rete Internet, l'informazione ha assunto in maniera
crescente un ruolo fondamentale nella vita dell'uomo, grazie alla possibilità di elaborare, filtrare e incrociare le inarrestabili
quantità di dati prodotte a livello globale. Per questo motivo la figura del Data Scientist assume un valore strategico all'interno
dell'azienda quale elemento risolutore per la trasformazione del mare magnum di informazioni in un insieme di dati e conoscenze
utili per l'identificazione delle scelte migliori che i vertici decisionali devono assumere. Le molteplici aree tecniche trattate nelle
oltre 600 pagine di Lavorare con ¡ Big Data sono essenziali per la formazione dello scienziato dei dati del terzo millennio. Il libro
raccoglie il contributo di un numeroso team di esperti e docenti universitari per le differenti aree che costituiscono il bagaglio di
conoscenze di questa nuova professione, considerata fra quelle maggiormente richieste dal mercato del lavoro.
Bibliografia
I capitoli, suddivisi in sezioni, toccano quindi una moltitudine di argomenti: algoritmi matematici, elementi di statistica e
matematica, calcolo delle probabilità, digital processing, data mining, database management, data analysis, data conditioning,
web semantic, management team analyst, business intelligence, open source intelligence, privacy e sicurezza dei dati e dei sistemi,
tecniche di presentazione e comunicazione aziendale, analisi dei fabbisogni informativi dell'organizzazione.
3. Creare valore con i Big Data. Gli strumenti, i processi, le applicazioni pratiche - Leonardo Camiciotti (Autore), Christian
Racca (Autore), L. Pippinato (Illustratore)
La rivoluzione digitale ha messo a nostra disposizione i big data: enormi masse di dati prodotte dai social network, dalle reti di
sensori intelligenti, dai log dei sistemi informativi pubblici e aziendali. L'analisi dei big data può rivelare informazioni ed evidenziare
tendenze altrimenti impossibili da individuare, permettendo alle organizzazioni - dagli enti pubblici all'industria, dalle start-up
innovative al no-profit - di erogare servizi migliori ai propri utenti e di fare marketing e comunicazione in modo più efficace.
Basandosi sull'esperienza maturata sul campo dagli autori, questo volume illustra tutti gli elementi necessari per creare valore a
partire dai big data: dagli strumenti più indicati ai processi, dalle competenze necessarie alle metriche per misurare l'impatto
generato.

More Related Content

What's hot

Conoscenza e promozione del territorio. La IULM per la Basilicata Turistica |...
Conoscenza e promozione del territorio. La IULM per la Basilicata Turistica |...Conoscenza e promozione del territorio. La IULM per la Basilicata Turistica |...
Conoscenza e promozione del territorio. La IULM per la Basilicata Turistica |...Basilicata Turistica
 
Progettare gli OGGETTI della prossima INTERNET (TEDx)
Progettare gli OGGETTI della prossima INTERNET (TEDx)Progettare gli OGGETTI della prossima INTERNET (TEDx)
Progettare gli OGGETTI della prossima INTERNET (TEDx)Leandro Agro'
 
Smau Milano 2014 - Giulio Salvadori
Smau Milano 2014 - Giulio SalvadoriSmau Milano 2014 - Giulio Salvadori
Smau Milano 2014 - Giulio SalvadoriSMAU
 
Internet of Everything: stato dell’arte, trend evolutivi
Internet of Everything: stato dell’arte, trend evolutiviInternet of Everything: stato dell’arte, trend evolutivi
Internet of Everything: stato dell’arte, trend evolutiviThe Innovation Group
 
Internet of Things: mercato, tecnologie, applicazioni e competenze
Internet of Things: mercato, tecnologie, applicazioni e competenzeInternet of Things: mercato, tecnologie, applicazioni e competenze
Internet of Things: mercato, tecnologie, applicazioni e competenzeArmando Martin
 
Cobot & Artificial Intelligence
Cobot & Artificial IntelligenceCobot & Artificial Intelligence
Cobot & Artificial IntelligenceGemax Consulting
 
Internet of Things. A che punto siamo? - Antonio Pintus
Internet of Things. A che punto siamo? - Antonio PintusInternet of Things. A che punto siamo? - Antonio Pintus
Internet of Things. A che punto siamo? - Antonio PintusRavenna Future Lessons
 
Internet of things
Internet of thingsInternet of things
Internet of thingsSara Scotti
 
Social IOT – Il lato umano delle cose
Social IOT – Il lato umano delle coseSocial IOT – Il lato umano delle cose
Social IOT – Il lato umano delle coseRavenna Future Lessons
 
La (in)sicurezza nell'era della IoT
La (in)sicurezza nell'era della IoTLa (in)sicurezza nell'era della IoT
La (in)sicurezza nell'era della IoTMassimo Giaimo
 
Intelligenza artificiale, lavoro e competenze del futuro
Intelligenza artificiale, lavoro e competenze del futuroIntelligenza artificiale, lavoro e competenze del futuro
Intelligenza artificiale, lavoro e competenze del futuroRoberto Villa
 
Trasformazione digitale, lavoro e competenze
Trasformazione digitale, lavoro e competenzeTrasformazione digitale, lavoro e competenze
Trasformazione digitale, lavoro e competenzeRoberto Villa
 
Internet of Things - Versione I-Lab
Internet of Things - Versione I-LabInternet of Things - Versione I-Lab
Internet of Things - Versione I-LabAndrea Nicosia
 
Il ruolo dell’ICT nelle Smart Cities
Il ruolo dell’ICT nelle Smart Cities Il ruolo dell’ICT nelle Smart Cities
Il ruolo dell’ICT nelle Smart Cities 3DGIS
 

What's hot (20)

UX: HW e/è SOCIAL
UX: HW e/è SOCIALUX: HW e/è SOCIAL
UX: HW e/è SOCIAL
 
Conoscenza e promozione del territorio. La IULM per la Basilicata Turistica |...
Conoscenza e promozione del territorio. La IULM per la Basilicata Turistica |...Conoscenza e promozione del territorio. La IULM per la Basilicata Turistica |...
Conoscenza e promozione del territorio. La IULM per la Basilicata Turistica |...
 
Progettare gli OGGETTI della prossima INTERNET (TEDx)
Progettare gli OGGETTI della prossima INTERNET (TEDx)Progettare gli OGGETTI della prossima INTERNET (TEDx)
Progettare gli OGGETTI della prossima INTERNET (TEDx)
 
Smau Milano 2014 - Giulio Salvadori
Smau Milano 2014 - Giulio SalvadoriSmau Milano 2014 - Giulio Salvadori
Smau Milano 2014 - Giulio Salvadori
 
Internet of Everything: stato dell’arte, trend evolutivi
Internet of Everything: stato dell’arte, trend evolutiviInternet of Everything: stato dell’arte, trend evolutivi
Internet of Everything: stato dell’arte, trend evolutivi
 
Internet of Things: mercato, tecnologie, applicazioni e competenze
Internet of Things: mercato, tecnologie, applicazioni e competenzeInternet of Things: mercato, tecnologie, applicazioni e competenze
Internet of Things: mercato, tecnologie, applicazioni e competenze
 
Cobot & Artificial Intelligence
Cobot & Artificial IntelligenceCobot & Artificial Intelligence
Cobot & Artificial Intelligence
 
Big data e futuro del lavoro
Big data e futuro del lavoroBig data e futuro del lavoro
Big data e futuro del lavoro
 
Internet of Things. A che punto siamo? - Antonio Pintus
Internet of Things. A che punto siamo? - Antonio PintusInternet of Things. A che punto siamo? - Antonio Pintus
Internet of Things. A che punto siamo? - Antonio Pintus
 
Internet delle Cose: tecnologie e campi di applicazione
Internet delle Cose: tecnologie e campi di applicazioneInternet delle Cose: tecnologie e campi di applicazione
Internet delle Cose: tecnologie e campi di applicazione
 
L'industria della finanza, la digitalizzazione dei processi lavorativi e la b...
L'industria della finanza, la digitalizzazione dei processi lavorativi e la b...L'industria della finanza, la digitalizzazione dei processi lavorativi e la b...
L'industria della finanza, la digitalizzazione dei processi lavorativi e la b...
 
Internet of things
Internet of thingsInternet of things
Internet of things
 
Social IOT – Il lato umano delle cose
Social IOT – Il lato umano delle coseSocial IOT – Il lato umano delle cose
Social IOT – Il lato umano delle cose
 
Internet of things
Internet of thingsInternet of things
Internet of things
 
La (in)sicurezza nell'era della IoT
La (in)sicurezza nell'era della IoTLa (in)sicurezza nell'era della IoT
La (in)sicurezza nell'era della IoT
 
Intelligenza artificiale, lavoro e competenze del futuro
Intelligenza artificiale, lavoro e competenze del futuroIntelligenza artificiale, lavoro e competenze del futuro
Intelligenza artificiale, lavoro e competenze del futuro
 
Trasformazione digitale, lavoro e competenze
Trasformazione digitale, lavoro e competenzeTrasformazione digitale, lavoro e competenze
Trasformazione digitale, lavoro e competenze
 
Internet of Things - Versione I-Lab
Internet of Things - Versione I-LabInternet of Things - Versione I-Lab
Internet of Things - Versione I-Lab
 
Il ruolo dell’ICT nelle Smart Cities
Il ruolo dell’ICT nelle Smart Cities Il ruolo dell’ICT nelle Smart Cities
Il ruolo dell’ICT nelle Smart Cities
 
Internet delle Cose: casi di industria 4.0 e azione sindacale
Internet delle Cose: casi di industria 4.0 e azione sindacaleInternet delle Cose: casi di industria 4.0 e azione sindacale
Internet delle Cose: casi di industria 4.0 e azione sindacale
 

Similar to Big data and iot

Internet of things - Seminario per Inarea
Internet of things - Seminario per InareaInternet of things - Seminario per Inarea
Internet of things - Seminario per InareaAndrea Nicosia
 
Marketing, Brand e Media: 5 anni per una vera rivoluzione!
Marketing, Brand e Media: 5 anni per una vera rivoluzione!Marketing, Brand e Media: 5 anni per una vera rivoluzione!
Marketing, Brand e Media: 5 anni per una vera rivoluzione!Claudio Gagliardini
 
Internet better life
Internet better lifeInternet better life
Internet better lifeLeandro Agro'
 
Leandrò Agrò - Rinascimento=better life
Leandrò Agrò - Rinascimento=better lifeLeandrò Agrò - Rinascimento=better life
Leandrò Agrò - Rinascimento=better lifeToscanalab
 
Smau Milano 2016 - Gennaro Persano
Smau Milano 2016 - Gennaro PersanoSmau Milano 2016 - Gennaro Persano
Smau Milano 2016 - Gennaro PersanoSMAU
 
I 10 trend tecnologici che definiranno il mercato della sicurezza nel 2018
I 10 trend tecnologici che definiranno il mercato della sicurezza nel 2018I 10 trend tecnologici che definiranno il mercato della sicurezza nel 2018
I 10 trend tecnologici che definiranno il mercato della sicurezza nel 2018Axis Communications
 
Dati prodotti da sensori Una risorsa per scelte consapevoli e città intelligenti
Dati prodotti da sensori Una risorsa per scelte consapevoli e città intelligentiDati prodotti da sensori Una risorsa per scelte consapevoli e città intelligenti
Dati prodotti da sensori Una risorsa per scelte consapevoli e città intelligentidatitrentinoit
 
Big Data Vs. Open Data
Big Data Vs.  Open Data Big Data Vs.  Open Data
Big Data Vs. Open Data Consulthinkspa
 
Alla scoperta dell’Intelligenza Artificiale
Alla scoperta dell’Intelligenza ArtificialeAlla scoperta dell’Intelligenza Artificiale
Alla scoperta dell’Intelligenza ArtificialeKEA s.r.l.
 
Smau Milano 2016 - CNA ICT Iot&Smart Cities
Smau Milano 2016 - CNA ICT Iot&Smart CitiesSmau Milano 2016 - CNA ICT Iot&Smart Cities
Smau Milano 2016 - CNA ICT Iot&Smart CitiesSMAU
 
Smau Padova 2019 Claudio Gagliardini
Smau Padova 2019 Claudio GagliardiniSmau Padova 2019 Claudio Gagliardini
Smau Padova 2019 Claudio GagliardiniSMAU
 
Introduzione ai Big Data e alla scienza dei dati
Introduzione ai Big Data e alla scienza dei datiIntroduzione ai Big Data e alla scienza dei dati
Introduzione ai Big Data e alla scienza dei datiVincenzo Manzoni
 
Ardomino: può un sensore parlare?
Ardomino: può un sensore parlare? Ardomino: può un sensore parlare?
Ardomino: può un sensore parlare? Valentina Grasso
 
InfoFactory: Internet of Thing per DITEDI e DigitalMeet2017
InfoFactory: Internet of Thing per DITEDI e DigitalMeet2017InfoFactory: Internet of Thing per DITEDI e DigitalMeet2017
InfoFactory: Internet of Thing per DITEDI e DigitalMeet2017Paolo Omero
 
Una finestra sul futuro: il Web 3.0
Una finestra sul futuro: il Web 3.0Una finestra sul futuro: il Web 3.0
Una finestra sul futuro: il Web 3.0KEA s.r.l.
 
RICERCA e INNOVAZIONE in EMILIA-ROMAGNA
RICERCA e INNOVAZIONE in EMILIA-ROMAGNARICERCA e INNOVAZIONE in EMILIA-ROMAGNA
RICERCA e INNOVAZIONE in EMILIA-ROMAGNADAElocal_IT
 
IT's possible. IT's an opportunity
IT's possible. IT's an opportunityIT's possible. IT's an opportunity
IT's possible. IT's an opportunityPierfranco Ravotto
 
2019-01-31-marco guardigli-fatti-di-dati-dati-di-fatti-v10
2019-01-31-marco guardigli-fatti-di-dati-dati-di-fatti-v102019-01-31-marco guardigli-fatti-di-dati-dati-di-fatti-v10
2019-01-31-marco guardigli-fatti-di-dati-dati-di-fatti-v10Marco Guardigli
 

Similar to Big data and iot (20)

Internet of things - Seminario per Inarea
Internet of things - Seminario per InareaInternet of things - Seminario per Inarea
Internet of things - Seminario per Inarea
 
Marketing, Brand e Media: 5 anni per una vera rivoluzione!
Marketing, Brand e Media: 5 anni per una vera rivoluzione!Marketing, Brand e Media: 5 anni per una vera rivoluzione!
Marketing, Brand e Media: 5 anni per una vera rivoluzione!
 
Internet better life
Internet better lifeInternet better life
Internet better life
 
Leandrò Agrò - Rinascimento=better life
Leandrò Agrò - Rinascimento=better lifeLeandrò Agrò - Rinascimento=better life
Leandrò Agrò - Rinascimento=better life
 
Internet of_things
Internet of_thingsInternet of_things
Internet of_things
 
Smau Milano 2016 - Gennaro Persano
Smau Milano 2016 - Gennaro PersanoSmau Milano 2016 - Gennaro Persano
Smau Milano 2016 - Gennaro Persano
 
I 10 trend tecnologici che definiranno il mercato della sicurezza nel 2018
I 10 trend tecnologici che definiranno il mercato della sicurezza nel 2018I 10 trend tecnologici che definiranno il mercato della sicurezza nel 2018
I 10 trend tecnologici che definiranno il mercato della sicurezza nel 2018
 
Dati prodotti da sensori Una risorsa per scelte consapevoli e città intelligenti
Dati prodotti da sensori Una risorsa per scelte consapevoli e città intelligentiDati prodotti da sensori Una risorsa per scelte consapevoli e città intelligenti
Dati prodotti da sensori Una risorsa per scelte consapevoli e città intelligenti
 
Big Data Vs. Open Data
Big Data Vs.  Open Data Big Data Vs.  Open Data
Big Data Vs. Open Data
 
Alla scoperta dell’Intelligenza Artificiale
Alla scoperta dell’Intelligenza ArtificialeAlla scoperta dell’Intelligenza Artificiale
Alla scoperta dell’Intelligenza Artificiale
 
Smau Milano 2016 - CNA ICT Iot&Smart Cities
Smau Milano 2016 - CNA ICT Iot&Smart CitiesSmau Milano 2016 - CNA ICT Iot&Smart Cities
Smau Milano 2016 - CNA ICT Iot&Smart Cities
 
Smau Padova 2019 Claudio Gagliardini
Smau Padova 2019 Claudio GagliardiniSmau Padova 2019 Claudio Gagliardini
Smau Padova 2019 Claudio Gagliardini
 
Introduzione ai Big Data e alla scienza dei dati
Introduzione ai Big Data e alla scienza dei datiIntroduzione ai Big Data e alla scienza dei dati
Introduzione ai Big Data e alla scienza dei dati
 
Ardomino: può un sensore parlare?
Ardomino: può un sensore parlare? Ardomino: può un sensore parlare?
Ardomino: può un sensore parlare?
 
InfoFactory: Internet of Thing per DITEDI e DigitalMeet2017
InfoFactory: Internet of Thing per DITEDI e DigitalMeet2017InfoFactory: Internet of Thing per DITEDI e DigitalMeet2017
InfoFactory: Internet of Thing per DITEDI e DigitalMeet2017
 
Una finestra sul futuro: il Web 3.0
Una finestra sul futuro: il Web 3.0Una finestra sul futuro: il Web 3.0
Una finestra sul futuro: il Web 3.0
 
RICERCA e INNOVAZIONE in EMILIA-ROMAGNA
RICERCA e INNOVAZIONE in EMILIA-ROMAGNARICERCA e INNOVAZIONE in EMILIA-ROMAGNA
RICERCA e INNOVAZIONE in EMILIA-ROMAGNA
 
IT's possible. IT's an opportunity
IT's possible. IT's an opportunityIT's possible. IT's an opportunity
IT's possible. IT's an opportunity
 
IoT, serve?
IoT, serve?IoT, serve?
IoT, serve?
 
2019-01-31-marco guardigli-fatti-di-dati-dati-di-fatti-v10
2019-01-31-marco guardigli-fatti-di-dati-dati-di-fatti-v102019-01-31-marco guardigli-fatti-di-dati-dati-di-fatti-v10
2019-01-31-marco guardigli-fatti-di-dati-dati-di-fatti-v10
 

More from T3basilicata

Cos e e come utilizzare la piattaforma kit2b
Cos e e come utilizzare la piattaforma kit2bCos e e come utilizzare la piattaforma kit2b
Cos e e come utilizzare la piattaforma kit2bT3basilicata
 
Che cos e il design thinking e come applicarlo
Che cos e il design thinking e come applicarloChe cos e il design thinking e come applicarlo
Che cos e il design thinking e come applicarloT3basilicata
 
Horizontal and vertical integration
Horizontal and vertical integrationHorizontal and vertical integration
Horizontal and vertical integrationT3basilicata
 
Realta virtuale e aumentata
Realta virtuale e aumentataRealta virtuale e aumentata
Realta virtuale e aumentataT3basilicata
 
Marketing digitale
Marketing digitaleMarketing digitale
Marketing digitaleT3basilicata
 
Machine learning and predictive analytics
Machine learning and predictive analyticsMachine learning and predictive analytics
Machine learning and predictive analyticsT3basilicata
 
Gestione dell'innovazione
Gestione dell'innovazioneGestione dell'innovazione
Gestione dell'innovazioneT3basilicata
 
Vision imprenditoriale
Vision imprenditorialeVision imprenditoriale
Vision imprenditorialeT3basilicata
 
Business plan forma e contenuto
Business plan forma e contenutoBusiness plan forma e contenuto
Business plan forma e contenutoT3basilicata
 
Creare e sviluppare una startup
Creare e sviluppare una startupCreare e sviluppare una startup
Creare e sviluppare una startupT3basilicata
 
Finanziamenti alle imprese e rapporti con il sistema creditizio
Finanziamenti alle imprese e rapporti con il sistema creditizioFinanziamenti alle imprese e rapporti con il sistema creditizio
Finanziamenti alle imprese e rapporti con il sistema creditizioT3basilicata
 
Social media strategy
Social media strategySocial media strategy
Social media strategyT3basilicata
 
Educazione digitale
Educazione digitaleEducazione digitale
Educazione digitaleT3basilicata
 
La valorizzazione dei risultati di R&D
La valorizzazione dei risultati di R&DLa valorizzazione dei risultati di R&D
La valorizzazione dei risultati di R&DT3basilicata
 
Come realizzare un pitch di successo
Come realizzare un pitch di successoCome realizzare un pitch di successo
Come realizzare un pitch di successoT3basilicata
 
Lean canvas vs business model canvas
Lean canvas vs business model canvasLean canvas vs business model canvas
Lean canvas vs business model canvasT3basilicata
 
Introduzione alla digital transformation
Introduzione alla digital transformationIntroduzione alla digital transformation
Introduzione alla digital transformationT3basilicata
 
Tips and tricks: gli errori da evitare
Tips and tricks: gli errori da evitareTips and tricks: gli errori da evitare
Tips and tricks: gli errori da evitareT3basilicata
 

More from T3basilicata (19)

Cos e e come utilizzare la piattaforma kit2b
Cos e e come utilizzare la piattaforma kit2bCos e e come utilizzare la piattaforma kit2b
Cos e e come utilizzare la piattaforma kit2b
 
Che cos e il design thinking e come applicarlo
Che cos e il design thinking e come applicarloChe cos e il design thinking e come applicarlo
Che cos e il design thinking e come applicarlo
 
Horizontal and vertical integration
Horizontal and vertical integrationHorizontal and vertical integration
Horizontal and vertical integration
 
Realta virtuale e aumentata
Realta virtuale e aumentataRealta virtuale e aumentata
Realta virtuale e aumentata
 
Marketing digitale
Marketing digitaleMarketing digitale
Marketing digitale
 
Machine learning and predictive analytics
Machine learning and predictive analyticsMachine learning and predictive analytics
Machine learning and predictive analytics
 
Gestione dell'innovazione
Gestione dell'innovazioneGestione dell'innovazione
Gestione dell'innovazione
 
Il cloud
Il cloudIl cloud
Il cloud
 
Vision imprenditoriale
Vision imprenditorialeVision imprenditoriale
Vision imprenditoriale
 
Business plan forma e contenuto
Business plan forma e contenutoBusiness plan forma e contenuto
Business plan forma e contenuto
 
Creare e sviluppare una startup
Creare e sviluppare una startupCreare e sviluppare una startup
Creare e sviluppare una startup
 
Finanziamenti alle imprese e rapporti con il sistema creditizio
Finanziamenti alle imprese e rapporti con il sistema creditizioFinanziamenti alle imprese e rapporti con il sistema creditizio
Finanziamenti alle imprese e rapporti con il sistema creditizio
 
Social media strategy
Social media strategySocial media strategy
Social media strategy
 
Educazione digitale
Educazione digitaleEducazione digitale
Educazione digitale
 
La valorizzazione dei risultati di R&D
La valorizzazione dei risultati di R&DLa valorizzazione dei risultati di R&D
La valorizzazione dei risultati di R&D
 
Come realizzare un pitch di successo
Come realizzare un pitch di successoCome realizzare un pitch di successo
Come realizzare un pitch di successo
 
Lean canvas vs business model canvas
Lean canvas vs business model canvasLean canvas vs business model canvas
Lean canvas vs business model canvas
 
Introduzione alla digital transformation
Introduzione alla digital transformationIntroduzione alla digital transformation
Introduzione alla digital transformation
 
Tips and tricks: gli errori da evitare
Tips and tricks: gli errori da evitareTips and tricks: gli errori da evitare
Tips and tricks: gli errori da evitare
 

Big data and iot

  • 1. Umberto Cocchi - Senior IT Consultant and IoT Developer Big Data & IoT
  • 2. Agenda 01 02 03 04 05 06 07 Cos'è Scopi e vantaggi di Big Data e & IoT Come gestire in modo efficace i dati raccolti dai sensori Architettura dei sistemi Scalabilità e sistemi distribuiti Principali freni che incontrano le PMI nell'adozione dei Big Data Analytics e relative applicazioni Use Cases
  • 3. Cos'è e a cosa servono 01
  • 4. Cos'è Immaginate un mondo in cui il confine tra tecnologia e natura, tra materiale e immateriale venga meno. Immaginate un mondo in cui ogni oggetto incorpori in sé informazioni sulla sua natura, la sua storia, le sue funzionalità. Immaginate poi, che ogni oggetto, con queste caratteristiche sia connesso in rete. Se siete riusciti in questo esercizio d'immaginazione è perché questo mondo esiste già. Già da tempo, e proprio sotto i nostri occhi. È l'Internet delle Cose Quando nasce questo nuovo paradigma? E quali sono le innovazioni che ne hanno permesso l'affermazione?
  • 5. Cos'è Anni '60 All'inizio ci sono stati i mainframe, enormi calcolatori, il cui linguaggio fatto di bit e luci era talmente complesso che gli informatici costituivano una casta, detentori assoluti del codice necessario a farli funzionare
  • 6. Cos'è 1981 Poi sono arrivati i personal computer. La miniaturizzazione dei componenti e l'abbattimento dei costi, portarono i PC sulle scrivanie degli uffici. Ad onor del vero, il primo personal computer è stato l’italiano Programma 101 di Olivetti, messo in produzione nel 1965
  • 7. Cos'è 1983 le modalità grafiche introdotte dall'Apple Lisa, trasformarono le interfacce delle macchine in metafore comprensibili per gli uomini. Le finestre, la scrivania, il cestino e il menu. Da allora il computer è diventato un media di massa.
  • 8. Cos'è Nel 1988 Mark Weiser, CTO dello Xerox Palo Alto Research Center, pubblica un articolo dal titolo 'il computer del 21simo secolo'. È il manifesto di un nuovo modello, secondo cui il computer scompare sullo sfondo, si mimetizza nell'ambiente fisico, mettendo in comunicazione, attraverso Internet, computer, oggetti e persone. È l'ubiquitous computing.
  • 9. Cos'è Il nostro frigorifero riconosce i cibi che contiene, e può creare per noi il menù della cena, o compilare, al posto nostro la lista della spesa. Gli alimenti avranno dei tag, delle etichette intelligenti basate sull'identificazione a radiofrequenza (RFId). rfidpoint.co Mit Media Lab Samsung.com
  • 10. Cos'è Le etichette saranno lette da antenne, posizionate nel frigorifero, che si connetterà a un database di ricette online, per proporre le combinazioni possibili, e comunicarci gli ingredienti mancanti. Questo è solo un banale esempio. Lo stesso meccanismo può essere applicato a tutti gli oggetti, creando un ecosistema interconnesso, ricco di informazioni disponibili, sempre e ovunque.
  • 11. Cos'è L'ubiquitous computing costituisce quindi un paradigma in cui il computer sparisce sullo sfondo, permettendo l'accesso alle informazioni sempre e da qualunque luogo. Dimenticate il vostro computer, il vostro tablet, il vostro smartphone, quello che abbiamo davanti è un nuovo territorio, all'interno del quale uomini e macchine interagiscono in un ambiente ibrido, fatto di atomi e bit. E' il regno dell'ovunque.
  • 12. Cos'è IoT, che è l’acronimo di Internet of Things, in italiano Internet delle Cose, è il nuovo paradigma, secondo il quale tutti gli oggetti parleranno tra di loro. Questa cosa creerà, anzi sta già creando, cambiamenti epocali: la base della quarta rivoluzione industriale. Una rivoluzione non è un passaggio transitorio di un modello che evolve, è la rottura con il passato. Come quando si è passati dalla carrozza all’automobile. Le carrozze sono scomparse rapidamente. Un’automobile non è una carrozza con un motore. È qualcosa di completamente diverso, qualcosa che ha stravolto i modelli produttivi, che ha ridotto le distanze, che ha modificato profondamente l’uomo e l’ambiente che ci circonda. IoT è la stessa cosa. I componenti per un nuovo mondo.
  • 13. Cos'è C’è qualcosa che non cambierà? Probabilmente NO! Città Edifici Case Cucine Elettrodomestici Sicurezza Sanità domestica Fabbriche Macchine Robot Persone Supply Chain Safety Security Trasporti Aeroporti, porti, stazioni Strade, binari Auto, treni, aerei Traffico, emissioni Parcheggi Ospedali Macchinari Personale Pazienti Ambulanze Trauma Center Farmaci Sport Monitoraggio delle attrezzature Tracciamento del pallone Tracciamento dei giocatori Telematica delle prestazioni Industria pesante Oil and Gas Miniere Spedizioni Costruzioni Manifatturiero Energia Acqua
  • 15. Cos'è Internet è generalista. Internet è stata progettata per collegare i computer tra loro. I computer sono dispositivi di uso generale (general purpose). Quindi Internet è anch’essa una piattaforma per scopi generali. Non ha idea di cosa viene usato. Contrariamente al sistema telefonico o al sistema TV via cavo (originale). Le cose, al contrario, sono dispositivi a funzioni fisse. Ma possono collegarsi a server di uso generale che eseguono servizi che supportano le cose.
  • 16. Cos'è I computer sono piuttosto potenti: hanno schermi, tastiere, ecc. Le cose potrebbero essere molto semplici: nessuna visualizzazione; nessuna tastiera; forse un LED o due. Ma possono collegarsi a server di uso generale che eseguono servizi che supportano le cose. Come comunicano le ‘cose’? Le connessioni sono di due tipi: cablate (con i fili), wireless. I più comuni sono wireless ed il collegamento avviene con WiFi, Bluetooth Low Energy (BLE), con segnale indotto (RFID), NFC, LoRa, Zigbee, GSM, GPRS, 3G, 4G e, a breve, 5G. Il tipo di tecnologia dipende dalla distanza che bisogna coprire.
  • 17. Cos'è Ma nello specifico, cosa sono le cose? Le cose sono dispositivi che, generalmente, hanno una funzione: rilevano o comandano. I primi si chiamano sensori, i secondi attuatori. I sensori rilevano uno o più parametri e li comunicano. Un termostato rileva una temperatura; un pulsante la pressione di un tasto. Gli attuatori eseguono un’azione: Accende o spegne una caldaia; accende o spegne una lampadina.
  • 18. Spostamento o tensione meccanica o reazione chimica Come si misura (direttamente) Termoelettrico o fotoelettrico o fotoelastico Trasduzione (misura indiretta) Sensing ID o gesti umani o materiale esplosivo Funzioni ad alto livello 1 2 3 4 Intensità del segnale acustico, concentrazione chimica o segnale ottico o forza magnetica Cosa si misura Classificazione dei sensori
  • 19. Cos'è Modalità di sensori Serie temporali statiche: la temperatura, per esempio Array 2D: Imaging in Elettro-ottico o IR, ad esempio Rilevamento 3D: Kinect, radar, lidar Sensori mobili: il proprio telefono Sensori di scansione: Google Street View Rilevamento Fiducial: Homing Beacon
  • 20. Cos'è Quindi i sensori restituiscono informazioni: Dati. E questo aspetto apre un altro discorso. Quanti sono questi dati? Cosa ne facciamo? Come li gestiamo? Nel solo 2012 sono stati prodotti più dati di quanti l’umanità non ne abbia prodotti in circa 30.000 anni! A fine marzo del 2013 erano stati prodotti più dati di tutto il 2012. Ovviamente i dati non hanno tutti lo stesso valore. La Divina Commedia ha un valore diverso dalla misurazione del rumore in un ambiente.
  • 21. Cos'è Introduciamo quindi il passaggio successivo: Big Data. Big Data è un termine generico per insiemi di dati così grandi o complessi che le tradizionali applicazioni di elaborazione dati sono inadeguate. Le sfide comprendono: analisi, acquisizione, gestione dei dati, ricerca, condivisione, archiviazione, trasferimento, visualizzazione, interrogazione e riservatezza delle informazioni. Il termine spesso si riferisce semplicemente all'utilizzo dell'analisi predittiva o di altri metodi avanzati per estrarre il valore dai dati e raramente a una determinata dimensione dell'insieme di dati.
  • 22. Cos'è L'accuratezza dei big data può portare a decisioni più sicure, e decisioni migliori possono portare a una maggiore efficienza operativa, riduzione dei costi e riduzione dei rischi. L'analisi dei set di dati può trovare nuove correlazioni per "individuare le tendenze del business, prevenire le malattie, combattere il crimine” e così via. Scienziati, dirigenti aziendali, professionisti della medicina, della pubblicità e dei governi trovano regolarmente difficoltà con grandi set di dati in settori come la ricerca su Internet, la finanza e l'informatica aziendale. Gli scienziati si imbattono nelle limitazioni nel lavoro di e-Science, tra cui meteorologia, genomica, connettività, simulazioni di fisica complessa, biologia e ricerca ambientale.”
  • 23. Scopi e vantaggi di Big Data e & IoT 02
  • 24. Scopi e vantaggi di Big Data e & IoT Diamo un'occhiata ad alcune soluzioni estreme in cui i Big Data potrebbero portare o già sono attuate: iStockphoto/petesaloutos Nautilus è un supercomputer in grado di prevedere il futuro sulla base di articoli di notizie. Si tratta di un supercomputer autoapprendente a cui sono state fornite informazioni da milioni di articoli, risalenti agli anni '40. È stato in grado di localizzare Osama Bin Laden in un raggio di 200 km. Ora, gli scienziati stanno cercando di capire se è in grado di prevedere eventi futuri reali, non quelli che si sono già verificati.
  • 25. Scopi e vantaggi di Big Data e & IoT robot schizofrenici iStockphoto/TonisPan I ricercatori dell'Università del Texas di Austin e della Yale University hanno utilizzato una rete neurale denominata DISCERN per insegnare al sistema determinate storie. Per simulare un eccesso di dopamina e un processo chiamato iper-apprendimento, hanno detto al sistema di non dimenticare quanti più dettagli possibile. I risultati sono stati che il sistema mostrava sintomi simil-schizofrenici e iniziava a inserirsi nelle storie. Ha anche rivendicato la responsabilità di un attentato terroristico in una delle storie.
  • 26. Scopi e vantaggi di Big Data e & IoT catastrofe finanziaria iStockphoto/cozyta Non è un segreto che robot e algoritmi controllano molti dei principali sistemi finanziari e governativi di tutto il mondo, come il trading a Wall Street. Ma, secondo Roman Yampolskiy, capo del Cybersecurity Lab dell'Università di Louisville, i difetti in quei sistemi potrebbero avere conseguenze disastrose.
  • 27. Scopi e vantaggi di Big Data e & IoT robot che mentono iStockphoto/iLexx In molti casi, i robot e i sistemi di intelligenza artificiale sembrano intrinsecamente affidabili, perché dovrebbero avere qualche motivo per mentire o ingannare gli altri? Bene, e se fossero stati addestrati a fare proprio questo? I ricercatori di Georgia Tech hanno usato le azioni di scoiattoli e uccelli per insegnare ai robot come nascondersi e ingannarsi a vicenda. I militari hanno, ovviamente, mostrato interesse per la tecnologia.
  • 28. Scopi e vantaggi di Big Data e & IoT robot per la sopravvivenza Boston Dynamics In un esperimento condotto dagli scienziati di Intelligent Systems in Svizzera, i robot sono stati costruiti per competere per una fonte di cibo in una singola area. I robot potevano comunicare emettendo luce e, dopo aver trovato la fonte di cibo, hanno iniziato a spegnere le luci oppure ad usarle per allontanare i concorrenti dalla fonte di cibo.
  • 29. Scopi e vantaggi di Big Data e & IoT la Polizia che utilizza algoritmi AI per prevedere i crimini iStockphoto/artolympic La polizia in alcune città degli Stati Uniti sta sperimentando un algoritmo di intelligenza artificiale che prevede quali cittadini sono più propensi a commettere un crimine in futuro. Hitachi ha annunciato un sistema simile nel 2015. Forse il film Minority Report non era completamente infondato nella sua rappresentazione del futuro.
  • 30. Scopi e vantaggi di Big Data e & IoT trattamenti medici basati sull'intelligenza artificiale Perfint Healthcare Una delle più grandi industrie a cui l'IA potrebbe potenzialmente giovare è l'assistenza sanitaria. L'IA è già in uso in molti campi della medicina, anche aiutando i medici a decidere sul trattamento. Un esempio è Watson di IBM. Ma cosa succede se a quel sistema di intelligenza artificiale manca un aspetto critico della nostra storia medica o fa la raccomandazione sbagliata?
  • 31. Scopi e vantaggi di Big Data e & IoT droni e armi autonome U.S. Air Force photo/1st Lt. Shannon Collins Ci sono state molte polemiche sull'uso dei droni da un punto di vista civile, ma ancora di più sull'uso militare. Tuttavia, il problema spaventoso non è che le persone li stiano pilotando, ma il fatto che possano pilotarsi da soli. La Marina degli Stati Uniti ha persino dato ai mezzi di trasporto terrestri la possibilità di "identificare autonomamente un bersaglio" prima di svolgere una missione. Pensiamo se è una macchina che decide chi è un amico e chi è un nemico.
  • 32. Scopi e vantaggi di Big Data e & IoT veicoli autonomi Mercedes Benz I veicoli autonomi (AV) rappresentano un'importante innovazione per l'industria automobilistica, ma il loro potenziale impatto in termini di tempistica, assorbimento e penetrazione rimane confuso. Mentre alti livelli di incertezza attualmente circondano la questione, il ruolo finale che gli AV potrebbero svolgere per quanto riguarda l'economia, la mobilità e la società nel suo complesso sarà profondo.
  • 33. Come gestire in modo efficace i dati raccolti dai sensori 03
  • 34. Tornando alle definizioni, i veri Big Data sono definiti da tre V: Volume, Velocità e Varietà. Questa è la definizione più riconosciuta, coniata da Doug Laney di Gartner più di tredici anni fa. Da allora, molti altri hanno provato a portarle a 11 con V aggiuntive, incluse Validità, Veracità, Valore e Visibilità. Perché un termine di 13 anni fa è improvvisamente comparso sotto i riflettori? Non è semplicemente perché ora abbiamo davvero molto più volume, velocità e varietà di dati rispetto a tredici anni fa. Invece, è perché è stato alimentato dalla nuova tecnologia, e in particolare dalla rapida ascesa di tecnologie open source come Hadoop e altri metodi NoSQL di archiviazione e manipolazione dei dati. Come gestire in modo efficace i dati raccolti dai sensori
  • 35. Gli utenti di questi nuovi strumenti avevano bisogno di un termine che li differenziasse dalle tecnologie precedenti e, in qualche modo, finirono per adoperare il termine terribilmente inadeguato di Big Data. Se si partecipa a una conferenza Big Data, si può essere certi che le sessioni con database relazionali, indipendentemente dal numero di V che vantano, saranno in minoranza. Big Data vengono gestiti in: transazioni, interazioni e osservazioni. Le transazioni costituiscono la maggior parte di ciò che abbiamo raccolto, archiviato e analizzato in passato. Le interazioni sono dati che provengono da cose come persone che cliccano su pagine web. Le osservazioni sono dati raccolti automaticamente. Come gestire in modo efficace i dati raccolti dai sensori
  • 36. Ciò che contraddistingue i Big Data è l’approccio al business che divide il mondo per intenti e tempistiche piuttosto che per il tipo di dati. Il "vecchio mondo" riguarda le transazioni e quando queste transazioni vengono registrate, è troppo tardi per fare qualcosa su di loro: le aziende sono costantemente "alla guida guardando nello specchietto retrovisore". Nel "nuovo mondo", le aziende possono invece utilizzare nuovi dati "segnale" per anticipare ciò che accadrà e intervenire per migliorare la situazione. Come gestire in modo efficace i dati raccolti dai sensori
  • 37. Tutto, quindi, parte dai dati. Ma i dati rendono tutto chiaro? Un esempio classico è Seven Countries Study (Ancel Keys). La rilevazione è partita nel 1958 ed ha seguito 13.000 soggetti in totale, per 5-40 anni. 4 0 60 15 La correlazione non implica la causa. Come gestire in modo efficace i dati raccolti dai sensori
  • 38. Come gestire in modo efficace i dati raccolti dai sensori Nowcasting vs Forecasting (forecasting è traducibile in previsione, ma nowcasting non ha una traduzione, ‘ora visione’ ) Esempio: Google Flu Trend (tendenze della diffusione dell’influenza): Febbraio 2010 ha rilevato in USA un'epidemia due settimane prima dei dati dei Centri per il controllo e la prevenzione delle malattie (CDC) Inizialmente è stato accurato al 97%, ma poi sopravvalutato di due volte nel periodo 2011-13, compreso un intervallo nel periodo 2012-13 in cui era disattivato (motivo scoperto e corretto) I nuovi modelli stanno valutando quali sono le città più a rischio per la diffusione del virus Ebola
  • 39. Come gestire in modo efficace i dati raccolti dai sensori Da dove vengono i big data? Tutto succede online – si possono registrare tutti: ● i click ● impression di annunci sulle pagine web ● evento di fatturazione di un acquisto ● avanti veloce, pausa, … (youtube) ● richieste dei server ● transazioni ● messaggi di rete ● errori Contenuti generati dagli utenti (Web e dispositivi mobili) ● Facebook ● Instagram ● Yelp ● TripAdvisor ● Twitter ● Youtube
  • 40. Come gestire in modo efficace i dati raccolti dai sensori Da dove vengono i big data? Informatica sanitaria e scientifica (sensori e strumentazioni)
  • 41. Come gestire in modo efficace i dati raccolti dai sensori I computer sono piuttosto potenti: hanno schermi, tastiere, ecc. Le cose potrebbero essere molto semplici: nessuna visualizzazione; nessuna tastiera; forse un LED o due. Ma possono collegarsi a server di uso generale che eseguono servizi che supportano le cose.
  • 42. Da dove vengono i big data? Dati da grafi Un sacco di dati interessanti ha una struttura grafica: ● social network ● reti di telecomunicazione ● reti di computer ● reti stradali ● collaborazioni/Relazioni ● ... Alcuni di questi grafi possono essere abbastanza grandi (ad es., Grafo utente di Facebook) Come gestire in modo efficace i dati raccolti dai sensori
  • 43. Come gestire in modo efficace i dati raccolti dai sensori Da dove vengono i big data? File di log (es. Apache Web Server Log) uplherc.upl.com . . [01/Aug/1995:00:00:07 .0400] "GET / HTTP/1.0" 304 0 uplherc.upl.com . . [01/Aug/1995:00:00:08 .0400] "GET /images/ksclogo.medium.gif HTTP/1.0" 304 0 uplherc.upl.com . . [01/Aug/1995:00:00:08 .0400] "GET /images/MOSAIC.logosmall.gif HTTP/1.0" 304 0 uplherc.upl.com . . [01/Aug/1995:00:00:08 .0400] "GET /images/USA.logosmall.gif HTTP/ 1.0" 304 0 ix.esc.ca2.07.ix.netcom.com . . [01/Aug/1995:00:00:09 .0400] "GET /images/launch. logo.gif HTTP/1.0" 200 1713 uplherc.upl.com . . [01/Aug/1995:00:00:10 .0400] "GET /images/WORLD.logosmall.gif HTTP/1.0" 304 0 slppp6.intermind.net . . [01/Aug/1995:00:00:10 .0400] "GET /history/skylab/ skylab.html HTTP/1.0" 200 1687 piweba4y.prodigy.com . . [01/Aug/1995:00:00:10 .0400] "GET /images/launchmedium.gif HTTP/1.0" 200 11853 tampico.usc.edu . . [14/Aug/1995:22:57:13 .0400] "GET /welcome.html HTTP/1.0" 200 790
  • 44. Da dove vengono i big data? Internet of Things. Esempi di misurazioni: Come gestire in modo efficace i dati raccolti dai sensori
  • 45. Da dove vengono i big data? Internet of Things: tag RFID ● Transponder per il pagamento elettronico del pedaggio California FasTrak ● Dati raccolti usati anche per la segnalazione del traffico ● http://www.511.org/ Come gestire in modo efficace i dati raccolti dai sensori
  • 46. Come gestire in modo efficace i dati raccolti dai sensori Cosa farci con i big data? http://traffic.berkeley.edu
  • 48. Introduciamo un altro termine: Data Science. Data Science mira a ricavare conoscenze dai big data, in modo efficiente e intelligente. Data Science comprende l'insieme di attività, strumenti e metodi che consentono di creare attività basate sui dati in ambito scientifico, aziendale, medico e governativo Architettura dei sistemi
  • 49. Architettura dei sistemi Un Data Scientist deve avere: ● Competenze di programmazione; ● Conoscenza di Matematica e Statistica ● Esperienza in un determinato settore Una o due su tre non bastano.
  • 50. Architettura dei sistemi Data Science vs Database. *CAP = Consistency, Availability, Partition Tolerance +ACID = Atomicity, Consistency, Isolation and Durability
  • 51. Architettura dei sistemi Data Science vs Database. Correlato: Business Analytics ● Obiettivo: ottenere "informazioni utili" in ambienti complessi ● Sfida: grandi quantità di dati disparati e non strutturati e tempo limitato
  • 52. Architettura dei sistemi Data Science vs Calcolo Scientifico. Classificatore Machine Learning General Purpose
  • 53. Architettura dei sistemi Data Science vs Machine Learning tradizionale
  • 54. Architettura dei sistemi Due modelli di Data Science a confronto
  • 56. Cosa ha permesso la nascita delle Data Science? Il Cloud computing. ● Il cloud computing riduce i costi operativi di elaborazione ● Il cloud computing consente di applicare la Data Science su un numero enorme di computer economici Scalabilità e sistemi distribuiti
  • 57. Scalabilità e sistemi distribuiti The Million-Server Data Center
  • 58. Principali freni che incontrano le PMI nell'adozione dei Big Data Analytics e relative applicazioni 06
  • 59. Nella Data Science, oltre a competenze elevate, concorrono una serie problematiche comuni a tutti: ● Superare le ipotesi ● Dare spiegazioni ad-hoc dei modelli di dati ● Non controllare abbastanza (convalidare modelli, integrità della pipeline dei dati, ecc.) ● Sovrageneralizzare ● Comunicazione ● Saper usare correttamente i test statistici ● Prototipo → Transizione alla produzione ● Complessità della pipeline di dati (a chi chiedere?) Principali freni e relative applicazioni
  • 60. Per esempio, vediamo le sorgenti di acquisizione dei dati per una web company (Esempio da Facebook) Database dell'applicazione Registri del server Web (log) Registri eventi Registri del server API (Application Programming Interface) Registri server annunci e ricerca Contenuto della pagina di destinazione della pubblicità Wikipedia Immagini e video Principali freni e relative applicazioni
  • 61. Ora diamo uno sguardo sull’acquisizione e preparazione dei dati: Estrazione, Trasformazione, Caricamento (ETL) ● dobbiamo estrarre i dati dalla fonte (o più probabilmente, fonti) ● dobbiamo caricare i dati nel sink (un contenitore di dati) ● dobbiamo trasformare i dati alla fonte, nel sink o in un'area di staging ● Fonti: file, database, registro eventi, sito Web, Hadoop Distributed FileSystem (HDFS), ... ● Sink: Python, R, SQLite, archivio NoSQL, file, HDFS, sistema di gestione dei dati relazionali (RDBMS), ... Principali freni e relative applicazioni
  • 62. Principali freni e relative applicazioni Impedimenti alla collaborazione ● La diversità di strumenti e linguaggi di programmazione/scripting rende difficile la condivisione ● Trovare uno script o un risultato calcolato è spesso più difficile della semplice scrittura del programma da zero! ● Tener presente che gran parte del lavoro di analisi è "a perdere"
  • 64. Use cases Vediamo quali sono i ruoli e gli strumenti utilizzati ● Uomo d’affari ● Programmatore ● Azienda ● Web company
  • 65. Use cases Uomo d’affari Fonte dei dati ● pagine web ● Excel ETL ● copia e incolla Data warehouse ● Excel Business Intelligence e Analytics ● funzioni Excel ● grafici Excel ● Visual Basic
  • 66. Use cases Programmatore Fonte dei dati ● Web scraping, API dei servizi Web ● Foglio di calcolo Excel esportato come csv ● Query del database ETL ● wget, curl, Beautiful Soup, lxml Data warehouse ● Semplici File Business Intelligence e Analytics ● Numpy, Matplotlib, R, Matlab, Octave
  • 67. Use cases Azienda Fonte dei dati ● Database delle applicazioni ● File Intranet ● File di registro dei server delle applicazioni ETL ● Informatica, IBM DataStage, Ab Initio, Talend Data warehouse ● Teradata, Oracle, IBM DB2, Microsoft SQL Server Business Intelligence e Analytics ● SAP Business Objects, IBM Cognos, Microstrategy, SAS, SPSS
  • 68. Use cases Web company Fonte dei dati ● Database delle applicazioni ● Log a livello dei servizi ● Dati da Web crawl ETL ● Apache Flume, Sqoop, Pig, Oozie, Crunch Data warehouse ● Apache Hadoop/Hive, Apache Spark/Spark SQL Business Intelligence e Analytics ● Dashboard: Oracle Argus, Razorflow, ● R
  • 69. Bibliografia 1. Big data analytics e data mining - De Luca Amedeo Il libro è la prima guida alla gestione, analisi e interpretazione dei Big Data, di fondamentale supporto in azienda per l’ottimizzazione dei processi decisionali, l’innovazione e la competitività, la riduzione dei costi, l’interazione con il cliente, l’offerta di prodotti personalizzati, la customer experience, la produttività e il profitto. L’attuale vertiginoso incremento di dati disponibili (strutturati e non), acquisiti da innumerevoli fonti (web, Gis, mobile, social media, banche dati, da sensori, ecc.) pone le imprese di fronte a sfide ineludibili. Le aziende che cavalcano la digital transformation, e che sono in grado di analizzare e valorizzare i Big Data, saranno le “imprese eccellenti” di domani, avendo introdotte nuove funzioni di Data science e figure di Data scientist. 2. Big Data. La guida completa per il Data Scientist - A. Teti Con l'avvento e il successivo sviluppo degli elaboratori elettronici e della rete Internet, l'informazione ha assunto in maniera crescente un ruolo fondamentale nella vita dell'uomo, grazie alla possibilità di elaborare, filtrare e incrociare le inarrestabili quantità di dati prodotte a livello globale. Per questo motivo la figura del Data Scientist assume un valore strategico all'interno dell'azienda quale elemento risolutore per la trasformazione del mare magnum di informazioni in un insieme di dati e conoscenze utili per l'identificazione delle scelte migliori che i vertici decisionali devono assumere. Le molteplici aree tecniche trattate nelle oltre 600 pagine di Lavorare con ¡ Big Data sono essenziali per la formazione dello scienziato dei dati del terzo millennio. Il libro raccoglie il contributo di un numeroso team di esperti e docenti universitari per le differenti aree che costituiscono il bagaglio di conoscenze di questa nuova professione, considerata fra quelle maggiormente richieste dal mercato del lavoro.
  • 70. Bibliografia I capitoli, suddivisi in sezioni, toccano quindi una moltitudine di argomenti: algoritmi matematici, elementi di statistica e matematica, calcolo delle probabilità, digital processing, data mining, database management, data analysis, data conditioning, web semantic, management team analyst, business intelligence, open source intelligence, privacy e sicurezza dei dati e dei sistemi, tecniche di presentazione e comunicazione aziendale, analisi dei fabbisogni informativi dell'organizzazione. 3. Creare valore con i Big Data. Gli strumenti, i processi, le applicazioni pratiche - Leonardo Camiciotti (Autore), Christian Racca (Autore), L. Pippinato (Illustratore) La rivoluzione digitale ha messo a nostra disposizione i big data: enormi masse di dati prodotte dai social network, dalle reti di sensori intelligenti, dai log dei sistemi informativi pubblici e aziendali. L'analisi dei big data può rivelare informazioni ed evidenziare tendenze altrimenti impossibili da individuare, permettendo alle organizzazioni - dagli enti pubblici all'industria, dalle start-up innovative al no-profit - di erogare servizi migliori ai propri utenti e di fare marketing e comunicazione in modo più efficace. Basandosi sull'esperienza maturata sul campo dagli autori, questo volume illustra tutti gli elementi necessari per creare valore a partire dai big data: dagli strumenti più indicati ai processi, dalle competenze necessarie alle metriche per misurare l'impatto generato.