Big data segnali dal futuro

Big data segnali dal futuro
Analytics for management Big data: segnali dal futuro marco domizio | 11/11/2017 1
marco domizio Marco Domizio Digital Transformation Consultant Affianco imprenditori a realizzare progetti digitali per aumentare clienti e vendite m.domizio@tiscali.it +39 335 1223483 Un obiettivo, senza un piano, rimane solo un desiderio. “ 2
marco domizio L’era della rivoluzione digitale sta cambiando le modalità con cui le aziende creano prodotti e servizi, adattano la propria organizzazione e sviluppano le relazioni con i clienti. I Big Data aprono le porte verso nuovi modi di percepire il mondo e di prendere decisioni. Essi sono ovunque, e ogni giorno sempre più applicazioni vengono create per trarne valore e arricchire la vita personale e professionale degli utenti. I Big Data sono il nuovo strumento che rende "misurabile" la società. Ci indirizzano verso una nuova scienza dei dati in grado di misurare e, in prospettiva, prevedere crisi economiche, epidemie e pandemie, di usione di opinioni, distribuzione delle risorse economiche o energetiche, bisogni di mobilità. Scopriamo come creare valore per la nostra organizzazione. Big data INTRODUZIONE Di cosa parliamo? | Executive summary LE SFIDE Per capire dove ci si trova, è necessaria una mappa CREARE VALORE Se una cosa non può essere misurata, non può essere migliorata 01 02 PIANO EVERYWHERE Tutto questo è imbarazzante 03 ANALYTICS Analizza i fatti, parla con i dati 04 TOOLS Uno sguardo agli strumenti di lavoro 05 309:07
01 BIG DATA: LE SFIDE Per capire dove ci si trova, è necessaria una mappa
marco domizio Trasformare i dati grezzi in saggezza guidata Nell'era dei Big Data, la sfida è trovare metodi automatizzati e industriali per realizzare questa trasformazione. GESTIONE DEI DATI CONSAPEVOLEZZA MISSION 01 - BIG DATA: LE SFIDE 5
marco domizio Obiettivi 01 - BIG DATA: LE SFIDE “C’è una sola definizione valida dello scopo del business: creare un cliente. Sarà quest’ultimo che determinerà ciò che deve essere il business. Non è fondamentale quello che un’impresa pensa di produrre … bensì quello che il cliente pensa di comprare e che valore attribuisce a quell’acquisto” Peter Drucker, The Practice of Management 6
marco domizio  How many data in the world?  800 Terabytes,2000  160 Exabytes, 2006 (1EB = 1018B)  4.5 Zettabytes, 2013 (1ZB = 1021B)  44 Zettabytes by 2020  How much is a zettabyte?  1,000,000,000,000,000,000,000 bytes  A stack of 1TB hard disks that is 25,400 km high  How many data in a day?  2.5 Exabytes  8TB,Twitter  50 TB,Facebook  90% of world's data:  generated over last two years! ALCUNI NUMERI CONSAPEVOLEZZA 01 - BIG DATA: LE SFIDE 7
marco domizio I numeri 01 - BIG DATA: LE SFIDE 8
marco domizio Ecosistema digitale 01 - BIG DATA: LE SFIDE 11
marco domizio Le tecnologie distruttive 01 - BIG DATA: LE SFIDE 12
marco domizio Competenze specialistiche 01 - BIG DATA: LE SFIDE 25
marco domizio Competenze specialistiche 01 - BIG DATA: LE SFIDE 26
marco domizio BA, BI, Big data, data mining… 01 - BIG DATA: LE SFIDE • Business Analytics – Strumenti per esplorare i dati passati per ottenere informazioni sulle future decisioni aziendali. • BI – Strumenti e tecniche per trasformare i dati in informazioni significative. • Big Data – set di dati così grandi o complessi che le applicazioni tradizionali di elaborazione dati sono inadeguate. • Data Mining - Strumenti per scoprire modelli in grandi set di dati. 27
marco domizio Obiettivi data analytics 01 - BIG DATA: LE SFIDE Past Future 28
marco domizio Obiettivi data analytics 01 - BIG DATA: LE SFIDE Descriptive analytics Predictive analytics Prescriptive analytics Cosa sta succedendo? Tecniche analitiche e statistiche per l’estrazione di quantità che descrivano l’insieme di dati nel loro complesso: media, varianza, ecc… (Anche chiamato passive BI). Cosa succederà? Tecniche analitiche, modelli matematici ed algoritmi per l’analisi del dato storico e la predizione o di eventi sconosciuti o di andamenti futuri dei fenomeni sotto studio. (Active BI) Cosa posso fare? Tecniche analitiche, modelli matematici ed algoritmi per l’analisi delle decisioni alternative e la selezione di quelle che massimizzano l’efficacia rispetto agli obiettivi individuati. (Active BI). 29
marco domizio Evoluzione 01 - BIG DATA: LE SFIDE 30
marco domizio Il futuro 01 - BIG DATA: LE SFIDE 31
marco domizio • Economia incerta • Ambienti in rapida evoluzione • Concorrenza globale • Digital transformation • Clienti esigenti Sfruttare le informazioni acquisite dalle aziende è un fattore critico di successo. Supporto alle decisioni Modello 01 - BIG DATA: LE SFIDE 32
marco domizio Big data 01 - BIG DATA: LE SFIDE “Big data exceeds the reach of commonly used hardware environments and software tools to capture, manage, and process it with in a tolerable elapsed time for its user population.” “Big data refers to data sets whose size is beyond the ability of typical database software tools to capture, store, manage and analyze.” “Big data is a collection of data sets so large and complex that it becomes difficult to process using on-hand database management tools.” 33
marco domizio Big data 01 - BIG DATA: LE SFIDE 34
marco domizio Valore=utilità dei dati per un'organizzazione. La caratteristica di valore è intuitivamente legata alla caratteristica di veridicità, in quanto maggiore e la fedeltà dei dati, e più valore essi hanno per il business. Il valore dipende anche da quanto tempo impiega l'elaborazione dei dati affinchè risultati analitici abbiano una shelf-life. Piu tempo impiegano i dati per essere trasformati in informazioni significative, meno valore hanno per il business. Risultati stantii inibiscono la qualità e la velocità del processo decisionale. Valore 01 - BIG DATA: LE SFIDE 35
marco domizio Quindi? 01 - BIG DATA: LE SFIDE 3610:07
02 BIG DATA ANALYTICS: CREARE VALORESe una cosa non può essere misurata, non può essere migliorata
marco domizio • market level • brand/product level • customer level LIVELLI Modello 02 - CREARE VALORE Market Brand/ products Customer 3811:07
marco domizio • Tangibili (transazioni, registrazioni…) • Intangibili (brand reputation, recensioni…) ASSET Modello 02 - CREARE VALORE 39
marco domizio • Persone esperte • Sistemi: ecosistema integrato • Processi: immissione, accessibilità e gestione • Organizzazione FUNZIONALITA’ Modello 02 - CREARE VALORE VALUE GENERATION people process system organization 40
marco domizio • Analisi focalizzata sulle intuizioni per ottenere successo • Analisi che mira a sviluppare modelli per migliorare il processo decisionale. APPROCCIO Modello 02 - CREARE VALORE 41
marco domizio La presenza di big data offre enormi opportunità. 1. avviare un analisi e iniziare a scavare nei dati disponibili. (Tesco analizzando i dati della loro carta fedeltà, hanno scoperto che i consumatori acquisto di pannolini spesso acquistano anche birra e patatine) 2. approccio problematico, anziché un approccio esplorativo. STRATEGIA Modello 02 - CREARE VALORE 42
marco domizio • V2C value to client • V2F value to firm PROSPETTIVE Modello 02 - CREARE VALORE 43
marco domizio Le metriche sono sistemi che quantificano le tendenze, le dinamiche, o caratteristiche METRICHE 02 - CREARE VALORE 44
marco domizio V2C: METRICHE DI MERCATO 02 - CREARE VALORE Obiettivi: product awareness & values Metriche: • Relative advantage: è il grado in cui un'idea o un prodotto viene percepito come meglio dello standard esistente • Complexity: quanto sia facile per la gente capire la nuova idea o utilizzare il nuovo prodotto • Compatibility: Quanto facilmente posso utilizzare la mia esperienza passata per capire come funziona questo nuovo prodotto • Observability: i risultati evidenti provando un prodotto • Trialability: E’ facile interagire con i nuovi concetti o sperimentare il prodotto? 45
marco domizio V2C:METRICHE DI BRAND 02 - CREARE VALORE Obiettivo: Brand awareness Metriche: • Differentiation: Distinguere la percezione del marchio. Definisce il marchio e riflette la sua capacità di distinguersi dalla concorrenza. È il "motore del marchio: ... se il motore si ferma, così sarà il treno“. • Relevance: rilevanza personale e l'adeguatezza e l'importanza percepita del marchio. • Esteem: Il livello di rispetto dei consumatori per il marchio e la valenza dell'atteggiamento dei consumatori. Riflette in che misura il brand mantiene le sue promesse. • Knowledge: Consapevolezza e comprensione dell'identità del marchio. Cattura l'intimità dei consumatori con il marchio. Risultati delle comunicazioni (marketing) e delle esperienze personali con il marchio. • Energy: La capacità del marchio di soddisfare le esigenze dei consumatori in futuro e di adattarsi e rispondere ai gusti e alle esigenze mutevoli. Indica orientamento futuro e capacità del marchio. Brand-Asset Valuator®: Young & Rubicam 46
marco domizio V2C:USER GENERATED CONTENT 02 - CREARE VALORE • Digital brand association networks • Summarized digital brand metrics • Social media brand metrics. 47
marco domizio V2C:METRICHE CUSTOMER 02 - CREARE VALORE Customer feedback metrics • Net promoter score (NPS): per valutare la fedeltà in una relazione impresa-cliente. È un'alternativa alla tradizionale ricerca di soddisfazione del cliente ed è correlata con la crescita dei ricavi • Customer satisfaction • Customer effort score • Source: • Fonte di dati interni (transazioni, reclami, tempo di ripristino servizio, ..) • Fonti online: recensioni 48
marco domizio V2C:TUTTE? 02 - CREARE VALORE Concentrarsi su un numero limitato di metriche e includerli in una dashboard di marketing. I manager dovrebbero quindi cercare di influenzare queste metriche con le strategie di marketing 49
marco domizio V2F:BRAND METRICS 02 - CREARE VALORE Metriche di performance di mercato del marchio • penetrazione del marchio, • le vendite del marchio • la quota di mercato • fedeltà alla marca • BRAND EQUITY : la performance finanziaria del marchio, il ruolo del marchio nelle decisioni di acquisto, e la forza del marchio, che è la capacità del marchio di creare fedeltà alla marca. 50
marco domizio V2F:MARKET METRICS 02 - CREARE VALORE • dimensioni del mercato • numero di concorrenti • concentrazione del mercato (difficile, a causa della frammentazione del mercato es. Supermercati che vendono abbonamenti telefonici….)) 51
marco domizio V2F:CUSTOMER METRICS 02 - CREARE VALORE metriche di acquisizione dei clienti, che si concentrano sulla prima fase di attirare i clienti • Tasso di risposta: il numero di clienti che ha risposto ad una campagna diviso per il numero di clienti totali avvicinato con una campagna • Tasso di conversione: il numero di clienti acquisiti diviso per il numero di clienti che ha risposto a una campagna. metriche di sviluppo dei clienti, che si concentrano su come il rapporto si sviluppa dopo l'acquisizione dei clienti • continuazione del rapporto • tasso di abbandono (Churn) • defezione: la percentuale di clienti che abbandonano il rapporto con la ditta • fidelizzazione dei clienti: la percentuale di clienti proseguire il rapporto con la ditta (1 - il tasso di abbandono dei clienti / defezione) 52
marco domizio V2F:CUSTOMER METRICS 02 - CREARE VALORE • Customer Lifetime Value (CLV) • Frequenza di acquisto: il numero di volte in cui un cliente acquista da una società in un determinato periodo di tempo • Recency: Tempo dall'ultimo acquisto Metriche di espansione del rapporto • Numero medio di prodotti / servizi venduti per cliente • Cross-selling: La percentuale di clienti che acquistano prodotti o servizi aggiuntivi da una società • up-selling: La percentuale di clienti di aggiornare i loro prodotti o servizi a un livello superiore (ad esempio contratto di servizio aggiornato) • adozione: la percentuale di clienti che acquistano il prodotto o il servizio di recente introduzione • … 53
marco domizio V2F:CUSTOMER METRICS 02 - CREARE VALORE Customer Lifetime Value (CLV) il valore attuale dei futuri flussi di cassa attribuiti al cliente durante il suo intero rapporto con la società 1. Margine 2. Durata prevista 3. Investimenti (contributi, Gadgets, Campagne di marketing, Channel costs… ) 54
marco domizio Nuove metriche 02 - CREARE VALORE Customer engagement I clienti aggiungono valore non solo con il loro comportamento di acquisto, ma possono anche aggiungere valore scambiando le loro esperienze online, influenzando altri clienti e fornendo un contributo attraverso la co-creazione. Questo comportamento non transazionale viene spesso indicato come “il comportamento di coinvolgimento del cliente” Social network analysis: •number of referrals per customer •number of relationships of a customer with other customers •number of ideas (e.g. new products, service improvements) of customers provided to a firm •influential power of customers 55
marco domizio Nuove metriche 02 - CREARE VALORE Omnichannel:seamless experience I clienti, sono sempre più “connessi” e le loro aspettative e la “customer experience” sono in continua evoluzione. Oggi non è più sufficiente gestire più canali di contatto in parallelo (multicanalità), ma è necessaria una loro progettazione e gestione integrata per garantire una piena consistenza tra di essi. 56
marco domizio Nuove metriche 02 - CREARE VALORE Digital Customer journey • Number of website visits • Click through rates • Purchase conversion rate • Average order size • Costs of each unique touchpoint • Channel switching • Research shopping percentage 57
marco domizio Omnichannel 02 - CREARE VALORE VANTAGGI • avere segmenti di domanda diversi per fruizione ed occasioni di consumo; • massimizzare i benefici e minimizzare gli svantaggi dell’utilizzo di ciascun canale; • massimizzare la possibilità di raccogliere e analizzare i dati relativi ai clienti, attraverso fonti diverse; • sfruttare le economie di scala connesse alla standardizzazione in una molteplicità di canali dei processi operativi RISCHI • problemi interni quali conflitti tra canali che si rivolgono agli stessi clienti, rischi di cannibalizzazione delle vendite tra canali, rischi di sottoutilizzazione delle risorse, rischi legati alla disomogeneità del prezzo dei prodotti collocati in canali differenti, all’asincronia della comunicazione di brand, ecc.; • problemi esterni quali la decisione di aprire un sito internet come canale di vendita diretto da parte del produttore, il trasferimento di responsabilità di alcune fasi della catena del valore. 58
marco domizio Omnichannel 02 - CREARE VALORE 59
marco domizio Omnichannel 02 - CREARE VALORE 6012:04
03 BIG DATA, EVERYWHERE Tutto questo è imbarazzante
marco domizio I dati sono ovunque 03 - BIG DATA, EVERYWHERE Tipi di dati • Strutturati • Non strutturati Fonte dei dati • Interna • esterna 62
marco domizio Tipi di dati 03 - BIG DATA, EVERYWHERE strutturati: sono conformi a uno schema o modello dei dati e vengono spesso archiviati in forma tabellare. Essi sono utilizzati per acquisire le relazioni tra entità diverse e, pertanto, sono più spesso archiviati in un database relazionale e vengono generati da applicazioni aziendali, come sistemi ERP e CRM. non strutturati: I dati che non sono conformi a un modello o schema di dati sono noti come dati non strutturati. Si stima che i dati non strutturati costituiscono l'80% dei dati all'interno di qualsiasi organizzazione. I dati non strutturati non possono essere direttamente elaborati o eseguiti tramite una query, utilizzando SQL. (testo, audio, video ed immagini) semi-strutturati: I dati semi-strutturati hanno un livello definito di struttura e consistenza, ma non sono relazionali nella loro natura. Anzi, i dati semi-strutturati sono gerarchici o basati sui grafi. Questo tipo di dati è comunemente archiviato nei file che contengono testo. A causa della natura testuale di questi dati, e della loro conformità a qualche livello di struttura, sono più facilmente elaborati rispetto ai dati non strutturati. (XML, Json, Sensori...) metadati: forniscono informazioni sulle caratteristiche e sulla struttura di un dataset. Questo tipo di dati è, in gran parte, generato dalla macchina e può essere visto come un livello aggiunto ai dati "grezzi". Il tracciamento dei metadati è cruciale per l'elaborazione, l'archiviazione e l'analisi dei Big Data perché fornisce informazioni circa il "pedigree" dei dati e la loro provenienza durante l'elaborazione. Le soluzioni Big Data si basano sui metadati, particolarmente per l'elaborazione di dati semi-strutturati e non strutturati 63
marco domizio ZIP-Code 03 - BIG DATA, EVERYWHERE Nielsen-Claritas information ZIP-code 64
marco domizio 5W + 1H 03 - BIG DATA, EVERYWHERE I keep six honest serving-men They taught me all I knew; Their names are What and Why and When And How and Where and Who (Ruyard Kipling) Queste domande “W” sono spesso risolte solo da un unico punto di vista / origine dati. Questo può causare problemi perché le risposte alle diverse s “W” potrebbero non essere coerenti, o possono addirittura essere contraddittorie. Difficoltà tecnico, statistiche e legali 65
marco domizio Caratteristiche 03 - BIG DATA, EVERYWHERE 66
marco domizio Integrazione dati 03 - BIG DATA, EVERYWHERE 67
marco domizio Integrazione dati 03 - BIG DATA, EVERYWHERE Extract •selezione delle sorgenti di dati pertinenti •Convalida •Metodo (manuale o automatico) •Frequenza Transformation •Selezione di alcuni dati attributi •Sostituzione di valori dei dati (ad esempio “M” invece di “maschio”), •tradurre i valori da caratteri in numerico (ad esempio “1” invece di “cliente attiva”), •calcolare i valori (entrate IVA esclusa = ricavi diviso per 1,22), •l'estrazione e la suddivisione variabili in variabili differenti (ad esempio, tirando fuori il numero civico e il nome della strada del campo di indirizzo e di metterlo in due nuove variabili). Load •Staging/backup •Sovrascittura/aggiunta 68
marco domizio Varietà dei dati 03 - BIG DATA, EVERYWHERE • dati dichiarati (descrittori dei clienti) • dati aggiunti (dati delle transazioni e di fatturazione, i dati di contatto, i dati di contatto di marketing, le caratteristiche, il comportamento dei consumatori, i dati delle prestazioni del marchio) … • Dati impliciti (segmentazione, modelli di scoring, share of wallet, frequenza di recency valore monetario (RFM) classificazione, ecc). 69
marco domizio Le sfide dell’Integrazione dati 03 - BIG DATA, EVERYWHERE 70
marco domizio Le sfide dell’Integrazione dati 03 - BIG DATA, EVERYWHERE Tecnica •Integrazione a livello individuale (es. ID univoco nelle diverse base di dati) •Integrazione a livello intermedio (es. segmentazione in base alle dimensioni che possono essere identificati in tutte le sorgenti da integrare –età, reddito…) •Integrazione a livello tempo (es. dati verranno aggregati al periodo di tempo che può essere identificato nelle fonti di dati) Analitica •Sincornizzazione di dimensioni e segmenti nelle diverse basi di dati (es ga e i visitatori al mio sito:i canali (fb, google..) sono le dimensioni a cui applico delle metriche mentre i segmenti sono le fasce di età..) •KPI and P&L 71
marco domizio Privacy & Security BIG DATA, EVERYWHERE 03 - BIG DATA, EVERYWHERE Big data, minaccia per la privacy • Big Data sono disponibili in modo permanente • Big Data coinvolgono grandi volumi di dati. • Big data vengono raccolti invisibilmente. • Non esiste una buona valutazione della sensibilità della privacy dei dati a causa del grande volume di dati • Non sono accessibili e comprensibile dai clienti. • I dati provenienti da più fonti vengono fusi. • I clienti percepiscono una mancanza di controllo sulla grande raccolta di dati. 72
marco domizio Privacy & Security 03 - BIG DATA, EVERYWHERE Preoccupazioni • La raccolta dei dati: “Troppi dati e informazioni vengono raccolti” • Utilizzo dati: “I dati vengono utilizzati per altri scopi che servire il consumatore” • errori dati: “Gli errori di dati possono avere conseguenze negative” • la violazione dei dati: “Accesso non autorizzato e l'utilizzo dei dati” • Controllo dei dati: “un sufficiente controllo sui propri dati” • coscienza dei dati: “Non è sufficientemente informato sulle politiche di dati.” 73
marco domizio Privacy & Security 03 - BIG DATA, EVERYWHERE Legislazione europea • Right to be forgotten: Customers have the right that their information can be deleted if they require it • Right of portability: Customers have the right to view their collected personal information • Informed consent: Privacy is default for customers. Data are only collected if a customer opts for that (opt-in) • Clear notice: There is an official save time of contact information • Privacy by design: Protection of privacy should be part of the whole design or engineering process of new product and service innovations. 74
marco domizio La Normativa della General Data Protection o GDPR (EU) 2016/679 è la nuova normativa che ha l’intento di: Rafforzare e unificare le regole di data protection di tutti i cittadini europei Gli obiettivi principali sono: ✓ Fornire ai cittadini il controllo completo dei loro dati personali ✓ Semplificare le normative relative alle attività commerciali in ambito internazionale ✓ Regolare il traffico dei dati personali effettuato al di fuori della comunità europea Panoramica 03 - BIG DATA, EVERYWHERE 75
marco domizio Cosa significa «Accountability»? Art. 5.2 del Regolamento Accountability significa che, in forza del Regolamento, il titolare del trattamento deve mettere in atto misure tecniche e organizzative adeguate per garantire, ed essere in grado di dimostrare, che il trattamento è stato effettuato conformemente al Regolamento. Aiutano a dimostrare la conformità del trattamento al Regolamento: Accountability 1. la tenuta di un registro del trattamento 2. l’adesione a codici di condotta 3. un meccanismo di certificazione. Privacy & Security 03 - BIG DATA, EVERYWHERE 76
marco domizio Il principio di «privacy by design» - o di «protezione dei dati personali fin dalla progettazione» - prevede che ogni titolare o responsabile del trattamento debba tenere in considerazione, sin dalla ideazione e progettazione delle attività di trattamento che intende porre in essere, la protezione della riservatezza dei dati personali degli interessati cui il trattamento si riferisce. Effettuare il trattamento nel rispetto della norma, minimizzando i rischi e rispettando la tutela degli interessati. Il principio di «privacy by default» - o di «protezione dei dati personali «per impostazione predefinita» - prevede che ogni titolare o responsabile effettui il trattamento dei soli dati personali degli interessati nella misura e per il tempo necessari a raggiungere le specifiche finalità del trattamento, implementando, all’interno degli ambienti, dei sistemi informatici e delle infrastrutture di rete utilizzate per tale trattamento, le misure tecniche idonee a proteggere i dati personali degli interessati. Trattare solo dati necessari per raggiungimento delle finalità del trattamento. La tutela della riservatezza «by design» e «by default» Privacy & Security 03 - BIG DATA, EVERYWHERE 77
La normativa GDPR riguarda ogni persona informazione ed ogni dato relativo agli individui Le informazioni reltive alla privacy devono essere: Chiare, Facili comprendere, Facili da trovare da chiunque (bambini inclusi) DAL 28 Maggio 2018 La precedente normativa NON sarà più valida In tutta Europa ed Inghilterra • IL GDPR prevede che i Processi e le Verifiche da effettuare devono essere valutate in base ai reali rischi intrinseci L’IT è lo strumento strategico per: Verificare la conformità dei flussi dati coinvolti Verificare la correttezza ed integrità delle delle informazioni gestite Le multe per le violazioni sono estremamente onerose Fino a 20 milioni di Euro Per le aziende il 4% del fatturato globale Normativa 03 - BIG DATA, EVERYWHERE
marco domizio ▪ Se tu sei il GESTORE dei dati, il GDPR definisce specifici obblighi giuridici a cui ci sideve attenere. Ad esempio, si è obbligati a custodire i riferimenti di ogni processo e/o attività che riguardino i dati personali delle persone ▪ Qualora si verificasse una violazione sull’uso o gestione dei dati, il GESTORE sarà considerato legalmente responsabile dell’accaduto. Questi obblighi sono nuovi e non erano previsti prima dell’introduzione del GDPR ▪ Se tu sei un REVISORE, non si è esentati dagli obblighi previsti per chi gestisce i dati! La normativa GDPR, definisce specifiche norme e responsabilità per le attività che si svolgono con chi gestisce i dati GDPR si applica a TUTTE le organizzazioni che gestiscono dati relativi i cittadini dell’Unione Europea Normativa 03 - BIG DATA, EVERYWHERE
marco domizio ➢ La definizione dei dati personali prevista dal GDPR è più ampia rispetto alle precedenti normative sulla protezione dati e chiarisce che informazioni relative alla presenza online. Un esempio? l’indirizzo IP, è ora considerato come un Dato Personale. ➢ La normativa ha recepito il cambiamenti tecnologici e per questo motivo si è adeguata sfruttando le nuove opportunità offerte dalle nuove tecnologie e comportamenti delle persone ➢ GDPR si applica ai dati gestiti in forma automatizzata, ma anche in quelli gestiti manualmente quando questi fossero accessibili e palesementeidentificabili Dati Personali Dati Personali Sensibili Privacy & Security 03 - BIG DATA, EVERYWHERE 80
marco domizio GDPR identifica i dati personali sensibili come: CATEGORIE SPECIALI DI DATI PERSONALI Le categorie dei dati che rientrano in questa categoria sono principalmente gli stessi che erano inseriti nella precedente normativa come: ▪ Etnia o razza della persona ▪ Opinioni politiche ▪ Religione ▪ Membro di sindacato od associazioni ▪ Condizioni fisiche o mentali ▪ Orientamento sessuale DATI IL CUI TRATTAMENTO È VIETATO Il GDPR comunque prevede 10 eccezioni che includono il consenso esplicito per aspetti vitali dell’individuo(art.9) Dati Personali Dati Personali Sensibili Privacy & Security 03 - BIG DATA, EVERYWHERE 81
marco domizio Il GDPR richiede che i dati personali siano: ▪ Gestiti secondo la leggevigente ▪ Raccolti e gestiti per fini chiari leciti especifici ▪ Adeguati, pertinenti e limitati esclusivamente allo scopo che si vuole perseguire ▪ Tenuti aggiornati, qualora il fine preposto lo richieda ▪ Gestiti per ottenere dati identificabili esclusivamente e strettamente per il solo scopo previsto ▪ Utilizzati in modo tale da garantire la protezione dei dati singoli personali: Questo include anche la protezione verso utilizzi non autorizzati, illegali, smarrimenti edistruzioni Il Revisore sarà responsabile di quanto sopra elencato ed inoltre: DOVRÀ ESSERE SEMPRE IN GRADO DI DIMOSTRARE L’OSSERVANZA DI QUANTO PREVISTO DALLA LEGGE Accountability 03 - BIG DATA, EVERYWHERE 82
marco domizio Il DPPR ha riferimenti chiari al "consenso" e al "consenso esplicito", entrambe le forme di consenso devono essere state fornite liberamente, specifiche, informate e fornire una indicazione inequivocabile dei desideri dell'individuo. ➢Il consenso nel GPDR Richiede chiare «azioni di conferma». Il Silenzio Assenso, Caselle precompilate o mancanza di reazioni da parte della persona NON COSTITUISCE ASSENSO ➢ Il consenso deve essere VERIFICABILE. Questa richiesta prevede che con il consenso si debba raccogliere e conservare quando e come il consenso sia stato fornito ➢ Le persone hanno il diritto di poter revocare il consenso in qualsiasi momento ➢Ci sono comunque soluzioni legalmente valide che permettono quali: quando l’elaborazione è necessaria ai fini degli interessi legittimi dell’azienda o quando si trattano dati (legittimi) per conto di terze parti. La mancanza di dei consensi descritti impedisce le elaborazioni dei dati. In questo caso sarà necessario valutare opportunità alternative che possono essere disponibili nella legislazione vigente. Consenso 03 - BIG DATA, EVERYWHERE 83
marco domizio Il GDPR crea nuovi diritti per le persone e ne rafforza alcuni che erano già presenti nella vigente normativa. Il GDPR stabilisce I seguenti diritti per ciascunindividuo: ➢ Il diritto di essere informati (trasparenza su come i dati personali vengono ad essere utilizzati) ➢ Il diritto all’ Accesso (accesso ai propri dati, a come sono utilizzati e qualunque altro dato utilizzato in combinazione con i propri) ➢ Il diritto di rettifica (diritto a rettificare i dati in caso siano incompleti o incorretti) ➢ Il diritto di alla cancellazione (diritto a che i dati siano cancellati quandonnon sussiste alcuna ragione valida per conservarli) ➢ Il diritto a Limitare il trattamento dei dati (si può consentire che i dati siano archiviati, ma non processati) ➢ Il diritto alla portabilità dei dati (Poter trasferire i propri dati da un sistema informatico all’altro senza cheil controllore lo possa impedire) ➢ Il diritto di opporsi(opporsi al trattamento dei propri dati) ➢ Diritto di Contestazione delle decisioni automatizzate (possono essere contestate le decisioni chehanno impatto personale e che sono state prese usando esclusivamente algoritmi informatici) Nuovi diritti 03 - BIG DATA, EVERYWHERE 84
marco domizio 1 – Consapevolezza Comunicare le regole della normativa GDPR nell’organizzazione 7 – Consenso Rivedere ed aggiornarela metodologia percercare, otteneree gestire il consenso concedere 3 – Comunicazione Rivedere le attuali regole di privacy, identificarele aree da adeguare per essere in regola 2 – Informazione Comprenderequali dati personali sono gestiti,dove sono e con chi li condividi 8 – Bambini Adottareprocessi e regole per verificare l’età delle persone ed ottenere il consensoin caso di dati relativi a minori 5 – Gestione degli accessi verificare ed aggiornare le procedure che governano le richiestedi accesso ai dati 9 – Violazioni Adottare strumenti e procedure per rilevare,cercare e segnalarepossibili violazioni ai datigestiti 10 – Security byDesign Usare PIA’s quando necessario (PIA = piano impatto sulla protezione dei dati) 12 – International Identificare l’autorità di vigilanza competentein caso di una ispezione in ambito internazionale 11 – Data Protection Officers Identificaree/o nominareil DPO (DPO = Data Protection Officer) 6 – Legale Rivedere la gestione deiprocessi effettuata nell’organizzazione e documentarlo su baselegale 4 – Individui Individuazione dei diritti i diritti delle persone ed aggiornamento delle procedure relative alla privacy 12 tips 03 - BIG DATA, EVERYWHERE 85
marco domizio La normativa prevede che per ottemperare al nuovoregolamento,le organizzazionidevono conoscereegestire: ➢ Dove sono gestiti i dati personali ➢ Chi ha accesso ai dati personali ➢ Perché gestiscono dati personali ➢ Con chi condividono i dati personali ➢ Per quanto tempo i dati personalivengono ad essere tenuti ➢ Il consenso fornito per utilizzarli Il GDPR è specifico per ogni azienda !! I controlli devono essere studiati sui possibili e reali rischi esistenti La soluzione vincente è l’ utilizzo di policies e strumenti IT che garantiscano la la riservatezza, integrità, disponibilità e resilienza dei sistemi adottati Il GDPR fornisce alle persone nuovi diritti e poteri per garantire che le proprie informazioni digitali siano elaborate e condivise con le regole prescritte dalla legge vigente I responsabili ed i gestori delle informazioni digitali saranno considerati responsabili nel caso di violazione dei dati Riepilogo 03 - BIG DATA, EVERYWHERE 86
marco domizio D.P.O. 03 - BIG DATA, EVERYWHERE D.P.O. (Data Protection Officer) RESPONSABILE PROTEZIONE DATI Tale figura, viene prevista solo in determinati casi: • Se il trattamento è svolto da una pubblica amministrazione; • Se i dati trattati richiedono un monitoraggio regolare e sistematico o su larga scala; • Se vengono trattati dati classificati particolari (relativi alla salute della persona – giudiziari). Il D.P.O. ha una funzione di consulenza, che supporta il titolare od il responsabile, tiene i contatti con l’autorità (Garante), può disporre l’attuazione di misure di sicurezza qualora si rendano indispensabili, può essere interessato anche da tutte le altre figure che operano all’interno dell’azienda, in materia si sicurezza nel trattamento dei dati. Per ogni decisione in materia di trattamento, detta figura DEVE ESSERE CONSULTATA da parte del titolare. Il D.P.O. viene nominato dal titolare del trattamento. Le linee guida emesse dalla commissione WP29, raccomandano la nomina del D.P.O. anche nei casi in cui tale figura non sia obbligatoria. 87
marco domizio D.P.I.A. (Data Protection Impact Assessement) 03 - BIG DATA, EVERYWHERE Trattasi di un documento finalizzato a realizzare una analisi dei rischi attraverso lo studio e le modalità di trattamento dei dati. Detto documento deve individuare i rischi correlati e le misure idonee a neutralizzarli e, in ultima ipotesi a gestirli. La stesso deve contenere: • Una descrizione sistematica dei trattamenti previsti; • Le finalità del trattamento; • L’interesse legittimo perseguito dal titolare del trattamento; • Una valutazione della necessità e proporzionalità dei trattamenti in relazione alle finalità; • Una valutazione dei rischi; • Le misure previste per affrontare i rischi; • Le garanzie, le misure di sicurezza e i meccanismi per garantire la protezione dei dati personali. Tale documento risulta obbligatorio quando: • È presente una valutazione sistematica e globale di aspetti personali relativi a persone fisiche, basata su un trattamento automatizzato, compresa la profilazione, e sulla quale si fondano decisioni che hanno effetti giuridici o incidono in modo analogo significativamente su dette persone fisiche; • Viene effettuato un trattamento, su larga scala, di categorie particolari di dati personali (es.sanitari), o di dati giudiziari; • Videosorveglianza. Il D.P.I.A. deve essere redatto dal titolare del trattamento, unitamente al responsabile, in collaborazione con il RESPONSABILE DELLA PROTEZIONE DATI (D.P.O.). 88
marco domizio REGISTRO DELLE ATTIVITA’ DI TRATTAMENTO 03 - BIG DATA, EVERYWHERE Ogni titolare del trattamento e, ove applicabile, il suo rappresentante tengono un registro delle attività di trattamento svolte sotto la propria responsabilità. Tale registro contiene tutte le seguenti informazioni: • il nome e i dati di contatto del titolare del trattamento e, ove applicabile, del contitolare del trattamento, del rappresentante del titolare del trattamento e del responsabile della protezione dei dati; • le finalità del trattamento; • una descrizione delle categorie di interessati e delle categorie di dati personali; • le categorie di destinatari a cui i dati personali sono stati o saranno comunicati, compresi i destinatari di paesi terzi od organizzazioni internazionali; • i trasferimenti di dati personali verso un paese terzo o un’organizzazione internazionale, compresa l’identificazione del paese terzo o dell’organizzazione internazionale e, per i trasferimenti di cui al secondo comma dell’articolo 49, la documentazione delle garanzie adeguate; • i termini ultimi previsti per la cancellazione delle diverse categorie di dati; • una descrizione generale delle misure di sicurezza tecniche e organizzative. Tale registro è obbligatorio nei seguenti casi: • imprese od organizzazione con almeno 250 dipendenti; • che il trattamento possa presentare un rischio per i diritti e le libertà dell’interessato; • che il trattamento non sia occasionale; • che il trattamento includa categorie di dati particolari (sanitari o giudiziari). 89
marco domizio REGISTRO DELLE ATTIVITA’ DI TRATTAMENTO 03 - BIG DATA, EVERYWHERE Ovviamente anche per quanto concerne procedimenti di informativa agli interessati nonché consenso, sono state previste modiche che rendono obbligatorio riformulare le procedure. E’ opportuno rappresentare come, per CATEGORIA PARTICOLARE DI DATI PERSONALI, devono intendersi dati personali che rivelino: • l’origine razziale o etnica; • le opinioni politiche; • le convinzioni religiose o filosofiche; • l’appartenenza sindacale; • dati genetici; • dati biometrici intesi a identificare in modo univoco una persona fisica (es.videosorveglianza – impronte digitali – iride); • dati relativi alla salute; • dati relativi alla vita sessuale; • dati relativi all’orientamento sessuale. 90
marco domizio Alcune regole 03 - BIG DATA, EVERYWHERE • livelli di aggregazione più elevati • Dati anonimi • Pseudonimo • Campione permission-based 91
marco domizio Security 03 - BIG DATA, EVERYWHERE • Persone:fallimento umano (perdere chiavetta usb con dati, mail con allegati a persona sbagliata…) o comportamenti scorretti • Sistemi • Processi Regole&controllo • Accesso: come, quando e chi • Continuità: backup, disaster recovery… • Controllo: organizzazione, indicatori e reporting LA PRIVACY E LA SICUREZZA NON SONO UN PROBLEMA DI UFFICIO LEGALE!! 9215:17
04 BIG DATA, ANALYTICS Analizza i fatti, parla con i dati
marco domizio Introduzione 04 - ANALYTICS Per analytics si intende l'ampio uso di dati, analisi statistiche e quantitative, modelli esplicativi e predittivi, e basato sui fatti per guidare le decisioni e le azioni” “Qual è l'assortimento ottimale del prodotto da offrire in un negozio?” “Quale sarebbe il livello di prezzo ottimale?” “Attraverso quali canali dovremmo contattare un cliente, al fine di ottimizzare il valore per il cliente?” 94
marco domizio Tipi di analisi 04 - ANALYTICS Tipi • Esplicativa: perché • Predittiva Esecuzione • Statica (al tempo t) • Dinamica (al tempo t1, t2, …tn) 95
marco domizio Dimensioni 04 - ANALYTICS Dimensione primaria • Problema predefinito • Sfide di marketing • Obiettivi di crescita Dimensione secondaria • Dati predefiniti • CRM, transazioni.. • Combinazione di dati 96
marco domizio Problem solving 04 - ANALYTICS “Come si può aumentare il valore dei nostri clienti?” “Quale strategia di prezzo dovrei usare per attirare i clienti più redditizi?” 97
marco domizio Data modeling 04 - ANALYTICS Problema: prevedere il tasso di abbandono Obiettivo: trovare relazioni specifiche nei dati Rischio: ad un padre di una adolescente è stato offerto prodotti per l'infanzia, perché sua figlia, apparentemente in stato di gravidanza ha acquistato prodotti per bambini utilizzando il suo programma di fidelizzazione 98
marco domizio Data mining 04 - ANALYTICS Dati e problema non pre-definiti :analisi induttiva i dati ampiamente disponibili possono fornire informazioni preziose semplicemente scavando 99
marco domizio Data mining 04 - ANALYTICS analisi esplorativa per scoprire nuove relazioni Tesco analizzando i dati della loro carta fedeltà, hanno scoperto che i consumatori acquisto di pannolini spesso acquistano anche birra e patatine 100
marco domizio Impatto dei big data 04 - ANALYTICS 101
marco domizio Regole 04 - ANALYTICS Una delle dimensioni dei big data è il volume. Non è il volume che è importante, ma che il campione analizzato sia rappresentativo. Il volume è importante solo al fine di ottenere risposte più affidabili. In particolare se: •Se vengono studiate più variabili in un'analisi e specificamente quando si studiano gli effetti di variabili multiple su una variabile di esito •Se uno ha bisogno di studiare diversi sotto-campioni. Il sotto-campione dovrebbe essere di dimensioni sufficienti per analizzare •Se c'è molta eterogeneità. Ad esempio, i clienti possono differire fortemente in come si comportano e come rispondono alle azioni di marketing •Se la variabile studiata si verifica molto raramente (ad esempio una conversione su una campagna di posta elettronica) e un numero sufficiente di punti dati è necessario per comprendere i driver di questo evento •Se esiste una forte collinearità tra le variabili indipendenti utilizzate per prevedere o spiegare una variabile dipendente, ad esempio le vendite o la cedola. 102
marco domizio Classificazione 04 - ANALYTICS Area di applicazione (mercato, marca, cliente) Descrittivi o predittivi; Metodo statico o dinamico 103
marco domizio Classificazione 04 - ANALYTICS 104
marco domizio Classificazione 04 - ANALYTICS 105
marco domizio Classificazione 04 - ANALYTICS Questi sette metodi classici hanno in comune il fatto che sono spesso utilizzati all'interno di funzioni di marketing intelligence. Inoltre, molti di questi metodi hanno un ruolo in ambienti Big Data. E’ molto importante padroneggiare questi metodi prima affrontare l’analisi dei Big data 1. Reporting: hanno lo scopo di fornire informazioni di gestione su alcune statistiche descrittive pertinenti a KPI specifici, come quota di mercato, la soddisfazione del cliente, e / o la redditività dei clienti 2. Profiling: fornire una descrizione di marche e di segmenti di clientela. Ad esempio, confrontare utenti Apple vs Samsung vs Blackberry su variabili specifiche, quali l'età, l'istruzione, e di genere 3. Migration: La migrazione può essere utilizzato per studiare lo sviluppo dei clienti e la marca o l'utilizzo del prodotto nel tempo. Questa analisi migrazione è spesso necessaria per comprendere variazioni di dati di vendita aggregati nel tempo 4. Segmentation (gerarchici, k-means) 5. Trend analysis market and sales forecasting (regressione lineare) 6. Attribute importance (Misura indicata di importanza, Approccio basato sulla regressione, Analisi congiunta) 7. Individual prediction models: analisi RFM (Recency, Frequency, Monetary) , alberi di decisione, modelli logit, modelli informatici (bootstrap aggregation (“bagging”)) 106
marco domizio Big data & analytics 04 - ANALYTICS tipi di dati: non strutturati e diversi nuove sfide: ecosistema digitale nuove 7 tecniche di analisi 107
marco domizio Big data Analytics 04 - ANALYTICS 108
marco domizio Web analytics 04 - ANALYTICS Obiettivo Comprendere come il consumatore visita ed usa siti internet Metodi • site-centric: interazione con un sito specifico convergenza, funnel • User-centric: registrazione utenti nel comportamento on line Tecniche: • SEO • Miglioramento sito: test a/b 111
marco domizio Customer journey analysis 04 - ANALYTICS L’analisi permette di avere data da molte sorgenti e, dove possibile, dare un senso a queste per comprendere meglio il customer journeys e gli effetti di un touchpoints verso l’acquisto Metodi -Analisi qualitativa -Analisi quantitativa -Channels/touchpoints used for search -Channels/touchpoints used for purchase -channels/touchpoints used for after- sales 112
marco domizio Attribution modeling 04 - ANALYTICS L’analisi permette di avere data da I clienti sono influenzati da diversi touchpoints: come valutare gli effetti di un touchpoint? Modelli “path to purchase”, Ultimo click, first click, time-decay attribution, touchpoint offline 113
marco domizio Esempio: Campagna Adwords 04 - ANALYTICS Time decay:assegna maggior valore ai clic eseguiti più a ridosso della conversione. Il credito viene distribuito utilizzando un lasso di tempo di sette giorni, vale a dire che un clic eseguito otto giorni prima di una conversione riceverà metà del credito assegnato a un clic eseguito un giorno prima di una conversione. Esempio Adwords: Immaginiamo che tu sia il proprietario dell'hotel Paulina di Firenze. Un cliente trova il tuo sito facendo clic sugli annunci AdWords dopo aver eseguito le seguenti ricerche: "hotel Toscana", "hotel Firenze", "hotel 3 stelle Firenze" e infine "hotel 3 stelle Paulina Firenze". Il cliente prenota dopo aver fatto clic sull'annuncio attivato dai termini di ricerca "hotel 3 stelle Paulina Firenze". Con il modello di attribuzione "Ultimo clic", tutto il credito della conversione verrebbe attribuito all'ultima parola chiave ("hotel 3 stelle Paulina Firenze"). Con il modello di attribuzione "Primo clic", tutto il credito della conversione verrebbe attribuito alla prima parola chiave ("hotel Toscana"). Con il modello di attribuzione "Lineare", il credito della conversione verrebbe distribuito equamente tra tutte le parole chiave (il 25% ciascuna). Con il modello di attribuzione “Time decay", la maggior parte del credito verrebbe attribuita alla parola chiave "hotel 3 stelle Paulina Firenze" perché è quella che è stata utilizzata più a ridosso della conversione. La parte minore del credito verrebbe attribuita alla parola chiave "hotel Toscana" perché è quella utilizzata più lontano nel tempo rispetto alla conversione. Con il modello di attribuzione "In base alla posizione", il 40% del credito della conversione verrebbe attribuito alle parole chiave "hotel Toscana" e "hotel 3 stelle Paulina Firenze", mentre il 10% del credito verrebbe attribuito rispettivamente alle parole chiave "hotel Firenze" e "hotel 3 stelle Firenze". Con il modello di attribuzione "Basato sui dati", la parte di credito verrebbe attribuita a ciascuna parola chiave in base al numero di conversioni che ha generato. 114
marco domizio Dynamic targeting 04 - ANALYTICS • Recommendation systems • Content filtering systems • Collaborative filtering systems • Hybrid forms of content and collaborative filtering systems. • Personalization systems. La differenza fondamentale tra sistemi di raccomandazione e sistemi di personalizzazione è che i sistemi di raccomandazione raccomandano prodotti o servizi esistenti, mentre i sistemi di personalizzazione adattano l'offerta alle esigenze dei clienti. 115
marco domizio Integrated models 04 - ANALYTICS Integrazione ad un livello Integrazione Multi-level Adaptive forecasting L’arroganza dei big data: effetto Google Flu Trends 116
marco domizio Social Listening 04 - ANALYTICS • Analisi del testo (dr.watson) • “opinion mining”: tecniche computazionali per l'estrazione, la classificazione, la comprensione e la valutazione delle opinioni espresse in varie fonti di notizie online, social/commenti dei media, e altri contenuti generati dagli utenti (sentiment analysis) Errori da evitare: commento che accompagna un’immagine di una reazione cutanea rispetto ad una crema per il corpo che afferma:“Grazie xxx! Davvero un effetto strepitoso “ oppure un commento ad un ritardo nel volo: “Il mio volo è in ritardo. Splendido!” 117
marco domizio Social network analysis 04 - ANALYTICS Non solo FB, Linkedin (piazze)…ma community specializzate! • Creation of network data • Description of the network using network metrics • Social network targeting and valuation. teoria dei grafi, influencer Warning!: privacy 118
marco domizio Social network analysis 04 - ANALYTICS Degree centrality:Misura il numero di contatti diretti che un individuo ha in una rete Betweenness centrality: E’ legato al numero di volte in cui un nodo si ritrova lungo lo shortest path tra le altre coppie di nodi della rete Closeness centrality: esprime il grado di prossimità di un utente agli altri della rete Clienti con un alta betweenness centrality hanno più potere in una rete Clienti con bassa Closeness centrality hanno più facilità di raggiungere altri clienti ESEMPIO Influencer e Testimonial 119
marco domizio Emerging techniques 04 - ANALYTICS Analisi foto e video (CBIR ( Content-Based Image RetrievalSystems) Proximity marketing&cookies 120
marco domizio Successful big data 04 - ANALYTICS Investimento in • Persone:reclutare, sviluppare e mantenere il giusto talento analitico • Sistemi:la piattaforma e gli strumenti per un ecosistema dati integrato • Processi: creare un modo comune di lavoro basato sul business e sostenuto dalla privacy e dalla sicurezza • Organizzazione:prendere il ruolo giusto e il posto nell'organizzazione per il maggior impatto. VALUE GENERATION people process system organization 121
marco domizio Sistemi 04 - ANALYTICS 12216:39
05 Tools, storage & processing Uno sguardo agli strumenti di lavoro
marco domizio Big data landscape 05 - Tools, storage & processing 124
marco domizio Tools 05 - Tools, storage & processing NoSQL: è un movimento che promuove sistemi software dove la persistenza dei dati è caratterizzata dal fatto di non utilizzare il modello relazionale, di solito usato dai database tradizionali (RDBMS) ◦ DatabasesMongoDB, CouchDB, Cassandra, Redis, BigTable, Hbase, Hypertable, Voldemort, Riak, ZooKeeper MapReduce: è un framework software brevettato e introdotto da Google per supportare la computazione distribuita su grandi quantità di dati in cluster di computer. ◦ Hadoop, Hive, Pig, Cascading, Cascalog, mrjob, Caffeine, S4, MapR, Acunu, Flume, Kafka, Azkaban, Oozie, Greenplum Storage ◦ S3, Hadoop Distributed File System Servers ◦ EC2, Google App Engine, Elastic, Beanstalk, Heroku Processing ◦ R, Yahoo! Pipes, Mechanical Turk, Solr/Lucene, ElasticSearch, Datameer, BigSheets, Tinkerpop 125
marco domizio Risorse e servizi distribuiti 05 - Tools, storage & processing • Distributed Architecture • Clusters of computers that work together to a common goal • Scale out not up! • Fault- tolerance • Resource replication • Eventual consistency • Distributed processing • Shared-nothing model • New programming paradigms 126
marco domizio Teorema di CAP 05 - Tools, storage & processing Per aumentare il livello della prestazione nella gestione e nell'interrogazione dei dati si punta, dunque, ad un sistema distribuito, il quale si basa sulle proprietà del Teorema CAP, presentato nel 2000 da Eric Brewer Esso specifica come in un contesto distribuito si possano identificare 3 proprietà fondamentali: • Consistency (Coerenza): i dati rimangono consistenti alla fine dell'esecuzione di un'operazione, ovvero, una volta effettuato un update, tutti i client dispongono degli stessi dati. • Availability (Disponibilità): ogni richiesta riceverà una risposta sia in caso di successo che in caso di fallimento; in altre parole, il sistema è sempre disponibile. • Partition Tolerance (Tolleranza al Partizionamento): il sistema continua a funzionare nonostante la presenza di un meccanismo di comunicazione inaffidabile e di eventuali perdite di messaggi. Il teorema enuncia l'impossibilità di avere tutte e tre le caratteristiche nello stesso momento; pertanto, se ne possono implementare al più due a discapito della terza. Di conseguenza, se si sceglie di non avere una tolleranza al partizionamento si avranno problemi sulla scalabilità verticale, che è sicuramente più costosa. Se si rinuncia alla disponibilità dobbiamo attendere che vengano risolte alcune richieste a discapito delle prestazioni. Se si rinuncia alla coerenza si avrà, per un periodo, un disallineamento dei dati sui nodi. A fronte dei risultati offerti dal teorema CAP, i database di tipo NoSQL, per poter essere scalabili come richiesto, devono sacrificare la consistenza a scapito le prestazioni e la disponibilità dei dati. La consistenza non è possibile garantirla sempre a priori, ma è comunque presente in una forma più debole. 127
marco domizio Big data flow 05 - Tools, storage & processing ETL RealTime Streams Distributed File System (HDFS) NoSQL (HBase, Cassandra, MongoDB) New SQL (Oracle, VoltDB, Teradata) Real Time Processing Analytics (Spark, Cloudera, Greenplum) Batch Processing 128
marco domizio Trend 05 - Tools, storage & processing ETL RealTime Streams Distributed File System (HDFS) NoSQL (HBase, Cassandra, MongoDB) New SQL (Oracle, VoltDB, Teradata) Real Time Processing Analytics (Spark, Cloudera, Greenplum) Batch Processing X 129
marco domizio Data Lake 05 - Tools, storage & processing 130
marco domizio Data Lake 05 - Tools, storage & processing Il termine data lake è apparso per la prima volta a ottobre 2010 sul blog di James Dixon, CTO di Pentaho, specializzata in business intelligence “Se si pensa a un datamart come a un negozio di acqua in bottiglia – depurata, confezionata e strutturata per essere consumata con facilità – il data lake è una grande distesa d'acqua in uno stato più naturale. Il contenuto del data lake affluisce da sorgenti di dati e vari utenti del lake possono esaminarlo, immergervisi o prelevare campioni. È nella nozione di dati e campioni grezzi che un data lake diverge da un data warehouse: il primo raccoglie un volume consistente di dati grezzi – strutturati, semistrutturati e destrutturati – in formato nativo e ne permette l'analisi. “ 131
marco domizio Data Lake 05 - Tools, storage & processing Dove un data warehouse memorizza i dati in file e cartelle, un data lake fa uso di una architettura piatta. Ogni elemento riceve un identificatore e un insieme di metadati a corredo. Il data lake può così essere interrogato alla ricerca di dati rilevanti, che possono essere successivamente analizzati a parte alla ricerca di risultati specifici. 132
marco domizio Gli strumenti di digital analytics 05 - Tools, storage & processing 133
marco domizio Raccolta: puoi utilizzare Google Analytics per raccogliere i dati sulle interazioni degli utenti da siti web, app mobili e ambienti collegati digitalmente, ad esempio postazioni digitali o sistemi POS. Per i siti web, Google Analytics utilizza il codice JavaScript per raccogliere informazioni. Un pacchetto di informazioni è definito "hit" o "interazione". Un "hit" viene inviato ogni volta che un utente visualizza una pagina con i tag di Google Analytics. Per le app mobili, è necessario aggiungere altro codice per ogni "attività" da monitorare. Elaborazione: una volta raccolti gli hit di un utente sui server Google, si passa alla fase di elaborazione dei dati. In questo passaggio avviene la "trasformazione" dei dati non elaborati in qualcosa di utile. Come funziona Google Analytics 05 - Tools, storage & processing 134
marco domizio Configurazione: in questo passaggio, Google Analytics applica le impostazioni di configurazione ai dati non elaborati, ad esempio i filtri. In seguito all'elaborazione, i dati vengono memorizzati in un database. Dopo aver elaborato e memorizzato i dati nel database, è possibile modificarli. Rapporti: generalmente, per accedere ai dati viene utilizzata l'interfaccia web. Come funziona Google Analytics 05 - Tools, storage & processing 135
marco domizio Come funziona Google Analytics 05 - Tools, storage & processing 136
marco domizio Il ciclo di pianificazione della misurazione è composto dai seguenti passaggi: • Definizione del piano di misurazione • Documentare gli obiettivi di business. • Identificare le strategie e le tattiche per supportare gli obiettivi. • Scegliere le metriche che saranno gli indicatori chiave di prestazione. • Decidere come segmentare i dati. • Scegliere gli obiettivi per gli indicatori chiave di prestazione. • Creazione di un piano di implementazione. • Implementazione del piano. • Gestione e perfezionamento. Creare un piano di misurazione 05 - Tools, storage & processing 137
marco domizio I rapporti di Google Analytics contengono dimensioni e metriche. Più comunemente, le dimensioni e le metriche vengono indicate in una tabella, in cui la prima colonna contiene un elenco di valori per una determinata dimensione mentre le altre colonne mostrano le metriche corrispondenti. Le dimensioni descrivono le caratteristiche degli utenti, delle sessioni e delle azioni eseguite. Le metriche sono le misurazioni quantitative di utenti, sessioni e azioni. Sono dati numerici. Gli eventi sono interazioni tra utenti e contenuti monitorabili indipendentemente dal caricamento di una pagina web o di una schermata. Concetti chiave 05 - Tools, storage & processing 138
marco domizio Le dimensioni descrivono le caratteristiche degli utenti, delle sessioni e delle azioni eseguite. Ad es. la dimensione Città descrive una caratteristica delle sessioni e indica la città. Le metriche sono misurazioni quantitative. Ad es. la metrica Sessioni indica il numero totale di sessioni. La metrica Pagine/sessione indica il numero medio di pagine visualizzate a ogni sessione. Ogni report in Google Analytics contiene entrambe le dimensioni e metriche. Metriche e dimensioni 05 - Tools, storage & processing 139
marco domizio La segmentazione ti consente di isolare e analizzare i sottoinsiemi di dati. I segmenti sono filtri non distruttivi. Ad esempio, puoi segmentare i dati in base ai canali di marketing per individuare il canale che fa registrare un incremento degli acquisti. I segmenti rappresentano sottoinsiemi di sessioni o sottoinsiemi di utenti. • Sottoinsiemi di sessioni: ad esempio, tutte le sessioni che hanno origine dalla Campagna A; • tutte le sessioni durante le quali è stato generato un acquisto. • Sottoinsiemi di utenti: ad esempio, gli utenti che hanno in precedenza effettuato acquisti; utenti che hanno aggiunto articoli al carrello degli acquisti ma che non hanno completato un acquisto. Segmentazione dei dati 05 - Tools, storage & processing 140
marco domizio L’impostazione degli obiettivi in Google Analytics è uno dei passaggi più importanti dell'implementazione. Una volta attivati gli obiettivi, ottieni metriche quali il numero di conversioni e il tasso di conversione. Gli obiettivi ti consentono di mappare i dati in Google Analytics in base agli indicatori chiave di prestazione definiti nella pianificazione della misurazione. Obiettivi ed ecommerce 05 - Tools, storage & processing 141
marco domizio Esistono quattro tipi di obiettivo. Gli obiettivi vengono impostati a livello di vista Obiettivo Destinazione è una pagina del tuo sito web che gli utenti visualizzano in seguito al completamento di un'attività. Per la creazione di un account, potrebbe essere la pagina di ringraziamento per la registrazione. Per un acquisto, potrebbe essere la pagina della ricevuta. Un obiettivo Destinazione dà inizio a una conversione quando un utente visualizza la pagina da te specificata. Obiettivo Evento viene attivato quando un utente esegue un'operazione specifica, ad esempio scarica un PDF o avvia un video. Per utilizzare questo tipo di obiettivo, è necessario aver implementato il monitoraggio degli eventi nel sito web. Obiettivi ed ecommerce 05 - Tools, storage & processing 142
marco domizio Obiettivo Pagine per visita viene attivato quando un utente visualizza più o meno pagine rispetto a una determinata soglia. Obiettivo Durata viene attivato quando la visita di un utente supera/non raggiunge una determinata soglia. Obiettivi ed ecommerce 05 - Tools, storage & processing 143
marco domizio C'è una differenza importante tra conversioni all'obiettivo e transazioni e-commerce. Durante una visita, una conversione all'obiettivo può essere conteggiato una sola volta mentre una transazione e-commerce può essere conteggiata più volte. Ecco un esempio. Supponiamo che uno degli obiettivi impostati sia il download di un PDF e che ogni download sia considerato una conversione all'obiettivo valida. Supponiamo inoltre che il valore dell'obiettivo sia € 5. In questo caso, se un utente accede al sito e scarica cinque file PDF durante una singola sessione, ottieni una sola conversione del valore di € 5. Tuttavia, se monitorassi ognuno di questi download come transazione e-commerce di € 5, registreresti cinque transazione ed € 25 di entrate e-commerce. Obiettivi ed ecommerce 05 - Tools, storage & processing 144
marco domizio Ottieni ulteriori dati sulla provenienza degli utenti provenienti dai referral che accedono ai tuoi contenuti e, conseguentemente, identificare i modi più efficaci per attirare nuovi visitatori. Per utilizzare le campagne personalizzate, è necessario aggiungere negli URL alcuni parametri in grado di identificare il posizionamento di tali link nell'ambito di una specifica campagna in corso di pubblicazione. Quando un utente fa clic su un link, tali parametri vengono inviati ai rapporti Analytics, in modo che sia possibile scoprire gli URL su cui gli utenti fanno clic per accedere ai tuoi contenuti. Per impostare campagne personalizzate, devi aggiungere parametri alla fine degli URL (utm_source, utm_medium, utm_campaign, utm_term, utm_content) Campagne 05 - Tools, storage & processing 145
marco domizio Rapporti 05 - Tools, storage & processing 146
marco domizio Come funziona 05 - Tools, storage & processing DEMO ONLINE 14717:39
marco domizio Marco Domizio Digital Transformation Consultant Affianco imprenditori a realizzare progetti digitali per aumentare clienti e vendite m.domizio@tiscali.it +39 335 1223483 Un obiettivo, senza un piano, rimane solo un desiderio. “GRAZIE! 148

Check these out next

Big data segnali dal futuro

Recommended

More Related Content

Slideshows for you(20)

Similar to Big data segnali dal futuro(20)

Recently uploaded(20)

Big data segnali dal futuro