DA BIG A SMART DATA
WEBORAMA, UN BRAND GLOBALE
17
ANNI
7
UFFICI
17
MERCATI
240
IMPIEGATI
ADAP
Audience Driven Advertising Platform
Audience & Data Management (DMP)
Adserving & Tracking
Trading Desk
Data Exchange
Data Consultants
Uh?!
RACCOGLIERE DATI
IMMAGAZZINARE
ELABORARE
DATI
ATTIVARE
DATI
BIG DATA IN PAROLE POVERE
Puoi scrivere il tuo nome e la tua età? Sono sicuro che puoi farlo. Puoi
scriverlo per tutti i tuoi compagni di classe? O per tutti nella tua scuola?
O tutti nella tua città? Tutti nel tuo Stato? Tutti nel mondo? E poi
aggiungere anche la loro età, il loro colore preferito, il loro animale
preferito, i loro programmi TV preferiti, più tutto ciò che ti viene in
mente... Il tutto per milioni e milioni di persone.
Questo è davvero troppo, non credi? Non puoi farlo tu e nemmeno io
posso farlo. Ma alcuni computer possono farlo, ed è ciò che chiamiamo
'big data'. "Data" sono tutte queste cose che stiamo scrivendo e puoi
immaginare che per milioni, miliardi, milioni di miliardi di persone, siano
davvero "Big".
Cosa possiamo fare con tutti questi dati? Siamo in grado di trovare
modelli. Ad esempio, le persone che fanno i programmi televisivi
possono scoprire che ai bambini che amano la musica piace molto
anche disegnare, e potranno decidere di fare un nuovo programma di
musica e arte. Oppure gli ospedali potrebbero scoprire che le malattie
degli anziani sono correlate a ciò che le persone amano mangiare.
Questo potrebbe aiutare le famiglie e i medici a prendersi cura meglio
dei nostri nonni.
Donald Farmer, Qlik’s VP of product management
 Predire i vincitori degli Oscar
 Capire e Ottimizzare i Processi Aziendali
 Analisi personale e ottimizzazione delle prestazioni personali
 Migliorare la Salute pubblica e la ricerca medica
 Migliorare le prestazioni Sportive
 Migliorare Scienza e Ricerca Scientifica
 Ottimizzare le prestazioni di macchinari e dispositivi elettronici
 Migliorare la sicurezza nazionale e il lavoro della polizia
 Migliorare e ottimizzare le Città e gli Stati
 Capire e targettizzare meglio i Clienti
BIG DATA PER...
BIG DATA PER...
 Capire e targettizzare meglio i Clienti
SCARSITA’ DI DATI
Panel
Profilo socio-demografico
Abitudini d’acquisto
Abitudini mediatiche
Composizione famigliare
Reddito Profilo
psicografico
Attitudini
RICERCHE ELABORATISSIME
ATTIVAZIONE ELEMENTARE
Uomo/Donna
Fascia d’eta’
DISPERSIONE, MISURAZIONE A
CAMPIONE, INCERTEZZA
...forse
TARGETING
APPROSSIMATIVO
CONTENUTI E PUBBLICITA’
GENERALISTI
ERA DIGITALE
Digitalizzazione
dei contenuti
UGC
Accesso (quasi)
illimitato
all’informazione
Atomizzazione dei
contenuti
Fruizione
individuale
Capacità di
archiviazione
(quasi) illimitata
Tracciamento
degli utenti
Contenuti fluidi
CANALE DI RITORNO = LASCIARE TRACCE
Dove navigano?
Cosa fanno?
Cosa comprano?
Cosa interessa loro?
Quali percorsi?
BIG DATA NELL’ONLINE MARKETING
Referrer data
Transaction data
Customer Online Path
Customer Geo Area
Next Best Action
Customer Segment
Shopping Propensities
Attitude & Interests
Demographics
Non Customers
Geography
Life Events
(Weborama) Customer Portraits
CRM Data dell’inserzionista Website Data dell’inserzionista Media Data
Media Exposure Data
Click Through Data
Fonte: CRM Fonte: analytics Fonte: adserver
Fonte: DB esterni
(third party)
Fonte: DB interni (first party)
DATI ELABORATI IN UNA DMP
ATTIVAZIONE
Il tipo di attivazione dei dati
elaborati da una DMP più
diffuso è quello in ambito
«programmatic»: i segmenti
creati vengono utilizzati come
criterio di targeting – o come
«filtro» – a monte (lato
Demand Side Platform, ovvero
advertiser) o a valle (lato
Supply Side Platform, ovvero
publisher) del processo di
buying automatizzato.
L’utilizzo dei dati è comunque
possibile laddove vi sia una
«macchina» in grado di
prendere decisioni sulla base
di vari criteri, dove il target
(segmento) è uno di essi.
Weborama, in un paese come la Francia,
raccoglie dati su 7 MILIONI di URL da
250.000 SITI.
Che porta a:
40 MILIONI DI HIT al giorno, per 10 MILIONI
DI UTENTI UNICI.
1.5 MILIARDI DI DATA EVENTS sono
processati tutti i mesi per costruire il
Database.
BIG DATA: QUANTO BIG?
70 milioni di cookie unici profilati in Italia
160 cluster comportamentali
Cluster raggruppati in 23 segmenti
13 segmenti socio-demo
480 milioni di profili italiani
VECCHIE E NUOVE OPZIONI
2/3 variabili (genere, età,...)
1 creatività per tutti
Risultati inferiti
4 milioni di persone -> 1 profilo
Centinaia/migliaia di variabili
Creatività dinamiche
Risultati misurati in tempo reale
4 milioni di persone -> 4 milioni di profili
IL PARADOSSO
DEI BIG DATA TROPPO BIG!
SEMPLIFICAZIONE
VARIABILI NUOVE LOGICHE VECCHIE
Target costruito offline
Target di marketing: 10 variabili
Target di comunicazione: 5 variabili
Target media: 2 variabili*
Variabili disponibili online: migliaia
*Variabili utilizzate: 2
MEMENTO...
Puoi scrivere il tuo nome e la tua età? Sono sicuro che puoi farlo. Puoi
scriverlo per tutti i tuoi compagni di classe? O per tutti nella tua scuola?
O tutti nella tua città? Tutti nel tuo Stato? Tutti nel mondo? E poi
aggiungere anche la loro età, il loro colore preferito, il loro animale
preferito, i loro programmi TV preferiti, più tutto ciò che ti viene in
mente... Il tutto per milioni e milioni di persone.
Questo è davvero troppo, non credi? Non puoi farlo tu e nemmeno io
posso farlo. Ma alcuni computer possono farlo, ed è ciò che chiamiamo
'big data'. "Data" sono tutte queste cose che stiamo scrivendo e puoi
immaginare che per milioni, miliardi, milioni di miliardi di persone, siano
davvero "Big".
Cosa possiamo fare con tutti questi dati? Siamo in grado di trovare
modelli. Ad esempio, le persone che fanno i programmi televisivi
possono scoprire che ai bambini che amano la musica piace molto
anche disegnare, e potranno decidere di fare un nuovo programma di
musica e arte. Oppure gli ospedali potrebbero scoprire che le malattie
degli anziani sono correlate a ciò che le persone amano mangiare.
Questo potrebbe aiutare le famiglie e i medici a prendersi cura meglio
dei nostri nonni.
Donald Farmer, Qlik’s VP of product management
DA BIG A SMART: CORRELAZIONI
Correlazione
Rapporto causaleRapporto causale
Una correlazione è una constatazione fine a se’ stessa
Una correlazione ripetuta due volte è un caso
Una correlazione ripetuta dieci volte è sospetta
Una correlazione ripetuta un milione di volte è STATISTICA
I NUOVI MODELLI DI TARGET
Abbiamo enormi quantità di informazioni sui già clienti/prospect
Abbiamo enormi quantità di informazioni su chi cliente ancora non è
Abbiamo straordinarie capacità di trovare correlazioni
PARTIAMO DAL PROFILO REALE DEI TUOI CLIENTI
Costruiamo un modello statistico dei tuoi clienti, usando TUTTI i dati
Applichiamo il modello al resto della popolazione per trovare i simili
PRENOTA UN TEST DRIVE
MIGLIORE AUDIENCE, MIGLIORI PERFORMANCE
C-CLONES
AUDIENCE EXTENSION
Espansione del target su
look-alikes
Profilo utente a target
DB utenti dal profilo conosciuto
Ambientemedia
DMP
C-Clones
Campagna Lead generation – Settore Finance/Insurance
Dopo una prima fase di raccolta e analisi dei dati, in seguito al tracciamento di attività display, sono stati creati 4
segmenti sulla DMP Weborama e 5 linee di campagna:
STRUTTURA DELLA CAMPAGNA
Segmento C-Clones TYP (look-alike dei converter
sulla TYP)
Linea di campagna C-Clones TYP
Segmento C-Clones Step3Funnel (look-alike degli
utenti arrivati allo step 3 del funnel di conversione)
Linea di campagna C-Clones Step3Funnel
Cluster generici (cluster Weborama) Linea di campagna Cluster
Segmento Retargeting
Linea di campagna Retargeting (Retargeting nelle 24 ore dei
clicker di campagna)
-
Linea open, senza targeting su cluster/segmenti per poter
alimentare di nuovi utenti i C-Clones
CASE HISTORY 1: PERFORMANCE
Esempio di C-Clones Step3 Esempio di C-Clones TYP
ESEMPIO DI ALBERO DI
SEGMENTAZIONE DEI C-CLONES
CAMPAGNA WEBORAMA
GLI UTENTI INDIVIDUATI CON I C-CLONES HANNO UNA MAGGIORE PROPENSIONE GENERALE AL
CLICK E ALLA CONVERSIONE
Migliore efficienza in termini di click (CPC) dalla linea C-Clones TYP
Migliore efficienza in termini di lead attribuite post-click dalla linea C-Clones Step3 Funnel
Campaigns Impressions Clicks CTR% CPC Costo
Post-click
conversion
Thankyou
Page -
Weborama
CPL post click
C-Clones Step3Funnel 2.539.384 4181 0,16% € 0,39 € 1.269,69 11 € 115,43
C-Clones TYP 1.713.984 3201 0,18% € 0,30 € 856,99 6 € 142,83
Clusters 4.294.088 5071 0,12% € 0,42 € 2.147,04 2 € 1.073,52
Open NoTGT 5.726.709 3971 0,07% € 0,72 € 2.863,35 2 € 1.431,68
Retargeting 628.537 1353 0,22% € 0,23 € 314,27 3 € 104,76
Total 15.460.769 18.162 0,12% € 0,43 €7.730 28 € 276,09
Campagna Lead generation e Qualifica del Traffico – Settore automotive
CASE HISTORY 2: PERFORMANCE
Obiettivo campagna:
download brochure
Tipo campagna:
Display + DEM
Durata campagna:
2+2 settimane
Concessionarie coinvolte:
16
Totale brochure scaricate:
21.156
Download attribuiti a
Weborama:
2.788 (13%)
Media piano costo per
download:
115,81€
Costo per download
Weborama:
18,80€
BIG E SMART: LA RIVOLUZIONE
 Dati scelti per adattarsi a modelli
 Target costruiti su campioni statistici
 Target media
 Proiezioni statistiche
 Target costruiti su tutti i dati disponibili
 Modelli modelli costruiti coi dati
 Target di prodotto
 Statistiche e algoritmi
I BIG DATA SONO NULLA SENZA DATA SCIENCE
ROBERTO CARNAZZA
ITALY COUNTRY MANAGER
roberto@weborama.com

Da Big a Smart Data - Iab Forum 2015 Workshop Weborama

  • 1.
    DA BIG ASMART DATA
  • 3.
    WEBORAMA, UN BRANDGLOBALE 17 ANNI 7 UFFICI 17 MERCATI 240 IMPIEGATI
  • 5.
    ADAP Audience Driven AdvertisingPlatform Audience & Data Management (DMP) Adserving & Tracking Trading Desk Data Exchange Data Consultants
  • 6.
  • 7.
  • 8.
  • 9.
  • 10.
    BIG DATA INPAROLE POVERE Puoi scrivere il tuo nome e la tua età? Sono sicuro che puoi farlo. Puoi scriverlo per tutti i tuoi compagni di classe? O per tutti nella tua scuola? O tutti nella tua città? Tutti nel tuo Stato? Tutti nel mondo? E poi aggiungere anche la loro età, il loro colore preferito, il loro animale preferito, i loro programmi TV preferiti, più tutto ciò che ti viene in mente... Il tutto per milioni e milioni di persone. Questo è davvero troppo, non credi? Non puoi farlo tu e nemmeno io posso farlo. Ma alcuni computer possono farlo, ed è ciò che chiamiamo 'big data'. "Data" sono tutte queste cose che stiamo scrivendo e puoi immaginare che per milioni, miliardi, milioni di miliardi di persone, siano davvero "Big". Cosa possiamo fare con tutti questi dati? Siamo in grado di trovare modelli. Ad esempio, le persone che fanno i programmi televisivi possono scoprire che ai bambini che amano la musica piace molto anche disegnare, e potranno decidere di fare un nuovo programma di musica e arte. Oppure gli ospedali potrebbero scoprire che le malattie degli anziani sono correlate a ciò che le persone amano mangiare. Questo potrebbe aiutare le famiglie e i medici a prendersi cura meglio dei nostri nonni. Donald Farmer, Qlik’s VP of product management
  • 12.
     Predire ivincitori degli Oscar  Capire e Ottimizzare i Processi Aziendali  Analisi personale e ottimizzazione delle prestazioni personali  Migliorare la Salute pubblica e la ricerca medica  Migliorare le prestazioni Sportive  Migliorare Scienza e Ricerca Scientifica  Ottimizzare le prestazioni di macchinari e dispositivi elettronici  Migliorare la sicurezza nazionale e il lavoro della polizia  Migliorare e ottimizzare le Città e gli Stati  Capire e targettizzare meglio i Clienti BIG DATA PER...
  • 13.
    BIG DATA PER... Capire e targettizzare meglio i Clienti
  • 15.
  • 16.
    Panel Profilo socio-demografico Abitudini d’acquisto Abitudinimediatiche Composizione famigliare Reddito Profilo psicografico Attitudini RICERCHE ELABORATISSIME
  • 17.
    ATTIVAZIONE ELEMENTARE Uomo/Donna Fascia d’eta’ DISPERSIONE,MISURAZIONE A CAMPIONE, INCERTEZZA ...forse
  • 18.
  • 19.
  • 20.
  • 21.
    Digitalizzazione dei contenuti UGC Accesso (quasi) illimitato all’informazione Atomizzazionedei contenuti Fruizione individuale Capacità di archiviazione (quasi) illimitata Tracciamento degli utenti Contenuti fluidi
  • 23.
    CANALE DI RITORNO= LASCIARE TRACCE Dove navigano? Cosa fanno? Cosa comprano? Cosa interessa loro? Quali percorsi?
  • 24.
    BIG DATA NELL’ONLINEMARKETING Referrer data Transaction data Customer Online Path Customer Geo Area Next Best Action Customer Segment Shopping Propensities Attitude & Interests Demographics Non Customers Geography Life Events (Weborama) Customer Portraits CRM Data dell’inserzionista Website Data dell’inserzionista Media Data Media Exposure Data Click Through Data Fonte: CRM Fonte: analytics Fonte: adserver Fonte: DB esterni (third party) Fonte: DB interni (first party)
  • 25.
  • 26.
    ATTIVAZIONE Il tipo diattivazione dei dati elaborati da una DMP più diffuso è quello in ambito «programmatic»: i segmenti creati vengono utilizzati come criterio di targeting – o come «filtro» – a monte (lato Demand Side Platform, ovvero advertiser) o a valle (lato Supply Side Platform, ovvero publisher) del processo di buying automatizzato. L’utilizzo dei dati è comunque possibile laddove vi sia una «macchina» in grado di prendere decisioni sulla base di vari criteri, dove il target (segmento) è uno di essi.
  • 27.
    Weborama, in unpaese come la Francia, raccoglie dati su 7 MILIONI di URL da 250.000 SITI. Che porta a: 40 MILIONI DI HIT al giorno, per 10 MILIONI DI UTENTI UNICI. 1.5 MILIARDI DI DATA EVENTS sono processati tutti i mesi per costruire il Database. BIG DATA: QUANTO BIG?
  • 28.
    70 milioni dicookie unici profilati in Italia 160 cluster comportamentali Cluster raggruppati in 23 segmenti 13 segmenti socio-demo 480 milioni di profili italiani
  • 29.
    VECCHIE E NUOVEOPZIONI 2/3 variabili (genere, età,...) 1 creatività per tutti Risultati inferiti 4 milioni di persone -> 1 profilo Centinaia/migliaia di variabili Creatività dinamiche Risultati misurati in tempo reale 4 milioni di persone -> 4 milioni di profili
  • 30.
    IL PARADOSSO DEI BIGDATA TROPPO BIG!
  • 31.
  • 32.
    VARIABILI NUOVE LOGICHEVECCHIE Target costruito offline Target di marketing: 10 variabili Target di comunicazione: 5 variabili Target media: 2 variabili* Variabili disponibili online: migliaia *Variabili utilizzate: 2
  • 33.
    MEMENTO... Puoi scrivere iltuo nome e la tua età? Sono sicuro che puoi farlo. Puoi scriverlo per tutti i tuoi compagni di classe? O per tutti nella tua scuola? O tutti nella tua città? Tutti nel tuo Stato? Tutti nel mondo? E poi aggiungere anche la loro età, il loro colore preferito, il loro animale preferito, i loro programmi TV preferiti, più tutto ciò che ti viene in mente... Il tutto per milioni e milioni di persone. Questo è davvero troppo, non credi? Non puoi farlo tu e nemmeno io posso farlo. Ma alcuni computer possono farlo, ed è ciò che chiamiamo 'big data'. "Data" sono tutte queste cose che stiamo scrivendo e puoi immaginare che per milioni, miliardi, milioni di miliardi di persone, siano davvero "Big". Cosa possiamo fare con tutti questi dati? Siamo in grado di trovare modelli. Ad esempio, le persone che fanno i programmi televisivi possono scoprire che ai bambini che amano la musica piace molto anche disegnare, e potranno decidere di fare un nuovo programma di musica e arte. Oppure gli ospedali potrebbero scoprire che le malattie degli anziani sono correlate a ciò che le persone amano mangiare. Questo potrebbe aiutare le famiglie e i medici a prendersi cura meglio dei nostri nonni. Donald Farmer, Qlik’s VP of product management
  • 34.
    DA BIG ASMART: CORRELAZIONI Correlazione Rapporto causaleRapporto causale
  • 35.
    Una correlazione èuna constatazione fine a se’ stessa Una correlazione ripetuta due volte è un caso Una correlazione ripetuta dieci volte è sospetta Una correlazione ripetuta un milione di volte è STATISTICA
  • 36.
    I NUOVI MODELLIDI TARGET Abbiamo enormi quantità di informazioni sui già clienti/prospect Abbiamo enormi quantità di informazioni su chi cliente ancora non è Abbiamo straordinarie capacità di trovare correlazioni PARTIAMO DAL PROFILO REALE DEI TUOI CLIENTI Costruiamo un modello statistico dei tuoi clienti, usando TUTTI i dati Applichiamo il modello al resto della popolazione per trovare i simili
  • 37.
    PRENOTA UN TESTDRIVE MIGLIORE AUDIENCE, MIGLIORI PERFORMANCE C-CLONES
  • 38.
    AUDIENCE EXTENSION Espansione deltarget su look-alikes Profilo utente a target DB utenti dal profilo conosciuto Ambientemedia DMP C-Clones
  • 39.
    Campagna Lead generation– Settore Finance/Insurance Dopo una prima fase di raccolta e analisi dei dati, in seguito al tracciamento di attività display, sono stati creati 4 segmenti sulla DMP Weborama e 5 linee di campagna: STRUTTURA DELLA CAMPAGNA Segmento C-Clones TYP (look-alike dei converter sulla TYP) Linea di campagna C-Clones TYP Segmento C-Clones Step3Funnel (look-alike degli utenti arrivati allo step 3 del funnel di conversione) Linea di campagna C-Clones Step3Funnel Cluster generici (cluster Weborama) Linea di campagna Cluster Segmento Retargeting Linea di campagna Retargeting (Retargeting nelle 24 ore dei clicker di campagna) - Linea open, senza targeting su cluster/segmenti per poter alimentare di nuovi utenti i C-Clones CASE HISTORY 1: PERFORMANCE
  • 40.
    Esempio di C-ClonesStep3 Esempio di C-Clones TYP ESEMPIO DI ALBERO DI SEGMENTAZIONE DEI C-CLONES
  • 41.
    CAMPAGNA WEBORAMA GLI UTENTIINDIVIDUATI CON I C-CLONES HANNO UNA MAGGIORE PROPENSIONE GENERALE AL CLICK E ALLA CONVERSIONE Migliore efficienza in termini di click (CPC) dalla linea C-Clones TYP Migliore efficienza in termini di lead attribuite post-click dalla linea C-Clones Step3 Funnel Campaigns Impressions Clicks CTR% CPC Costo Post-click conversion Thankyou Page - Weborama CPL post click C-Clones Step3Funnel 2.539.384 4181 0,16% € 0,39 € 1.269,69 11 € 115,43 C-Clones TYP 1.713.984 3201 0,18% € 0,30 € 856,99 6 € 142,83 Clusters 4.294.088 5071 0,12% € 0,42 € 2.147,04 2 € 1.073,52 Open NoTGT 5.726.709 3971 0,07% € 0,72 € 2.863,35 2 € 1.431,68 Retargeting 628.537 1353 0,22% € 0,23 € 314,27 3 € 104,76 Total 15.460.769 18.162 0,12% € 0,43 €7.730 28 € 276,09
  • 42.
    Campagna Lead generatione Qualifica del Traffico – Settore automotive CASE HISTORY 2: PERFORMANCE Obiettivo campagna: download brochure Tipo campagna: Display + DEM Durata campagna: 2+2 settimane Concessionarie coinvolte: 16 Totale brochure scaricate: 21.156 Download attribuiti a Weborama: 2.788 (13%) Media piano costo per download: 115,81€ Costo per download Weborama: 18,80€
  • 43.
    BIG E SMART:LA RIVOLUZIONE  Dati scelti per adattarsi a modelli  Target costruiti su campioni statistici  Target media  Proiezioni statistiche  Target costruiti su tutti i dati disponibili  Modelli modelli costruiti coi dati  Target di prodotto  Statistiche e algoritmi
  • 45.
    I BIG DATASONO NULLA SENZA DATA SCIENCE
  • 46.
    ROBERTO CARNAZZA ITALY COUNTRYMANAGER roberto@weborama.com

Editor's Notes

  • #13 Using Big Data to Predict Oscar Winners Number-crunchers at fivethirtyeight.com made public predictions ahead of this month’s Academy Awards, using data from previous ceremonies as well as other awards ceremonies and contextual data from the movies themselves. Part of the method involved tagging movies according to whether they contained elements such as “tragedy” or “heroism”, as well as analyzing betting data from bookmakers. Their work paid off, with the algorithm correctly predicting that the best picture award would go to Alejandro Gonzalez Inarritu’s Birdman, along with Eddie Redmaybe for best actor, Julianne Moore for best actress, J K Simmons for best supporting actor and Patricia Arquette for best supporting actress. However it failed to correctly predict that Inarritu would also pick up the award for best director – suggesting it would instead go to Richard Linklater for Boyhood. Others also tried their hands at using Big Data to predict the future. Senzari, which recently announced its upcoming Moviegraph data-crunching service, incorrectly picked American Sniper as the best picture. Their methodology differed by ignoring previous awards ceremony performance in favor of 100% content analysis. 1. Understanding and Targeting Customers This is one of the biggest and most publicized areas of big data use today. Here, big data is used to better understand customers and their behaviors and preferences. Companies are keen to expand their traditional data sets with social media data, browser logs as well as text analytics and sensor data to get a more complete picture of their customers. The big objective, in many cases, is to create predictive models. You might remember the example of U.S. retailer Target, who is now able to very accurately predict when one of their customers will expect a baby. Using big data, Telecom companies can now better predict customer churn; Wal-Mart can predict what products will sell, and car insurance companies understand how well their customers actually drive. Even government election campaigns can be optimized using big data analytics. Some believe, Obama’s win after the 2012 presidential election campaign was due to his team’s superior ability to use big data analytics. 2. Understanding and Optimizing Business Processes Big data is also increasingly used to optimize business processes. Retailers are able to optimize their stock based on predictions generated from social media data, web search trends and weather forecasts. One particular business process that is seeing a lot of big data analytics is supply chain or delivery route optimization. Here, geographic positioning and radio frequency identification sensors are used to track goods or delivery vehicles and optimize routes by integrating live traffic data, etc. HR business processes are also being improved using big data analytics. This includes the optimization of talent acquisition – Moneyball style, as well as the measurement of company culture and staff engagement using big data tools. 3. Personal Quantification and Performance Optimization Big data is not just for companies and governments but also for all of us individually. We can now benefit from the data generated from wearable devices such as smart watches or smart bracelets. Take the Up band from Jawbone as an example: the armband collects data on our calorie consumption, activity levels, and our sleep patterns. While it gives individuals rich insights, the real value is in analyzing the collective data. In Jawbone’s case, the company now collects 60 years worth of sleep data every night. Analyzing such volumes of data will bring entirely new insights that it can feed back to individual users. The other area where we benefit from big data analytics is finding love - online this is. Most online dating sites apply big data tools and algorithms to find us the most appropriate matches. 4. Improving Healthcare and Public Health The computing power of big data analytics enables us to decode entire DNA strings in minutes and will allow us to find new cures and better understand and predict disease patterns. Just think of what happens when all the individual data from smart watches and wearable devices can be used to apply it to millions of people and their various diseases. The clinical trials of the future won’t be limited by small sample sizes but could potentially include everyone! Big data techniques are already being used to monitor babies in a specialist premature and sick baby unit. By recording and analyzing every heart beat and breathing pattern of every baby, the unit was able to develop algorithms that can now predict infections 24 hours before any physical symptoms appear. That way, the team can intervene early and save fragile babies in an environment where every hour counts. What’s more, big data analytics allow us to monitor and predict the developments of epidemics and disease outbreaks. Integrating data from medical records with social media analytics enables us to monitor flu outbreaks in real-time, simply by listening to what people are saying, i.e. “Feeling rubbish today - in bed with a cold”. (Flatiron Health Flatiron is putting Big Data to work in one of the most important battles facing doctors and scientists today – the fight against cancer. By automatically analyzing terabytes of data collected during the diagnosis and treatment of cancer patients, the company hopes its OncologyCloud will harvest insights from the 96% of available patient data which is not yet collected or processed. Last year it received $130 million in funding with the majority coming from Google and they recently acquired cloud-based medical records provider Altos Solutions. The plan is to use their technology to make their own data and insights available to as many healthcare professionals as possible.) 5. Improving Sports Performance Most elite sports have now embraced big data analytics. We have the IBM SlamTracker tool for tennis tournaments; we use video analytics that track the performance of every player in a football or baseball game, and sensor technology in sports equipment such as basket balls or golf clubs allows us to get feedback (via smart phones and cloud servers) on our game and how to improve it. Many elite sports teams also track athletes outside of the sporting environment – using smart technology to track nutrition and sleep, as well as social media conversations to monitor emotional wellbeing. 6. Improving Science and Research Science and research is currently being transformed by the new possibilities big data brings. Take, for example, CERN, the Swiss nuclear physics lab with its Large Hadron Collider, the world’s largest and most powerful particle accelerator. Experiments to unlock the secrets of our universe – how it started and works - generate huge amounts of data. The CERN data center has 65,000 processors to analyze its 30 petabytes of data. However, it uses the computing powers of thousands of computers distributed across 150 data centers worldwide to analyze the data. Such computing powers can be leveraged to transform so many other areas of science and research. 7. Optimizing Machine and Device Performance Big data analytics help machines and devices become smarter and more autonomous. For example, big data tools are used to operate Google’s self-driving car. The Toyota Prius is fitted with cameras, GPS as well as powerful computers and sensors to safely drive on the road without the intervention of human beings. Big data tools are also used to optimize energy grids using data from smart meters. We can even use big data tools to optimize the performance of computers and data warehouses. 8. Improving Security and Law Enforcement. Big data is applied heavily in improving security and enabling law enforcement. I am sure you are aware of the revelations that the National Security Agency (NSA) in the U.S. uses big data analytics to foil terrorist plots (and maybe spy on us). Others use big data techniques to detect and prevent cyber attacks. Police forces use big data tools to catch criminals and even predict criminal activity and credit card companies use big data use it to detect fraudulent transactions. 9. Improving and Optimizing Cities and Countries Big data is used to improve many aspects of our cities and countries. For example, it allows cities to optimize traffic flows based on real time traffic information as well as social media and weather data. A number of cities are currently piloting big data analytics with the aim of turning themselves into Smart Cities, where the transport infrastructure and utility processes are all joined up. Where a bus would wait for a delayed train and where traffic signals predict traffic volumes and operate to minimize jams. 10. Financial Trading My final category of big data application comes from financial trading. High-Frequency Trading (HFT) is an area where big data finds a lot of use today. Here, big data algorithms are used to make trading decisions. Today, the majority of equity trading now takes place via data algorithms that increasingly take into account signals from social media networks and news websites to make, buy and sell decisions in split seconds
  • #14 Using Big Data to Predict Oscar Winners Number-crunchers at fivethirtyeight.com made public predictions ahead of this month’s Academy Awards, using data from previous ceremonies as well as other awards ceremonies and contextual data from the movies themselves. Part of the method involved tagging movies according to whether they contained elements such as “tragedy” or “heroism”, as well as analyzing betting data from bookmakers. Their work paid off, with the algorithm correctly predicting that the best picture award would go to Alejandro Gonzalez Inarritu’s Birdman, along with Eddie Redmaybe for best actor, Julianne Moore for best actress, J K Simmons for best supporting actor and Patricia Arquette for best supporting actress. However it failed to correctly predict that Inarritu would also pick up the award for best director – suggesting it would instead go to Richard Linklater for Boyhood. Others also tried their hands at using Big Data to predict the future. Senzari, which recently announced its upcoming Moviegraph data-crunching service, incorrectly picked American Sniper as the best picture. Their methodology differed by ignoring previous awards ceremony performance in favor of 100% content analysis. 1. Understanding and Targeting Customers This is one of the biggest and most publicized areas of big data use today. Here, big data is used to better understand customers and their behaviors and preferences. Companies are keen to expand their traditional data sets with social media data, browser logs as well as text analytics and sensor data to get a more complete picture of their customers. The big objective, in many cases, is to create predictive models. You might remember the example of U.S. retailer Target, who is now able to very accurately predict when one of their customers will expect a baby. Using big data, Telecom companies can now better predict customer churn; Wal-Mart can predict what products will sell, and car insurance companies understand how well their customers actually drive. Even government election campaigns can be optimized using big data analytics. Some believe, Obama’s win after the 2012 presidential election campaign was due to his team’s superior ability to use big data analytics. 2. Understanding and Optimizing Business Processes Big data is also increasingly used to optimize business processes. Retailers are able to optimize their stock based on predictions generated from social media data, web search trends and weather forecasts. One particular business process that is seeing a lot of big data analytics is supply chain or delivery route optimization. Here, geographic positioning and radio frequency identification sensors are used to track goods or delivery vehicles and optimize routes by integrating live traffic data, etc. HR business processes are also being improved using big data analytics. This includes the optimization of talent acquisition – Moneyball style, as well as the measurement of company culture and staff engagement using big data tools. 3. Personal Quantification and Performance Optimization Big data is not just for companies and governments but also for all of us individually. We can now benefit from the data generated from wearable devices such as smart watches or smart bracelets. Take the Up band from Jawbone as an example: the armband collects data on our calorie consumption, activity levels, and our sleep patterns. While it gives individuals rich insights, the real value is in analyzing the collective data. In Jawbone’s case, the company now collects 60 years worth of sleep data every night. Analyzing such volumes of data will bring entirely new insights that it can feed back to individual users. The other area where we benefit from big data analytics is finding love - online this is. Most online dating sites apply big data tools and algorithms to find us the most appropriate matches. 4. Improving Healthcare and Public Health The computing power of big data analytics enables us to decode entire DNA strings in minutes and will allow us to find new cures and better understand and predict disease patterns. Just think of what happens when all the individual data from smart watches and wearable devices can be used to apply it to millions of people and their various diseases. The clinical trials of the future won’t be limited by small sample sizes but could potentially include everyone! Big data techniques are already being used to monitor babies in a specialist premature and sick baby unit. By recording and analyzing every heart beat and breathing pattern of every baby, the unit was able to develop algorithms that can now predict infections 24 hours before any physical symptoms appear. That way, the team can intervene early and save fragile babies in an environment where every hour counts. What’s more, big data analytics allow us to monitor and predict the developments of epidemics and disease outbreaks. Integrating data from medical records with social media analytics enables us to monitor flu outbreaks in real-time, simply by listening to what people are saying, i.e. “Feeling rubbish today - in bed with a cold”. (Flatiron Health Flatiron is putting Big Data to work in one of the most important battles facing doctors and scientists today – the fight against cancer. By automatically analyzing terabytes of data collected during the diagnosis and treatment of cancer patients, the company hopes its OncologyCloud will harvest insights from the 96% of available patient data which is not yet collected or processed. Last year it received $130 million in funding with the majority coming from Google and they recently acquired cloud-based medical records provider Altos Solutions. The plan is to use their technology to make their own data and insights available to as many healthcare professionals as possible.) 5. Improving Sports Performance Most elite sports have now embraced big data analytics. We have the IBM SlamTracker tool for tennis tournaments; we use video analytics that track the performance of every player in a football or baseball game, and sensor technology in sports equipment such as basket balls or golf clubs allows us to get feedback (via smart phones and cloud servers) on our game and how to improve it. Many elite sports teams also track athletes outside of the sporting environment – using smart technology to track nutrition and sleep, as well as social media conversations to monitor emotional wellbeing. 6. Improving Science and Research Science and research is currently being transformed by the new possibilities big data brings. Take, for example, CERN, the Swiss nuclear physics lab with its Large Hadron Collider, the world’s largest and most powerful particle accelerator. Experiments to unlock the secrets of our universe – how it started and works - generate huge amounts of data. The CERN data center has 65,000 processors to analyze its 30 petabytes of data. However, it uses the computing powers of thousands of computers distributed across 150 data centers worldwide to analyze the data. Such computing powers can be leveraged to transform so many other areas of science and research. 7. Optimizing Machine and Device Performance Big data analytics help machines and devices become smarter and more autonomous. For example, big data tools are used to operate Google’s self-driving car. The Toyota Prius is fitted with cameras, GPS as well as powerful computers and sensors to safely drive on the road without the intervention of human beings. Big data tools are also used to optimize energy grids using data from smart meters. We can even use big data tools to optimize the performance of computers and data warehouses. 8. Improving Security and Law Enforcement. Big data is applied heavily in improving security and enabling law enforcement. I am sure you are aware of the revelations that the National Security Agency (NSA) in the U.S. uses big data analytics to foil terrorist plots (and maybe spy on us). Others use big data techniques to detect and prevent cyber attacks. Police forces use big data tools to catch criminals and even predict criminal activity and credit card companies use big data use it to detect fraudulent transactions. 9. Improving and Optimizing Cities and Countries Big data is used to improve many aspects of our cities and countries. For example, it allows cities to optimize traffic flows based on real time traffic information as well as social media and weather data. A number of cities are currently piloting big data analytics with the aim of turning themselves into Smart Cities, where the transport infrastructure and utility processes are all joined up. Where a bus would wait for a delayed train and where traffic signals predict traffic volumes and operate to minimize jams. 10. Financial Trading My final category of big data application comes from financial trading. High-Frequency Trading (HFT) is an area where big data finds a lot of use today. Here, big data algorithms are used to make trading decisions. Today, the majority of equity trading now takes place via data algorithms that increasingly take into account signals from social media networks and news websites to make, buy and sell decisions in split seconds
  • #28 27