TESTARE, ANALIZZARE,    INTERPRETAREIl valore dell’A/B oltre le apparenze
SCUSATEMI,Dobbiamo rispolverare un po’ di    TEORIA DEGLI INSIEMI
“C’erano una volta 2 campagne effettuate su uno stesso DB. Entrambe le campagne avevano avuto il 10% di apertura”         ...
Potrebbe essere così   10% di                                           10% diapertura della                              ...
Ma potrebbe essere anche così   10% di                                        10% diapertura della                        ...
Semplice. Giusto?  Significa che:• nel primo caso le campagne hanno colpito utenti diversi• nel secondo caso le campagne h...
Dal punto di vista QUANTITATIVO delle aperture, le 2 campagne sono uguali,hanno prodotto uguale risultato non c’è differen...
Potrebbero aver avuto risultati     quantitativamente uguali anche nei click   10% di                                     ...
Oppure magari no…   10% di                                         10% diapertura della                                   ...
E se oltre che sulle aperture e sui clickiniziassimo a ragionare anche sulle “conversioni”?
Potrebbe essere così   10% di                                                  10% diapertura della                       ...
Ma potrebbe essere così   10% di                                                 10% diapertura della                     ...
Oppure così   10% di                                         10% diapertura della                                      ape...
1° TEOREMA DI FUBINI:  Due campagne con lo stesso OR e CTRpossono darvi soddisfazioni molto diverse@contactlab #iabforum @...
COROLLARIO DEL 1° TEOREMA DI FUBINI:    Per la campagna che vi soddisfi      preparatevi a fare tanti test@contactlab #iab...
È tutto logico e semplice, vero?(Lo ammettete però che poi alla fine spesso vi distraete e guardate solo la         campag...
È quindi importante che passiate da un approccio          quantitativo ad uno qualitativo    Oppure, se preferite restare ...
BANALITÀ DI FUBINI n° 1   Un acquisto vale più di un click,   un click vale più di una apertura@contactlab #iabforum @mass...
COROLLARIO ALLA BANALITÀ DI FUBINI n°1Una mail non inviata non può generare azioni  @contactlab #iabforum @massimofubini  ...
2° COROLLARIO ALLA BANALITÀ DI FUBINI n°1 Una mail non inviata non vale un cazzo nulla  @contactlab #iabforum @massimofubi...
Ok, ma nell’A/B test?(dopotutto siete entrati qui perché la promessa era quella di parlare di A/B test)
Nell’A/B test le porzioni di DB sono diverse      e quindi coloro che aprono non possono essere le                        ...
Aggiungiamo un parametro di profilazione                       (sesso per esempio)                 Con la situazione sotto...
Ma se analizzando i cluster fosse così?                     Quale delle due campagne utilizzereste per mandare a tutti gli...
2° TEOREMA DI FUBINI:         A/B testing is fucking hard   @contactlab #iabforum @massimofubiniSUGGERIMENTO  Qui abbiamo...
Ok, quindi, in sintesi ho capito che:1) Devo fare dei test e scegliere quello che ha   performato meglio1) Oppure posso ut...
Sì… ma attenzione a come viene            misurata la conversioneQuale dato                                 Oppure        ...
RIVISITAZIONE DEL 2° TEOREMA DI FUBINI: Serious A/B testing is seriously fucking hard  @contactlab #iabforum @massimofubin...
BASTA. Per oggi ho fatto anche troppo il professorino.Ora vi meritate la merenda qualche case history.
Case Fiera Milano BIT: test multivariato                Target: agenti di viaggio                Obiettivo: invito a una s...
Case Fiera Milano BIT: test multivariato1                      2                       3   45                      6      ...
Case Fiera Milano BIT: test multivariato                                   RISULTATI                                Elemen...
IBL Banca – A/B test multivariato    Tipologia: DEM su mutuo    Obiettivo: testare subject, copy ed elementi grafici    Da...
IBL Banca – A/B/C/D test multivariato        A                     B         C   D
IBL Banca – A/B/C/D test multivariato                                     A                              B                ...
IBL Banca – A/B/C/D test multivariato                    30 MAGGIO                 5 GIUGNO                     11 GIUGNO ...
DeAgostini – A/B multivariato subject + layout  Campagna di Recall – prodotto La Sovrana dei Mari  Test urgenza vs omaggio...
LA SOVRANA DEI MARI – NUOVI LAYOUT
ANALISI CLICK – SOVRANA TRADIZIONALE - LEGNO - NUVOLE                           3,3%      3,4%        7,5%        1,3%   4...
DeAgostini – A/B multivariato subject + layout                         Valore          Versione A        Versione B      V...
DeAgostini – A/B multivariato subject + layout  Email di recall – Dragon Ball  Test su urgenza vs omaggio     Subject A (i...
DRAGON BALL – NUOVI LAYOUT E METRICHE
ANALISI CLICK – DRAGON BALL TRADIZIONALE – SFERE - STELLE                                                  2,1%           ...
DeAgostini – A/B multivariato subject + layout  Conclusioni:  - I risultati confermano i risultati del test precedente, l’...
Per arrivare alla conclusione... Pensate anche a coloro che-per un motivo o per un altro-    NON ricevono le mail. C’è un ...
Company A – 14 months
PAPAAAAAA… SONO LE 4…HAI FINITO DI GIOCARE CON LE EMAIL????DAI VIENI CHE QUI CHE TI ASPETTIAMO…
Upcoming SlideShare
Loading in …5
×

IAB Forum 2012 - Testare, analizzare, interpretare

1,990 views
1,906 views

Published on

Massimo Fubini workshop at IAB Forum 2012.

IAB Forum 2012 - Testare, analizzare, interpretare

  1. 1. TESTARE, ANALIZZARE, INTERPRETAREIl valore dell’A/B oltre le apparenze
  2. 2. SCUSATEMI,Dobbiamo rispolverare un po’ di TEORIA DEGLI INSIEMI
  3. 3. “C’erano una volta 2 campagne effettuate su uno stesso DB. Entrambe le campagne avevano avuto il 10% di apertura” Questo è il 100% del mio DB
  4. 4. Potrebbe essere così 10% di 10% diapertura della apertura della campagna A campagna B
  5. 5. Ma potrebbe essere anche così 10% di 10% diapertura della apertura della campagna A campagna B
  6. 6. Semplice. Giusto? Significa che:• nel primo caso le campagne hanno colpito utenti diversi• nel secondo caso le campagne hanno in gran parte colpito gli stessi utenti ma entrambe le campagne hanno avuto il 10% di performance. Bene, quale delle 2 campagne è andata meglio?
  7. 7. Dal punto di vista QUANTITATIVO delle aperture, le 2 campagne sono uguali,hanno prodotto uguale risultato non c’è differenza.Proviamo quindi a fare un passo avanti -un’ulteriore ottimizzazione- evediamo quale delle due ha avuto il maggior tasso di click.
  8. 8. Potrebbero aver avuto risultati quantitativamente uguali anche nei click 10% di 10% diapertura della apertura della campagna A campagna B 2% 2% Utenti checliccherebberose aprissero la campagna
  9. 9. Oppure magari no… 10% di 10% diapertura della apertura della campagna A campagna B 4% 1% Utenti checliccherebberose aprissero la campagna
  10. 10. E se oltre che sulle aperture e sui clickiniziassimo a ragionare anche sulle “conversioni”?
  11. 11. Potrebbe essere così 10% di 10% diapertura della apertura della campagna A campagna B Utenti checliccherebberose aprissero la Utenti che campagna comprerebbero se arrivassero sul sito
  12. 12. Ma potrebbe essere così 10% di 10% diapertura della apertura della campagna A campagna B Utenti checliccherebberose aprissero la Utenti che campagna comprerebbero se arrivassero sul sito
  13. 13. Oppure così 10% di 10% diapertura della apertura della campagna A campagna B Utenti checliccherebberose aprissero la Utenti che campagna comprerebbero se arrivassero sul sito
  14. 14. 1° TEOREMA DI FUBINI: Due campagne con lo stesso OR e CTRpossono darvi soddisfazioni molto diverse@contactlab #iabforum @massimofubini SUGGERIMENTO Sono 136 caratteri, in un tweet ci stanno
  15. 15. COROLLARIO DEL 1° TEOREMA DI FUBINI: Per la campagna che vi soddisfi preparatevi a fare tanti test@contactlab #iabforum @massimofubini SUGGERIMENTO  Anche qui sono solo 138 caratteri, in un tweet ci stanno
  16. 16. È tutto logico e semplice, vero?(Lo ammettete però che poi alla fine spesso vi distraete e guardate solo la campagna che ha ottimizzato le aperture o i click…)?
  17. 17. È quindi importante che passiate da un approccio quantitativo ad uno qualitativo Oppure, se preferite restare sul quantitativo, dovete dare pesi diversi alle diverse quantità…
  18. 18. BANALITÀ DI FUBINI n° 1 Un acquisto vale più di un click, un click vale più di una apertura@contactlab #iabforum @massimofubiniSUGGERIMENTO  Qui siamo scesi a 128 caratteri precisi, in un tweet ci stanno
  19. 19. COROLLARIO ALLA BANALITÀ DI FUBINI n°1Una mail non inviata non può generare azioni @contactlab #iabforum @massimofubini SUGGERIMENTO  Qui il counter si ferma a 121, in un tweet ci stanno
  20. 20. 2° COROLLARIO ALLA BANALITÀ DI FUBINI n°1 Una mail non inviata non vale un cazzo nulla @contactlab #iabforum @massimofubini SUGGERIMENTO  Qui il counter si ferma a 124, in un tweet ci stanno
  21. 21. Ok, ma nell’A/B test?(dopotutto siete entrati qui perché la promessa era quella di parlare di A/B test)
  22. 22. Nell’A/B test le porzioni di DB sono diverse e quindi coloro che aprono non possono essere le stesse personePorzione di DB Porzione di DB del test A del test B 10% di 10% diapertura della apertura della campagna A campagna B
  23. 23. Aggiungiamo un parametro di profilazione (sesso per esempio) Con la situazione sotto descritta il parametro aggiunto ci aiuta a prendere una decisione? NO Altra domanda: l’estrazione dei due gruppi di test vi sembra corretta? NOPorzione di DB Porzione di DB del test A del test B UOMINI DONNE 10% di 10% diapertura della apertura della campagna A campagna B
  24. 24. Ma se analizzando i cluster fosse così? Quale delle due campagne utilizzereste per mandare a tutti gli altri utenti?Porzione di DB Porzione di DB del test A del test B UOMINI DONNE 10% di 10% diapertura della apertura della campagna A campagna B (100% uomini) (100% donne)
  25. 25. 2° TEOREMA DI FUBINI: A/B testing is fucking hard @contactlab #iabforum @massimofubiniSUGGERIMENTO  Qui abbiamo fermato il contatore a 86 caratteri, in un tweet ci stanno
  26. 26. Ok, quindi, in sintesi ho capito che:1) Devo fare dei test e scegliere quello che ha performato meglio1) Oppure posso utilizzare più di una versione andando a spedire sulla porzione del db che ha funzionato meglio3) Per scegliere il test che ha performato meglio devo analizzare (se posso) il dato di conversione
  27. 27. Sì… ma attenzione a come viene misurata la conversioneQuale dato Oppure Questo dato? O questo?devo usare? quest’altro?
  28. 28. RIVISITAZIONE DEL 2° TEOREMA DI FUBINI: Serious A/B testing is seriously fucking hard @contactlab #iabforum @massimofubiniSUGGERIMENTO  Qui abbiamo fermato il contatore a 122 caratteri, in un tweet ci stanno
  29. 29. BASTA. Per oggi ho fatto anche troppo il professorino.Ora vi meritate la merenda qualche case history.
  30. 30. Case Fiera Milano BIT: test multivariato Target: agenti di viaggio Obiettivo: invito a una survey di BIT Metodologia: test multivariato su 8 combinazioni grafiche Elementi variabili: CTA (posizionamento e colore) + HEADER
  31. 31. Case Fiera Milano BIT: test multivariato1 2 3 45 6 7 8
  32. 32. Case Fiera Milano BIT: test multivariato RISULTATI Elementi valutati: Contenuto dell’header Posizione della CTA Colore della CTA WINNER (combinazione 3) WORST (combinazione 2) CTR: 10.63% CTR: 3.75%
  33. 33. IBL Banca – A/B test multivariato Tipologia: DEM su mutuo Obiettivo: testare subject, copy ed elementi grafici Data invio: 06/2012 Metodologia: Fase unica: A/B/C/D test su tutti gli elementi (dovuta a tempi ridotti del cliente)
  34. 34. IBL Banca – A/B/C/D test multivariato A B C D
  35. 35. IBL Banca – A/B/C/D test multivariato A B C D Scopri il Gusto Fino al 30 Rate piccole per Scegli Rata delle Piccole giugno il tuo prestiti fino a Bassotta: il Rate prestito ha la 75mila euro prestito sua Rata conviene di più Bassotta con IBL Consegnate 74.938 Aperture Open Rate% 15,0% 14,8% 14,6% 13,7% Click unici Click Rate% 2,5% 1,6% 5,1% 2,6% La versione del cliente Ma è la versione C con il Subject B quella che ha (A) ha massimizzato le massimizzato il numero di utenti portati sulla landing page, aperture ! di fatto RADDOPPIANDO il risultato
  36. 36. IBL Banca – A/B/C/D test multivariato 30 MAGGIO 5 GIUGNO 11 GIUGNO 19 GIUGNO Scopri il Genio Scopri il Genio Fino al 30 giugno Fino al 30 delle Piccole Rate – delle Piccole Rate il tuo prestito ha giugno il tuo la sua Rata prestito ha la Bassotta sua Rata Bassotta Gestione Cliente Subject e creatività ContactLab Consegnate Aperture Open Rate% 13,7% 1,4% 11,4% 9,2% Click Rate‰ 1,68‰ 0,30‰ 3,58‰ 2,38‰ L’intervento di ContactLab sulla creatività ha PIU’ CHE RADDOPPIATO i risultati
  37. 37. DeAgostini – A/B multivariato subject + layout Campagna di Recall – prodotto La Sovrana dei Mari Test urgenza vs omaggio Subject A (inviato al 30% del DB): Ultimi giorni per ricevere la Sovrana dei Mari! Subject B (inviato al 30% del DB): Il kit per il modellismo, in regalo con la Sovrana dei Mari! Subject C (inviato al 30% del DB): Ultimi giorni per avere in omaggio il kit per il modellismo
  38. 38. LA SOVRANA DEI MARI – NUOVI LAYOUT
  39. 39. ANALISI CLICK – SOVRANA TRADIZIONALE - LEGNO - NUVOLE 3,3% 3,4% 7,5% 1,3% 4,3% 6,9% 14,8% 3,7% 408- 65,4% 241- 52,5% 188 – 80,3% 0,5% 0,5% 052% 32 - 5,1% 74 - 11,9% 57 - 12,2% 16 - 3,5% 0,4% 0,3% 0,2% 0,2% 0,2% 0,2%
  40. 40. DeAgostini – A/B multivariato subject + layout Valore Versione A Versione B Versione C Email ricevute Open Rate 11% 14% 13% Click/Aperture 5% 11% 8% Ordini tot x + 100% +66% Ordini main x +33% +33% Ordini cross sell - +67% +33% Conclusioni: - citare l’omaggio ha valore, l’urgenza non ha lo stesso impatto - i layout multipli sono vincenti - il box d’immagine e il tab hanno differenze minime in termini di click - le vendite arrivano più dai box che dal menu
  41. 41. DeAgostini – A/B multivariato subject + layout Email di recall – Dragon Ball Test su urgenza vs omaggio Subject A (inviato al 30% del DB): Scopri come ricevere i dvd di Dragon Ball Z e in regalo lesclusivo cappellino! Subject B (inviato al 30% del DB): Un omaggio ancora per pochi, il cappellino di Dragon Ball, scopri come averlo! Subject C (inviato al 30% del DB): Ancora pochi giorni per avere il cappellino di DragonBall in regalo!
  42. 42. DRAGON BALL – NUOVI LAYOUT E METRICHE
  43. 43. ANALISI CLICK – DRAGON BALL TRADIZIONALE – SFERE - STELLE 2,1% 3% 7,8% 10,7% 0% 0,7% 9,6% 17% 5,9% 7,4% 48- 34,3% 44 – 32,4% 66 – 95 % 4,2% 0% 0% 39 – 27,9% 23- 16,4% 17 – 12,5% 17- 12,5% 0% 0% 0% 0% 0% 0%
  44. 44. DeAgostini – A/B multivariato subject + layout Conclusioni: - I risultati confermano i risultati del test precedente, l’urgenza non influisce tanto quanto l’omaggio - I layout multipli sono vincenti - La versione con testo più descrittivo (versione B) ha generato più conversioni Valore Versione A Versione B Versione C Email ricevute Open Rate 10% 11% 11% Click/Aperture 3% 4% 4% Ordini tot x +600% +350% Ordini main x +200% +150% Ordini cross sell - +400% +200%
  45. 45. Per arrivare alla conclusione... Pensate anche a coloro che-per un motivo o per un altro- NON ricevono le mail. C’è un potenziale enorme!
  46. 46. Company A – 14 months
  47. 47. PAPAAAAAA… SONO LE 4…HAI FINITO DI GIOCARE CON LE EMAIL????DAI VIENI CHE QUI CHE TI ASPETTIAMO…

×