Your SlideShare is downloading. ×

IAB Forum 2012 - Testare, analizzare, interpretare

1,808
views

Published on

Massimo Fubini workshop at IAB Forum 2012.

Massimo Fubini workshop at IAB Forum 2012.


0 Comments
5 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
1,808
On Slideshare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
1
Comments
0
Likes
5
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. TESTARE, ANALIZZARE, INTERPRETAREIl valore dell’A/B oltre le apparenze
  • 2. SCUSATEMI,Dobbiamo rispolverare un po’ di TEORIA DEGLI INSIEMI
  • 3. “C’erano una volta 2 campagne effettuate su uno stesso DB. Entrambe le campagne avevano avuto il 10% di apertura” Questo è il 100% del mio DB
  • 4. Potrebbe essere così 10% di 10% diapertura della apertura della campagna A campagna B
  • 5. Ma potrebbe essere anche così 10% di 10% diapertura della apertura della campagna A campagna B
  • 6. Semplice. Giusto? Significa che:• nel primo caso le campagne hanno colpito utenti diversi• nel secondo caso le campagne hanno in gran parte colpito gli stessi utenti ma entrambe le campagne hanno avuto il 10% di performance. Bene, quale delle 2 campagne è andata meglio?
  • 7. Dal punto di vista QUANTITATIVO delle aperture, le 2 campagne sono uguali,hanno prodotto uguale risultato non c’è differenza.Proviamo quindi a fare un passo avanti -un’ulteriore ottimizzazione- evediamo quale delle due ha avuto il maggior tasso di click.
  • 8. Potrebbero aver avuto risultati quantitativamente uguali anche nei click 10% di 10% diapertura della apertura della campagna A campagna B 2% 2% Utenti checliccherebberose aprissero la campagna
  • 9. Oppure magari no… 10% di 10% diapertura della apertura della campagna A campagna B 4% 1% Utenti checliccherebberose aprissero la campagna
  • 10. E se oltre che sulle aperture e sui clickiniziassimo a ragionare anche sulle “conversioni”?
  • 11. Potrebbe essere così 10% di 10% diapertura della apertura della campagna A campagna B Utenti checliccherebberose aprissero la Utenti che campagna comprerebbero se arrivassero sul sito
  • 12. Ma potrebbe essere così 10% di 10% diapertura della apertura della campagna A campagna B Utenti checliccherebberose aprissero la Utenti che campagna comprerebbero se arrivassero sul sito
  • 13. Oppure così 10% di 10% diapertura della apertura della campagna A campagna B Utenti checliccherebberose aprissero la Utenti che campagna comprerebbero se arrivassero sul sito
  • 14. 1° TEOREMA DI FUBINI: Due campagne con lo stesso OR e CTRpossono darvi soddisfazioni molto diverse@contactlab #iabforum @massimofubini SUGGERIMENTO Sono 136 caratteri, in un tweet ci stanno
  • 15. COROLLARIO DEL 1° TEOREMA DI FUBINI: Per la campagna che vi soddisfi preparatevi a fare tanti test@contactlab #iabforum @massimofubini SUGGERIMENTO  Anche qui sono solo 138 caratteri, in un tweet ci stanno
  • 16. È tutto logico e semplice, vero?(Lo ammettete però che poi alla fine spesso vi distraete e guardate solo la campagna che ha ottimizzato le aperture o i click…)?
  • 17. È quindi importante che passiate da un approccio quantitativo ad uno qualitativo Oppure, se preferite restare sul quantitativo, dovete dare pesi diversi alle diverse quantità…
  • 18. BANALITÀ DI FUBINI n° 1 Un acquisto vale più di un click, un click vale più di una apertura@contactlab #iabforum @massimofubiniSUGGERIMENTO  Qui siamo scesi a 128 caratteri precisi, in un tweet ci stanno
  • 19. COROLLARIO ALLA BANALITÀ DI FUBINI n°1Una mail non inviata non può generare azioni @contactlab #iabforum @massimofubini SUGGERIMENTO  Qui il counter si ferma a 121, in un tweet ci stanno
  • 20. 2° COROLLARIO ALLA BANALITÀ DI FUBINI n°1 Una mail non inviata non vale un cazzo nulla @contactlab #iabforum @massimofubini SUGGERIMENTO  Qui il counter si ferma a 124, in un tweet ci stanno
  • 21. Ok, ma nell’A/B test?(dopotutto siete entrati qui perché la promessa era quella di parlare di A/B test)
  • 22. Nell’A/B test le porzioni di DB sono diverse e quindi coloro che aprono non possono essere le stesse personePorzione di DB Porzione di DB del test A del test B 10% di 10% diapertura della apertura della campagna A campagna B
  • 23. Aggiungiamo un parametro di profilazione (sesso per esempio) Con la situazione sotto descritta il parametro aggiunto ci aiuta a prendere una decisione? NO Altra domanda: l’estrazione dei due gruppi di test vi sembra corretta? NOPorzione di DB Porzione di DB del test A del test B UOMINI DONNE 10% di 10% diapertura della apertura della campagna A campagna B
  • 24. Ma se analizzando i cluster fosse così? Quale delle due campagne utilizzereste per mandare a tutti gli altri utenti?Porzione di DB Porzione di DB del test A del test B UOMINI DONNE 10% di 10% diapertura della apertura della campagna A campagna B (100% uomini) (100% donne)
  • 25. 2° TEOREMA DI FUBINI: A/B testing is fucking hard @contactlab #iabforum @massimofubiniSUGGERIMENTO  Qui abbiamo fermato il contatore a 86 caratteri, in un tweet ci stanno
  • 26. Ok, quindi, in sintesi ho capito che:1) Devo fare dei test e scegliere quello che ha performato meglio1) Oppure posso utilizzare più di una versione andando a spedire sulla porzione del db che ha funzionato meglio3) Per scegliere il test che ha performato meglio devo analizzare (se posso) il dato di conversione
  • 27. Sì… ma attenzione a come viene misurata la conversioneQuale dato Oppure Questo dato? O questo?devo usare? quest’altro?
  • 28. RIVISITAZIONE DEL 2° TEOREMA DI FUBINI: Serious A/B testing is seriously fucking hard @contactlab #iabforum @massimofubiniSUGGERIMENTO  Qui abbiamo fermato il contatore a 122 caratteri, in un tweet ci stanno
  • 29. BASTA. Per oggi ho fatto anche troppo il professorino.Ora vi meritate la merenda qualche case history.
  • 30. Case Fiera Milano BIT: test multivariato Target: agenti di viaggio Obiettivo: invito a una survey di BIT Metodologia: test multivariato su 8 combinazioni grafiche Elementi variabili: CTA (posizionamento e colore) + HEADER
  • 31. Case Fiera Milano BIT: test multivariato1 2 3 45 6 7 8
  • 32. Case Fiera Milano BIT: test multivariato RISULTATI Elementi valutati: Contenuto dell’header Posizione della CTA Colore della CTA WINNER (combinazione 3) WORST (combinazione 2) CTR: 10.63% CTR: 3.75%
  • 33. IBL Banca – A/B test multivariato Tipologia: DEM su mutuo Obiettivo: testare subject, copy ed elementi grafici Data invio: 06/2012 Metodologia: Fase unica: A/B/C/D test su tutti gli elementi (dovuta a tempi ridotti del cliente)
  • 34. IBL Banca – A/B/C/D test multivariato A B C D
  • 35. IBL Banca – A/B/C/D test multivariato A B C D Scopri il Gusto Fino al 30 Rate piccole per Scegli Rata delle Piccole giugno il tuo prestiti fino a Bassotta: il Rate prestito ha la 75mila euro prestito sua Rata conviene di più Bassotta con IBL Consegnate 74.938 Aperture Open Rate% 15,0% 14,8% 14,6% 13,7% Click unici Click Rate% 2,5% 1,6% 5,1% 2,6% La versione del cliente Ma è la versione C con il Subject B quella che ha (A) ha massimizzato le massimizzato il numero di utenti portati sulla landing page, aperture ! di fatto RADDOPPIANDO il risultato
  • 36. IBL Banca – A/B/C/D test multivariato 30 MAGGIO 5 GIUGNO 11 GIUGNO 19 GIUGNO Scopri il Genio Scopri il Genio Fino al 30 giugno Fino al 30 delle Piccole Rate – delle Piccole Rate il tuo prestito ha giugno il tuo la sua Rata prestito ha la Bassotta sua Rata Bassotta Gestione Cliente Subject e creatività ContactLab Consegnate Aperture Open Rate% 13,7% 1,4% 11,4% 9,2% Click Rate‰ 1,68‰ 0,30‰ 3,58‰ 2,38‰ L’intervento di ContactLab sulla creatività ha PIU’ CHE RADDOPPIATO i risultati
  • 37. DeAgostini – A/B multivariato subject + layout Campagna di Recall – prodotto La Sovrana dei Mari Test urgenza vs omaggio Subject A (inviato al 30% del DB): Ultimi giorni per ricevere la Sovrana dei Mari! Subject B (inviato al 30% del DB): Il kit per il modellismo, in regalo con la Sovrana dei Mari! Subject C (inviato al 30% del DB): Ultimi giorni per avere in omaggio il kit per il modellismo
  • 38. LA SOVRANA DEI MARI – NUOVI LAYOUT
  • 39. ANALISI CLICK – SOVRANA TRADIZIONALE - LEGNO - NUVOLE 3,3% 3,4% 7,5% 1,3% 4,3% 6,9% 14,8% 3,7% 408- 65,4% 241- 52,5% 188 – 80,3% 0,5% 0,5% 052% 32 - 5,1% 74 - 11,9% 57 - 12,2% 16 - 3,5% 0,4% 0,3% 0,2% 0,2% 0,2% 0,2%
  • 40. DeAgostini – A/B multivariato subject + layout Valore Versione A Versione B Versione C Email ricevute Open Rate 11% 14% 13% Click/Aperture 5% 11% 8% Ordini tot x + 100% +66% Ordini main x +33% +33% Ordini cross sell - +67% +33% Conclusioni: - citare l’omaggio ha valore, l’urgenza non ha lo stesso impatto - i layout multipli sono vincenti - il box d’immagine e il tab hanno differenze minime in termini di click - le vendite arrivano più dai box che dal menu
  • 41. DeAgostini – A/B multivariato subject + layout Email di recall – Dragon Ball Test su urgenza vs omaggio Subject A (inviato al 30% del DB): Scopri come ricevere i dvd di Dragon Ball Z e in regalo lesclusivo cappellino! Subject B (inviato al 30% del DB): Un omaggio ancora per pochi, il cappellino di Dragon Ball, scopri come averlo! Subject C (inviato al 30% del DB): Ancora pochi giorni per avere il cappellino di DragonBall in regalo!
  • 42. DRAGON BALL – NUOVI LAYOUT E METRICHE
  • 43. ANALISI CLICK – DRAGON BALL TRADIZIONALE – SFERE - STELLE 2,1% 3% 7,8% 10,7% 0% 0,7% 9,6% 17% 5,9% 7,4% 48- 34,3% 44 – 32,4% 66 – 95 % 4,2% 0% 0% 39 – 27,9% 23- 16,4% 17 – 12,5% 17- 12,5% 0% 0% 0% 0% 0% 0%
  • 44. DeAgostini – A/B multivariato subject + layout Conclusioni: - I risultati confermano i risultati del test precedente, l’urgenza non influisce tanto quanto l’omaggio - I layout multipli sono vincenti - La versione con testo più descrittivo (versione B) ha generato più conversioni Valore Versione A Versione B Versione C Email ricevute Open Rate 10% 11% 11% Click/Aperture 3% 4% 4% Ordini tot x +600% +350% Ordini main x +200% +150% Ordini cross sell - +400% +200%
  • 45. Per arrivare alla conclusione... Pensate anche a coloro che-per un motivo o per un altro- NON ricevono le mail. C’è un potenziale enorme!
  • 46. Company A – 14 months
  • 47. PAPAAAAAA… SONO LE 4…HAI FINITO DI GIOCARE CON LE EMAIL????DAI VIENI CHE QUI CHE TI ASPETTIAMO…

×