Istat Roma, Aula Magna, Workshop 21 settembre 2018 Gli scanner data e le statistiche sui prezzi al consumo: risultati e prospettive

1. I risultati e l’impatto degli scanner data sulla stima
dell’inflazione nel 2018 e le prospettive future
A. Brunetti, S. Fatello
Gli scanner data e le statistiche su prezzi al consumo: risultati e prospettive
Roma, 21 Settembre 2018
1

2. 2
I risultati e l’impatto degli scanner data sulla stima dell’inflazione nel 2018 e le prospettive future
Roma, 21 Settembre 2018
Indice della presentazione
• Gli scanner data per la stima dell’inflazione
• Il campione dei punti vendita e delle referenze
• Alcune questioni relative al calcolo dell'indice:
• Flusso dei dati
• Controlli e pulizia dei dati
• Sostituzioni e imputazioni
• Calcolo degli indici
• Stima di impatto
• Indici provvisori vs definitivi
• Sviluppi futuri del progetto

3. Gennaio 2018:
scanner data dei
prodotti grocery nel
processo di
produzione della
stima dell’inflazione
3
I risultati e l’impatto degli scanner data sulla stima dell’inflazione nel 2018 e le prospettive future
Roma, 21 Settembre 2018
Gli scanner data per la stima dell’inflazione
2013:
inizio della
collaborazione
tra Istat, le
catene, ADM e
Nielsen
Fine del 2014:
il flusso di dati
riguarda circa
800 punti
vendita (iper e
super mercati),
6 catene e 19
province
Fine del 2015:
1400 punti
vendita, 6
catene, 37
province
Fine del 2016:
campione di
oltre 2000
punti vendita,
16 catene,
107 province

4. 4
I risultati e l’impatto degli scanner data sulla stima dell’inflazione nel 2018 e le prospettive future
Roma, 21 Settembre 2018
Gli scanner data per la stima dell’inflazione
Le fonti dell’indagine sui prezzi al consumo (paniere IPCA, pesi percentuali)
La rilevazione «mista (T+SD)» interessa i cosiddetti «grocery», di cui 55,4% rilevati tramite
SD e 44,6% rilevati dagli UCS

5. 5
I risultati e l’impatto degli scanner data sulla stima dell’inflazione nel 2018 e le prospettive future
Roma, 21 Settembre 2018
Il campione dei punti vendita e delle referenze
• Il campione dei PV è selezionato in modo
probabilistico con disegno casuale stratificato
considerando tre variabili:
• Provincia (107);
• Catena (16);
• Tipologia distributiva (Iper & Super)
• I PV sono estratti all’interno di ciascuno strato,
con probabilità proporzionali ai fatturati di vendita
• PV campionati: 2.039
• Per il calcolo degli indici: 1.781
(1.271 Super + 510 Iper)
• I rimanenti 258 per le sostituzioni

6. 6
I risultati e l’impatto degli scanner data sulla stima dell’inflazione nel 2018 e le prospettive future
Roma, 21 Settembre 2018
Il campione dei punti vendita e delle referenze
Percentuale delle quote di mercato per catena e regione (iper + super) – Anno 2016
RETAIL CHAINS
PIEMONTE
VALLED'AOSTA
LIGURIA
LOMBARDIA
TRENTINO-ALTOADIGE
VENETO
FRIULI-VENEZIAGIULIA
EMILIA-ROMAGNA
TOSCANA
UMBRIA
MARCHE
LAZIO
ABRUZZO
MOLISE
CAMPANIA
PUGLIA
BASILICATA
CALABRIA
SICILIA
SARDEGNA
ITALIA
COOP ITALIA 18,2 - 42,2 7,9 18,0 9,1 21,3 41,2 51,2 30,8 18,5 14,3 10,0 - 4,4 18,6 6,9 - 6,3 - 18,5
CONAD 4,3 22,3 17,0 3,3 13,8 3,6 7,7 26,5 14,8 29,9 12,6 24,5 29,8 30,9 20,5 9,6 10,3 30,2 19,5 30,6 13,3
ESSELUNGA 12,4 - 3,9 31,3 - 1,2 - 9,9 22,1 - - 0,9 - - - - - - - - 12,1
SELEX COMMERCIALE 17,9 8,6 4,8 9,9 - 32,3 9,4 6,6 1,1 22,1 18,2 3,4 2,7 23,4 7,6 29,1 6,0 3,3 4,4 12,8 11,1
GRUPPO AUCHAN 7,0 - 0,7 8,2 - 6,3 1,1 1,5 1,9 2,7 25,8 10,7 11,1 - 8,1 17,2 10,4 17,3 20,1 12,6 7,8
GRUPPO CARREFOUR ITALIA SPA 16,4 45,1 8,8 9,9 - 2,1 4,2 1,8 2,8 0,7 0,9 13,3 5,7 1,6 9,2 - 0,9 8,9 1,5 5,6 7,1
FINIPER 1,5 - - 6,4 - 1,6 2,9 1,4 - - 4,1 - 8,3 - - - - - - - 2,3
GRUPPO VEGE - - 1,5 1,1 - 6,2 - 0,2 0,1 0,2 - 0,7 2,6 5,7 20,7 1,2 5,0 4,0 19,8 13,8 3,2
GRUPPO SUN 1,4 - 3,2 2,6 - 2,0 1,2 0,3 - 2,4 9,8 14,4 18,2 27,6 - - - - - - 3,1
AGORA' NETWORK SCARL 2,5 - 13,5 6,1 34,4 0,4 - 0,2 0,2 - - - - - - - - - - - 2,8
GRUPPO PAM 3,7 - 2,7 0,9 0,6 3,1 8,0 1,8 5,4 3,1 - 8,5 0,7 - 0,2 1,4 - - - 3,8 2,7
ASPIAG - - - - 32,4 12,7 29,9 1,8 - - - - - - - - - - - - 2,7
BENNET SPA 8,7 - 1,3 5,2 - 1,2 4,0 1,9 - - - - - - - - - - - - 2,5
SIGMA 0,1 - - 1,1 - 2,8 2,6 3,0 0,3 0,3 7,0 0,8 3,2 6,4 2,8 6,9 5,3 1,6 1,1 5,0 1,8
CRAI 1,6 - 0,3 0,2 - 2,6 2,1 0,5 0,0 - 0,4 1,7 0,7 0,9 2,3 0,2 5,4 3,5 7,5 9,7 1,4
DESPAR SERVIZI - - - 0,6 - - - - - - - 0,0 - - 1,8 7,1 17,6 18,4 6,2 4,3 1,2
TOTAL 95,9 76,0 99,8 94,8 99,1 87,0 94,3 98,5 99,9 92,2 97,4 93,2 92,9 96,6 77,5 91,3 67,9 87,2 86,4 98,0 93,7
CENTER SOUTH AND ISLANDSNORTH - W NORTH - E

7. • Le referenze che entrano nel calcolo dell’indice sono individuate tramite i codici a
barre (GTINs), che identificano univocamente i prodotti venduti sull’intero territorio
nazionale
7
I risultati e l’impatto degli scanner data sulla stima dell’inflazione nel 2018 e le prospettive future
Roma, 21 Settembre 2018
Il campione dei punti vendita e delle referenze
• In ciascun PV del campione e per ogni aggregato di prodotto, le referenze sono
selezionate con il criterio del cut-off (si copre il 40% del fatturato totale
dell’aggregato di prodotto stesso nell’anno precedente)
• Si utilizza l’approccio statico che imita il tradizionale metodo di raccolta dei prezzi. I
prodotti vengono selezionati a dicembre e mantenuti fissi durante l'anno successivo

8. 8
I risultati e l’impatto degli scanner data sulla stima dell’inflazione nel 2018 e le prospettive future
Roma, 21 Settembre 2018
Il campione dei punti vendita e delle referenze
Numero medio di referenze per aggregato di prodotto, min e max
Numero medio di
referenze
Min Max
Prodotti alimentari incluse bevande alcoliche 8,8 2238 * 35493 ***
Altri prodotti grocery 13,4 4435 ** 33725 ****
Totale prodotti grocery 9,7
* Birre a basso contenuto di alcol e non alcoliche *** Prodotti di pasticceria confezionati
** Prodotti di profumeria alcolica **** Alimenti per animali domestici
Sono 79 gli aggregati di prodotto per i quali si calcolano indici utilizzando i dati scanner,
relativi a circa 1.370.000 referenze (GTIN x punto vendita)

9. 9
I risultati e l’impatto degli scanner data sulla stima dell’inflazione nel 2018 e le prospettive future
Roma, 21 Settembre 2018
Flusso dei dati
* Settimana 1 = 1° Lunedì - Domenica
L’Istat acquisisce anche il dizionario Nielsen (aggiornato ogni due mesi)
I dati scanner sono forniti da Nielsen su base settimanale
Settimana 1* t1 - t7 t7+9 t7+10
Settimana 2 t8 - t14 t14+9 t14+10
Settimana 3 t15 - t21 t21+9 t21+10
Raccolta dati (Nielsen) Ricezione dati (ISTAT) Elaborazione dati (ISTAT)
GTIN GTIN descrizione ECR4 (mercato) COICOP6 COICOP6 descrizione
8010333000716 PONTEVECCHIOVALMORASTD TAVOLAMINERALENOGAS PLAS 01 050.0 CL Acqua Non Gassata 0-50 CL 01.2.2.1.0 Acque minerali
0000080134091 FERRARELLESTD TAVOLAMINERALEEFF.NATPLAS 01 150.0 CL Acqua Efferv. Naturale 101-150 CL 01.2.2.1.0 Acque minerali

10. 10
I risultati e l’impatto degli scanner data sulla stima dell’inflazione nel 2018 e le prospettive future
Roma, 21 Settembre 2018
Controlli e pulizia dei dati
Principali controlli
Punti vendita Punti vendita mancanti o duplicati
Referenze
- Referenze mancanti o duplicate
- Fatturato e/o quantità NULL
- Quantità <1
- Quantità con valori decimali
Prezzi
- Prezzi ≤0.01 €
- Prezzi non ammissibili (metodo trimming mobile)
Indici Valori anomali (<30 or >250)

11. 11
I risultati e l’impatto degli scanner data sulla stima dell’inflazione nel 2018 e le prospettive future
Roma, 21 Settembre 2018
Sostituzioni e imputazioni
• L'incidenza delle referenze imputate è compresa tra 4 e 6,3%
• La percentuale delle referenze sostituite è leggermente aumentata durante
l'anno (2,1% in Agosto)
Referenze gen-18 feb-18 mar-18 apr-18 mag-18 giu-18 lug-18 ago-18
% Imputate * 4,0 5,3 4,6 4,7 5,5 6,3 5,6 5,2
% Sostituite ** 0,0 0,0 1,5 1,5 1,2 1,5 2,0 2,1
% Referenze dopo i controlli 96,0 94,8 93,9 93,8 93,3 92,2 92,4 92,7
Totali 100,0 100,0 100,0 100,0 100,0 100,0 100,0 100,0
* Mancanti e (pochi) valori anomali
** Mancanti per più di due mesi consecutivi
• Nel caso in cui una referenza risulti assente, il suo prezzo viene imputato. Se l’assenza si
protrae per oltre due mesi, la referenza viene sostituita attingendo a un bacino di GTIN
dello stesso PV e classificati nello stesso aggregato di prodotto

12. 12
I risultati e l’impatto degli scanner data sulla stima dell’inflazione nel 2018 e le prospettive future
Roma, 21 Settembre 2018
Calcolo degli indici
S1
p1=f1/q1
S2
p2=f2/q2
Indici
provvisori
S1
p1=f1/
q1
S2
p2=f2/
q2
S3
p3=f3/
q3
Indici
definitivi
Per ciascuna settimana si elaborano le informazioni di circa un milione e 370mila
referenze, il cui prezzo settimanale viene calcolato sulla base dei dati di fatturato e
quantità vendute in ciascun PV.

13. 13
I risultati e l’impatto degli scanner data sulla stima dell’inflazione nel 2018 e le prospettive future
Roma, 21 Settembre 2018
Calcolo degli indici
Indici AP
(SD) - livello
punto
vendita:
media
geometrica
Indici AP (SD) –
livello
provinciale:
media
aritmetica
ponderata, pesi
campionari
Indici AP
(SD+altri) – livello
provinciale: media
aritmetica
ponderata, pesi
fatturato
regionale per
tipologia
Indici AP - livello
regionale: media
aritmetica
ponderata, pesi
popolazione
provinciale
Indici AP – livello
nationale: media
aritmetica
ponderata, pesi
spese regionali
Il calcolo degli indici degli aggregati di prodotto
(AP): dal punto vendita al livello nazionale
aggregazione degli indici SD e
degli indici basati sui prezzi
tradizionalmente raccolti nelle
altre tipologie di punti vendita

14. 14
I risultati e l’impatto degli scanner data sulla stima dell’inflazione nel 2018 e le prospettive future
Roma, 21 Settembre 2018
Stima di impatto
Per stimare l'impatto dell'introduzione dei dati scanner, sono stati ricalcolati gli indici dei
prezzi al consumo per l'anno 2017 utilizzando la nuova fonte di dati
Indice generale - base 2015=100
Alimentari e bevande analcoliche - base 2015=100

15. 15
I risultati e l’impatto degli scanner data sulla stima dell’inflazione nel 2018 e le prospettive future
Roma, 21 Settembre 2018
Stima di impatto
Impatto dell'introduzione dei dati scanner sui tassi annuali di variazione dell'IPCA
Gennaio 2018 - Luglio 2018
Livello di
sintesi
Aggregati Pesi
Stima di impatto
gen-18 feb-18 mar-18 apr-18 mag-18 giu-18 lug-18
Div. Prodotti alimentari e bevande analcoliche 175.418 0,0 -0,1 +0,3 +0,1 0,0 +0,1 +0,2
Div. Bevande alcoliche e tabacchi 32.861 +0,2 +0,3 +0,4 +0,1 +0,3 +0,3 +0,5
Div. Mobili, articoli e servizi per la casa 75.998 -0,1 +0,1 0,0 0,0 0,0 0,0 -0,1
Div. Ricreazione, spettacoli e cultura 60.523 +0,1 0,0 0,0 +0,1 +0,1 0,0 +0,1
Div. Altri beni e servizi 97.263 +0,1 0,0 +0,1 +0,1 -0,1 0,0 +0,1
Gen. Indice generale IPCA 1.000.000 +0,1 -0,1 0,0 +0,1 -0,1 +0,1 0,0
* differenze tra i tassi di variazione degli indici definitivi pubblicati e quelli ottenuti mediante la simulazione per l’anno 2017
*

16. 16
I risultati e l’impatto degli scanner data sulla stima dell’inflazione nel 2018 e le prospettive future
Roma, 21 Settembre 2018
Indici provvisori vs definitivi
Media aritmetica (min e max) delle differenze assolute
tra indici definitivi e provvisori nei primi 7 mesi del
2018
Differenze assolute tra indici definitivi e
provvisori – Gen-Lug 2018
Alimentari lavorati
media diff.
ass.
min. diff.
ass.
max. diff.
ass.
Alimentari lavorati (incluse bevande alcoliche e tabacchi) 0,4 0,1 1,1
Alimentari non lavorati 0,1 0,0 0,3
Energia 0,1 0,0 0,7
Beni industriali non energetici 0,2 0,0 0,7
Servizi 0,0 0,0 0,1
Indice generale 0,1 0,0 0,2

17. 17
I risultati e l’impatto degli scanner data sulla stima dell’inflazione nel 2018 e le prospettive future
Roma, 21 Settembre 2018
Sviluppi futuri del progetto
• Adozione del cosiddetto approccio dinamico (in sostituzione di quello statico) per la
selezione delle referenze (GTIN) da considerare per il calcolo degli indici
• Estensione dell'uso dei dati scanner ad altri canali del commercio al dettaglio
(discounts e punti vendita con superficie compresa tra 100 e 400 metri quadrati)
• Estensione dell'utilizzo dei dati scanner ad altri beni come i prodotti freschi con peso
variabile e altre tipologie di prodotti

18. 18
I risultati e l’impatto degli scanner data sulla stima dell’inflazione nel 2018 e le prospettive future
Roma, 21 Settembre 2018
Grazie per l’attenzione