Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Elaborazione dati
1. Elaborazione dati INPS
Si riportano le operazioni necessarie per l’aggiornamento dei dati su un database avente la
struttura dei modelli dati finora concordata ed utilizzata.
In caso di variazioni alla struttura di uno o più dei modelli dati, occorre preventivamente
adeguare lo script toAssetFormat.py.
1. [operazione manuale] download file dati inviato dal gruppo supporto DWH
2. [script - opzionale] statistiche.py
esegue un check dei dati al fine di individuare eventuali anomalie;
a seconda dei risultati può essere necessario modificare lo script di aggregazione
toAssetFormat.py.
3. [script] splitData.py
suddivide il file di partenza in n file, uno per ciascun mese individuato nel file originale
4. [operazione manuale] sostituzione dei file precedenti con quelli ottenuti
dall’elaborazione corrente
5. [operazione manuale] eliminazione dei file relativi agli ultimi quattro mesi
6. [script] toAssetFormat.py
effettua l’aggregazione dei dati, portandoli in un formato adatto all’importazione su
ASSET;
lo script, al momento, deve essere lanciato una volta per ciascuno dei flussi che si
intendono aggregare, specificandolo come input (al momento occorre modificare lo
script);
per ciascun flusso viene generato un file di testo, importabile su SQL Server
7. [query] rimozione dei vecchi dati dal db
devono essere rimossi solo i dati relativi ai mesi che dovranno essere sostituiti
8. [query] inserimento dei nuovi dati (tramite SQLServer Management Studio o query)
9. [query] aggiornamento della tabella CodiciTempoCategoria
Nota
Le operazioni di inserimento dati, rimozione dati e creazione indici e chiavi, se effettuate su
sqlserver express richiedono particolari accorgimenti per evitare che il database superi i 10 GB.