Data management and visualization are two essential parts of each data science project. In this specific case, MongoDB and Tableau are used to analyse some characteristics of youtube videos, e.g, comments, thumbnails, likes etc.

1. HOW TuBe
POPULAR
Lucia Ravazzi
Davide Badalotti
Leonardo Alchieri
Pietro Bonardi
Università degli Studi
Milano Bicocca
A.A 2019-2020
Gennaio 2020
Data Management and Visualization

2. YOUTUBE
• Nato per condividere le
proprie esperienze
• Enorme diffusione nel corso
degli anni
• Ora fonte di profitto per
individui e organizzazioni

3. Maggiori sforzi nella realizzazione
dei contenuti
• Aumento della qualità
• Uso di tecniche per «invogliare» al click
2

4. 3

5. Quali sono le tecniche utilizzate
per rendere attraenti le
anteprime dei video?
4

6. “
1. Fonti di dati
5

7. Dataset Kaggle
◈ Informazioni sui video in tendenza nelle varie
nazioni ogni giorno
◈ Video famosi maggiore utilizzo di tali tecniche
◈ Trattati come dati esterni da un database
relazionale
7

8. Youtube API
◈ Permette di ricercare video secondo diversi
criteri
◈ Fonte ufficiale di dati, elevata affidabilità
◈ Quota giornaliera limitata, insufficiente
8

9. Youtube Scraper
◈ Da noi implementato
◈ A partire da un videoId ottiene varie informazioni
◈ Ottiene anche i commenti ai video
9

10. “
2. Architettura di
storage
10

11. MongoDB
◈ Schema free,
document based
◈ Scalabilità orizzontale
◈ Bulk operations
11

12. MongoDB
◈ Schema free,
document based
◈ Scalabilità orizzontale
◈ Bulk operations
12

13. “
3. Data Loading
13

14. Obiettivi
◈ Distribuzione di grandi volumi
◈ Elaborazione gestita in parallelo
◈ Minimizzare il numero di richieste al server
14

15. Loading Kaggle
◈ Schema transformation: da SQL a
documento
◈ Indicizzata per {video_id,
ref_date}
◈ Risoluzione casi di sinonimia
{
Id : <str>,
Ref_date : <str>,
Region : <list>,
…
}
15

16. 16

17. Loading API
◈ Piccola quantità di dati
◈ Contenenti solo degli Id
◈ Divisi per categoria
◈ Aggiunti al database
singolarmente
{
Id : <str>,
}
17

18. Loading Scraper
◈ Occupa molto tempo (rendering)
◈ Più istanze parallele
◈ Documenti caricati in liste
◈ Indicizzato per {id, ref_date}
{
Id : <str>,
Ref_date : <str>,
Region : <list>,
…
Comments : <doc>
}
18

19. 19

20. “
4. Data Quality
20

21. Completezza
Kaggle dataset Scraper dataset
21

22. Le caratteristiche dei video cambiano nel tempo
◈ Come misurare
l’accuratezza dei dati?
◈ Si fa riferimento alla fonte
più affidabile (Kaggle)
22

23. “
4. Data Integration
and Enrichment
20

24. Primo enrichment:
3 steps
Obiettivi:
◈ Aggiungere campi non
presenti fra tutti i dataset
◈ Aumentare la completezza
del dataset di scraping
24
Operazioni:
◈ Aggiunta del campo region
code: da API a scraper
◈ Aggiunta del campo
category: da scraper a
Kaggle
◈ Aggiunta data: da Kaggle
a scraper

25. 25

26. Integrazione
Obiettivi:
◈ Ottenere unica collezione
indicizzata per {id,
ref_date}
◈ Preservare la consistenza
interna dei documenti, a
scapito della completezza
◈ Mantenere info storicizzate
26
Ricerca tramite
chiave
Non match
Aggiunta del
documento alla
collezione
Match dei
documenti
Campo varia
nel tempo
Si mantengono
i valori da
scraper
Campo non
varia nel tempo
Si mantengono
i valori da
Kaggle

27. 27

28. Arricchimento finale
◈ Update di ogni documento
◈ Aggiunge campi utili all’analisi
⬥ Numero di wildcards o lettere maiuscole nel titolo
⬥ Lunghezza titolo o descrizione
⬥ Sentiment analysis dei commenti
⬥ Binario dell’anteprima, con colore dominante
⬥ Frazione dislikes e likes sulle views
⬥ …
28

29. “
5. Data
Exploration and
visualization
29

30. Dove concentrare le nostre analisi?
Selezione di 4 categorie
diffuse:
◈ Musica
◈ Gaming
◈ News
◈ Persone e Blogs
Definizione di video popolare
e non popolare.
In base alle visualizzazioni
Popolare: 95° percentile in su
Non popolare: dal 25° al 50°
percentile

31. 31

33. Conclusioni
◈ Architettura riutilizzabile
◈ Scalabile ulteriormente
◈ Soluzioni potrebbero adattare strumenti più
sofisticati di analisi
33

34. Grazie per
l’attenzione
34