Slide di Diego Gibellino presentate all'evento "Reti neurali e media"

1. Perché comprimere una Rete Neurale ?
Un aggiornamento sull’attività Compression of neural networks for multimedia
content description and analysis (ISO/IEC 15938-17) in MPEG
Diego Gibellino
TIM - Chief Technology and Innovation Office| Video Services

3. Un caso d’uso: Adaptive Bitrate Streaming
Banda
Buffer
Rete
Neurale
per ABR
Bitrate
corrente
Client
Aggiornamento
App
Aggiornamento
Modello RN
Origin
Video
Server
CDN

4. Un caso d’uso: Pubblica Sicurezza
Rete
Neurale
Aggiornamento massivo del
Modello RN
Customizzazione del
modello RN in base alle
caratteristiche dell’ambiente
operativo

5. Un passaggio necessario
Da servizi e prodotti Data Center-centrici o
sviluppi verticali on-chip…
…alla possibilità di distribuire ed
aggiornare modelli basati su reti neurali
attraverso le reti di telecomunicazione

6. Il problema
Le tecniche di Deep Learning utilizzano reti
neurali di grandi dimensioni:
• Molti layer con nodi e connessioni
• Parametri/pesi associati
230
240
550
1800
0 500 1000 1500 2000
RESNET
YOLO
VGG
DEEPSPEECH
Dimensione di alcuni modelli di RN
comunemente utilizzati (MB)

8. Da “it works”… a “use it everywhere”
Addestramento
• “impara” parametri e pesi dai dati
• Effettuato tipicamente una sola volta, su server potenti e dedicati (disponibilità GPU)
• possono essere necessari aggiornamenti o customizzazioni del modello
Inferenza
• Utilizza la rete addestrata per effettuare predizioni su dati reali
• Richiede che tutti i parametri della rete vengano trasmessi e processati → obiettivo: minimizzare la
dimensione dei dati
• Spesso viene effettuata su dispositivi con risorse limitate (mobile phones, smart cameras, edge nodes, …) →
obiettivo: requisiti di memoria e complessità computazionale minimi

9. Le attività in MPEG
• Definizione di una rappresentazione compressa ed interoperabile di
reti neurali
• Basata sul know-how acquisito da MPEG in oltre 30 anni di attività nel
campo della compressione dati (media e metadata)
• Abilita l‘uso di tecniche di reti neurali profonde (deep neural
networks) nelle applicazioni multimediali degli utenti
• Ampio spettro di use case:
• image classification, visual content matching, content coding and audio
classification,…

10. Timeline
Jul. 2018
Call for
Evidence
Oct. 2018
Call for Proposals
Mar. 2019
Evaluation of
responses starts
Apr. 2020
CD
Oct. 2020
DIS
Apr. 2021
FDIS
Oct. 2021
IS
Core experiments

11. Call for Proposals
• Rappresentazione di diverse tipologie di reti neurali (reti feedforward
come CNN e autoencoder, recurrent networks come LSTM, ecc.)
• Inferenza possibile anche senza la ricostruzione dell’intera rete
neurale originale
• Ottimizzazione utilizzo reti neurali su device con risorse limitate
(computazionali, di memoria o banda)
• La Call copre un insieme di requisiti base
• Ulteriori funzionalità, come rappresentazioni incrementali, saranno
introdotte in una seconda fase
• 9 Proposte ricevute: analisi e valutazione

12. I prossimi passi
• Core experiments
• Pruning/sparsification
• Weight approximation
• Entropy coding
• Test che combinano le diverse tecniche proposte per la Call for
Proposals
• Definizione di un “common test model” per l’avvio della fase di
sviluppo cooperativo per il futuro standard

13. Un gioco di squadra
Partecipazione a
Workshop ML/AI:
• NeurIPS 2018
• ICML 2019
Liaison con
• ISO/IEC SC42 (Artificial Intelligence)
• ITU-T Focus Group on Machine Learning for Future
Networks including 5G (ML5G)
Interazioni con i gruppi che stanno
attualmente definendo i file format
per reti neurali:
• Khronos NNEF
• ONNX

14. Grazie!
Diego Gibellino
Special thanks to Werner Bailer, Joanneum Research
This work is licensed under a Creative Commons Attribution-NonCommercial-
NoDerivs 3.0 Unported License