Download as PDF, PPTX
Uploaded byuninfoit
2019-06-14:2 - Perchè comprimere una rete neurale?
Il documento discute la compressione delle reti neurali per migliorare l'efficienza nella trasmissione e nell'elaborazione di dati multimediali. Si evidenzia l'importanza di ottimizzare le reti per dispositivi con risorse limitate e presenta le attività in corso nell'ambito MPEG per standardizzare le rappresentazioni di reti neurali. Inoltre, offre una panoramica sulle call for proposals e sui prossimi passi nel processo di sviluppo di queste tecniche.
2019-06-14:2 - Perchè comprimere una rete neurale?
- 1. Perché comprimere unaRete Neurale ? Un aggiornamento sull’attività Compression of neural networks for multimedia content description and analysis (ISO/IEC 15938-17) in MPEG Diego Gibellino TIM - Chief Technology and Innovation Office| Video Services
- 3. Un caso d’uso:Adaptive Bitrate Streaming Banda Buffer Rete Neurale per ABR Bitrate corrente Client Aggiornamento App Aggiornamento Modello RN Origin Video Server CDN
- 4. Un caso d’uso:Pubblica Sicurezza Rete Neurale Aggiornamento massivo del Modello RN Customizzazione del modello RN in base alle caratteristiche dell’ambiente operativo
- 5. Un passaggio necessario Daservizi e prodotti Data Center-centrici o sviluppi verticali on-chip… …alla possibilità di distribuire ed aggiornare modelli basati su reti neurali attraverso le reti di telecomunicazione
- 6. Il problema Le tecnichedi Deep Learning utilizzano reti neurali di grandi dimensioni: • Molti layer con nodi e connessioni • Parametri/pesi associati 230 240 550 1800 0 500 1000 1500 2000 RESNET YOLO VGG DEEPSPEECH Dimensione di alcuni modelli di RN comunemente utilizzati (MB)
- 8. Da “it works”…a “use it everywhere” Addestramento • “impara” parametri e pesi dai dati • Effettuato tipicamente una sola volta, su server potenti e dedicati (disponibilità GPU) • possono essere necessari aggiornamenti o customizzazioni del modello Inferenza • Utilizza la rete addestrata per effettuare predizioni su dati reali • Richiede che tutti i parametri della rete vengano trasmessi e processati → obiettivo: minimizzare la dimensione dei dati • Spesso viene effettuata su dispositivi con risorse limitate (mobile phones, smart cameras, edge nodes, …) → obiettivo: requisiti di memoria e complessità computazionale minimi
- 9. Le attività inMPEG • Definizione di una rappresentazione compressa ed interoperabile di reti neurali • Basata sul know-how acquisito da MPEG in oltre 30 anni di attività nel campo della compressione dati (media e metadata) • Abilita l‘uso di tecniche di reti neurali profonde (deep neural networks) nelle applicazioni multimediali degli utenti • Ampio spettro di use case: • image classification, visual content matching, content coding and audio classification,…
- 10. Timeline Jul. 2018 Call for Evidence Oct.2018 Call for Proposals Mar. 2019 Evaluation of responses starts Apr. 2020 CD Oct. 2020 DIS Apr. 2021 FDIS Oct. 2021 IS Core experiments
- 11. Call for Proposals •Rappresentazione di diverse tipologie di reti neurali (reti feedforward come CNN e autoencoder, recurrent networks come LSTM, ecc.) • Inferenza possibile anche senza la ricostruzione dell’intera rete neurale originale • Ottimizzazione utilizzo reti neurali su device con risorse limitate (computazionali, di memoria o banda) • La Call copre un insieme di requisiti base • Ulteriori funzionalità, come rappresentazioni incrementali, saranno introdotte in una seconda fase • 9 Proposte ricevute: analisi e valutazione
- 12. I prossimi passi •Core experiments • Pruning/sparsification • Weight approximation • Entropy coding • Test che combinano le diverse tecniche proposte per la Call for Proposals • Definizione di un “common test model” per l’avvio della fase di sviluppo cooperativo per il futuro standard
- 13. Un gioco disquadra Partecipazione a Workshop ML/AI: • NeurIPS 2018 • ICML 2019 Liaison con • ISO/IEC SC42 (Artificial Intelligence) • ITU-T Focus Group on Machine Learning for Future Networks including 5G (ML5G) Interazioni con i gruppi che stanno attualmente definendo i file format per reti neurali: • Khronos NNEF • ONNX
- 14. Grazie! Diego Gibellino Special thanksto Werner Bailer, Joanneum Research This work is licensed under a Creative Commons Attribution-NonCommercial- NoDerivs 3.0 Unported License