Recommended
More Related Content
Similar to Extended Summary of "Evolutionary Optimization of Deep Learning Activation Functions" - Presentazione.pdf
Similar to Extended Summary of "Evolutionary Optimization of Deep Learning Activation Functions" - Presentazione.pdf (20)
Extended Summary of "Evolutionary Optimization of Deep Learning Activation Functions" - Presentazione.pdf
- 1. EXTENDED SUMMARY OF "EVOLUTIONARY OPTIMIZATION OF DEEP LEARNING ACTIVATION FUNCTIONS" Autori: Garret Bingham, William Macke, and Risto Miikkulainen Presentato: In Genetic and Evolutionary Computation Conference (GECCO ‘20), July 8-12, 2020, Cancún, Mexico. ACM, New York, NY, USA. Laureando: Michele SCOMINA Relatore: Andrea DE LORENZO Anno Accademico 2021/2022
- 2. Il Deep Learning: • Viene implementato su larga scala. • Ha usi molto diversificati. Necessità di ottimizzazione e specializzazione Funzioni d’attivazione più comunemente utilizzate: • ReLU (Rectified Linear Unit) • Swish E se esistessero funzioni migliori per specifici dataset e architetture?
- 3. Necessità di un modello standardizzato Funzioni di attivazione: Strutturate ad albero completo. Definite a partire da composizioni di due operatori unari in uno binario chiamato "core unit". Operatori unari: 0, 1, x, -x, |x|, 𝑥2 , 𝑥3 , 𝑥, 𝑒𝑥 , 𝑒−𝑥2 , log(1 + 𝑒𝑥 ), log(|x+ε|), sin(x), sinh(x), arcsinh(x), cos(x), cosh(x), tanh(x), arctanh(x), max{x, 0}, min{x, 0}, σ(x), erf(x), sinc(x) Operatori binari: x1+𝑥2, 𝑥1 − 𝑥2, 𝑥1 ∗ 𝑥2, 𝑥1/(𝑥2 + ε), max{𝑥1, 𝑥2}, min{𝑥1, 𝑥2}
- 4. Spazio di ricerca Lo spazio di ricerca 𝑆𝑛 è definito come l’insieme di tutte le funzioni generate a partire dagli operatori unari e binari con 𝑛 livelli di ricorsione di "core unit": 𝑆𝑛∈ℕ = 𝑓 ∈ 𝐹 𝑑𝑒𝑝𝑡ℎ 𝑓 = 𝑛} Questo studio si focalizza sugli spazi di ricerca 𝑆1 e 𝑆2. ∈ 𝑆1 ∈ 𝑆2
- 5. Processo evolutivo Le funzioni più performanti vengono selezionate per la generazione successiva. Implementazione di: • Mutazioni casuali uniformi sui singoli operatori unari e binari di una singola funzione. • Crossover tra coppie di funzioni, per consentire lo scambio di informazioni tra più generazioni e velocizzare il processo evolutivo.
- 6. Architetture: Wide Residual Networks, implementate su TensorFlow. • WRN-28-10 • WRN-40-4 Dataset: Insiemi di 45000-5000-10000 immagini 32x32x3. • CIFAR-10 • CIFAR-100 Verifica della specializzazione tramite controllo incrociato tra funzioni scoperte
- 7. Strategie di ricerca ▪ Ricerca esaustiva (𝑆1) ▪ Ricerca casuale (𝑆2) ▪ Ricerca evolutiva (𝑺𝟐) Basata sulla fitness, o probabilità di selezione, 𝑝𝑖 = 𝑒𝐿𝑖 σ𝑗=1 𝑁 𝑒𝐿𝑗 calcolata in base a due metriche nel corso di 10 generazioni: • Accuratezza • Loss
- 8. Performance
- 9. Specializzazione • Le funzioni si adattano ad altre architetture e dataset. • Funzioni specifiche hanno performance migliori per specifici dataset e architetture.
- 10. Proprietà • Le funzioni hanno proprietà comunemente ricercate nelle funzioni di attivazione, quali monotonicità e continuità. • Sono presenti funzioni con proprietà inusuali che performano quasi alla pari di quelle standard. • Piccole differenze possono portare a miglioramenti notevoli per certe architetture. 𝜎(𝑥) 𝜎 𝑥 ∗ erf(𝑥)
- 11. Conclusioni • Esistono funzioni più performanti delle classiche ReLU e Swish per le architetture e i dataset considerati. • Le funzioni possono essere facilmente implementate in architetture simili e raggiungere risultati soddisfacenti. • La ricerca è capace di trovare funzioni in grado di incrementare notevolmente le prestazioni medie di una particolare architettura o per un particolare dataset.