Recommended
Recommended
More Related Content
Featured
Featured (20)
Text to Image synthesis with GAN's
- 1. TEKST NAAR BEELD MET GAN’S Arthur Decloedt & Joppe Geluykens & Professor Moens
- 2. Situering Wat? - Waarom? - Hoe?
- 3. Tekst naar beeld Wat? - Waarom? - Hoe? Tekst Beeld (pixels)
- 4. Tekst naar beeld (ex.) Wat? - Waarom? - Hoe?
- 5. Relevantie Interpretatie Wat? - Waarom? - Hoe? Commando’s in natuurlijke taal
- 6. Aanpak Generatief model Wat? - Waarom? - Hoe?
- 7. Initiële onderzoeksvragen ● Invloed op uitvoer wanneer bepaald attribuut/relatie verandert in invoer ● Visualisatie van geleerde features, i.f.v. aantal lagen Hoe leert een neuraal netwerk over de wereld waarin het zich bevindt? ● Visual Genome: bevat uitgebreide spatiale relaties in de tekst Kunnen we de beeld representatie verbeteren?
- 9. Onderzoeksvragen (bijgesteld) ● Invloed op uitvoer wanneer bepaald attribuut/relatie verandert in invoer ● Visualisatie van geleerde features, i.f.v. beperkingen (aantal lagen, dimensies) Hoe goed leert een bestaand tekst-naar-beeld model met beperkte middelen? ● Visual Genome: bevat uitgebreide spatiale relaties in de tekst Kunnen we de beeld representatie verbeteren?
- 10. Methode
- 11. Deep Learning: neural networks Rosenblatt, F. (1958). The perceptron: A probabilistic model for information storage and organization in the brain. Psychological review, 65(6), 386.
- 12. Deep Learning: neural networks
- 18. Tekstembedding Learning Deep Representations of Fine-Grained Visual Descriptions, https://arxiv.org/pdf/1605.05395.pdf
- 22. Evaluatie ● Inception Score ● Afstandsmetrieken tot bronverdeling: ○ Frechet Inception Distance ○ Sliced Wasserstein Distance https://www.win.tue.nl/~wmeulema/research-overview.php
- 23. Baseline Reed, S., Akata, Z., Yan, X., Logeswaran, L., Schiele, B., & Lee, H. (2016). Generative adversarial text to image synthesis. arXiv preprint arXiv:1605.05396.
- 25. Experimenten
- 26. Dataset CUB-200-2011 ● 200 soorten vogels, vooral Amerikaanse, en beschrijvingen ervan ● Totaal 11788 afbeeldingen ○ Train: 8855 ○ Test: 2933 Caltech-UCSD Birds-200-2011
- 27. Parameters Batch size 24 Initial learning rate 0.0002 Ruis dimensie 100 Dimensie tekst invoer vector 128 Diepte boom 1 Maximum aantal stappen 300.000 HUIDIGE EXPERIMENTEN Batch size ↑,↓ Initial learning rate = Ruis dimensie ↓ Dimensie tekst invoer vector ↓ Diepte boom =,↑ Maximum aantal stappen =, ↓ TOEKOMSTIGE EXPERIMENTEN
- 33. Evaluatie resultaten DATASET: CUB Ons model StackGAN++ Inception Score 4,16 4,04±0,05* FID 263,20 Niet gepubliceerd SWD 0,05 Niet gepubliceerd * gebruikten niet-standaard model METRISCH ERROR EVALUATIE (In toekomstige experimenten)
- 34. Verder werk ● Loss functie ● Meer training Betere tekst-beeld overeenkomst ● Andere datasets ● Spatiale relaties Originele onderzoeksvragen
Editor's Notes
- FOCUS: voldoende diepgang Kies enkele slides waar we echt diep gaan JOPPE
- JOPPE
- WAT? automatisch genereren van beeld dat de inhoud van natuurlijke taal voorstelt, automatisch vertalen van tekst naar pixels van een beeld → niet google image search Zeer recent onderzoeksveld Nu pas mogelijk door sterke GPU’s JOPPE
- WAT? automatisch genereren van beeld dat de inhoud van natuurlijke taal voorstelt, automatisch vertalen van tekst naar pixels van een beeld → niet google image search Zeer recent onderzoeksveld Nu pas mogelijk door sterke GPU’s JOPPE
- WAAROM? Interpreteren van kennis opgedaan door neurale netwerken Commando’s geven in natuurlijke taal Zelfrijdende auto kan zich situeren in de visuele ruimte en tekst commando's (‘stop aan het blauwe huis’) begrijpen Begrip van hoe “gezond verstand” tot stand komt Automatisch boek → film JOPPE
- HOE? Generatief model, geïmplementeerd met neuraal netwerk: GAN JOPPE
- JOPPE
- Obstakels Rekenkracht Paralleliseren Datasets Variabelen en hyperparameters JOPPE
- Onderzoeksdoel deels herzien (visualisatie behouden) Reproduceer bestaand tekst-naar-beeld model Beperkte middelen, wat is het resultaat? Wat leert het netwerk onder bepaalde constraints? JOPPE
- ARTHUR
- Bestaan uit Perceptrons georganiseerd in lagen Bootsen allerlei functies na Relatief oud idee Gpu innovatie -> sterke toename aan mogelijkheden Arthur
- Bestaan uit Perceptrons georganiseerd in lagen Bootsen allerlei functies na Relatief oud idee Gpu innovatie -> sterke toename aan mogelijkheden Arthur
- Gradient descent (in meerdere dimensies!) Backpropagation Arthur
- Filter over meerdere pixels Perceptrons houden meer rekening met (ruimtelijke) context Arthur
- Filter over meerdere pixels Perceptrons houden meer rekening met (ruimtelijke) context Arthur
- Usampling Genereren van features Arthur
- Makkelijker creëren van structuur ARTHUR
- Model moet input kunnen begrijpen Is pretrained op taal, specifiek voor onze dataset Char-CNN-RNN structuur RNN capteert sequentiële structuur van Engelse taal goed ARTHUR
- 2 neurale netwerken Leren tegen elkaar op Discriminator fungeert als loss function Terwijl de generator leert genereren leert de discriminator hem beoordelen Arthur
- Arthur
- Optimalisatieprobleem → definieer te optimaliseren waarde (L_G, L_D) Loss Discriminator -> Loss functie Generator Generator : Wordt dit geaccepteerd door discriminator? L_BCE: Classificatieperformantie van disc op gegenereerde data: G wilt dat dit altijd ‘1’ is → L_BCE minimaliseren Discriminator : Werd juiste inschatting gemaakt? Indicatie van classificatie-performantie op echte, gegenereerde en mismatch tekst-beeld Minimaliseren ongelijkheid tussen a) echte data, uniforme verd 1, b) gegenereerde data, unifome 0, c) mismatch, uniforme 0 JOPPE
- IS: meest gebruikt, leg uit FID & SWD: inschatting van afstand tussen 2 verdelingen arthur
- Enkelvoudige GAN Arthur
- Multi-Gan Model Geïtereerde generatie Iteratief verhogen van de resolutie Verschenen 19 okt 2017 ARTHUR
- JOPPE
- JOPPE
- Toekomstige experimenten (low resource setting)
- 0 JOPPE
- 13300 JOPPE
- 53000 JOPPE
- 83600 JOPPE
- 95000 JOPPE
- 297100 JOPPE
- Als we vergelijken met de SOTA (op andere datasets) zijn deze scores beduidend slechter. Maar: wij zitten met beperkte resources JOPPE
- Benader SOTA (AttnGAN) JOPPE