Mask R-CNN present a conceptually simple, flexible, and general framework for object instance segmentation. This approach efficiently detects objects in an image while simultaneously generating a high-quality segmentation mask for each instance. The method, called Mask R-CNN, extends Faster R-CNN by adding a branch for predicting an object mask in parallel with the existing branch for bounding box recognition. Mask R-CNN is simple to train and adds only a small overhead to Faster R-CNN, running at 5 fps. Moreover, Mask R-CNN is easy to generalize to other tasks, e.g., allowing us to estimate human poses in the same framework. We show top results in all three tracks of the COCO suite of challenges, including instance segmentation, bounding-box object detection, and person keypoint detection. Without tricks, Mask R-CNN outperforms all existing, single-model entries on every task, including the COCO 2016 challenge winners. We hope our simple and effective approach will serve as a solid baseline and help ease future research in instance-level recognition.
presentation: https://www.youtube.com/watch?v=FZePQKPEwoo (한국어)
reference: He, Kaiming, et al. "Mask r-cnn." arXiv preprint arXiv:1703.06870 (2017).
Convolutional Neural Networks and Natural Language ProcessingThomas Delteil
Presentation on Convolutional Neural Networks and their application to Natural Language Processing. In-depth walk-through the Crepe architecture from Xiang Zhang, Junbo Zhao, Yann LeCun. Character-level Convolutional Networks for Text Classification. Advances in Neural Information Processing Systems 28 (NIPS 2015).
Loosely based on ODSC London 2016 talk: https://www.slideshare.net/MiguelFierro1/deep-learning-for-nlp-67182819
Code: https://github.com/ThomasDelteil/TextClassificationCNNs_MXNet
Demo: https://thomasdelteil.github.io/TextClassificationCNNs_MXNet/
(flattened pdf, no animation, email author for .pptx)
Continuous representations of words and documents, which is recently referred to as Word Embeddings, have recently demonstrated large advancements in many of the Natural language processing tasks.
In this presentation we will provide an introduction to the most common methods of learning these representations. As well as previous methods in building these representations before the recent advances in deep learning, such as dimensionality reduction on the word co-occurrence matrix.
Moreover, we will present the continuous bag of word model (CBOW), one of the most successful models for word embeddings and one of the core models in word2vec, and in brief a glance of many other models of building representations for other tasks such as knowledge base embeddings.
Finally, we will motivate the potential of using such embeddings for many tasks that could be of importance for the group, such as semantic similarity, document clustering and retrieval.
Mask R-CNN present a conceptually simple, flexible, and general framework for object instance segmentation. This approach efficiently detects objects in an image while simultaneously generating a high-quality segmentation mask for each instance. The method, called Mask R-CNN, extends Faster R-CNN by adding a branch for predicting an object mask in parallel with the existing branch for bounding box recognition. Mask R-CNN is simple to train and adds only a small overhead to Faster R-CNN, running at 5 fps. Moreover, Mask R-CNN is easy to generalize to other tasks, e.g., allowing us to estimate human poses in the same framework. We show top results in all three tracks of the COCO suite of challenges, including instance segmentation, bounding-box object detection, and person keypoint detection. Without tricks, Mask R-CNN outperforms all existing, single-model entries on every task, including the COCO 2016 challenge winners. We hope our simple and effective approach will serve as a solid baseline and help ease future research in instance-level recognition.
presentation: https://www.youtube.com/watch?v=FZePQKPEwoo (한국어)
reference: He, Kaiming, et al. "Mask r-cnn." arXiv preprint arXiv:1703.06870 (2017).
Convolutional Neural Networks and Natural Language ProcessingThomas Delteil
Presentation on Convolutional Neural Networks and their application to Natural Language Processing. In-depth walk-through the Crepe architecture from Xiang Zhang, Junbo Zhao, Yann LeCun. Character-level Convolutional Networks for Text Classification. Advances in Neural Information Processing Systems 28 (NIPS 2015).
Loosely based on ODSC London 2016 talk: https://www.slideshare.net/MiguelFierro1/deep-learning-for-nlp-67182819
Code: https://github.com/ThomasDelteil/TextClassificationCNNs_MXNet
Demo: https://thomasdelteil.github.io/TextClassificationCNNs_MXNet/
(flattened pdf, no animation, email author for .pptx)
Continuous representations of words and documents, which is recently referred to as Word Embeddings, have recently demonstrated large advancements in many of the Natural language processing tasks.
In this presentation we will provide an introduction to the most common methods of learning these representations. As well as previous methods in building these representations before the recent advances in deep learning, such as dimensionality reduction on the word co-occurrence matrix.
Moreover, we will present the continuous bag of word model (CBOW), one of the most successful models for word embeddings and one of the core models in word2vec, and in brief a glance of many other models of building representations for other tasks such as knowledge base embeddings.
Finally, we will motivate the potential of using such embeddings for many tasks that could be of importance for the group, such as semantic similarity, document clustering and retrieval.
Fine-tuning BERT for Question AnsweringApache MXNet
This deck covers the problem of fine-tuning a pre-trained BERT model for the task of Question Answering. Check out the GluonNLP model zoo here for models and tutorials: http://gluon-nlp.mxnet.io/model_zoo/bert/index.html
Slides: Thomas Delteil
Scalable and Order-robust Continual Learning with Additive Parameter Decompos...MLAI2
While recent continual learning methods largely alleviate the catastrophic problem on toy-sized datasets, some issues remain to be tackled to apply them to real-world problem domains. First, a continual learning model should effectively handle catastrophic forgetting and be efficient to train even with a large number of tasks. Secondly, it needs to tackle the problem of order-sensitivity, where the performance of the tasks largely varies based on the order of the task arrival sequence, as it may cause serious problems where fairness plays a critical role (e.g. medical diagnosis). To tackle these practical challenges, we propose a novel continual learning method that is scalable as well as order-robust, which instead of learning a completely shared set of weights, represents the parameters for each task as a sum of task-shared and sparse task-adaptive parameters. With our Additive Parameter Decomposition (APD), the task-adaptive parameters for earlier tasks remain mostly unaffected, where we update them only to reflect the changes made to the task-shared parameters. This decomposition of parameters effectively prevents catastrophic forgetting and order-sensitivity, while being computation- and memory-efficient. Further, we can achieve even better scalability with APD using hierarchical knowledge consolidation, which clusters the task-adaptive parameters to obtain hierarchically shared parameters. We validate our network with APD, APD-Net, on multiple benchmark datasets against state-of-the-art continual learning methods, which it largely outperforms in accuracy, scalability, and order-robustness
RDF2Vec: RDF Graph Embeddings for Data MiningPetar Ristoski
Linked Open Data has been recognized as a valuable source for background information in data mining. However, most data mining tools require features in propositional form, i.e., a vector of nominal or numerical features associated with an instance, while Linked Open Data sources are graphs by nature. In this paper, we present RDF2Vec, an approach that uses language modeling approaches for unsupervised feature extraction from sequences of words, and adapts them to RDF graphs. We generate sequences by leveraging local information from graph sub-structures, harvested by Weisfeiler-Lehman Subtree RDF Graph Kernels and graph walks, and learn latent numerical representations of entities in RDF graphs. Our evaluation shows that such vector representations outperform existing techniques for the propositionalization of RDF graphs on a variety of different predictive machine learning tasks, and that feature vector representations of general knowledge graphs such as DBpedia and Wikidata can be easily reused for different tasks.
Zero shot learning through cross-modal transferRoelof Pieters
review of the paper "Zero-Shot Learning Through Cross-Modal Transfer" by Richard Socher, Milind Ganjoo, Hamsa Sridhar, Osbert Bastani, Christopher D. Manning, Andrew Y. Ng.
at KTH's Deep Learning reading group:
www.csc.kth.se/cvap/cvg/rg/
Word embedding, Vector space model, language modelling, Neural language model, Word2Vec, GloVe, Fasttext, ELMo, BERT, distilBER, roBERTa, sBERT, Transformer, Attention
오사카 대학 Nishida Geio군이 Normalization 관련기술 을 정리한 자료입니다.
Normalization이 왜 필요한지부터 시작해서
Batch, Weight, Layer Normalization별로 수식에 대한 설명과 함께
마지막으로 3방법의 비교를 잘 정리하였고
학습의 진행방법에 대한 설명을 Fisher Information Matrix를 이용했는데, 깊이 공부하실 분들에게만 필요할 듯 합니다.
Fine-tuning BERT for Question AnsweringApache MXNet
This deck covers the problem of fine-tuning a pre-trained BERT model for the task of Question Answering. Check out the GluonNLP model zoo here for models and tutorials: http://gluon-nlp.mxnet.io/model_zoo/bert/index.html
Slides: Thomas Delteil
Scalable and Order-robust Continual Learning with Additive Parameter Decompos...MLAI2
While recent continual learning methods largely alleviate the catastrophic problem on toy-sized datasets, some issues remain to be tackled to apply them to real-world problem domains. First, a continual learning model should effectively handle catastrophic forgetting and be efficient to train even with a large number of tasks. Secondly, it needs to tackle the problem of order-sensitivity, where the performance of the tasks largely varies based on the order of the task arrival sequence, as it may cause serious problems where fairness plays a critical role (e.g. medical diagnosis). To tackle these practical challenges, we propose a novel continual learning method that is scalable as well as order-robust, which instead of learning a completely shared set of weights, represents the parameters for each task as a sum of task-shared and sparse task-adaptive parameters. With our Additive Parameter Decomposition (APD), the task-adaptive parameters for earlier tasks remain mostly unaffected, where we update them only to reflect the changes made to the task-shared parameters. This decomposition of parameters effectively prevents catastrophic forgetting and order-sensitivity, while being computation- and memory-efficient. Further, we can achieve even better scalability with APD using hierarchical knowledge consolidation, which clusters the task-adaptive parameters to obtain hierarchically shared parameters. We validate our network with APD, APD-Net, on multiple benchmark datasets against state-of-the-art continual learning methods, which it largely outperforms in accuracy, scalability, and order-robustness
RDF2Vec: RDF Graph Embeddings for Data MiningPetar Ristoski
Linked Open Data has been recognized as a valuable source for background information in data mining. However, most data mining tools require features in propositional form, i.e., a vector of nominal or numerical features associated with an instance, while Linked Open Data sources are graphs by nature. In this paper, we present RDF2Vec, an approach that uses language modeling approaches for unsupervised feature extraction from sequences of words, and adapts them to RDF graphs. We generate sequences by leveraging local information from graph sub-structures, harvested by Weisfeiler-Lehman Subtree RDF Graph Kernels and graph walks, and learn latent numerical representations of entities in RDF graphs. Our evaluation shows that such vector representations outperform existing techniques for the propositionalization of RDF graphs on a variety of different predictive machine learning tasks, and that feature vector representations of general knowledge graphs such as DBpedia and Wikidata can be easily reused for different tasks.
Zero shot learning through cross-modal transferRoelof Pieters
review of the paper "Zero-Shot Learning Through Cross-Modal Transfer" by Richard Socher, Milind Ganjoo, Hamsa Sridhar, Osbert Bastani, Christopher D. Manning, Andrew Y. Ng.
at KTH's Deep Learning reading group:
www.csc.kth.se/cvap/cvg/rg/
Word embedding, Vector space model, language modelling, Neural language model, Word2Vec, GloVe, Fasttext, ELMo, BERT, distilBER, roBERTa, sBERT, Transformer, Attention
오사카 대학 Nishida Geio군이 Normalization 관련기술 을 정리한 자료입니다.
Normalization이 왜 필요한지부터 시작해서
Batch, Weight, Layer Normalization별로 수식에 대한 설명과 함께
마지막으로 3방법의 비교를 잘 정리하였고
학습의 진행방법에 대한 설명을 Fisher Information Matrix를 이용했는데, 깊이 공부하실 분들에게만 필요할 듯 합니다.
De bijlesindustrie. Kunnen we nog zonder? Frederik Smit
Bijles was ooit iets voor rijke ouders die extra aandacht regelden voor hun kinderen, omdat ze toch echt het vwo móesten halen. Tegenwoordig maakt ongeveer één op de drie middelbare scholieren en een op de vier basisschoolleerlingen in groep 8 gebruik van aanvullend onderwijs. Om de corona-achterstanden te bestrijden en het lerarentekort op te vangen, kunnen veel scholen niet meer om com- merciële instellingen heen. Ruim 30 miljoen coronasubsidie is al terechtgekomen bij commercieel onderwijs. De coronapandemie ver- sterkt de reeds ingezette trend om bijles- en huiswerkinstituten in de arm nemen om ook in de school structureel extra taken te verrichten.
Guuske Ledoux, Geert Driessen et al. (2015) Het onderwijsachterstandenbeleid ...Driessen Research
Ledoux, G., Roeleveld, J., Veen, A., Karssen, M., Daalen, M. van, Blok, H., Kuiper, E., Dikkers, L., Mulder, L., Fettelaar, D., & Driessen, G. (2015). Het onderwijsachterstandenbeleid onderzocht. Werkt het zoals bedoeld? Nijmegen: ITS.
Presentation on inclusive educational policy 'passend onderwijs,' to students on the Master in Education Studies, University of Groningen. Presented on 11 October 2010 by Dr. Ernst Thoutenhoofd (Dutch language).
Rechten en plichten: kennis vereist. Wat mogen en moeten ouders, leerlingen e...Frederik Smit
Kunnen ouders de school aansprakelijk stellen voor een gepest kind? Heeft een leerling die geschorst is in afwachting van verwijdering recht op onderwijs? Mag een leraar politieke standpunten verkondi- gen in de klas? De mr heeft een zekere juridische knowhow nodig om een bijdrage te kunnen leveren aan de kwaliteitsverbetering van het onderwijs. Welke rechten en plichten hebben ouders, leerlingen en personeel? Welke knelpunten en oplossingen zijn er?
1. Leren en ontwikkelen 2
4 M-decreet: op weg naar meer inclusie
4.1: waar kom het M-decreet vandaan?
4.2: de kern van het M-decreet
4.3 Van het M-decreet naar het decreet leersteun
2. 1. Waar komt het M-decreet vandaan?
2
Kritiek op het
buitengewoon
onderwijs
Naar een
inclusief
onderwijssysteem
4. 4
In Europa is gemiddeld 1,54% van de leerlingen
ingeschreven in het buitengewoon onderwijs. In België
ligt dat percentage veel hoger: 3,98% in Vlaanderen en
4,01% in Wallonië. Bovendien zijn minderheden,
nieuwkomers, migranten en leerlingen uit gezinnen met
een lage sociaaleconomische status
oververtegenwoordigd. De verwijzing naar
buitengewoon onderwijs wordt zo ook een proces van
sociale degradatie. Dit fenomeen begint al op het niveau
van de kleuterschool en wordt weerspiegeld in zeer
duidelijke verschillen tussen scholen wat betreft de
profielen van leerlingen.
9. 9
Naar een inclusief onderwijssysteem
1. Inclusief onderwijs is een mensenrecht!
Opgesteld in
2006 en
ondertekent
in 2009 door
Vlaanderen
Iedereen heeft recht op
onderwijs.
Kwalitatief goed inclusief
onderwijs is essentieel
voor het bereiken van
persoonlijke, sociale en
economische ontwikkeling.
10. 10
Inclusie betekent kwaliteitsvol onderwijs
voor iedereen of “education for all” (UNIA,
2019).
2. Inclusie betekent kwaliteitsvol onderwijs voor iedereen
Naar een inclusief onderwijssysteem
11. Wetenschappelijk onderzoek:
Wanneer inclusief onderwijs op de juiste manier
geïmplementeerd wordt, biedt het voordelen voor alle
leerlingen (schoolprestaties + sociaal functioneren)
Is inclusief onderwijs wel effectief?
11
?
15. 15
Ook leerkrachten staan onder druk om de lat steeds
hoger te leggen en “storende” leerlingen uit hun klas te
weren. Wat betreft gedragsstoornissen bijvoorbeeld,
neemt het aantal diagnoses en de uitstroom naar
buitengewoon onderwijs almaar toe. Het gebrek aan
ondersteuning voor leerlingen en leerkrachten blijft een
belangrijk aandachtspunt.
Stem van de
leerkracht
16. 16
Stelling: ‘Een leerling met specifieke onderwijsbehoeften gaat best naar het gewoon
onderwijs’. (65% gaat akkoord)
PRO
“in de samenleving zitten mensen met specifieke behoeften ook niet apart,”
“interactie en meer diversiteit zijn voordelen.”
CONTRA
“als ze dan daarna toch naar het buitengewoon onderwijs moeten dan gaat hun zelfdunk
omlaag en het is niet goed om leerlingen weg te halen bij hun vrienden,”
“in het buitengewoon onderwijs werkt men 27 meer op maat en deze leerlingen hebben extra
zorg nodig,”
Stem van de
leerling
20. Eerst gewoon dan buitengewoon
Recht op redelijke aanpassingen
Recht op inschrijven in een gewone school
Nieuwe types in buitengewoon onderwijs
Nieuwe toelatingsvoorwaarden buitengewoon onderwijs
Ondersteuning voor het gewoon onderwijs
20
2. De kern van het M-decreet/ decreet leersteun
21. 21
Eerst gewoon dan buitengewoon
“Welke hulp heeft dit kind nodig om te leren in de klas?” of “Hoe
kan ik mijn onderwijs aanpassen, zodat deze leerling minder last
ondervindt van zijn stoornis?”.
Decreet leersteun: kinderen met een
beperking proberen we, met extra
ondersteuning, in het gewoon onderwijs les
te laten volgen, maar in de praktijk is dat
niet voor iedereen mogelijk.
22. 22
Recht op redelijke aanpassingen
Een kind met specifieke
onderwijsbehoeften heeft recht op
redelijke aanpassingen => geen officiële
diagnose nodig
Ga naar menti.com en geef
aan wat volgens jou redelijke
aanpassingen zijn.
23. 23
Welke kosten?
Hoe lang en vaak wordt aanpassing
gebruikt?
Wat is de invloed van de aanpassing op
organisatie van klas/school?
Wat is de invloed van de aanpassing op
andere kinderen?
Zijn er betere alternatieven voor de
aanpassing voorhanden?
Recht op redelijke aanpassingen
24. Invloed aanpassing kan ook positief zijn op andere kinderen
24
Recht op redelijke aanpassingen
25. 25
Recht op redelijke aanpassingen
Een kind met specifieke
onderwijsbehoeften heeft recht op
redelijke aanpassingen
Decreet leersteun: Wanneer de school een leerling weigert moet de
school kunnen aantonen dat de redelijke aanpassingen die de school
moet nemen disproportioneel zijn.
26. 26
Recht op inschrijven in een gewone school
Gemeenschappelijk
curriculum
Individueel aangepast
curriculum (IAC)
27. 27
Bert kan ondanks de aangepaste
maatregel het gemeenschappelijk
curriculum niet volgen. Hoe wordt
er aan dit probleem tegemoet
gekomen?
https://www.klasse.be/84622/inclusief-onderwijs-hoe-is-het-echt/
Recht op inschrijven in een gewone school
29. 29
Recht op inschrijven in een gewone school
Gemeenschappelijk
curriculum
Individueel aangepast
curriculum
Redelijke
aanpassingen: om te
zorgen dat leerlingen
gemeenschappelijke
leerdoelen kunnen
behalen om diploma te
krijgen.
Redelijke aanpassingen:
om te zorgen dat
leerlingen leerdoelen op
maat behalen om attest
van verworven
bekwaamheden te
krijgen.
30. 30
Recht op inschrijven in een gewone school
Gemeenschappelijk
curriculum
Individueel aangepast
curriculum (IAC)
Decreet leersteun: In tegenstelling tot het M-decreet kunnen scholen
onder het decreet leersteun beslissen om kinderen met zware
zorgnoden te weigeren. Het gaat dan over leerlingen die het
gemeenschappelijk curriculum niet kunnen volgen. De finale beslissing
over de toegang tot het gewone onderwijs wordt genomen door de
klassenraad. In onderling overleg tussen de school en ouders kan wel
gekozen worden voor een individueel aangepast curriculum (IAC).
33. 33
Nieuwe toelatingsvoorwaarden buitengewoon onderwijs
Een kind kan enkel naar het
buitengewoon onderwijs met een
verslag van het CLB
Het CLB zal eerst bekijken of alle
mogelijke maatregelen werden
genomen in de gewone school
alvorens te verwijzen naar het
buitengewoon onderwijs.
Decreet Leersteun: geen concrete
info in de conceptnota hierover
34. 34
Ondersteuning voor het gewoon onderwijs
Als de zorg niet volstaat en uitbreiding van zorg nodig is of als een
leerling een individueel aangepast curriculum volgt, kan een school
voor gewoon onderwijs extra expertise voor de begeleiding van
leerlingen met specifieke onderwijsbehoeften inschakelen.
Decreet leersteun: herverdeling middelen zodat
leersteun op de juiste plek terecht komt voor uitbreiding
van zorg of IAC + uitbouw leersteuncentrum in functie
van ondersteuning en begeleiding leerkrachten en
ouders
35. 35
Van het M-decreet naar Decreet leersteun
https://onderwijs.vlaanderen.be/nl/naar-een-decreet-leersteun-voor-
leerlingen-met-specifieke-onderwijsbehoeften
