Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Погружение в Deep Learning

1,747 views

Published on

Образовательные траектории в области глубокого нейросетевого обучения

Published in: Education

Погружение в Deep Learning

  1. 1. Погружение в Deep Learning образовательные траектории в области глубокого нейросетевого обучения
  2. 2. deephacklab.com | info@deephacklab.com Почему интересен Deep Learning? Это наукоемкое и интересное направление, которое позволяет создавать невероятные инновационные системы и решать классические задачи по-новому Это направление, в котором можно долго развиваться: создавать компании, системы, заниматься исследованиями Абитуриенты/Студенты Профессионалы Интересующиеся Аудитория Стратегия изучения Знания и навыки должны быть связаны с решаемыми задачами или долгосрочными целями Программист/ Data Scientist Менеджер/ Бизнесмен Исследователь
  3. 3. deephacklab.com | info@deephacklab.com Почему интересен Deep Learning?
  4. 4. deephacklab.com | info@deephacklab.com
  5. 5. deephacklab.com | info@deephacklab.com Официальное образование В России (в Москве) За рубежом Прикладные программы от профильных компаний: Yandex – Школа Анализа Данных, https://yandexdataschool.ru/about Mail.ru – Техносфера, https://sphere.mail.ru/pages/index/ Магистерские программы НИУ ВШЭ – Науки о данных - http://www.hse.ru/ma/datasci/ МФТИ - Анализ данных («Яндекс») - https://mipt.ru/education/chairs/da/education/masters/ Аспирантура (PhD) – единственная программа, которая прямо говорит о Deep Learning Computer Vision Group at SkolkovoInstitute of Science and Technology (Skoltech) - http://sites.skoltech.ru/compvision/ University of Oxford University of Toronto University of Cambridge Université de Montréal Stanford University New York University Carnegie Mellon University UC Berkeley Все ведущие эксперты в DL работают за рубежом. Правильный выбор программы должен идти от интересующей вас профильной области исследований и выбора руководителя, который работает в данной области (бренд университета вторичен)
  6. 6. deephacklab.com | info@deephacklab.com Потенциально необходимые части Теория Машинное обучение https://www.coursera.org/learn/machine-learning Нейронные сети https://www.coursera.org/course/neuralnets Deep Learning courses http://eclass.cc/courselists/117_deep_learning Машинное обучение от ШАД Яндекса https://yandexdataschool.ru/edu-process/courses/machine- learning Видео от Техносферы https://sphere.mail.ru/materials/video/ Железо Руководствопо сборке компьютера для DL https://timdettmers.wordpress.com/201 5/03/09/deep-learning-hardware-guide/ Софт MicrosoftAzure ML (.NET) http://azure.microsoft.com/ru-ru/services/machine-learning/ R http://www.analyticsvidhya.com/learning-paths-data- science-business-analytics-business-intelligence-big- data/learning-path-r-data-science/ Python http://www.analyticsvidhya.com/learning-paths-data- science-business-analytics-business-intelligence-big- data/learning-path-data-science-python/ Deep Learning Libraries by Language http://www.teglor.com/b/deep-learning-libraries-language- cm569/ Machine and Deep Learning with Python https://github.com/szwed/awesome-machine-learning- python Linux and BASH https://www.edx.org/course/introduction-linux- linuxfoundationx-lfs101x-2 http://tldp.org/HOWTO/Bash-Prog-Intro-HOWTO.html Практика Конкурсы Kaggle https://www.kaggle.com/ Как начать участвовать в Kaggle? http://www.analyticsvidhya.com/blo g/2015/06/start-journey-kaggle/ Прочие соревнования https://herox.com/CognitiveComputi ng http://www.kdnuggets.com/competit ions/ http://opendatacontest.ru/ Интересное Вам направление Распознавание образов Распознавание звука Обучение с подкреплениеми робототехника Обработка текста (Q&A, NLP и т.п.) и др. или область Вашей деятельности http://arxiv.org/ Academic writing Как написать отличную исследовательскуюстатью http://research.microsoft.com/en-us/um/people/simonpj/papers/giving-a- talk/writing-a-paper-slides.pdf Writing in the Sciences https://www.coursera.org/course/sciwrite Язык Знание английского языка и профессиональнойтерминологиина уровне, как минимум, достаточном для чтения и восприятия информации с видео/в разговоре
  7. 7. deephacklab.com | info@deephacklab.com Источники информации Подписки новостей Deep Learning News http://news.startup.ml/ Machine Learning Newsletter http://www.mln.io/ MIT Technology Review (соответствующая тематика) http://www.technologyreview.co m/ Kurzweil AI http://www.kurzweilai.net/ Социальные сети Международное сообщество https://plus.google.com/u/0/communities/ 112866381580457264725 Русскоязычноесообщества https://vk.com/deeplearning https://vk.com/datascience https://vk.com/datamininglabs Facebook https://www.facebook.com/andrew.ng.96 https://www.facebook.com/yann.lecun Twitter https://twitter.com/mlnio https://twitter.com/AndrewYNg https://twitter.com/ylecun https://twitter.com/rsalakhu https://twitter.com/karpathy https://twitter.com/stanfordnlp https://twitter.com/googleresearch Блоги http://ailev.livejournal.com/ http://igorsubbotin.blogspot.ru/ https://timdettmers.wordpress.com/ http://colah.github.io/ http://karpathy.github.io/ Книги, статьи, тьюториалы Neural Networks and Deep Learning http://neuralnetworksanddeeplearning.com/ Deep Learning http://www.iro.umontreal.ca/~bengioy/dlbook/ Free Data Science Books http://www.learndatasci.com/free- books/?mailchimp_signup=1 McKinsey Quarterly - An executive’s guide to machine learning http://www.mckinsey.com/Insights/High_Tech_Telecoms_ Internet/An_executives_guide_to_machine_learning Panel Discussion at DL Workshop @ICML 2015 https://sites.google.com/site/deepernn/home/blog/briefs ummaryofthepaneldiscussionatdlworkshopicml2015 Tutorial from Ruslan Salakhutdinov http://videolectures.net/kdd2014_salakhutdinov_deep_le arning/ Deep Learning Tutorial http://deeplearning.net/tutorial/ Лучшие релевантные видео с YouTubeпо ML, NN, DL http://www.analyticsvidhya.com/blog/2015/07/top- youtube-videos-machine-learning-neural-network-deep- learning/ Обзорные списки Reading lists for new MILA students https://docs.google.com/document/d/1 IXF3h0RU5zz4ukmTrVKVotPQypChscNG f5k6E25HGvA/edit?usp=sharing Learning Deep Learning http://rt.dgyblog.com/ref/ref-learning- deep-learning.html Deep Learning Resources http://www.jeremydjacksonphd.com/?p =28 Neural networkspapers https://github.com/robertsdionne/neur al-network-papers#distributed- computing Основной тематический сайт http://deeplearning.net/
  8. 8. deephacklab.com | info@deephacklab.com Road to Data Scientist Проблема: ОЧЕНЬ МНОГО ИНФОРМАЦИИ!
  9. 9. deephacklab.com | info@deephacklab.com Образовательная траектория абитуриента/студента Уровень Действия Базовый 1. Достичь уровня английского языка не ниже Upper-Intermediate по reading, listening 2. Пройти рекомендованные курсы по машинному обучению и нейронным сетям на Coursera 3. Разобраться с базовыми понятиями Deep Learning с помощью тьюториалов и ознакомительных статей 4. Освоить азы одного из языков программирования и повторить победившее решение на нейронных сетях одного из простых конкурсов Kaggle 5. Выбрать интересующее вас направление в Deep Learning Продвинутый 1. Мониторить новости профильных групп/ученых в социальных сетях, подписаться на новостные рассылки 2. Пройти все курсы, охватывающие интересующее вас направление, на платформах дистанционного обучения 3. Прочитать самые важные/цитируемые статьи от Geoffry Hinton, Yann LeCun, Andrew Ng, Yoshua Bengio 4. Освоить на хорошем уровне выбранный язык программирования, повторить победившие решения на нейронных сетях 3-5 прошедших конкурсов Kaggle, принять участие в одном из текущих конкурсов 5. Познакомиться с профессионалами из профильной области/принимать участие во встречах по Data Science, Deep Learning 6. Приобрести необходимое железо для Deep Learning/найти подходящие для студентов, открытые, доступные программы доступа к облачным вычислительным мощностям Эксперт 1. Поступить на профильную магистратуру/прикладную программу, закончить её 2. Занять топ 10-20% в 2-3 текущих конкурсах Kaggle, других возникающих конкурсах по Data Science 3. Устроиться на работу, чтобы использовать технологии Deep Learning на регулярной основе 4. Мониторить и читать на arxiv.org все последние научные статьи по выбранному направлению
  10. 10. deephacklab.com | info@deephacklab.com Образовательная траектория профессионала - исследователя Уровень Действия Базовый 1. Достичь уровня английского языка не ниже Advanced 2. Выбрать интересующее вас направление в Deep Learning 3. Пройти все курсы, охватывающие интересующее вас направление, на платформах дистанционного обучения 4. Освоить на хорошем уровне выбранный язык программирования, повторить победившие решения на нейронных сетях 3-5 прошедших конкурсов Kaggle, принять участие в одном из текущих конкурсов 5. Прочитать самые важные/цитируемые статьи от Geoffry Hinton, Yann LeCun, Andrew Ng, Yoshua Bengio, Ruslan Salakhutdinov, Volodymyr Mnih, David Silver, Alex Graves 6. Мониторить новости профильных групп/ученых в социальных сетях, подписаться на новостные рассылки 7. Познакомиться с профессионалами/учеными из профильной области/принимать участие во встречах, конференциях по Data Science, Deep Learning 8. Приобрести необходимое железо для Deep Learning/найти подходящие для исследователей, открытые, доступные программы доступа к облачным вычислительным мощностям Продвинутый 1. Освоить навыки академического письма на английском языке 2. Поступить на профильную магистратуру/аспирантуру (PhD)/прикладную программу, закончить её 3. Мониторить и читать на arxiv.org все последние научные статьи по выбранному направлению 4. Присоединиться к существующим профильным лабораториям/научным группам по Deep Learning/Анализу данных 5. Написать и опубликовать 1-2 тематические статьи Эксперт 1. Пройти стажировку в исследовательском подразделении ведущей мировой компании (Facebook, Google, IBM, Microsoft и т.п.) 2. Устроиться в качестве постдока к одному из ведущих зарубежных исследователей в области Deep Learning 3. Выступить с докладом на одной из международных конференций по машинному обучению/Deep Learning 4. Регулярно посещать международные конференции по Deep Learning
  11. 11. deephacklab.com | info@deephacklab.com Образовательная траектория профессионала – программиста/Data Scientist-а Уровень Действия Базовый 1. Достичь уровня английского языка не ниже Upper-Intermediate по reading, listening 2. Пройти рекомендованные курсы по машинному обучению и нейронным сетям на Coursera 3. Разобраться с базовыми понятиями Deep Learning с помощью тьюториалов и ознакомительных статей 4. Выбрать интересующее вас направление в Deep Learning 5. Освоить на хорошем уровне выбранный язык программирования, повторить победившие решения на нейронных сетях 3-5 прошедших конкурсов Kaggle, принять участие в одном из текущих конкурсов 6. Прочитать самые важные/цитируемые статьи от Geoffry Hinton, Yann LeCun, Andrew Ng, Yoshua Bengio 7. Мониторить новости профильных групп/ученых в социальных сетях, подписаться на новостные рассылки 8. Познакомиться с профессионалами из профильной области/принимать участие во встречах по Data Science, Deep Learning 9. Приобрести необходимое железо для Deep Learning/найти открытые, доступные программы доступа к облачным вычислительным мощностям Продвинутый 1. Поступить на профильную прикладную программу, закончить её 2. Пройти все курсы, охватывающие интересующее вас направление, на платформах дистанционного обучения 3. Занять топ 10-20% в 2-3 текущих конкурсах Kaggle, других возникающих конкурсах по Data Science 4. Устроиться на работу, чтобы использовать технологии Deep Learning на регулярной основе Эксперт 1. Пройти стажировку в исследовательском подразделении ведущей мировой компании (Facebook, Google, IBM, Microsoft и т.п.) 2. Мониторить и читать на arxiv.org все последние научные статьи по выбранному направлению
  12. 12. deephacklab.com | info@deephacklab.com Образовательная траектория профессионала – менеджера/бизнесмена Уровень Действия Базовый 1. Достичь уровня английского языка не ниже Upper-Intermediate по reading, listening 2. Разобраться с базовыми понятиями Deep Learning с помощью тьюториалов и ознакомительных статей 3. Понять как можно было бы использовать технологии Deep Learning на текущем месте работы, в бизнесе Полезно, но опционально 1. Пройти рекомендованные курсы по машинному обучению и нейронным сетям на Coursera 2. Освоить азы одного из языков программирования и повторить победившее решение на нейронных сетях одного из простых конкурсов Kaggle Продвинутый 1. Реализовать 1-2 проекта по анализу данных в своей организации с использованием технологий Deep Learning 2. Мониторить новости профильных групп/ученых в социальных сетях, подписаться на новостные рассылки 3. Познакомиться с профессионалами из профильной области/принимать участие во встречах по Data Science, Deep Learning 4. Мониторить прикладные решения на основании технологий искусственного интеллекта в собственной бизнес области 5. Узнать траекторию развития технологий на 5-10 летнем горизонте в собственной бизнес области/области искусственного интеллекта (например, ознакомившись с результатами аналитических агенств, таких как Gartner, или с результатами тематических форсайтов) Эксперт 1. Основать стартап, чтобы использовать технологии Deep Learning на регулярной основе 2. Организовать/спонсировать мероприятие по Deep Learning, чтобы познакомиться со всеми ведущими учеными/профессионалами в этой области в стране 3. Вступить в членство одного из сообществ в рамках направления Нейронет Национальной Технологической Инициативы РФ 4. Регулярно посещать международные конференции по Deep Learning
  13. 13. deephacklab.com | info@deephacklab.com Образовательная траектория интересующегося Уровень Действия Базовый 1. Достичь уровня английского языка не ниже Intermediate по reading, listening 2. Разобраться с базовыми понятиями Deep Learning с помощью тьюториалов и ознакомительных статей Продвинутый 1. Мониторить новости профильных групп/ученых в социальных сетях, подписаться на новостные рассылки 2. Познакомиться с профессионалами из профильной области/принимать участие во встречах по Data Science, Deep Learning Эксперт 1. Пройти рекомендованные курсы по машинному обучению и нейронным сетям на Coursera 2. Освоить азы одного из языков программирования и повторить победившее решение на нейронных сетях одного из простых конкурсов Kaggle
  14. 14. deephacklab.com | info@deephacklab.com Мысли про будущее Искусственный интеллект Machine Intelligence Research Institute https://intelligence.org/ Future of Life Institute http://futureoflife.org/ Безопасность ИИ Часть 1: Путь к сверхинтеллекту - http://hi-news.ru/research-development/iskusstvennyj-intellekt-chast-pervaya-put-k- sverxintellektu.html Часть 2: Вымирание или бессмертие - http://hi-news.ru/technology/iskusstvennyj-intellekt-chast-vtoraya-vymiranie-ili-bessmertie.html Часть 3: Почему он может стать нашим последним изобретением - http://hi-news.ru/technology/iskusstvennyj-intellekt-chast-tretya- pochemu-on-mozhet-stat-nashim-poslednim-izobreteniem.html По оценкам различных экспертов в ближайшие 10-20 лет 80-90% существующих работ будут выполняться роботами/программами The wonderful and terrifying implications of computers that can learn http://www.ted.com/talks/jeremy_howard_the_wonderful_and_terrifying_implications_of_computers_that_can_learn Who Will Own the Robots? http://www.technologyreview.com/featuredstory/538401/who-will-own-the-robots/ Последствия для рынка труда Список проектов, получивших финансирование от Илона Маска http://futureoflife.org/AI/2015awardees

×