Hub AI&BigData meetup / Дмитрий Сподарец: Введение в машинное обучениеHub-IT-School
Hub IT School 26/12/15
Подпишитесь на нас в соц. сетях, чтобы не пропустить новые мероприятия!
https://www.facebook.com/Hub.IT.School/
https://vk.com/hub.itschool
Вебинар: Основы распараллеливания С++ программ при помощи OpenMPFlyElephant
Презентация с первого технического вебинара FlyElephant, на котором были рассмотрены основы распараллеливания С/С++ программ при помощи OpenMP и рассказано о функционале FlyElephant.
Видео презентации: https://youtu.be/X1bqBPnJaHM
Сайт FlyElephant: http://flyelephant.net/
ПРОГРАММА БЕТА-ТЕСТИРОВАНИЯ FLYELEPHANT: http://flyelephant.net/beta/
Infrastructure for the work of Data ScientistsFlyElephant
Dmitry Spodarets, Founder and CEO at FlyElephant
III International conference on practical use of Artificial Intelligence and Data Science - http://aiukraine.com/en/
Dmitry Spodarets_Infrastructure for the work of data scientistsFlyElephant
This document discusses infrastructure and tools for data scientists. It covers databases, notebooks/IDEs like Jupyter Notebook and Jupyter Lab. Popular software includes R, Python, and deep learning tools like TensorFlow. Programming languages used include R, Python, Java and Scala. Visualization tools mentioned are Tableau, Plotly and Matplotlib. Computing resources discussed are NVIDIA GPUs, Intel CPUs, and cloud services from Amazon, Azure and Google. Docker and HPC clusters are covered. The presenter's company, FlyElephant, provides a platform for data science projects across computing resources and clouds.
Вебинар: Инструменты для работы Data ScientistFlyElephant
This document discusses tools for data scientists. It begins with an introduction of the presenter and agenda. It then covers topics like data science, the data science process, notebooks/IDEs, methods and algorithms, software, deep learning tools, programming languages, cloud services, and computing power. Specific tools mentioned include Jupyter Notebook, RStudio, TensorFlow, Python, and cloud services from Amazon, Azure, and Google. The document concludes by introducing FlyElephant as a solution for high performance computing, data science engineering, and more.
Hub AI&BigData meetup / Дмитрий Сподарец: Введение в машинное обучениеHub-IT-School
Hub IT School 26/12/15
Подпишитесь на нас в соц. сетях, чтобы не пропустить новые мероприятия!
https://www.facebook.com/Hub.IT.School/
https://vk.com/hub.itschool
Вебинар: Основы распараллеливания С++ программ при помощи OpenMPFlyElephant
Презентация с первого технического вебинара FlyElephant, на котором были рассмотрены основы распараллеливания С/С++ программ при помощи OpenMP и рассказано о функционале FlyElephant.
Видео презентации: https://youtu.be/X1bqBPnJaHM
Сайт FlyElephant: http://flyelephant.net/
ПРОГРАММА БЕТА-ТЕСТИРОВАНИЯ FLYELEPHANT: http://flyelephant.net/beta/
Infrastructure for the work of Data ScientistsFlyElephant
Dmitry Spodarets, Founder and CEO at FlyElephant
III International conference on practical use of Artificial Intelligence and Data Science - http://aiukraine.com/en/
Dmitry Spodarets_Infrastructure for the work of data scientistsFlyElephant
This document discusses infrastructure and tools for data scientists. It covers databases, notebooks/IDEs like Jupyter Notebook and Jupyter Lab. Popular software includes R, Python, and deep learning tools like TensorFlow. Programming languages used include R, Python, Java and Scala. Visualization tools mentioned are Tableau, Plotly and Matplotlib. Computing resources discussed are NVIDIA GPUs, Intel CPUs, and cloud services from Amazon, Azure and Google. Docker and HPC clusters are covered. The presenter's company, FlyElephant, provides a platform for data science projects across computing resources and clouds.
Вебинар: Инструменты для работы Data ScientistFlyElephant
This document discusses tools for data scientists. It begins with an introduction of the presenter and agenda. It then covers topics like data science, the data science process, notebooks/IDEs, methods and algorithms, software, deep learning tools, programming languages, cloud services, and computing power. Specific tools mentioned include Jupyter Notebook, RStudio, TensorFlow, Python, and cloud services from Amazon, Azure, and Google. The document concludes by introducing FlyElephant as a solution for high performance computing, data science engineering, and more.
Тема семинара: «Введение в педагогический дизайн»
Рассматриваемые вопросы:
1) Чем занимается и чем не занимается Педагогический дизайн? Педагогический дизайн конструирует обучение, а не красивые картинки.
2) На каких теориях основан ПД? Теории обучения, таксономия Блума, принципы Ганье и др.
3) Как это работает: модели ПД. Модель ADDIE - не единственная!
4) Из каких конструкций проектируется обучение в ПД? Для каждого типа знаний - свой инструмент. Процесс обучения - через Принципы Д. Мэррилла
Понятийные системы в цифровом мире: что может знать компьютер?Dmitry Kudryavtsev
Научно-популярная лекция в «Прогресс-Школе»
https://progress-school.timepad.ru/event/294923/
(+добавлено несколько справочных слайдов со ссылками)
Понятийные системы являются основой представления знаний как в голове человека, так и в памяти компьютера. Они могут иметь разные названия в зависимости от способа организации понятий внутри системы и дисциплины, к которой они относятся. Например, тезаурус, онтология, справочный классификатор, концептуальная карта и др. Такие понятийные системы используются для оптимизации поиска информации, автоматизированного решения задач, интеграции данных, анализа текстов на естественном языке и, просто, для повышения эффективности коммуникаций. Области их применения разнообразны: от менеджмента до физики, от персональной работы с информацией до корпоративных систем и глобальной сети.
Машинное обучение для интеллектуализации ваших приложенийPAY2 YOU
Проводится обзор принципиальных задач машинного обучения и наиболее популярных программных пакетов и библиотек в этой области. Рассказывается об опыте использования средств искусственного интеллекта и искусственных нейронных сетей и их применения в приложениях (zzphoto.me, recognizz.it). Основной упор доклада сделан на специфику процесса разработки и иплементации в программные продукты функционала, содержащего искуственный интеллект. Приводится список типичных ошибок и практических советов для создания работоспособных интеллектуальных приложений. Будет полезен как опытным программистам, так и начинающим специалистам в этой области.
О современном состоянии дел в Data Science (в Украине и в мире). О задачах, которые решают специалисты по анализу данных и планах ЖГТУ по подготовке таких специалистов.
Семь основных направлений организации и запуска краудсорсинга в качестве средства организационного развития. Главные цели и упущения. Из опыта консультирования краудсорсинговых проектов.
А.Левенчук -- инженерное образование: итоги 2014 и планы.Anatoly Levenchuk
Доклад Анатолия Левенчука "Непрерывное инженерное образование. Итоги 2014 года и планы" на 98 заседании Русского отделения incose, 10 декабря 2014 года
This is the slide deck of lectures "Predictive Analytic Basics".The Base and Machine Learning Technic using R scripts is presented. The slides can be useful for Russian language students. The slides serve the part one of the lectures. Next part will be uploaded soon.
Лекция в виде презентации. Рассматриваются вопросы: отличие социологического от маркетингового исследования; дается определение маркетинговой информации и маркетингового исследоваения, процедура проведения маркетингового исследования
Дается типология маркетинговых исследований. Называются ведущие компании, котороые проводят исследования и
прикладные программы статистического анализа данных.
Тема семинара: «Введение в педагогический дизайн»
Рассматриваемые вопросы:
1) Чем занимается и чем не занимается Педагогический дизайн? Педагогический дизайн конструирует обучение, а не красивые картинки.
2) На каких теориях основан ПД? Теории обучения, таксономия Блума, принципы Ганье и др.
3) Как это работает: модели ПД. Модель ADDIE - не единственная!
4) Из каких конструкций проектируется обучение в ПД? Для каждого типа знаний - свой инструмент. Процесс обучения - через Принципы Д. Мэррилла
Понятийные системы в цифровом мире: что может знать компьютер?Dmitry Kudryavtsev
Научно-популярная лекция в «Прогресс-Школе»
https://progress-school.timepad.ru/event/294923/
(+добавлено несколько справочных слайдов со ссылками)
Понятийные системы являются основой представления знаний как в голове человека, так и в памяти компьютера. Они могут иметь разные названия в зависимости от способа организации понятий внутри системы и дисциплины, к которой они относятся. Например, тезаурус, онтология, справочный классификатор, концептуальная карта и др. Такие понятийные системы используются для оптимизации поиска информации, автоматизированного решения задач, интеграции данных, анализа текстов на естественном языке и, просто, для повышения эффективности коммуникаций. Области их применения разнообразны: от менеджмента до физики, от персональной работы с информацией до корпоративных систем и глобальной сети.
Машинное обучение для интеллектуализации ваших приложенийPAY2 YOU
Проводится обзор принципиальных задач машинного обучения и наиболее популярных программных пакетов и библиотек в этой области. Рассказывается об опыте использования средств искусственного интеллекта и искусственных нейронных сетей и их применения в приложениях (zzphoto.me, recognizz.it). Основной упор доклада сделан на специфику процесса разработки и иплементации в программные продукты функционала, содержащего искуственный интеллект. Приводится список типичных ошибок и практических советов для создания работоспособных интеллектуальных приложений. Будет полезен как опытным программистам, так и начинающим специалистам в этой области.
О современном состоянии дел в Data Science (в Украине и в мире). О задачах, которые решают специалисты по анализу данных и планах ЖГТУ по подготовке таких специалистов.
Семь основных направлений организации и запуска краудсорсинга в качестве средства организационного развития. Главные цели и упущения. Из опыта консультирования краудсорсинговых проектов.
А.Левенчук -- инженерное образование: итоги 2014 и планы.Anatoly Levenchuk
Доклад Анатолия Левенчука "Непрерывное инженерное образование. Итоги 2014 года и планы" на 98 заседании Русского отделения incose, 10 декабря 2014 года
This is the slide deck of lectures "Predictive Analytic Basics".The Base and Machine Learning Technic using R scripts is presented. The slides can be useful for Russian language students. The slides serve the part one of the lectures. Next part will be uploaded soon.
Лекция в виде презентации. Рассматриваются вопросы: отличие социологического от маркетингового исследования; дается определение маркетинговой информации и маркетингового исследоваения, процедура проведения маркетингового исследования
Дается типология маркетинговых исследований. Называются ведущие компании, котороые проводят исследования и
прикладные программы статистического анализа данных.
3. Содержание
• История искусственного интеллекта
• Машинное обучение: определение
• Инструменты для решения задач ML
• Классификация задач машинного обучения
• FlyElephant
4. История искусственного интеллекта
• Появление предпосылок AI (1943 – 1955)
• Теста Тьюринга (1950)
• Рождение AI (1956) / Дартмутский семинар (Термин AI и формулировки основных
задач) Его организовали Джон Маккарти (John McCarthy), Марвин Мински (Marvin
Minsky), Клод Шеннон (Claude Shennon) и Натаниэль Рочестер (Nathaniel Rochester).
• Нейронные сети - (1958)
• Превращение AI в индустрию (1980 – …)
• Превращение AI в науку (1987 – …)
• Доступность больших баз данных (2001 – …)
5. Машинное обучение: определение
• Машинное обучение — обширный подраздел искусственного
интеллекта, изучающий методы построения алгоритмов,
способных обучаться.
ru.wikipedia.org
6. Машинное обучение: определение
• Машинное обучение — процесс, в результате которого машина
(компьютер) способна показывать поведение, которое в нее не
было явно заложено (запрограммировано).
A.L. Samuel
8. Сферы приложения
• Компьютерное зрение (computer vision)
• Распознавание речи (speech recognition)
• Компьютерная лингвистика и обработка естественных языков (natural language processing)
• Медицинская диагностика
• Биоинформатика
• Техническая диагностика
• Финансовые приложения
• Информационный поиск
• …
9. Аппарат
• Линейная алгебра
• Теория вероятностей и математическая статистика
• Методы оптимизации
• Численные методы
• Математический анализ
• Дискретная математика
• и др.
11. Классификация задач машинного обучения
• Дедуктивное обучение (экспертные системы)
• Индуктивное обучение (≈ статистическое обучение)
• Обучение с учителем
• Обучение без учителя
• Обучение с подкреплением (reinforcement learning)
• Активное обучение
• . . .
12. Дедуктивное или аналитическое обучение
(экспертные системы)
• Имеются знания, сформулированные экспертом и как-то
формализованные.
• Программа выводит из этих правил конкретные факты и новые
правила.
15. Обучение с учителем
• Обучаем машину на примерах (данные + требуемое решение)
• Алгоритм сохраняет «значение» о примерах во внутренней
математической модели
• Предсказываем новые данные, используя обученную модель
Основная суть: обучая машину на исходных данных и зная ответ
для этих данных, получить ответ для новых данных.
16. Обучение без учителя
• Загружаем в машину какой-то набор данных
• Машина может самостоятельно проанализировать загруженные
данные и сгруппировать их или предложить вам набор инсайтов
Основная суть: не зная ответ совсем - получаем ответ.
17. Основные типы задач
• Обучение с учителем
• Классификация
• Регрессия
• Обучение без учителя
• Кластеризация
• Определение выбросов
• Гибридные
• Коллаборативная фильтрация (рекомендации)
19. Примеры задач классификации
• Медицинская диагностика: по набору медицинских характеристик требуется
поставить диагноз
• Геологоразведка: по данным зондирования почв определить наличие
полезных ископаемых
• Оптическое распознавание текстов: по отсканированному изображению
текста определить цепочку символов, его формирующих
• Кредитный скоринг: по анкете заемщика принять решение о выдаче/отказе
кредита
• Синтез химических соединений: по параметрам химических элементов
спрогнозировать свойства получаемого соединения
23. Примеры задач регрессии
• Оценка стоимости недвижимости: по характеристике района, экологической
обстановке, транспортной связности оценить стоимость жилья
• Прогноз свойств соединений: по параметрам химических элементов
спрогнозировать температуру плавления, электропроводность, теплоемкость
получаемого соединения
• Медицина: по постоперационным показателям оценить время заживления
органа
• Кредитный скоринг: по анкете заемщика оценить величину кредитного лимита
• Инженерное дело: по техническим характеристикам автомобиля и режиму
езды спрогнозировать расход топлива
25. Примеры задач кластерного анализа
• Экономическая география: по физико-географическим и экономическим
показателям разбить страны мира на группы схожих по экономическому положению
государств
• Финансовая сфера: по сводкам банковских операций выявить группы
«подозрительных», нетипичных банков, сгуппировать остальные по степени близости
проводимой стратегии
• Маркетинг: по результатам маркетинговых исследований среди множества
потребителей выделить характерные группы по степени интереса к продвигаемому
продукту
• Социология: по результатам социологических опросов выявить группы
общественных проблем, вызывающих схожую реакцию у общества, а также
характерные фокус-группы населения
27. Примеры задач идентификации
• Медицинская диагностика: по набору медицинских характеристик
требуется установить наличие/отсутствие конкретного заболевания
• Системы безопасности: по камерам наблюдения в подъезде
идентифицировать жильца дома
• Банковское дело: определить подлинность подписи на чеке
• Обработка изображений: выделить участки с изображениями лиц на
фотографии
• Искусствоведение: по характеристикам произведения (картины,
музыки, текста) определить, является ли его автором тот или иной автор
29. Примеры задач прогнозирования
• Биржевое дело: прогнозирование биржевых индексов и котировок
• Системы управления: прогноз показателей работы реактора по
данным телеметрии
• Экономика: прогноз цен на недвижимость
• Демография: прогноз изменения численности различных
социальных групп в конкретном ареале
• Гидрометеорология: прогноз геомагнитной активности
31. Примеры задач извлечения знаний
• Медицина: поиск взаимосвязей (синдромов) между различными
показателями при фиксированной болезни
• Социология: определение факторов, влияющих на победу на выборах
• Генная инженерия: выявление связанных участков генома
• Научные исследования: получение новых знаний об исследуемом
процессе
• Биржевое дело: определение закономерностей между различными
биржевыми показателями
35. Предстоящие вебинары и конференции
• Introduction to FlyElephant platform / January 22 at 16:00 (Kiev) /
Webinar language - Russian.
• Introduction to FlyElephant platform / January 26 at 11:00 am
( San Francisco) / Webinar language - English.
• AI&BigData Lab / June 4 - Odessa