Нейросетевые системы автоматического распознавания морских объектовNatalia Polkovnikova
Полковникова Н.А. Нейросетевые системы автоматического распознавания морских объектов // Эксплуатация морского транспорта. Гос. морской университет им. адмирала Ф.Ф. Ушакова, Новороссийск. – 2020, №1(94). – C. 207-219.
Искусственный интеллект. Революция в машинном обучении.Molinos
О дивный новый мир: революция в машинном обучении
— три источника и три составных части современных систем ИИ: стечение каких обстоятельств вызвало новую революции в машинном обучении?
— технологический рог изобилия: краткий обзор достижений последней пятилетки — конкретные проекты и решения;
— disrupt, disrupt, disrupt: как внедрение новых технологий машинного обучения изменит мир бизнеса?
Спикер: Сергей Марков.
ООО «АктивБизнесКоллекшн» (группа Сбербанк), директор по ИТ. Специалист по ИИ и машинному обучению, основатель научно-просветительского портала 22century.ru.
Конференция Серебряный Меркурий, секция Digital.
Нейросетевые системы автоматического распознавания морских объектовNatalia Polkovnikova
Полковникова Н.А. Нейросетевые системы автоматического распознавания морских объектов // Эксплуатация морского транспорта. Гос. морской университет им. адмирала Ф.Ф. Ушакова, Новороссийск. – 2020, №1(94). – C. 207-219.
Искусственный интеллект. Революция в машинном обучении.Molinos
О дивный новый мир: революция в машинном обучении
— три источника и три составных части современных систем ИИ: стечение каких обстоятельств вызвало новую революции в машинном обучении?
— технологический рог изобилия: краткий обзор достижений последней пятилетки — конкретные проекты и решения;
— disrupt, disrupt, disrupt: как внедрение новых технологий машинного обучения изменит мир бизнеса?
Спикер: Сергей Марков.
ООО «АктивБизнесКоллекшн» (группа Сбербанк), директор по ИТ. Специалист по ИИ и машинному обучению, основатель научно-просветительского портала 22century.ru.
Конференция Серебряный Меркурий, секция Digital.
Введение в профессию исследователя приложений без исходных кодовDI GR
Презентация первого подкаста образовательного цикла "Обратная разработка приложений без исходного кода и поиск в них уязвимостей". Аудио-запись находится здесь https://vimeo.com/224742672.
закон иерархических компенсаций седова и C++ core guidelinescorehard_by
Стандартизация шагает по планете широким шагом. Почему создание сложных систем невозможно без подведения общего знаменателя и принятия стандартов? Можно ли объяснить этот факт с научной точки зрения? В докладе мы рассмотрим как общие вопросы стандартизации и развития информационных систем (в чём нам поможет великий советский ученый-практик Евгений Александрович Седов), так и погрузимся в стандартизацию практик кодирования нашего любимого языка - C++ Core Guidelines
закон иерархических компенсаций седова и C++ core guidelinesCOMAQA.BY
Стандартизация шагает по планете широким шагом. Почему создание сложных систем невозможно без подведения общего знаменателя и принятия стандартов? Можно ли объяснить этот факт с научной точки зрения? В докладе мы рассмотрим как общие вопросы стандартизации и развития информационных систем (в чём нам поможет великий советский ученый-практик Евгений Александрович Седов), так и погрузимся в стандартизацию практик кодирования нашего любимого языка - C++ Core Guidelines
Denis Perevalov -- Computer Vision with OpenCV 2Uralcsclub
The lectures are devoted to the basics of Computer Vision through some examples of using OpenCV library. The possibilities and limitations of applicability of the known algorithms to real projects are also considered. (IN RUSSIAN)
Современные коллаборативные технологии в учебном процессе: теория и практика ...Alexey Neznanov
Презентация к мастер-классe по коллаборативным технологиям в образовании. Основной акцент сделан на платформе от Microsoft и применению в обучении программированию, но много других инструментов, практик и примеров, так что полезно для любого уровня образования и прикладной области.
Сделаны реверансы в сторону открытого образования. Больше внимания уделено безболезненной интеграции инструментов.
Реально много полезных ссылок по состоянию на конец января 2017 года.
Отказоустойчивые игры с облаком – как делают игры на много пользователейMicrosoft
Доклад конференции DevCon 2015. Современные игровые приложения трудно представить без онлайн сервисов, в том числе обеспечивающих монетизацию, взаимодействие игроков между собой. Построение инфраструктуры таких сервисов может потребовать значительных вложений. Разумным решением этого вопроса является использование существующих облачных платформ, например, Microsoft Azure. В этом докладе будет рассказано об основных возможностях этой платформы, инструментах разработки, на примерах успешного использования в крупных игровых проектах.
ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ: тренды, достижения и вызовыAlexey Neznanov
Базовый вариант презентации про искусственный интеллект (ИИ) как помощника, друга и врага человека (много кино и анимации, поэтому здесь не так хорошо смотрится, но ссылки есть!).
Базовые определения, краткая история развития, некоторые мифы и реальные достижения, акцент на мире постправды и других опасностях.
Есть более академические и более весёлые варианты.
РАЗВИТИЕ И ПРИМЕНЕНИЕ ВЫСОКОПРОИЗВОДИТЕЛЬНЫХ СЕРВИСОВ НА БАЗЕ СУПЕРКОМПЬЮТЕРОВ ПЕРМСКОГО ГОСУДАРСТВЕННОГО НАЦИОНАЛЬНОГО ИССЛЕДОВАТЕЛЬСКОГО УНИВЕРСИТЕТА. Пленарный доклад II Всероссийской научно-практической конференции с международным участием с элементами научной школы для молодежи «Высокопроизводительные вычисления на графических процессорах»
(Пермь, ПГНИУ, 2-6 июня 2014 г.)
Разработка сайта это как война: череда сражений за победу. А в современной войне есть три важные вещи: разведка, артобстрел и авиация. Небесные высоты мы оставим дизайнерам, а поговорим о разведчиках и об орудиях дальнего боя. То есть о системных аналитиках и о проектировании сайтов.
The document discusses automated machine learning (Auto ML) which aims to automate the process of applying machine learning. It allows non-experts to develop machine learning models by automating tasks like selecting optimal algorithms and hyperparameters. Popular Auto ML frameworks include auto-sklearn, AutoKeras, Google Cloud Auto ML, and Microsoft AutoML which use techniques like Bayesian optimization and neural architecture search to automate model training and selection. The document demonstrates how Auto ML tools like H2O AutoML and ML.NET can simplify and speed up applying machine learning for both cloud-based and on-premise scenarios.
Intelligent Banking: AI cases in Retail and Commercial BankingDmitry Petukhov
The document discusses the use of artificial intelligence in retail and commercial banking. It outlines several common applications of AI such as credit scoring and risk prediction, payments security, operational efficiencies, customer services, and personal finance management. For each application, it provides examples of specific AI tasks and cases used in banking. The document also discusses considerations for AI implementation including infrastructure requirements and deployment options.
Введение в профессию исследователя приложений без исходных кодовDI GR
Презентация первого подкаста образовательного цикла "Обратная разработка приложений без исходного кода и поиск в них уязвимостей". Аудио-запись находится здесь https://vimeo.com/224742672.
закон иерархических компенсаций седова и C++ core guidelinescorehard_by
Стандартизация шагает по планете широким шагом. Почему создание сложных систем невозможно без подведения общего знаменателя и принятия стандартов? Можно ли объяснить этот факт с научной точки зрения? В докладе мы рассмотрим как общие вопросы стандартизации и развития информационных систем (в чём нам поможет великий советский ученый-практик Евгений Александрович Седов), так и погрузимся в стандартизацию практик кодирования нашего любимого языка - C++ Core Guidelines
закон иерархических компенсаций седова и C++ core guidelinesCOMAQA.BY
Стандартизация шагает по планете широким шагом. Почему создание сложных систем невозможно без подведения общего знаменателя и принятия стандартов? Можно ли объяснить этот факт с научной точки зрения? В докладе мы рассмотрим как общие вопросы стандартизации и развития информационных систем (в чём нам поможет великий советский ученый-практик Евгений Александрович Седов), так и погрузимся в стандартизацию практик кодирования нашего любимого языка - C++ Core Guidelines
Denis Perevalov -- Computer Vision with OpenCV 2Uralcsclub
The lectures are devoted to the basics of Computer Vision through some examples of using OpenCV library. The possibilities and limitations of applicability of the known algorithms to real projects are also considered. (IN RUSSIAN)
Современные коллаборативные технологии в учебном процессе: теория и практика ...Alexey Neznanov
Презентация к мастер-классe по коллаборативным технологиям в образовании. Основной акцент сделан на платформе от Microsoft и применению в обучении программированию, но много других инструментов, практик и примеров, так что полезно для любого уровня образования и прикладной области.
Сделаны реверансы в сторону открытого образования. Больше внимания уделено безболезненной интеграции инструментов.
Реально много полезных ссылок по состоянию на конец января 2017 года.
Отказоустойчивые игры с облаком – как делают игры на много пользователейMicrosoft
Доклад конференции DevCon 2015. Современные игровые приложения трудно представить без онлайн сервисов, в том числе обеспечивающих монетизацию, взаимодействие игроков между собой. Построение инфраструктуры таких сервисов может потребовать значительных вложений. Разумным решением этого вопроса является использование существующих облачных платформ, например, Microsoft Azure. В этом докладе будет рассказано об основных возможностях этой платформы, инструментах разработки, на примерах успешного использования в крупных игровых проектах.
ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ: тренды, достижения и вызовыAlexey Neznanov
Базовый вариант презентации про искусственный интеллект (ИИ) как помощника, друга и врага человека (много кино и анимации, поэтому здесь не так хорошо смотрится, но ссылки есть!).
Базовые определения, краткая история развития, некоторые мифы и реальные достижения, акцент на мире постправды и других опасностях.
Есть более академические и более весёлые варианты.
РАЗВИТИЕ И ПРИМЕНЕНИЕ ВЫСОКОПРОИЗВОДИТЕЛЬНЫХ СЕРВИСОВ НА БАЗЕ СУПЕРКОМПЬЮТЕРОВ ПЕРМСКОГО ГОСУДАРСТВЕННОГО НАЦИОНАЛЬНОГО ИССЛЕДОВАТЕЛЬСКОГО УНИВЕРСИТЕТА. Пленарный доклад II Всероссийской научно-практической конференции с международным участием с элементами научной школы для молодежи «Высокопроизводительные вычисления на графических процессорах»
(Пермь, ПГНИУ, 2-6 июня 2014 г.)
Разработка сайта это как война: череда сражений за победу. А в современной войне есть три важные вещи: разведка, артобстрел и авиация. Небесные высоты мы оставим дизайнерам, а поговорим о разведчиках и об орудиях дальнего боя. То есть о системных аналитиках и о проектировании сайтов.
The document discusses automated machine learning (Auto ML) which aims to automate the process of applying machine learning. It allows non-experts to develop machine learning models by automating tasks like selecting optimal algorithms and hyperparameters. Popular Auto ML frameworks include auto-sklearn, AutoKeras, Google Cloud Auto ML, and Microsoft AutoML which use techniques like Bayesian optimization and neural architecture search to automate model training and selection. The document demonstrates how Auto ML tools like H2O AutoML and ML.NET can simplify and speed up applying machine learning for both cloud-based and on-premise scenarios.
Intelligent Banking: AI cases in Retail and Commercial BankingDmitry Petukhov
The document discusses the use of artificial intelligence in retail and commercial banking. It outlines several common applications of AI such as credit scoring and risk prediction, payments security, operational efficiencies, customer services, and personal finance management. For each application, it provides examples of specific AI tasks and cases used in banking. The document also discusses considerations for AI implementation including infrastructure requirements and deployment options.
This document discusses Infrastructure as a Service (IaaS), Platform as a Service (PaaS), and DevOps for data science. It provides an overview of Azure services for IaaS including virtual machines and GPU instances. It also discusses PaaS options like Azure Machine Learning for deploying models as web services. The document advocates for using Azure services like HDInsight, Data Factory and Machine Learning to build distributed and scalable data science systems following architectures like lambda architecture. It highlights pros and cons of different approaches for flexibility, scalability and using open source tools for data science workloads on Azure.
The document discusses AI and IoT, highlighting several use cases and challenges. It notes that AI and IoT are transforming how people, devices, and data interact across many domains. Specifically, it provides examples of how Philips analyzes 15PB of patient data and how AI can connect disparate IoT data. Additionally, it outlines several common use cases for applying AI to IoT in various industries like manufacturing, energy, healthcare, and more. Finally, it contrasts bare IoT with AIoT, noting that AIoT involves intelligent data processing, self-learning, autonomous decision making that enhances IoT.
This document discusses the evolution of machine learning tools and services in the cloud, specifically on Microsoft Azure. It provides examples of machine learning frameworks, runtimes, and packages available over time on Azure including Azure ML (2015) and the Microsoft Cognitive Toolkit (CNTK) (2015). It also mentions the availability of GPU resources on Azure starting in 2016 and limitations to consider for the Azure ML service including restrictions on programming languages and a lack of debugging capabilities.
This document discusses using Microsoft Azure for machine learning with R. It covers reading data from various sources into R like local files, web URLs, Azure Blob storage, and SQL server. It then discusses preprocessing data, feature engineering, training ML models with functions like glm(), and evaluating models with metrics like AUC. It notes challenges of data and ML evolving rapidly and the need to scale. It proposes using Apache Spark on Azure via services like HDInsight and R Server to allow distributed, scalable ML in the cloud with R for enterprises.
This document summarizes the evolution of machine learning tools in the cloud from 2015 to 2017. It describes how in 2015, major cloud providers like Azure, Amazon, and Google launched early machine learning services. From 2015 to 2016, these providers also released popular deep learning frameworks like TensorFlow as open source. During this time period, the providers began offering deep learning models and GPU computing as cloud services. The document argues that these developments have helped democratize artificial intelligence and machine learning.
This document discusses using R with Microsoft Azure. It begins by outlining how Azure provides scalability, reliability and fault tolerance for moving models from prototyping to production. It then highlights several Azure services that support R, including HDInsight clusters, the Data Science VM, Azure Machine Learning, and SQL Server R Services. References are provided for learning more about using R with Azure Machine Learning and DistributedR.
Доклад посвящен экосистеме Cortana Analytics Suite, в т.ч. сервису предиктивной аналитики Azure Machine Learning. В demo-части доклада разбирается задача анализа тональности сообщений в социальных сетях.
Видео выступления и пояснения к demo-доклада доступно на http://0xcode.in/dev-camp
1. Introduction to Deep Learning
Dmitry Petukhov,
Machine Learning Consultant, Microsoft Most Valuable AI Professional
&& Coffee Addicted
#AI #DeepLearning
2. AI vs ML vs DL
Artificial Intelligence
Machine Learning
Deep Learning
Source: deeplearningbook.org
4. AI: Important Trends
=> Accuracy increase
Scientific research
Computing capacity
CPU > GPU > TPU
Data volume
Volume. Velocity. Variety.
Complexity of the AI models
Layers Count and Design
Democratizing
ML Frameworks, ML as a Service, GPU in Cloud
5. Deep Learning in ImageNet
14M images, 1K classes
Picture credit: arxiv.org
6. AI vs Man
Soon (or already?) better than human intelligence:
− Computer vision (2016)
− Text translation (2017)
− Text generation (OpenAI, 2019)
− Games: Pacman, Dota 2, Go (AplhaGo and AlphaZero), StarCraft II (2015-2019)
− Medicine: heart attack, neurodegenerative diseases, oncology, and more
10. Feed-Forward Neural Network, FFNN
Multi-Layer Neural Networks, MLNFully-connected FFNN
Pros and cons:
+ простая реализация
+ универсальный аппроксиматор
=> вскрывает сложные нелинейные зависимости
- нет возможности запоминать порядок времени
- не обладают памятью (кроме полученной при обучении).
Pros and cons те же, что и FFNN, а также:
+ высокоуровневые предикторы на последних слоях
- много параметров (вычислительно неэффективно)
- затухающие градиенты
- переобучение.
Rosenblatt, Frank. The perceptron: a probabilistic model for information storage(…), 1958. Original Paper PDF
11. Convolution and subsampling
Picture credit: developer.apple.com
Что делаем?
* выделяем локальные признака (features)
Что делаем?
* уменьшаем размерность в N раз (N > 1)
* оставляем сильные сигналы (для max polling)
* добавляем инвариантность к небольшим сдвигам
2. Subsampling1. Convolution
12. Convolutional Neural Networks, CNN
Picture credit: wikipedia.org
LeCun, Yann, et al. Gradient-based learning applied to document recognition, 1998. Original Paper PDF
Pros and cons:
+ сильно меньше параметров, чем у FFNN
+ устойчивость к небольшим сдвигам
- переобучение
Use Cases:
* для задач компьютерного зрения: распознание образов,
обнаружение объектов и т.д.
* ключевая роль в архитектурах моделей ResNet, Inception и прочих;
* ключевая роль в задачах переносов стилей (artistic style);
* увеличение разрешения и раскраска изображения.
14. Recurrent Neural Networks, RNN
Pros and cons:
+ Тьюринг-полны
=> можно реализовать любую вычислимую функцию
+ работа с контекстом и последовательностями
- проблема затухающего/взрывного градиента
Use Cases:
* Анализ временных последовательностей
* Видео: следующий кадр на основе предыдущих, описание каждого
кадра видео естественным языком (составная часть)
* Фото: предсказание следующего пикселя, определение стиля
изображения, описание картинки естественным языком (составная
часть)
* Текст: предсказание следующего слова, определение тональности
текста
Elman, Jeffrey L. Finding structure in time, 1990. Original Paper PDF
Picture credit: kvitajakub.github.io
15. Long Short Term Memory, LSTM
Hochreiter, Sepp, and Jürgen Schmidhuber. Long short-term memory, 1997. Original Paper PDF
Picture credit: kvitajakub.github.io
Use Cases:
* те же, что и классические RNN (только умнее)
* генерация разнообразных текстов (Шекспира, Latex-разметку или
С-код), сочинение несложных музыкальных произведений
Pros and cons:
те же что и RNN, кроме
+ решена проблема затухающего/взрывного градиента
У каждого нейрона есть 3 фильтра (gates):
1. входной фильтр (input gate): состояние с предыдущего шага;
2. выходной фильтр (output gate): состояние на следующий слой;
3. фильтр забывания (forget gate): состояние, которое стоит
забыть.
17. Multimodal Learning
Picture credit: https://www.cs.utexas.edu/~vsub/
Oriol Vinyals, et al. Show and Tell: A Neural Image Caption Generator, 2014. Original Paper PDF
Use Cases:
* Image to text
* Video to text
18. Generative Adversarial Networks, GAN
Goodfellow, Ian, et al. Generative adversarial nets, 2014. Original Paper PDF
Две соревнующиеся сети (чаще CNN или FFNN):
1. Генератор: генерирует данные;
2. Дискриминатор: получает то реальные, то
сгенерированные данные и определяет их тип.
Pros and cons:
+ многообещающая архитектура;
- непросто обучить, т.к. нужны «равные соперники».
Use Cases:
* Text to image
* Image to image
* Fake news
* Молекулы-кандидаты для лекарств.
Picture credit: asimovinstitute.org
19. GAN Evolution Generative models are one of the most promising
approaches towards this goal.
OpenAI4.5 years of GAN progress on face generation
https://arxiv.org/abs/1406.2661 | https://arxiv.org/abs/1511.06434 | https://arxiv.org/abs/1606.07536 | https://arxiv.org/abs/1710.10196 | https://arxiv.org/abs/1812.04948
Test yourself whichfaceisreal.com
24. Q&A
Now or later (see contacts below)
Join to us
DΛTA GEEKS Community meetup.com/Data-Geeks-Community/
Stay connected
Be friend at the Facebook/@codezombie
Read me at the Habr/@codezombie
All contacts on http://0xCode.in/@codez0mb1e
Download slides from
http://0xcode.in/deep-learning-intro or
Editor's Notes
Количественный (ML) и качественный (DL) рост
Паркинсона по голосу
Ранняя диагностика диабетической ретинопатии по фото глаза
Меланому по фото в большом разрешении (AUC > .94, Google)
Риск сердечного приступа по кровяному давлению
Теорема Цыбенко — искусственная нейронная сеть прямой связи с одним скрытым слоем может аппроксимировать любую непрерывную функцию многих переменных с любой точностью.