Machine Learning with Amazon SageMaker
•
0 likes•104 views
Презентация подготовлена по материалам выступления Алексея Статута на витебском MiniQ#11, который был проведен 19 июля 2018: https://vk.com/miniq11; https://events.epam.com/events/miniq-vitebsk-11. Создание Machine Learning модели требует определенных знаний в области математики и статистики. К тому же, необходимо подумать, как выстроить процессы для использования и обновления модели в production. На докладе мы рассмотрим облачный сервис Amazon, который решает многие из этих проблем.
Recommended
More Related Content
Similar to Machine Learning with Amazon SageMaker
Similar to Machine Learning with Amazon SageMaker (20)
More from Vitebsk Miniq
More from Vitebsk Miniq (20)
Machine Learning with Amazon SageMaker
- 1. JULY 19, 2018 ALIAKSEI STATUT Machine Learning with Amazon SageMaker
- 2. 2 • Алексей Статут • Software Engineer • Опыт работы более 3-х лет • Стараюсь не зацикливаться на конкретных технологиях КТО Я?
- 3. 3 О ЧЕМ ДОКЛАД? Кратко о Machine Learning1 AWS SageMaker2 Личный опыт3
- 4. 4 Машинное обучение (Machine Learning) — обширный подраздел искусственного интеллекта, изучающий методы построения алгоритмов, способных обучаться, и их применение.
- 5. 5 ТИПЫ ЗАДАЧ
- 8. 8 ЗАДАЧА КЛАСТЕРИЗАЦИИ (ОБУЧЕНИЯ БЕЗ УЧИТЕЛЯ)
- 10. 10 ЭТАПЫ РАЗРАБОТКИ МОДЕЛИ Сбор данных Подготовка данных Выбор модели и тренировка Оценка и тонкая настройка Использование и улучшение
- 11. 11 1. Малый объем обучающей выборки 2. Некорректность входных данных 3. Переобучение ОСНОВНЫЕ ПРОБЛЕМЫ ML
- 12. 12 AWS SageMaker - это управляемая платформа для быстрого и простого создания, обучения и развертывания модели машинного обучения в любом масштабе.
- 13. 13 1. Инструменты для сбора данных 2. Визуализация данных с Jupyter Notebook 3. Встроенные ML алгоритмы 4. Развертывание и A/B тестирование 5. Автомасштабирование КАК AWS SAGEMAKER УПРОЩАЕТ ЖИЗНЬ?
- 15. 15 Сбор данных Подготовка данных Выбор модели и тренировка Оценка и тонкая настройка Использование и улучшение - S3 - Redshift - DynamoDB - RDS Jupyter Notebook SageMaker Training jobs - Jupyter Notebook - Hyperparameter tuning jobs - Endpoints - Cloudwatch
- 16. 16 1. Notebook instances 2. Training jobs 3. Hyperparameter tuning jobs 4. Models 5. Endpoint configurations 6. Endpoints КОМПОНЕНТЫ
- 19. 19 1. С помощью SageMaker API 2. С помощью UI – Выбрать алгоритм – Определиться с размерами вычислительных мощностей – Указать параметры алгоритма – Задать источник данных (с Amazon S3) – Запустить тренировку СОЗДАНИЕ ТРЕНИРОВОЧНОГО ЗАДАНИЯ
- 20. 20 1. Выбрать алгоритм 2. Выбрать диапазоны параметров 3. Выбрать метрику 4. Указать источник данных (Amazon S3) 5. Задать ограничение для вычислительных ресурсов АВТОМАТИЧЕСКАЯ НАСТРОЙКА МОДЕЛИ (HYPERPARAMETER TUNING)
- 21. 21 1. Использование модели через HTTPS ресурс 2. Возможно сохранение пользовательских запросов для последующего улучшения модели 3. Настройка A/B тестирования для ресурса 4. Автоматическое масштабирование ИСПОЛЬЗОВАНИЕ МОДЕЛИ
- 22. 22 1. Linear Learner 2. XGBoost Algorithm 3. Image Classification Algorithm 4. K-Means Algorithm 5. ... 6. + Возможность использовать свои ВСТРОЕННЫЕ АЛГОРИТМЫ
- 23. 23 1. AWS SageMaker SDK 2. Интеграция с Apache Spark 3. Гибкая настройка безопасности 4. Мониторинг ДРУГИЕ ПОЛЕЗНЫЕ ВОЗМОЖНОСТИ
- 24. 24 • Цена (https://aws.amazon.com/sagemaker/pricing) НЕДОСТАТКИ Кол-во часов в месяц Тип сервера для тренировки Тип сервера для хостинга Стоимость часа Всего 4 ml.m4.xlarge $1.12 $4.48 24*31*3 = 2232 ml.t2.medium $0.065 $145.08
- 25. 25 1. Задача: Предсказать CTR (Click through rate) для рекламных блока на странице 2. Параметры: – Расположение блока – Устройство пользователя – Характеристики пользователя – Характеристики рекламируемого товара 3. Результат: модель неудачная, ctr и параметры не имеют сильной зависимости между собой ЛИЧНЫЙ ОПЫТ
- 26. 26 Вопросы?