#АналитикаРешает - так называлась лекция в НИУ-ВШЭ, которую я прочитал в субботу (05.10). Её слушали магистранты Департамента интегрированных коммуникаций, а вы её можете просто скачать по ссылке.
Лекция содержит обзор тем: почему аналитика решает и так востребована, какая аналитика бывает, как она работает и как сделать так, чтоб у вас она получилась. Это вводная компиляция материалов из нашего интенсива про аналитику для менеджеров и предпринимателей. Мы решили, что будет здорово просто поделиться нашим трудом. Надеюсь вам материал понравится и будет для вас полезным.
Если вам тема интересна, вы хотите в неё системно на один день погрузиться в формате интенсива, пишите мне, у нас есть интересное для вас предложение.
22. Обучение
с учителем
• Обобщение на основании
известных пар правильных
ответов и предпосылок,
предсказание ответов
для новых предпосылок
• Применимо, когда
структура данных и их
признаки известны, они
предварительно
категоризированы или
имеют численный формат
23. Классификация
Разделение объектов по заранее
известному признаку, оценка
степени принадлежности объекта
к группе.
Спам фильтры
Банковский скоринг
Поисковое ранжирование
Выявление брака на производстве
25. Обучение
без учителя
• Формирование групп
и нахождение
определяющих их
признаков в случаях
отсутствия достаточного
набора данных для
обучения моделей
• Чаще всего используется
как метод анализа данных,
а не метод выбора
решения
26. Кластеризация
• Объединение объектов
или наблюдений
в непересекающиеся группы,
называемые кластерами, на основе
близости значений их атрибутов
(признаков)
• В каждом кластере будут
находиться объекты, похожие по
своим свойствам друг на друга и
отличающиеся от тех, которые
расположены в других кластерах.
Сегментация аудитории сайтов
Объединение точек в секторы на изображения
Сжатие изображений
Анализ и разметка данных
Выявление аномалий
Заполнение пропущенных значений
28. Обучение
с подкреплением
• Модель обучается с целью
максимизации
долговременного
выигрыша, получая отклик
на принятые решения от
динамичной среды, с
которой она
взаимодействует
• Модель обобщает опыт, а
не запоминает каждый
прецедент
• Задача – выжить ,
минимизировав ошибки
29. Примеры обучения с подкреплением
Навык устойчивого
перемещения
Навык
удержания
Навык победы чемпиона мира
по игре в Го
Поиск лекарств, оптимизация
архитектуры электронных
чипов, маршрутизация
транспортных средств
и пакетов
30. Ансамблевые
методы
Объединение моделей в
совокупность, при которой
повышается качество
прогнозирование и устойчивость
к аномалиям во входных данных
(робастность)
Примеры:
• Классификация, регрессии
• Компьютерное зрение
• Распознавание объектов
• Поисковые системы
31. Типы ансамблевых моделей
Стекинг – делегирование решения
последующим алгоритмам, которое
является производным от решений
делегирующих
Бустинг – обучение на примерах, где
предыдущая модель делает ошибки
Беггинг – параллельное обучение
множества экземпляров модели на
случайно сформированных выборках
из исходного набора данных, с
последующим усреднением ответа
32. Нейронные сети
и глубокое обучение
• Используют архитектуру,
вдохновленную
принципами работы
нейронов мозга, где
нейрон суммирует
информацию, поданную
ему на вход и передает
нейронам в последующих
слоях свой ответ
• Глубокое обучение –
нейронные сети с
множеством скрытых
слоёв
41. Рекомендации
Машинное обучение – это общедоступные алгоритмы. Для
настройки этих алгоритмов нужны данные и умеренно
компетентные специалисты
Любые преобразования – это преобразования, связанные с
людьми, процессами и технологиями, увлекаясь последним, не
забывайте об остальном
Автоматизация с помощью машинного обучения - это не замена
сотрудника алгоритмом, а высвобождение времени сотрудника
для выполнения более сложных и полезных для бизнеса функций
Лучше всего себя проявляет в гибридных системах, где машинное
обучение помогает человеку быть эффективнее, а бизнесу получать
высокопроизводительных специалистов
Последнее решения в вопросах с этической подоплёкой или с
большой стоимость риска должно оставаться за человеком
42. Применение машинного
обучения в управлении
ресурсами
• Повышение утилизации и доступности
• Распределение заказов между водителями Яндекс.Такси
• Посменное прогнозирование необходимости в персонале
в розничной сети МТС
• Прогнозирование необходимости пополнения запаса наличных денег
в банкоматах Сбербанка
• Сокращение затрат
• Экономия используемого природного газа в НЛМК
• Сокращение расходов на электричество в контуре охлаждения серверной
• Сокращение логистических затрат на хранение из-за повышения качества
прогнозирования клиентского спроса
• Автоматическое сканирование, распознавание и обработка документов
• Автоматическое управление бюджетом и параметрами интернет-
маркетинга в Harley-Davidson
• Генерация трехмерных моделей артикулов по сделанным фотографиям
в интернет-магазине
• Повышение качества продукции
• Режимы термической обработки металлических труб в НЛМК
• Предупреждение поломок холодильников в розничной сети Перекресток
• Повышение качества и количество урожая в агрокомплексе, повышение
надоя и мониторинг здоровья коров на молочном производстве
43. Применение в финансовом
секторе и системах
безопасности
• Подтверждение транзакций с помощью распознавания голоса
Сбербанк
• Выявление мошеннических банковских транзакций и фрод-
активности сотрудников в НSBC
• Поиск преступников с помощью сети видеокамер городского
наблюдения в Москве
• Выявление фейковых фото и видео-материалов
• Прогнозирование платежеспособности клиентов МСБ в Сбербанке
• Оценка потенциальной стоимости объектов недвижимости в МСБ
• Сопоставление на селфи с паспортом лица человека с фотографией в
документе в Тинькофф-банке
• Оценка юридических рисков, подготовка юридических запросов
44. Применение в
коммуникациях
и управлении
человеческими ресурсами
• Голосовые ассистенты и помощники
• Адресные коммуникации и системы
рекомендаций в маркетинге
• Прогнозирование риска увольнения сотрудника
• Первичная коммуникация чат-ботов и
голосовых роботов с кандидатами на
замещения вакантных должностей
• Анализ результатов видео-интервью
• Анализ фотографий с массовых мероприятий на
предмет нарушений прав человека
• Генерация текстов: сводки новостей и обзоры
матчей