Подробно о том, как эффективно очистить собранные данные для бизнес-аналитики в любом секторе.

1. 1
Garbage IN Garbage OUT
Евгений Линник, БКС
Cекреты очистки данных

2. Евгений Линник
Экспертиза: большие данные, машинное обучение,
компьютерное зрение, дополненная реальность, построение процессов в
организации, цифровая трансформация, управление данными
MBA: CIO РАНХиГС
Опыт: более 6 лет проектной практики BigData
Разработка IT-решений для аналитики и работы с цифровыми массивами информации с
последующим внедрением результатов
в процессы организации – вот чем я занимаюсь каждый день!
2

3. 3
Авиакомпания

4. Промышленность
Задача: поиск аномалий
Проблема: отсутствие данных о единицах
продукции
Решение: счетчик единиц продукции был
добавлен аналитически
4
Система источник: IBA PDA (АСУТП 1-3 уровень)

5. 5
Банк
Задача: поиск фрода
Проблема: малое количество целевых событий
Решение: первым этапом был применен
алгоритм «обучения без учителя» для
выявления случаев похожих на на целевые.
Система источник: Единый фронт и ABS

6. Задача: предсказание перетоков электроэнергии
Проблема: низкое качество предсказания
Решение: учли сезонность и тренды при
формировании прогноза
6
Энергетическая компания
Выделение сезонной компоненты
Исходный временной ряд
Тренд
Сезонная компонента
Остаток

7. Задача: определение места нахождения абонентов
Проблема: абоненты находятся в реках и озерах
Решение: применили еще один слой с ГЕО
7
Система источник: Пребиллинг (TDR)
Телеком

8. Задача: маркетинговые коммуникации на основе
данных о поведении в цифровых каналах
Проблема: источник без гарантии доставки
Решение: проблема решена на уровне бизнес-логики
8
Система источник: логи приложения
Финансовый сервис

9. Задача: витрина для маркетинговых коммуникаций
Проблема: внешние данные в модели
Решение: регулярное тестирование остаточной
значимости переменных
9
Система источник: внешние данные
Авиакомпания

10. Задача: online2offline и indoor
проходимость
Проблема: ограничения технологии
Решение: отказ от части бизнес-кейсов
10
Система источник: Wi-Fi сканер
Ритейл

11. • Выделяйте недостающие критерии аналитически, если есть
возможность.
• Плохая разметка данных не приговор, просто нужно будет
больше работать.
• Попробуйте очистить данные от помех, вызванных
прогнозируемыми факторами.
• Учитывайте особенности источников данных, особенно для
event based кейсов.
• Следите за изменением в алгоритмах формирования
комплексных измерений, регулярно тестируйте модель.
• Разберитесь в технологии, на которой основан источник и в ее
ограничениях.
11
Выводы
• Используйте внешние данные для уточнения результатов
аналитики, если это возможно.

12. 12
Евгений Линник
БКС
email: ealinnik@gmail.com
Вместо заключения