1. Big Data
«от слов к действию»
____________________________________
(место для грифа конфиденциальности)
ОАО «Мобильные ТелеСистемы»,
г. Москва, ул. Марксистская, д.4
25.11.2015
Костин Герард Владимирович
2. 2
Что такое Big Data?
____________________________________
»КОНФИДЕНЦИАЛЬНО»
ОАО «Мобильные ТелеСистемы»,
г. Москва, ул. Марксистская, д.4
СеминарБФИ2015.BigDataвМТС
OLUME
ARIETY
ELOCITY
• Петабайты и экзабайты
данныхV
V
V
• Возможность быстрой
обработки и
автоматизированных
действий
• Неструктурированные
данные, любые
источники данных
BIG DATA – это объемы данных, которые превосходят возможности
традиционных программных продуктов по сбору, хранению и анализу, на текущий
момент либо не собираемые вообще, либо удаляемые из информационных систем
компании. Освоение этих данных может принести компании новые возможности
роста прибыли и эффективности. Термин, сильно разогретый маркетингом,
зачастую в него вкладывается совершенно разное: инфраструктура, объем, или
просто PR/presale…
3. 3
Big Data сегодня
____________________________________
(место для грифа конфиденциальности)
ОАО «Мобильные ТелеСистемы»,
г. Москва, ул. Марксистская, д.4
Big Data
Hype Cycle for Emerging Technologies, 2013 Hype Cycle for Emerging Technologies, 2015
Big Data
?
4. 4
Big Data – “Give — Take — Multiply*”
____________________________________
(место для грифа конфиденциальности)
ОАО «Мобильные ТелеСистемы»,
г. Москва, ул. Марксистская, д.4
* - Gartner Symposium/ITXPO 2015
5. 5
Важен алгоритм извлечения ценности из данных
____________________________________
(место для грифа конфиденциальности)
ОАО «Мобильные ТелеСистемы»,
г. Москва, ул. Марксистская, д.4
Algorithm
6. 6
Big Data – это прежде всего данные
____________________________________
(место для грифа конфиденциальности)
ОАО «Мобильные ТелеСистемы»,
г. Москва, ул. Марксистская, д.4
DATA Algorithm
Big Data
Big Data Data
7. 7
Data Governance –инструмент извлечение ценности
из данных
____________________________________
(место для грифа конфиденциальности)
ОАО «Мобильные ТелеСистемы»,
г. Москва, ул. Марксистская, д.4
Внешняя
среда
8. 8
Big Data: новый подход
к работе с данными…
СеминарБФИ2015.BigDataвМТС
• Реализация аналитических систем под конкретные
задачи
• Работа со структурированными данными
• Хранение только «нужных» данных, в разных местах
для разных задач, преимущественно из внутренних
источников компании
• Переход к «коммунальной» архитектуре
• Единое для всех пространство хранения данных
разной природы (структурированных и нет, из
внутренних и внешних источников)
• Другой подход к реализации проектов и
соответствующие компетенции и процессы внутри
компании
____________________________________
»КОНФИДЕНЦИАЛЬНО»
ОАО «Мобильные ТелеСистемы»,
г. Москва, ул. Марксистская, д.4
От Compute centric…
к Data centric…
9. 9
Какие данные есть в телекоме…
____________________________________
(место для грифа конфиденциальности)
ОАО «Мобильные ТелеСистемы»,
г. Москва, ул. Марксистская, д.4
СеминарБФИ2015.BigDataвМТС
Структурированные данные
• Данные биллинга - звонки
• Данные состояния сетевых элементов
• Информация о местоположении
• CDR/EDR
• Данные состояния сетевых элементов
для систем мониторинга
• Справочные данные по сетевым
элементам (Inventory)
• Данные биллинга - абонентский
профиль, действие над профилем
• Обращения в call-центр и заявки,
заведенные через личный кабинет
• Данные по up-sell / cross-sell ( Next best
offer), включая историю предложений и
описание продуктовых корзин
Неструктурированные данные
• Записи звонков и текстов смс
• E-mail абонентов
• Данные социальных сетей
• Данные постов форумов и блогов
• Информация по посещаемым Web
сайтам
• Записи звонков в call- центр
• Логи IVR
• Разбор рукописных заявлений
абонентов
• Разбор результатов опросов абонентов
• Профиль интересов - загружаемые
видео/аудио/фото контент,
предпочтительные приложения и
характер потребления данного
контента
• Логи сетевых элементов, сервисных
платформ, показатели измерительных
датчиков на оборудовании
10. 10
Архитектура Big Data
____________________________________
(место для грифа конфиденциальности)
ОАО «Мобильные ТелеСистемы»,
г. Москва, ул. Марксистская, д.4
СеминарБФИ2015.BigDataвМТС
?
Идет конкурс по
выбору Framework'а
системы распределенной
обработки данных
Идет проект миграции КИХ на Teradata
Все вендоры указаны
исключительно в качестве
примера
Big Data «под ключ» не существует –
необходимо самим конструировать свое решение
CEP – complex event processing: Система аналитики и
принятия решений на потоке данных в реальном времени
11. 11
Big Data требует новых функций в бизнесе
BigData Product
Menagment
Data Scientist
Data Governor
Опрос Accenture по планам внедрения новых функциональных
направлений в компаниях*
* - По материалам Accenture «Big Success With Big Data»
____________________________________
(место для грифа конфиденциальности)
ОАО «Мобильные ТелеСистемы»,
г. Москва, ул. Марксистская, д.4
12. 12
Из чего состоит Big Data в телеком отрасли
Расширенные возможности
клиентской аналитики
Гео-локация и гео
таргетирование
Планирование и управление
сетью
Revenue Assurance and Fraud
prevention
____________________________________
(место для грифа конфиденциальности)
ОАО «Мобильные ТелеСистемы»,
г. Москва, ул. Марксистская, д.4
13. 13
Принципиально новые подходы управления OSS/BSS
____________________________________
(место для грифа конфиденциальности)
ОАО «Мобильные ТелеСистемы»,
г. Москва, ул. Марксистская, д.4
* - PREDICTIVE MAINTENANCE: BIG DATA ON RAILS (DATACONOMY.COM)
* *
14. 14
Индивидуальный мониторинг
качества(KPI)
____________________________________
(место для грифа конфиденциальности)
ОАО «Мобильные ТелеСистемы»,
г. Москва, ул. Марксистская, д.4
Падения доходов, в следствии проблем с DATA сервисами у
абонентов, можно отследить только по массовым проблемам на
основании данных ежедневных начислений за DATA
Возможности BigDATA:
Рассчитывает KPI по качеству и доступности DATA
для каждого абонента
• Текущие системы мониторинга не считают
качества с детализацией до абонента
В режиме реального времени определяется объем
недопотребленных DATA услуг для каждого
абонента
• Ранее можно было определить объем
недопотребления только по массовым авариям
– экспертно, с задержкой 3-5 дней.
Определяется вероятная причина снижения
доступности и качества DATA услуг (хранятся все
логи)
• Ранее определить причину можно было только
если проблему ставили на трейс и она
воспроизводилась вновь
Некорректные настройки APN
Проблемы с аутентификацией AAA
Ошибки Provisioning
Конфликт IP адресов абонентов
Некорректная остановка
RNC(отключение сразу всех RNC, а
проведение работ только на 1 )
Вероятные проблемы:
15. 15
Контроль тарификации Real-Time
____________________________________
(место для грифа конфиденциальности)
ОАО «Мобильные ТелеСистемы»,
г. Москва, ул. Марксистская, д.4
Существующие методы контроля тарификации не покрывают всех
проблем и сложны в эксплуатации ( ручное тестирование,
Параллельный биллинг, сверки)
Основная цель нового подхода—
Покрытие всего объема начислений алгоритмом выявлений
ошибок рейтинга/биллинга
Дополнительный результат:
incomplete records (потеря части записей)
Fraud (фрод на низком уровне)
Ограничение существующих
систем:
единичные проверки
начислений, проверки
специально генерируемых
тестовых событий
Для анализа начислений возможно проводить
сравнение с историческими данными: поиск
аналогичных событий и анализ отклонений.
Преимущества по сравнению с классической системой
«параллельного биллинга»:
меньшие требования к вычислительным ресурсам
не требуется дополнительная интеграция с
разнообразными источниками CDR
экономия ресурсов — не требуется
конфигурирования тарифов в системе верификации
16. 16
Проактивное предотвращение
приостановки сервисов оператора
____________________________________
(место для грифа конфиденциальности)
ОАО «Мобильные ТелеСистемы»,
г. Москва, ул. Марксистская, д.4
В большинстве случаев, превышение пороговых счетчиков OSS/BSS
свидетельствует о уже произошедшей проблеме, которую можно было
избежать.
Возможности BigDATA:
Сбор метрик и логов со всех узлов и систем
OSS/BSS
• Собираются только агрегированные данные нет
возможности построить новую метрику по
историческим данным
Машинные алгоритмы определяют набор ключевых
факторов, состояния систем (Feature Engineering)
• Факторы определяются эмпирически исходя из
общих счетчиков и спецификаций не
учитываются взаимозависимости и скрытые
связи
Постоянно обучающийся машинный алгоритм
предсказывает сбой за долго до появления
заметного влияния на Mission Critical системы.
• Проблема выявляется только после
превышения счетчиков, когда влияние на
Mission Critical системы уже присутствует
Повышение дохода, за счет
предотвращения перерыва в
оказании сервиса
Сокращение затрат на устранение
сбоев
Построение рекомендательной
системы, на основе предыдущего
опыта
Эффективное планирование и
исполнение регламентных работ
Дополнительные возможности: