А.Челебаев - Хранение и обработка больших объемов данных

Хранение и обработка больших объемов данных
EMC GREENPLUM
Александр Челебаев
Директор департамента информационных технологий
Нижний Новгород, 2013 год

2© Copyright 2012 EMC Corporation. All rights reserved.
Содержание
Основные технологические тренды в обработке
Больших Данных
Бизнес сценарии использования Больших Данных
 Технологические сценарии использования
Greenplum
Архитектура платформы EMC Greenplum
Примеры внедрений

Sources: “How Much Information?” Peter Lyman and Hal Varian, UC Berkeley,. 2011 IDC Digital Universe Study.
В 2000 ГОДУ ВО ВСЁМ МИРЕ
СОЗДАЁТСЯ
ДВА
ЭКЗАБАЙТА
НОВЫХ ДАННЫХ

В 2000 ГОДУ ВО ВСЁМ МИРЕ
СОЗДАЁТСЯ
ДВА
ЭКЗАБАЙТОВ
НОВЫХ ДАННЫХ
В ДЕНЬSources: “How Much Information?” Peter Lyman and Hal Varian, UC Berkeley,. 2011 IDC Digital Universe Study.

VOLUME
РАЗМЕР
VARIETY
МНОГООБРАЗИЕ
VELOCITY
ДИНАМИКА
Большие Данные:Больше чем данные

Приложения > Данные
ЦЕНТРОМ ПРИТЯЖЕНИЯ
ПРИЛОЖЕНИЯ
РАНЬШЕ БЫЛИ

Притяжение создало выделенную
инфраструктуру

Время перемещения данных на скорости 10GB/сек.
Перемещать данные непрактично
1TB 14
МИНУТ
10
ДНЕЙ
1PB
1GB 01
СЕК.

ДАННЫЕ
ЭТО НОВЫЙ
ЦЕНТР ПРИТЯЖЕНИЯ
Данные > Приложения

Данные стали разными
УСТРОЙСТВА
ДАННЫХ
Law
Enforcement
Media
Banks
Delivery
Services
Marketers
Government
Private
Investigators
/Lawyers
Individuals
Employers
Пользователи/
покупатели
данных
Analytic
Services
Advertising
Catalog
Co-ops
List
Brokers
Websites
Information
Brokers
Credit
BureausMedia
Archives
Агрегаторы
(накопители)
данных
FINANCIAL
GOVERNMENT
PHONE/
TV
INTERNETMEDICAL
RETAIL

Данные стали быстрыми
Данные
Корреляции и
паттерны
Причинные связи,
Предикторы
Реализация
Big Data позволяют находить
возможности о которых вы
раньше и не подозревали …
Fast Data позволяют
реагировать на эти
возможности пока они не
исчезли....

Лидеры рынка первыми начинают и
выигрывают….

Типовые бизнес-задачи для решения которых
используются Большие Данные
Клиентская аналитика
Target marketingchurncampaign
managementloyalty programs etc.
Отчетность и статистика
Противодействие мошенничеству
Прогностическое
моделирование оценка рисков

Вызовы:
Развитие банковских систем - Обновление
систем с обеспечением возврата инвестиций.
Обслуживание клиентов – Увеличение
уровня удовлетворѐнности клиента, рост
прибыли благодаря более глубокому пониманию
потребностей клиента.
Комплексное управление рисками –
Целостный подход к управлению рисками по
всем линиям бизнеса для улучшения
финансового результата.
Платежи и службы обработки транзакций
Гибкие, эффективные и надѐжные системы для
платежей, управления ценными бумагами,
обеспечивающие снижение затрат.
Решения:
Рекомендации по использованию
продуктов Подготовка рекомендаций для
клиентов на основе данных предикативной
аналитики
Управление оттоком клиентов –
Предсказание склонности к оттоку и
различных факторов приводящих к отказу
клиента от продукта или услуги
Анализ социальных сетей –
Использование социальных сетей для
лучшего понимание клиента и общего
представления
Оценка клиентов 360 – Консолидация
данных по клиенту во всех аспектах
(ипотека, ценные бумаги, кредит) для
улучшенного таргетирования и создания
новых продуктов
Клиентская аналитика – вызовы и решения

Определение – Единый взгляд на прошлое, настоящее
и будущее в разрезе клиента, включая историю
покупок, текущие взаимодействия и возможности по
увеличению суммы покупки.
Особенности – информационная эра и развивающиеся
технологии, включая он-лайн и мобильные
приложения, обеспечили совершенно новые массивы
данных по клиенту.
Результат – Оценка клиентов 360˚ отошла от
использования исключительно транзакционных
данных и истории покупок, используются
предикативные методы, анализа предпочтений и
вероятности оттока.
РЕШЕНИЕ – Комбинирование персональных,
транзакционных, геолокационных, поведенческих,
демографических данных, кредитных рейтингов и
внешних источников
Основные причины:
1. Улучшение потребительского опыта
2. Потребность клиента в улучшении
уровня обслуживания
3. Рассогласование действий
клиентских служб Банка и общих
бизнес - целей
4. Неиспользованный потенциал
клиента по использованию
продуктов Банка
5. Недостаточная дифференциация
продуктов требует больших
сервисных затрат
Новый взгляд на клиента:Оценка 360

Определение – использование социальных сетей для более
глубокого понимания поведения клиента, повышения
уровня доверия и положительного опыта в кризисных
ситуациях
Особенности – популярность социальных сетей, таких, как
ВКонтакте, Одноклассники, Facebook, Twitter и LinkedIn
заставляет искать варианты включения этих каналов в
модель бизнеса Банка
Результат – мнения и оценки клиентов в социальных сетях
обладают потенциалом менять общественное мнение
РЕШЕНИЕ – использование текстовой аналитики для
понимания настроения клиента, мониторинг и участие в он-
лайн общении для предотвращения имиджевых потерь.
Улучшение узнаваемости бренда и завоевание
интеллектуального лидерства
Рост «Голоса клиента»
Сценарий: Банк предлагает он-лайн
сервисы. Они требуют многократных
сложных действий со стороны клиента.
Реакция клиентов – негативные оценки в
форумах и блогах. Банк не может
рассчитывать на традиционные формы
обратной связи, т.к. у большинства
клиентов не хватает терпения их
заполнять.
Призыв к действию: Банк начинает он-
лайн кампанию «Голос клиента»
используя методы анализа данных
социальных сетей, блогов и форумов.
Новое в клиентской аналитике:Социальные сети

Определение – Инструментарий кредитора для оценки и
минимизации риска, основанных на методах статистики
Особенности – Традиционные методы используют
транзакционные данные и данные систем информирования
о случаях мошенничества. Типичные для индустрии уровни
надѐжности методов 40% или 1 из 30 транзакций
Результат – Из-за постоянно возникающих новых сценариев
поведения клиентов и новых каналов платежей,
традиционный реактивный процесс предотвращения
мошенничества «один на все случаи» больше не работает
РЕШЕНИЕ – Минимизация случаев «ложного срабатывания» с
помощью применения комплекса предикативных моделей с
учѐтом географии, продукта, систем электронной торговли и
проприетарной информации.
***MasterCard Expert Monitoring
Solutions
Точки
взаимодействия
для оценки и
улучшения методов
противодействия
мошенничеству.
Противодействие мошенничеству
с кредитными картами

Технологические сценарии использования
СУБД Greenplum

Построение Корпоративного Хранилища Данных
(Enterprise Data Warehouse)
 На платформе Greenplum строиться центральное
хранилище компании, которое обслуживает все
системы отчетности и аналитики в компании.
 Обычно при таком сценарии проводят полную
миграцию с традиционных СУБД, которые не в
состоянии справиться с растущей нагрузкой и
предложить бизнес пользователям решение
аналитических задач в режиме он-лайн.

Построение Аналитического Хранилища Данных
(Analytical Data Warehouse)
 Построение на базе GP выделенных хранилищ
для решения наиболее выско-нагруженных
аналитических задач или тех задач, где
требуется он-лайн аналитика
 При таком подходе корпоративное хранилище
остаѐтся на традиционной платформе, а на
платформу Greenplum выносят наиболее
критичные, с точки зрения времени обработки,
аналитические приложения.

СУБД GREENPLUM

GREENPLUM это выбор и гибкость

Параметры
ПАК GREENPLUM

МПП архитектура
Архитектура shared-nothing на которой построена
Greenplum линейно масштабируема
• Т.е. мы можем вдвое увеличить
количество узлов, и вдвое же
увеличить скорость работы
запросов
• Так же мы можем вдвое увеличить
емкость системы, просто удвоив
количество узлов, при этом
оставляя скорость обработки все
такой же быстрой…
• Все это благодаря тому что мы
масштабируем одновременно
вычислительную мощность, объем
скорость вввода-вывода
• При этом система работает на
недорогом X86 оборудовании
SegmentSegment Segment Segment Segment
…

Масштабирование Greenplum

Примеры внедрений
платформы Greenplum
в крупнейших финансовых
компаниях мира

American Express выбирает Greenplum Hadoop
• Формирование профиля клиента на базе информации о платежах
• Повышение лояльности клиентов за счет программ поощрения
• Расширение методов борьбы с мошенничеством
Бизнесс-задачи:
Выбор :
После 6 месяцев тестирования открытых и коммерческих релизов
в финал вышли Cloudera и Greenplum MR
Причины:
 Поддержка корпоративного уровня
 Отказоустойчивость платформы
 Скорость обработки в 2 раза выше
2PB

Крупнейший банк Северной Америки
выбирает Greenplum DB
• Управление рисками
• Клиентский маркетинг
• Аналитика по пластиковым картам
 Отработанная миграция с традиционных СУБД
 Масштабируемость платформы
 Скорость обработки
 Интеграция в существующий ИТ ландшафт
Причины:

Один из крупнейших банков Китая
Более 140 000 000 кредитных карт
• Централизованное хранилище под карточную систему
• Целевой клиентский маркетинг
• Аналитика по пластиковым картам
Выбор платформы для Хранилища: DB2–Oracle 11g -Teradata14
 Самая высокая скорость загрузки данных
 Линейная масштабируемость платформы
 Открытая интеграция с другими решениями
 Лучший показатель цена/производительность

Почему заказчики выбирают Greenplum
 Высочайшая скорость загрузки и выполнения запросов
 Линейная многократная масштабируемость
 Интеграция c инструментами ETL,BI и аналитики
 Наличие отработанных методик и инструментов миграции с
традиционных платформ и СУБД
 Универсальная платформа обработки всех
типов данных и запросов
 Адекватные и предсказуемые затраты на
построение и развитие системы

Ключевые
партнеры

603140, Нижний Новгород, пер. Мотальный, д.8, «Бугров
Бизнес парк»
+7 831 467 8770, +7831 467 8771 (факс)
office@volga.croc.ru
www.croc.ru/volga
Спасибо за внимание!

А.Челебаев - Хранение и обработка больших объемов данных

Recommended

Recommended

More Related Content

Similar to А.Челебаев - Хранение и обработка больших объемов данных

Similar to А.Челебаев - Хранение и обработка больших объемов данных (20)

More from Ekaterina Morozova

More from Ekaterina Morozova (20)

А.Челебаев - Хранение и обработка больших объемов данных

Editor's Notes