Big data

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Технологии и продукты Oracle для
работы с Большими данными
2

Что такое Big Data?
4
•Нет четкого определения
•Разные компании подразумевают
разное
•Определение 3 V (Velocity, Variety,
Volume) недостаточно

Заблуждения о Big Data
• Большие данные – это только неструктурированные данные
• Большие данные – это только данные из социальных сетей
• Большие данные – это принципиально новые данные, раньше их не
было
• Большие данные невозможно обрабатывать традиционными
технологиями, такими как реляционные БД
• Большие данные – это чистый маркетинг, за ними нет ничего
• У нашей компании больших данных нет

Большие Данные и анализ данных о клиентах
• Очень многие примеры о Big
Data связаны с точечным
маркетингом и персонализацией
• Персонализированные
предложения требуют очень
большого количества данных о
поведении клиентов.
• Необходимость собирать данные
из многих источников

• Захват и анализ данных с сенсоров
• Огромные объем данных в единицу
времени
Ускорение летных испытаний для сокращения
времени поставки новых самолетов
Ускорение летных испытаний
Solution components: Real-Time Decisions, Event Processing
Solution Components: BDA and NoSQL

Рецепты: Поиск ошибок и мошенничеств
• 8 миллионов рецептов обрабатывается
каждый день
• Поиск неправильного использования
препаратов
• Интеграция структурированных и
неструктурированных данных
• Геоаналитика
У мненьшение количества ошибок
и мошенничеств
Solution components:, BI Foundation, Endeca, Advanced Analytics – ‘R’ statistical
analysis & data mining, Exalytics, Exadata

• 18M учеников и 42 000 школ
• Аналитика поведения учеников и
учителей
• Комбинация RDBMS и Hadoop
• Цель – сделать образование более
эффективным
Улучшение аналитики для системы образования
Трансформация образования в Турции
Solution components: Real-Time Decisions, Event Processing
Solution Components: 2 BDA, 2 Exadata, 2 Exalogic, 2 Exalytics, IDM

• Аналитика и предложеия в реальном
времени
• Использование Event Processing
• Сервис предоставляется внешним
партнерам
• Генерация новых доходов
Геомаркетинг для предоставления новых услуг
Монетизация данных

•Как вам удалось изменить счет с 1-8 на 9-8?
Oracle Big Data в Oracle Team USA
Мы взломали код
•300 сенсоров на яхте
•выдают 2 ГБ данных за одну гонку

Подход Oracle к построению Big Data
систем
19

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 21
Чем не устраивают
обычные хранилища
данных?

Exadata
Database Machine

Oracle Exadata
• Машина для СУБД Oracle
– Хранилища данных
– OLTP
– Смешанные нагрузки
– Консолидация
• Высочайшая производительность СУБД Oracle
– Exadata Software используется для предобработки данных
прямо на уровне системы хранения

Масштабируемость Exadata
Тысячи процессорных ядер
Петабайты данных
BIG DATA?

BIG DATA

Почему о Больших Данных стали говорить?
• Технологии, раньше используемые только в веб-проектах (Hadoop, NoSQL) стали
достаточно зрелыми
– Не обязательно держать штат программистов, чтобы ими пользоваться
• Появились новые возможности для получения конкурентных преимуществ:
– Глубокий анализ поведения клиентов
– Высокоточная реклама
– Объединение и анализ данных из многих источников, в том числе неструктурированных
– Анализ мошенничеств
– и т.д.
• Big Data технологии позволяют существенно удешевить хранение и обработку
данных

Почему удешевление так важно?
• Самолеты совершили революцию в транспорте
• Удешевление сотовой связи сделало ее доступной для всех
• Увеличение объемов жестких дисков – хранение и воспроизведение видео на PC
(начало 2000х)
• Удешевление доступа в интернет – создало интернет революцию
• Значительное удешевление часто помогает сделать качественный скачок к
принципиально новым возможностям

Основные причины использования Big Data технологий
• Big Data-технологии позволяют достичь нового уровня
производительности и масштабируемости
–Обработка десятков миллионов событий в секунду
–Хранение многих петабайт данных
–Обслуживание миллионов одновременно работающих
пользователей
• Удешевление хранения и обработки данных
– Дешевле в расчете на терабайт данных
– (!) Но часто засчет потери каких-то других возможностей по сравнению с
традиционными системами.
• Вопрос, насколько эти возможности важны для конкретного проекта?

Откуда берутся Большие данные? (1/2)
Они были всегда, но не всегда обрабатываются
• Традиционные данные из реляционных СУБД за прошлые
годы
• В самой сущности таких данных может не быть ничего нового,
их просто очень много
• Возникают вопросы о целесообразности хранения и
обработки таких объемов в традиционных архитектурах
• Это может быть просто дорого

Откуда берутся Большие данные? (2/2)
Новые данные
• Логи, данные телеметрии, датчиков, полуструктурированные данные
и неструктурированные данные, записи в социальных сетях,
вебсайты и т.д.
• Данные, которые могут очень быстро накапливаться, при этом,
обычно (но не всегда) информационная плотность их низкая.
• Данные, которые очень дорого хранить и обрабатывать, используя
традиционный подход

Apache
Hadoop

Предпосылки появления Hadoop

Обычная архитектура

Традиционная кластерная архитектура

Подход Hadoop

Практически неограниченная масштабируемость.

Что такое Hadoop?
• Apache Hadoop - распределенная вычислительная архитектура:
– Open source (проект Apache Software Foundation)
– Построен на принципах, разработанных в Google и опубликованных в 2004 году.
– Включает в себя распределенную файловую систему HDFS
– Может обрабатывать данные в массивно-параллельном режиме (MapReduce)
– Спроектирован для работы на очень больших кластерах (сотни и даже тысячи узлов) на
дешевом «железе»
– Автоматически обрабатывает отказ узлов и перераспределение данных
– Существует большое количество инструментов, построенных над Hadoop
– Быстро развивается
– Важно! Не является СУБД

NoSQL Database

Oracle NoSQL Database
Распределенная, масштабируемая key-value база данных
• Простая модель данных
• Пара Key-value с подходом major+sub-key
• Операции read/insert/update/delete
• Поддержка ACID и BASE транзакций
• Масштабируемость
• Динамическое партиционирование и перераспределение
• Оптимизированный доступ к данным
• Высокая доступность
• Одна или более реплик
• Катастрофоустойчивость засчет разнесения реплик
• Устойчивость к отказу мастера
• Нет одной точки отказа
• Прозрачная балансировка нагрузки
• Чтение с мастера или реплики
• Драйвер знает о сетевой топологии и временах задержки
Storage Nodes
Data Center A
Storage Nodes
Data Center B
NoSQLDB Driver
Application
NoSQLDB Driver
Application

Что такое ключ-значение?
• Таблицы из двух колонок – ключ и значение (Key,Value)
– Все объединения производятся внутри приложения
– Приложение знает структуру поля Value
• Простые операции get, put, delete
• Очень быстрые и масштабируемые
Key Value
010101010 …
010101011 …
… …
Записи
Customer Table
Индекс

Для каких задач может использоваться Oracle NoSQL Database?
• Построение быстрых многопетабайтных распределенных
масштабируемых файловых хранилищ
– С возможностью обработки данных в кластере
• Построение систем, которые очень быстро накапливают огромное
количество данных из многих источников
– Десятки миллионов записей в секунду
– Датчики, результаты испытаний, эксперименты
• Интеграция с системами обработки событий
– Накопление и обработка информации о событиях
• Интернет-проекты с многими тысячами пользователей
– Для обеспечения мгновенного доступа к профилям пользователя, продукта,
информации о рекламной компании и т.д.
Storage Nodes
Data Center A
Storage Nodes
Data Center B
NoSQLDB Driver
Application
NoSQLDB Driver
Application

Event
Processing

Oracle Event Processing
• Технология обработки и анализа
потока данных
• Непрерывный поток, часто большого объема
• Отсутствует конец потока
• Упорядочен по времени
• Нужно на лету уметь обнаруживать «шаблоны»
• Невозможно или не эффективно
обрабатывать/анализировать в реальном
времени с применением баз данных

Oracle OEP: Выявление шаблонов
Торговля на бирже – шаблон “W”
SELECT FIRST(x.time), LAST(z.time)
FROM ticker MATCH_RECOGNIZE (ONE ROW PER MATCH PARTITION BY name
PATTERN (X+ Y+ W+ Z+)
DEFINE X AS (price < PREV(price))
Y AS (price > PREV(price))
W AS (price < PREV(price))
Z AS (price > PREV(price)))
1 9 12 19
days
X
Y
W
Z

Кто из абонентов послал 5 смс из определенного торгового центра
за 10 последних минут?
Oracle Event Processing in Turkcell

BIG DATA
Appliance

•Кластер из 18 узлов
– до 768GB на узел (по умолчанию 128GB) = 13824 GB RAM
– 36 ядер Intel на узле = 684ядер
– 48 TB дисков на узел = 864 TB
•40 Gb p/sec InfiniBand
•10 Gb p/sec Ethernet
•Может продаваться в конфигурации 1/3 и 2/3 стойки
Oracle Big Data Appliance
Машина для Hadoop и NoSQL DB

Разные подходы – разные преимущества
61
0
1
2
3
4
5
Мощь инструментов
Встроенный функционал
ACID транизакции
Безопасность
Разнообразие форматов
данных
Разреженные данные
Простота ETL
Стоимость хранения
Простота загрузки
Взаимодействие с другими
системами
Hadoop
RDBMS
• У Hadoop свои плюсы
• У баз данных свои

0
1
2
3
4
5
Мощь инструментов
Встроенный функционал
ACID транизакции
Безопасность
Разнообразие форматов
данных
Разреженные данные
Простота ETL
Стоимость хранения
Простота загрузки
Взаимодействие с другими
системами
Hadoop
RDBMS
Цель
Есть ли возможность объединить два мира?
62
Как это сделать?
И как это использовать?

SQL

SQL работает уже 40 лет
SELECT dept, sum(salary)
FROM emp, dept
WHERE dept.empid = emp.empid
GROUP BY dept
YEAR 1974YEAR 2014

Apache Hive
• Apache Hive
– Один из самых популярных проектов для обработки данных над
Hadoop
– Инфраструктура, эмулирующая реляционную СУБД над Hadoop
– Есть SQL-подобный язык HiveQL
– Позволяет строить аналог свербольших хранилищ данных в Hadoop

SQL on Hadoop – не только Hive
66
Stinger

HiveQL: SQL очень ограничен
• Basic functions
– round, sqrt, floor, ceiling, concat,
lower, upper, etc.
• Aggregate functions
– count, sum, min, max, avg,
variance, stddev, covar, etc.
• Windowing functions
– lag, lead, first, last, row_number,
dense_rank, cume_dist,
percent_rank, ntile
67
SQL
Ограничения:
• Подзапросы
• Объединения
• Стат функции

return attributes;
}
public void setState(String state) {
this.state = state;
}
public String getQuantity() {
return this.attributes[4];
}
public String setState(V0Line linePrev, V0Line lineNext) {
String q = this.getQuantity();
if (linePrev == null) {
prev = "";
} else {
prev = linePrev.getQuantity();
}
if (lineNext == null) {
next = "";
} else {
next = lineNext.getQuantity();
}
if (!q.isEmpty() && (prev.isEmpty() || (eq(q, prev) &&
gt(q, next)))) {
state = "S";
return state;
}
if (gt(q, prev) && gt(q, next)) {
state = "T";
return state;
}
if (lt(q, prev) && lt(q, next)) {
state = "B";
return state;
}
if (!q.isEmpty() && (next.isEmpty() || (gt(q, prev) &&
eq(q, next)))) {
state = "E";
return state;
}
if (q.isEmpty() || eq(q, prev)) {
state = "F";
return state;
}
return state;
}
private boolean eq(String a, String b) {
if (a.isEmpty() || b.isEmpty()) {
return false;
}
return a.equals(b);
}
private boolean gt(String a, String b) {
return false;
}
return Double.parseDouble(a) > Double.parseDouble(b);
}
private boolean lt(String a, String b) {
return false;
}
return Double.parseDouble(a) < Double.parseDouble(b);
10:00 10:05 10:10 10:15 10:20 10:25
Ограниченность языка заставляет писать много кода
250+ строк на Java
Поиск шаблона W в биржевых данных

10:00 10:05 10:10 10:15 10:20 10:25
Как сделать, чтобы можно было писать меньше кода?
Поиск шаблона W в биржевых данных
SELECT first_x, last_z
FROM ticker MATCH_RECOGNIZE (
PARTITION BY name ORDER BY time
MEASURES FIRST(x.time) AS first_x,
LAST(z.time) AS last_z
ONE ROW PER MATCH
PATTERN (X+ Y+ W+ Z+)
DEFINE X AS (price < PREV(price)),
Y AS (price > PREV(price)),
W AS (price < PREV(price)),
Z AS (price > PREV(price) AND
z.time - FIRST(x.time) <= 7 ))
12 строк на SQL

Данные хранятся во многих местах
71
Транзакции
RelationalHadoop
Логи
NoSQL
Профили клиентов
SQL

Oracle Big Data SQL
Новая технология для обращения к данным в Hadoop из Oracle Database
Запросы кOracle,
Hadoop иNoSQL
Oracle SQL
Oracle
NoSQLDB
HDFS
DataNode
Oracle
NoSQLDB
HDFS
DataNode
OracleDatabase
StorageServer
OracleDatabase
StorageServer
•Для пользователя не важно, где лежат данные – в
Oracle или в Hadoop
•Использование данных в Hadoop любыми BI
инструментами
•Все возможности языка SQL Oracle
•Использование наработок Exadata
•Интеграция Big Data Appliance и Exadata

Возможности Exadata для Big Data
76
Минимизация перекачки данных Скорость
 Smart Scan
−Фильтрация данных на диске
 Storage Index
−Только нужные данные читаются
 Кеширование
−Часто запрашиваемые данные читаются быстрее

Oracle Big Data Discovery. Hadoop с человеческим лицом

Технологии Oracle для Больших Данных
Поток Захват – Преобразование – Анализ
Oracle BI Foundation
Suite
Oracle Real-Time
Decisions
Big Data Discovery
Принятие решений
Oracle Event
Processing Oracle Big Data
Connectors
Oracle Data
Integrator
Oracle
Advanced
Analytics
Oracle
Database
Oracle Spatial
& Graph
Apache
Flume
Oracle
GoldenGate
Oracle NoSQL
Database
Cloudera
Hadoop
Oracle R
Distribution

Big data

Recommended

Recommended

More Related Content

What's hot

What's hot (7)

Similar to Big data

Similar to Big data (20)

More from mikeshagiev

More from mikeshagiev (20)

Big data