Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Машины баз данных:
таксономия,
анатомия,
эволюция,
ареал,
воспроизведение
Андрей Николаенко, IBS
v0.9
Полюса представлений
о машинах баз данных
“Уникальное
разработанное
hi-end-оборудование
и заточенный под
него софт”
“Ещё о...
Тезис часа
Машина баз данных
как веб-масштабная
система для
корпоративного
сектора
План
Т а к с о н о м и я
А н а т о м и я
А р е а л
Э в о л ю ц и я
В о с п р о и з в е д е н и е
ТАКСОНОМИЯ
«Большое железо»
mainframe
Senior
RISC
Hi-end
SAN
Integrated
systems
Облачный подход к таксономии
приложения
платформы
инфраструктура
Фундаментальные вычислительные ресурсы (ЦПУ,
память, ресу...
Интегрированные системы
$ 5,9 млрд
$ 3,5 млрд
$373
млн
Integrated
infrastructure
Integrated
platform
Hyperconverged
system...
Термины
Database machine == Database appliance
MPP appliance
Data warehouse
appliance
Hadoop
appliance
Integrated
platform...
“Integratedplatform”
OLTP
Exadata Xx-8
Pure for
Trans.
DAAD
СУБД общего
назначения
Exadata Xx-2
Fusion
Cube / DB
MPP-СУБД
...
АНАТОМИЯ
Teradata
• группа узлов, в рамках которых переподключаемы
дисковые группы – область отказоустойчивости
К л и к а
Clique
• ...
Netezza
Шкаф
• 1…8 на кластер
SMP-host
• x86-узел, RHEL
• 1…2 на кластер
Сниппет-блейд
• x86-узел, RHEL
Сниппет-ПЛИС
• Xil...
Exadata
Узлы СУБД
Infiniband-межсоединение
Ячейки хранения
2…8 x86-узлов на шкаф
Oracle Linux
Oracle Database, RAC, ASM
2 ...
Dell DAAD
x86-стройблок для узлов СУБД и
узлов хранения
• Dell PowerEdge, 2 × Xeon E5
Три вида сетевых технологий
• 10G
• ...
Oracle Big Data Appliance &
Teradata Appliance for Hadoop
18×2×CPU x86
• 12×8TB JBOD в каждом
Infiniband/QDR
• Межсоединен...
Dell-EMC DCA & Isilon
Greenplum appliance (DB only)
EMC Greenplum Data Computing
Appliance (+Hadoop, 2013)
EMC Data Comput...
SAP Hana
Scale-up
• Один узел
• Для ERP
• Много ОЗУ
• Много ЦПУ
Scale-out
• Много узлов
• Для BW, аналитики…
• С марта 201...
Резидентные вычисления «в железе»
OLTP-
SQL
MOLAP BI Data
Discovery
Stats Apps OLTP-
NoSQL
Hadoop
Hana in-memory database
...
Характерные организации скелета
Гиперконвергенция
• Универсальный строительный блок
• Каждый узел выполняет работу по хран...
Основные анатомические признаки
n × [Commodity x86]
как строительный
блок
Infiniband/RDMA
[часто – просто 10G]
FPGA
[редко...
InfinibandиFPGA
OLTP
Exadata Xx-8
Pure for
Trans.
DAAD
СУБД общего
назначения
Exadata Xx-2
Fusion
Cube / DB
MPP-СУБД
EDW
N...
OLTP
Exadata Xx-8
Pure for
Trans.
DAAD
СУБД общего
назначения
Exadata Xx-2
Fusion
Cube / DB
MPP-СУБД
EDW
Netezza
Greenplum...
Архитектурный континуум
Поддерживаемые
инфраструктурные
компоненты
• “Linux x86-64”
• “10GbE”
Рекомендуемое
оборудование и...
ЭВОЛЮЦИЯ
Britton Lee и её последствия
Teradata
NCR
Britton Lee → Share Base
1979
Первая машина баз данных
1983 1990 1991 1997
AT&T
...
MPP Database,
shared-nothing architecture
Michael Stonebraker The Case for Shared Nothing // Database Engineering, vol. 9 ...
Teradata: I передел (1995)
2013: Infiniband
1995: виртуализация AMP
Изображение: Teradata, ©2011
Узел =
[AMP +
дисковая
гр...
Netezza: “Data warehouse appliance”
Фостер Хиншоу
сооснователь Netezza,
основатель Dataupia
2002:
момент
идентификации
рын...
«Возьмём-ка PostgreSQL!»
Netezza
• IBM
Greenplum
• Pivotal / Dell-EMC
ParAccel
• Actian
Aster Data
• Teradata
Dataupia
• S...
OLTP
Exadata Xx-8
Pure for
Trans.
DAAD
СУБД общего
назначения
Exadata Xx-2
Fusion
Cube / DB
MPP-СУБД
EDW
Netezza
Greenplum...
ВетвленияPostgreSQL
OLTP
Exadata Xx-8
Pure for
Trans.
DAAD
СУБД общего
назначения
Exadata Xx-2
Fusion
Cube / DB
MPP-СУБД
E...
MPP-машины первой половины 2000-х
(на пятидесятимиллионном рынке)
Netezza Datallegro Greenplum ParAccel
Возникновение
2002...
Изображение:HassoPlattnerInstitute,CC-BY-SA,2015
Угол Постгреса (и Ингреса)
И с т о р и я м а ш и н б а з д а н н ы х
к а к ч а с т ь м и р о в о й и с т о р и и С У Б Д
И...
Datallegro на стыке семейств
Изображение:HassoPlattnerInstitute,CC-BY-SA,2015
Non-appliance MPP DBMS
Exasol
Резидентная
Колоночная
Чемпион в
кластерном TPC-H
InfiniDB
На основе MySQL
Колоночная
Компан...
Сталисофтом…
OLTP
Exadata Xx-8
Pure for
Trans.
DAAD
СУБД общего
назначения
Exadata Xx-2
Fusion
Cube / DB
MPP-СУБД
EDW
Nete...
OLTP
Exadata Xx-8
Pure for
Trans.
DAAD
СУБД общего
назначения
Exadata Xx-2
Fusion
Cube / DB
MPP-СУБД
EDW
Netezza
Greenplum...
Teradata: II передел (2009)
Каждый AMP подключался напрямую к своей дисковой группе [(Drive#,…)];
одинаковое число одинако...
Шаг в миллиард: Exadata I, II, Xn-2/Xn-8
ЫПоглощение
Sun Microsystems
Изображение:Oracle,©2011
Заказано машин
на $2 млрд
Эволюция цены и масштаба для DWH
1990-е
$1млн / ТБ
• [Teradata]
1 ТБ
• 1995, Winter
2000-е
$200 тыс.
• [Netezza]
110 ТБ
• ...
Рекламный шум как зеркало эволюции
2004
2009
2017?
[300 ТБ]
Изображение: Oracle, ©2010
Цена от MPP-СУБД к Hadoop
Укладка в линейку платформенных
комплексов от Oracle
Мультиарендность в СУБД
Сценарии
консолидации
Изоляция
приложений
Множество сред
в одном
комплексе
• PROD, TEST, DEV…
DBaaS
Естьвоблаке
OLTP
Exadata Xx-8
Pure for
Trans.
DAAD
СУБД общего
назначения
Exadata Xx-2
Fusion
Cube / DB
MPP-СУБД
EDW
Netez...
Естьвоблаке
OLTP
Exadata Xx-8
Pure for
Trans.
DAAD
СУБД общего
назначения
Exadata Xx-2
Fusion
Cube / DB
MPP-СУБД
EDW
Netez...
Oracle cloud machine
То же оборудование, но в собственности Oracle
То же ПО, но в собственности Oracle
Устанавливается в Ц...
Teradata: стандартнее, гибче, виртуальнее
Teradata on VMWare Aster Data on VMWare
T[eradta]
OS
TOS
Windows
Linux
SuSE
Linu...
Эволюционные тенденции
«Коммодитизация»
К x86
К
упрощению
топологий
«Демашинизация»
Greenplum,
Vertica…
Виртуальный
Aster
...
АРЕАЛ
Покупатели Teradata
Банки
Большие розничные сети
Большие телеком-
операторы
но также….
Yahoo!
Cisco
EBay
2 ПБ
6,5 ПБ в
Gre...
2011: Джобс представляет ЦОД в Северной Каролине
Фото: The Register, ©20
Teradata в
ЦОД
Сбербанка
Фото: TAdviser, ©2015
Покупатели Exadata
И снова Apple
для AppStore
Allegro Group
LinkShare
(онлайн-
маркетинг)
TargetBase
(онлайн-
реклама
Пром...
Pro – contra для клиентов
(общего характера)
Предкон-
фигурированное
Понятная
производительность
(проверить на готовом)
…н...
ВОСПРОИЗВЕДЕНИЕ
Exadata on AWS
Доступно для
скачивания
Oracle
Database
Exadata
Storage
Software
Сообщения о
запуске на
AWS
Сообщения
о зап...
Скала-СР / Oracle DB
DB #1 DB #2
Quorum, СРК
DB #1 DB #2 DB #3
IB #1 IB #2
DB #1 DB #2
IB #1 IB #2
Cell #1 Cell #2 Cell #3...
Скала-СР / Postgres Pro: Постгрес с RDMA
300 500 700
Кластер общего
назначения
Мультимастер
ROLAP без разделяемых
ресурсов...
Скала-СР: с мыслью о будущем
Комплекс для Hadoop и
современных нагрузок
Пути оптимизации стоимости терабайта
(Data Lake, H...
Из веба – в Enterprise
Технологии, отлаженные в веб-масштабе
….востребованы в Enterprise-
секторе на самых
интенсивных уча...
Спасибо за
внимание!
anikolaenko@ibs.ru
anikolaenko@acm.org
Доступно по лицензии CC-SA 3.0, некоторые использованные изобр...
Upcoming SlideShare
Loading in …5
×

Машины баз данных: таксономия, анатомия, эволюция, ареал, воспроизведение / Андрей Николаенко (IBS)

213 views

Published on

РИТ++ 2017, Web-scale IT Сonference
Зал Владивосток, 6 июня, 16:00

Тезисы:
http://webscaleconf.ru/2017/abstracts/2555.html

Teradata, Exadata, Netezza и другие представители мира машин баз данных в этом докладе будут классифицированы, препарированы, а также будет обсуждена задача создания новых таких машин.

Все эти машины — не просто сбалансированные комплекты из серверных узлов с предустановленной СУБД в той или иной конфигурации. Во всех случаях в них реализованы программные специфики, подразумевающие применение архитектурных или аппаратных возможностей, недоступных «вразвалку» (хотя в некоторых случаях есть возможности по воссозданию отдельных их элементов в лабораторных условиях, и об этом тоже будет в докладе). Таким образом, этот материал не столько о том, в шкаф какого цвета разные вендоры упаковали свою продукцию, сколько об идеях, заложенных внутри этих комплексов.
...

Published in: Engineering
  • Be the first to comment

  • Be the first to like this

Машины баз данных: таксономия, анатомия, эволюция, ареал, воспроизведение / Андрей Николаенко (IBS)

  1. 1. Машины баз данных: таксономия, анатомия, эволюция, ареал, воспроизведение Андрей Николаенко, IBS v0.9
  2. 2. Полюса представлений о машинах баз данных “Уникальное разработанное hi-end-оборудование и заточенный под него софт” “Ещё один способ для вендоров по привязке и повышению ценника на стандартном железе и стандартном софте” “Всего лишь сбалансированная конфигурация под конкретную СУБД, способ снижения издержек за счёт стандартизации”
  3. 3. Тезис часа Машина баз данных как веб-масштабная система для корпоративного сектора
  4. 4. План Т а к с о н о м и я А н а т о м и я А р е а л Э в о л ю ц и я В о с п р о и з в е д е н и е
  5. 5. ТАКСОНОМИЯ
  6. 6. «Большое железо» mainframe Senior RISC Hi-end SAN Integrated systems
  7. 7. Облачный подход к таксономии приложения платформы инфраструктура Фундаментальные вычислительные ресурсы (ЦПУ, память, ресурсы хранения, ОС…) Средства для создания и обеспечения работы приложений (СУБД, связующее ПО, средства разработки, среды выполнения…) Приложения
  8. 8. Интегрированные системы $ 5,9 млрд $ 3,5 млрд $373 млн Integrated infrastructure Integrated platform Hyperconverged systems Database machines Данные IDC на 2015 год
  9. 9. Термины Database machine == Database appliance MPP appliance Data warehouse appliance Hadoop appliance Integrated platform “Массово- параллельный комплекс” Integrated system == Engineered system
  10. 10. “Integratedplatform” OLTP Exadata Xx-8 Pure for Trans. DAAD СУБД общего назначения Exadata Xx-2 Fusion Cube / DB MPP-СУБД EDW Netezza Greenplum DB Vertica MPP-СУБД+ Hadoop Aster Greenplum DCA Hadoop on DAS Big Data Appliance for Hadoop Hadoop + NAS Greenplum HD + EMC 2 Isilon Data Engine for Analytics In-memory 1 узел Hana Classic Exalytics BLU In-memory кластерный Hana Scale- Out NumaQ IMM/H Серверы приложений Exalogic Pure Application R D B M S B i g D a t a I M C М а ш и н ы б а з д а н н ы х
  11. 11. АНАТОМИЯ
  12. 12. Teradata • группа узлов, в рамках которых переподключаемы дисковые группы – область отказоустойчивости К л и к а Clique • x86-машина под управлением SuSE • в каждой клике может быть один узел под горячий резерв У з е л Node • Межсоединение между узламиB Y N e t Banyan Network • группа процессов, отвечающих за разбор запросов и раздачу параллельных заданий PE parsing engine • единица параллелизма • группа процессов, работающая с выделенной дисковой группой AMP access module processor • Подключённая по FC группа накопителейДисковая группа 2 (max 10) на узел, 120 сессий на PE 2 Infiniband- коммутатора 1–4 на клику, до 512 на кластер 1 на шкаф 4–20 на узел (max 128 на узел)
  13. 13. Netezza Шкаф • 1…8 на кластер SMP-host • x86-узел, RHEL • 1…2 на кластер Сниппет-блейд • x86-узел, RHEL Сниппет-ПЛИС • Xilinx Virtex 6 • 2 на сниппет-блейд • Обрабатывает весь ввод-вывод к своей дисковой группе Диски • Сгруппированы в RAID1-группы • Напрямую подключены через ПЛИС в cниппеты Операции на ПЛИС: Snippet – единица параллелизма …на ЦПУ: A[symmetric]MPP
  14. 14. Exadata Узлы СУБД Infiniband-межсоединение Ячейки хранения 2…8 x86-узлов на шкаф Oracle Linux Oracle Database, RAC, ASM 2 коммутатора Infiniband QDR Протокол iDB [поверх RDS {поверх RDMA}] 3..14 x86-узлов на шкаф Oracle Linux Oracle storage software Xx-2: 2×22-core Xeon E5 Xx-8: 8×18-core Xeon E7 HC: 12 HDD, 4 NVMe EF: 8 NVMe
  15. 15. Dell DAAD x86-стройблок для узлов СУБД и узлов хранения • Dell PowerEdge, 2 × Xeon E5 Три вида сетевых технологий • 10G • FC в межсети для ASM • Infiniband для соединения узлов хранения Fusion-io ION на узлах хранения
  16. 16. Oracle Big Data Appliance & Teradata Appliance for Hadoop 18×2×CPU x86 • 12×8TB JBOD в каждом Infiniband/QDR • Межсоединение IPoIB • Соединяемость с Exadata Предустановленный софт • Cloudera Data Hub Edition • Oracle Table Access for Hadoop • Oracle NoSQL CE • Oracle R Enterprise • …. 18×2×CPU x86 • 12×8TB JBOD в каждом BYNet [Infiniband/QDR] • Межсоединение IPoIB • Соединяемость с Teradata Предустановленный софт • Cloudera CDH или Hortonworks
  17. 17. Dell-EMC DCA & Isilon Greenplum appliance (DB only) EMC Greenplum Data Computing Appliance (+Hadoop, 2013) EMC Data Computing Appliance (2015) NAS, доступный по HDFS
  18. 18. SAP Hana Scale-up • Один узел • Для ERP • Много ОЗУ • Много ЦПУ Scale-out • Много узлов • Для BW, аналитики… • С марта 2017 – и для S4/Hana Некоторые базовые условия Xeon E7 Есть системы на IBM Power Фактически: сертифицированные на стороне SAP некоторые аппаратные платформы
  19. 19. Резидентные вычисления «в железе» OLTP- SQL MOLAP BI Data Discovery Stats Apps OLTP- NoSQL Hadoop Hana in-memory database DB 12c (Timesten) MonetDB Essbase KXen OBIEE RevolutionR Полиматика SAP S/4 Endeca Vora (Spark) Spark Spark Spark DB2 BLU R (DB option) Hyperion R PAL R Hana Exalytics BLU NumaQ Скала-СР / Аналатика IMM/H
  20. 20. Характерные организации скелета Гиперконвергенция • Универсальный строительный блок • Каждый узел выполняет работу по хранению и обработке Дезагрегация • Узлы обработки • Узлы хранения • Специальный протокол общения
  21. 21. Основные анатомические признаки n × [Commodity x86] как строительный блок Infiniband/RDMA [часто – просто 10G] FPGA [редко] Программные добавки, программная определеяемость Без единых точек отказа, дублирование компонентов, самолечение [не всегда и не во всём] Pre-configured, self-managed, DBaaS off-the-shelf
  22. 22. InfinibandиFPGA OLTP Exadata Xx-8 Pure for Trans. DAAD СУБД общего назначения Exadata Xx-2 Fusion Cube / DB MPP-СУБД EDW Netezza Greenplum DB Vertica MPP-СУБД+ Hadoop Aster Greenplum DCA Hadoop on DAS Big Data Appliance for Hadoop Hadoop + NAS Greenplum HD + EMC 2 Isilon Data Engine for Analytics In-memory 1 узел Hana Classic Exalytics BLU In-memory кластерный Hana Scale- Out NumaQ IMM/H Серверы приложений Exalogic Pure Application R D B M S B i g D a t a I M C М а ш и н ы б а з д а н н ы х
  23. 23. OLTP Exadata Xx-8 Pure for Trans. DAAD СУБД общего назначения Exadata Xx-2 Fusion Cube / DB MPP-СУБД EDW Netezza Greenplum DB Vertica MPP-СУБД+ Hadoop Aster Greenplum DCA Hadoop on DAS Big Data Appliance for Hadoop Hadoop + NAS Greenplum HD + EMC 2 Isilon Data Engine for Analytics In-memory 1 узел Hana Classic Exalytics BLU In-memory кластерный Hana Scale- Out NumaQ IMM/H Серверы приложений Exalogic Pure Application R D B M S B i g D a t a I M C М а ш и н ы б а з д а н н ы х InfinibandиFPGA
  24. 24. Архитектурный континуум Поддерживаемые инфраструктурные компоненты • “Linux x86-64” • “10GbE” Рекомендуемое оборудование и рекомендованные параметры • “2×CPU, HW RAID” • “CentOS 6.5…” • kernel.shmmax = xxx • DB_BLOCK_SIZE=4k… Референтная архитектура • “3×PowerEdge…” • “Cisco Nexus” Машина баз данных
  25. 25. ЭВОЛЮЦИЯ
  26. 26. Britton Lee и её последствия Teradata NCR Britton Lee → Share Base 1979 Первая машина баз данных 1983 1990 1991 1997 AT&T NCR Teradata 2007
  27. 27. MPP Database, shared-nothing architecture Michael Stonebraker The Case for Shared Nothing // Database Engineering, vol. 9 (1986), No. 1 SM • shared memory SD • shared disk SN • shared nothing
  28. 28. Teradata: I передел (1995) 2013: Infiniband 1995: виртуализация AMP Изображение: Teradata, ©2011 Узел = [AMP + дисковая группа] Только MPP MPP на SMP- узлах
  29. 29. Netezza: “Data warehouse appliance” Фостер Хиншоу сооснователь Netezza, основатель Dataupia 2002: момент идентификации рынка машин хранилищ данных
  30. 30. «Возьмём-ка PostgreSQL!» Netezza • IBM Greenplum • Pivotal / Dell-EMC ParAccel • Actian Aster Data • Teradata Dataupia • Seeking for acquisition… Hadapt • Teradata
  31. 31. OLTP Exadata Xx-8 Pure for Trans. DAAD СУБД общего назначения Exadata Xx-2 Fusion Cube / DB MPP-СУБД EDW Netezza Greenplum DB Vertica MPP-СУБД+ Hadoop Aster Greenplum DCA Hadoop on DAS Big Data Appliance for Hadoop Hadoop + NAS Greenplum HD + EMC 2 Isilon Data Engine for Analytics In-memory 1 узел Hana Classic Exalytics BLU In-memory кластерный Hana Scale- Out NumaQ IMM/H Серверы приложений Exalogic Pure Application R D B M S B i g D a t a I M C М а ш и н ы б а з д а н н ы х ВетвленияPostgreSQL
  32. 32. ВетвленияPostgreSQL OLTP Exadata Xx-8 Pure for Trans. DAAD СУБД общего назначения Exadata Xx-2 Fusion Cube / DB MPP-СУБД EDW Netezza Greenplum DB Vertica MPP-СУБД+ Hadoop Aster Greenplum DCA Hadoop on DAS Big Data Appliance for Hadoop Hadoop + NAS Greenplum HD + EMC 2 Isilon Data Engine for Analytics In-memory 1 узел Hana Classic Exalytics BLU In-memory кластерный Hana Scale- Out NumaQ IMM/H Серверы приложений Exalogic Pure Application R D B M S B i g D a t a I M C М а ш и н ы б а з д а н н ы х
  33. 33. MPP-машины первой половины 2000-х (на пятидесятимиллионном рынке) Netezza Datallegro Greenplum ParAccel Возникновение 2002 2003 2003 2005 Строительный блок «Сниппет» [PowerPC + FPGA] Dell PowerEdge [x86] Sun Fire на AMD [x86] “Blade cluster” [x86] Кодовая база PostgreSQL Ingres PostgreSQL PostgreSQL Поглощение 2013 IBM 2008 Microsoft 2010 EMC 2011 Actian Современность IBM Pure Data for Analytics Microsoft SQL Server PDW Dell-EMC-Pivotal Greenplum DB Amazon RedShift
  34. 34. Изображение:HassoPlattnerInstitute,CC-BY-SA,2015
  35. 35. Угол Постгреса (и Ингреса) И с т о р и я м а ш и н б а з д а н н ы х к а к ч а с т ь м и р о в о й и с т о р и и С У Б Д Изображение: Hasso Plattner Institute, CC-BY-SA, 2015
  36. 36. Datallegro на стыке семейств Изображение:HassoPlattnerInstitute,CC-BY-SA,2015
  37. 37. Non-appliance MPP DBMS Exasol Резидентная Колоночная Чемпион в кластерном TPC-H InfiniDB На основе MySQL Колоночная Компания Calpont обанкрочена в 2014 году Ряд решений над PostgreSQL Postgres-XL Hadapt Сitus DB
  38. 38. Сталисофтом… OLTP Exadata Xx-8 Pure for Trans. DAAD СУБД общего назначения Exadata Xx-2 Fusion Cube / DB MPP-СУБД EDW Netezza Greenplum DB Vertica MPP-СУБД+ Hadoop Aster Greenplum DCA Hadoop on DAS Big Data Appliance for Hadoop Hadoop + NAS Greenplum HD + EMC 2 Isilon Data Engine for Analytics In-memory 1 узел Hana Classic Exalytics BLU In-memory кластерный Hana Scale- Out NumaQ IMM/H Серверы приложений Exalogic Pure Application R D B M S B i g D a t a I M C М а ш и н ы б а з д а н н ы х
  39. 39. OLTP Exadata Xx-8 Pure for Trans. DAAD СУБД общего назначения Exadata Xx-2 Fusion Cube / DB MPP-СУБД EDW Netezza Greenplum DB Vertica MPP-СУБД+ Hadoop Aster Greenplum DCA Hadoop on DAS Big Data Appliance for Hadoop Hadoop + NAS Greenplum HD + EMC 2 Isilon Data Engine for Analytics In-memory 1 узел Hana Classic Exalytics BLU In-memory кластерный Hana Scale- Out NumaQ IMM/H Серверы приложений Exalogic Pure Application R D B M S B i g D a t a I M C М а ш и н ы б а з д а н н ы х Сталисофтом…
  40. 40. Teradata: II передел (2009) Каждый AMP подключался напрямую к своей дисковой группе [(Drive#,…)]; одинаковое число одинаковых накопителей на AMP Подключённая к клике подсистема хранения пулирована, каждому AMP раздаётся в равных долях, поддерживается многоуровневое хранение и теплокарты Изображение:Teradata,©2011
  41. 41. Шаг в миллиард: Exadata I, II, Xn-2/Xn-8 ЫПоглощение Sun Microsystems Изображение:Oracle,©2011 Заказано машин на $2 млрд
  42. 42. Эволюция цены и масштаба для DWH 1990-е $1млн / ТБ • [Teradata] 1 ТБ • 1995, Winter 2000-е $200 тыс. • [Netezza] 110 ТБ • 2005, Winter 2010-е Десятки тыс. • [при стоимости накопителей в $200 за ТБ] 12 ПБ • 2014, SAP
  43. 43. Рекламный шум как зеркало эволюции 2004 2009 2017? [300 ТБ] Изображение: Oracle, ©2010
  44. 44. Цена от MPP-СУБД к Hadoop
  45. 45. Укладка в линейку платформенных комплексов от Oracle
  46. 46. Мультиарендность в СУБД Сценарии консолидации Изоляция приложений Множество сред в одном комплексе • PROD, TEST, DEV… DBaaS
  47. 47. Естьвоблаке OLTP Exadata Xx-8 Pure for Trans. DAAD СУБД общего назначения Exadata Xx-2 Fusion Cube / DB MPP-СУБД EDW Netezza Greenplum DB Vertica MPP-СУБД+ Hadoop Aster Greenplum DCA Hadoop on DAS Big Data Appliance for Hadoop Hadoop + NAS Greenplum HD + EMC 2 Isilon Data Engine for Analytics In-memory 1 узел Hana Classic Exalytics BLU In-memory кластерный Hana Scale- Out NumaQ IMM/H Серверы приложений Exalogic Pure Application R D B M S B i g D a t a I M C М а ш и н ы б а з д а н н ы х
  48. 48. Естьвоблаке OLTP Exadata Xx-8 Pure for Trans. DAAD СУБД общего назначения Exadata Xx-2 Fusion Cube / DB MPP-СУБД EDW Netezza Greenplum DB Vertica MPP-СУБД+ Hadoop Aster Greenplum DCA Hadoop on DAS Big Data Appliance for Hadoop Hadoop + NAS Greenplum HD + EMC 2 Isilon Data Engine for Analytics In-memory 1 узел Hana Classic Exalytics BLU In-memory кластерный Hana Scale- Out NumaQ IMM/H Серверы приложений Exalogic Pure Application R D B M S B i g D a t a I M C М а ш и н ы б а з д а н н ы х
  49. 49. Oracle cloud machine То же оборудование, но в собственности Oracle То же ПО, но в собственности Oracle Устанавливается в ЦОД заказчика Выделенное подключение к Oracle Corp. Цены – как за публично- облачную подписку
  50. 50. Teradata: стандартнее, гибче, виртуальнее Teradata on VMWare Aster Data on VMWare T[eradta] OS TOS Windows Linux SuSE Linux IntelliFlex плотнее, стройблоки атомарнее
  51. 51. Эволюционные тенденции «Коммодитизация» К x86 К упрощению топологий «Демашинизация» Greenplum, Vertica… Виртуальный Aster Специализация по типам нагрузок и цене терабайта Линейки Teradata Линейки IBM Линейки Oracle К облачной модели потребления Oracle cloud machine Amazon RedShift
  52. 52. АРЕАЛ
  53. 53. Покупатели Teradata Банки Большие розничные сети Большие телеком- операторы но также…. Yahoo! Cisco EBay 2 ПБ 6,5 ПБ в Greenplum – у них же
  54. 54. 2011: Джобс представляет ЦОД в Северной Каролине Фото: The Register, ©20
  55. 55. Teradata в ЦОД Сбербанка Фото: TAdviser, ©2015
  56. 56. Покупатели Exadata И снова Apple для AppStore Allegro Group LinkShare (онлайн- маркетинг) TargetBase (онлайн- реклама Промышленность и энергетика Госсектор Банки но также….
  57. 57. Pro – contra для клиентов (общего характера) Предкон- фигурированное Понятная производительность (проверить на готовом) …не нужно проектировать “привезли – включили – работает” Одно окно Проверка на стороне одного производителя Уже не скажут: «а это не мы, а ОС (гипервизор, СХД…)» … Vendor Lock-in Запчасти – от единственного производителя Ограниченный манёвр по поставщику Сложности миграции Цены …
  58. 58. ВОСПРОИЗВЕДЕНИЕ
  59. 59. Exadata on AWS Доступно для скачивания Oracle Database Exadata Storage Software Сообщения о запуске на AWS Сообщения о запуске с Infiniband- сетью В целом – успешные ...с особенностями Нелега льно, но … …и уже не чёр ный ящик
  60. 60. Скала-СР / Oracle DB DB #1 DB #2 Quorum, СРК DB #1 DB #2 DB #3 IB #1 IB #2 DB #1 DB #2 IB #1 IB #2 Cell #1 Cell #2 Cell #3 Infiniband/RDMA NVMe-устройства – напрямую в ASM [iSER → NVMf] Flashgrid для управления устройствами в ASM 100, SE2 500 300
  61. 61. Скала-СР / Postgres Pro: Постгрес с RDMA 300 500 700 Кластер общего назначения Мультимастер ROLAP без разделяемых ресурсов // TODO… доставка WAL по RDMA мастер n синхронных реплик m асинхронных реплик координация по RDMA RDMA over Converged Ethernet
  62. 62. Скала-СР: с мыслью о будущем Комплекс для Hadoop и современных нагрузок Пути оптимизации стоимости терабайта (Data Lake, HDFS-enabled NAS) Поддержка резидентных вычислений (Spark, in-memory-NoSQL) Федерация SQL-on-[MPP, Hadoop] Кластер с графическими ускорителями Адаптация новых аппаратных технологий NVMe over Fabrics GPGPU Вычисления на сетевых картах 3D Xpoint Унификация линеек Hyperconverged node Storage node Compute node
  63. 63. Из веба – в Enterprise Технологии, отлаженные в веб-масштабе ….востребованы в Enterprise- секторе на самых интенсивных участках …требуют адаптации к специфическим показателям назначения …кандидаты на доработку для упаковки в машины баз данных Машины баз данных – изначально «веб-масштабны» Узлы массового класса Горизонтальная масштабируемость Гиперконвергенция и дезагрегация Машины баз данных – конструкции, трудно осуществимые в стандартном случае “5,5 млн SQL IOPS на недорогих x86-узлах” “Десять синхронных реплик, не «кладущих» мастер”
  64. 64. Спасибо за внимание! anikolaenko@ibs.ru anikolaenko@acm.org Доступно по лицензии CC-SA 3.0, некоторые использованные изображения и логотипы могут принадлежать другим правообладателям

×