Rapid Deployment of Hadoop Development EnvironmentsAndrei Nikolaenko
Development of Hadoop-related project in DevOps culture with Hadoop distributions, management and configuration tools and modern container virtualization capabatilites
Argo Technologie SA - предоставляет петабайтномасштабируюмую систему хранения данных для облачных сервис-провайдеров и предприятий. ARGO использует коммутаторы Layer 2 Ethernet, повышая производительность сети и операционную эффективность для компаний, внедряющих динамичную, крупномасштабную, многопользовательскую среду с высокой рабочей нагрузкой
http://argotech.io/
Файловое хранилище Hitachi NAS 3090. Спецификация.Hitachi Nas
Файловое хранилище Hitachi NAS 3090. Спецификация.
Сетевая система хранения данных (NAS) от Hitachi предлагает масштабируемые решения для консолидации высокопроизводительных приложений корпоративного уровня, а также расширенные функциональные возможности для решений по консолидации файловых серверов организаций среднего размера.
Ключевые особенности:
Интеллектуальное перемещение файлов по уровням хранения позволяет реализовать иерархическое управление системами хранения данных (HSM) для платформ NAS и Content Platform от Hitachi
Сетевая система хранения данных с аппаратным ускорением, обеспечивающая пропускную способность до 700 Мбайт/с для последовательных операций и до 40 000 операций ввода/вывода в секунду
Возможность увеличения емкости хранилища до 4 петабайт
Интеграция с пакетом Hitachi Data Discovery Suite для эффективной индексации и поиска контента
Поэтапная модернизация, более быстрые переключения в случае аварий; сокращение времени плановых и внеплановых простоев
Кластеризация с включением по схеме «Active-Active» до двух узлов, обеспечивающая близкий к линейному рост производительности
Кэширование операций чтения для масштабируемой обработки запросов к NFS в случае большой доли таких операций
Кластерное пространство имен в целях унифицированной структуры каталогов
До 16 миллионов объектов на каталог
До 1024 «мгновенных снимков» на каждую файловую систему
Динамическое расширение файловых систем
До 64 виртуальных серверов с уникальными идентификаторами для аутентификации в AD, LDAP или NIS
http://hnas.hds.ru
Файловое хранилище Hitachi NAS 3080. Спецификация.Hitachi Nas
Файловое хранилище Hitachi NAS 3090. Спецификация.
Сетевая система хранения данных (NAS) от Hitachi предлагает масштабируемые решения для консолидации высокопроизводительных приложений корпоративного уровня, а также расширенные функциональные возможности для решений по консолидации файловых серверов организаций среднего размера.
Ключевые особенности:
Интеллектуальное перемещение файлов по уровням хранения позволяет реализовать иерархическое управление системами хранения данных (HSM) для платформ NAS и Content Platform от Hitachi
Сетевая система хранения данных с аппаратным ускорением, обеспечивающая пропускную способность до 700 Мбайт/с для последовательных операций и до 40 000 операций ввода/вывода в секунду
Возможность увеличения емкости хранилища до 4 петабайт
Интеграция с пакетом Hitachi Data Discovery Suite для эффективной индексации и поиска контента
Поэтапная модернизация, более быстрые переключения в случае аварий; сокращение времени плановых и внеплановых простоев
Кластеризация с включением по схеме «Active-Active» до двух узлов, обеспечивающая близкий к линейному рост производительности
Кэширование операций чтения для масштабируемой обработки запросов к NFS в случае большой доли таких операций
Кластерное пространство имен в целях унифицированной структуры каталогов
До 16 миллионов объектов на каталог
До 1024 «мгновенных снимков» на каждую файловую систему
Динамическое расширение файловых систем
До 64 виртуальных серверов с уникальными идентификаторами для аутентификации в AD, LDAP или NIS
http://hnas.hds.ru
Файловое хранилище Hitachi NAS 3200. Спецификация.Hitachi Nas
Файловое хранилище Hitachi NAS 3200. Спецификация.
Сетевая система хранения данных (NAS) от Hitachi предлагает масштабируемые решения для консолидации высокопроизводительных приложений корпоративного уровня, а также расширенные функциональные возможности для решений по консолидации файловых серверов организаций среднего размера.
Ключевые особенности:
Интеллектуальное перемещение файлов по уровням хранения позволяет реализовать иерархическое управление системами хранения данных (HSM) для платформ NAS и Content Platform от Hitachi
Сетевая система хранения данных с аппаратным ускорением, обеспечивающая пропускную способность до 700 Мбайт/с для последовательных операций и до 40 000 операций ввода/вывода в секунду
Возможность увеличения емкости хранилища до 4 петабайт
Интеграция с пакетом Hitachi Data Discovery Suite для эффективной индексации и поиска контента
Поэтапная модернизация, более быстрые переключения в случае аварий; сокращение времени плановых и внеплановых простоев
Кластеризация с включением по схеме «Active-Active» до двух узлов, обеспечивающая близкий к линейному рост производительности
Кэширование операций чтения для масштабируемой обработки запросов к NFS в случае большой доли таких операций
Кластерное пространство имен в целях унифицированной структуры каталогов
До 16 миллионов объектов на каталог
До 1024 «мгновенных снимков» на каждую файловую систему
Динамическое расширение файловых систем
До 64 виртуальных серверов с уникальными идентификаторами для аутентификации в AD, LDAP или NIS
http://hnas.hds.ru
Rapid Deployment of Hadoop Development EnvironmentsAndrei Nikolaenko
Development of Hadoop-related project in DevOps culture with Hadoop distributions, management and configuration tools and modern container virtualization capabatilites
Argo Technologie SA - предоставляет петабайтномасштабируюмую систему хранения данных для облачных сервис-провайдеров и предприятий. ARGO использует коммутаторы Layer 2 Ethernet, повышая производительность сети и операционную эффективность для компаний, внедряющих динамичную, крупномасштабную, многопользовательскую среду с высокой рабочей нагрузкой
http://argotech.io/
Файловое хранилище Hitachi NAS 3090. Спецификация.Hitachi Nas
Файловое хранилище Hitachi NAS 3090. Спецификация.
Сетевая система хранения данных (NAS) от Hitachi предлагает масштабируемые решения для консолидации высокопроизводительных приложений корпоративного уровня, а также расширенные функциональные возможности для решений по консолидации файловых серверов организаций среднего размера.
Ключевые особенности:
Интеллектуальное перемещение файлов по уровням хранения позволяет реализовать иерархическое управление системами хранения данных (HSM) для платформ NAS и Content Platform от Hitachi
Сетевая система хранения данных с аппаратным ускорением, обеспечивающая пропускную способность до 700 Мбайт/с для последовательных операций и до 40 000 операций ввода/вывода в секунду
Возможность увеличения емкости хранилища до 4 петабайт
Интеграция с пакетом Hitachi Data Discovery Suite для эффективной индексации и поиска контента
Поэтапная модернизация, более быстрые переключения в случае аварий; сокращение времени плановых и внеплановых простоев
Кластеризация с включением по схеме «Active-Active» до двух узлов, обеспечивающая близкий к линейному рост производительности
Кэширование операций чтения для масштабируемой обработки запросов к NFS в случае большой доли таких операций
Кластерное пространство имен в целях унифицированной структуры каталогов
До 16 миллионов объектов на каталог
До 1024 «мгновенных снимков» на каждую файловую систему
Динамическое расширение файловых систем
До 64 виртуальных серверов с уникальными идентификаторами для аутентификации в AD, LDAP или NIS
http://hnas.hds.ru
Файловое хранилище Hitachi NAS 3080. Спецификация.Hitachi Nas
Файловое хранилище Hitachi NAS 3090. Спецификация.
Сетевая система хранения данных (NAS) от Hitachi предлагает масштабируемые решения для консолидации высокопроизводительных приложений корпоративного уровня, а также расширенные функциональные возможности для решений по консолидации файловых серверов организаций среднего размера.
Ключевые особенности:
Интеллектуальное перемещение файлов по уровням хранения позволяет реализовать иерархическое управление системами хранения данных (HSM) для платформ NAS и Content Platform от Hitachi
Сетевая система хранения данных с аппаратным ускорением, обеспечивающая пропускную способность до 700 Мбайт/с для последовательных операций и до 40 000 операций ввода/вывода в секунду
Возможность увеличения емкости хранилища до 4 петабайт
Интеграция с пакетом Hitachi Data Discovery Suite для эффективной индексации и поиска контента
Поэтапная модернизация, более быстрые переключения в случае аварий; сокращение времени плановых и внеплановых простоев
Кластеризация с включением по схеме «Active-Active» до двух узлов, обеспечивающая близкий к линейному рост производительности
Кэширование операций чтения для масштабируемой обработки запросов к NFS в случае большой доли таких операций
Кластерное пространство имен в целях унифицированной структуры каталогов
До 16 миллионов объектов на каталог
До 1024 «мгновенных снимков» на каждую файловую систему
Динамическое расширение файловых систем
До 64 виртуальных серверов с уникальными идентификаторами для аутентификации в AD, LDAP или NIS
http://hnas.hds.ru
Файловое хранилище Hitachi NAS 3200. Спецификация.Hitachi Nas
Файловое хранилище Hitachi NAS 3200. Спецификация.
Сетевая система хранения данных (NAS) от Hitachi предлагает масштабируемые решения для консолидации высокопроизводительных приложений корпоративного уровня, а также расширенные функциональные возможности для решений по консолидации файловых серверов организаций среднего размера.
Ключевые особенности:
Интеллектуальное перемещение файлов по уровням хранения позволяет реализовать иерархическое управление системами хранения данных (HSM) для платформ NAS и Content Platform от Hitachi
Сетевая система хранения данных с аппаратным ускорением, обеспечивающая пропускную способность до 700 Мбайт/с для последовательных операций и до 40 000 операций ввода/вывода в секунду
Возможность увеличения емкости хранилища до 4 петабайт
Интеграция с пакетом Hitachi Data Discovery Suite для эффективной индексации и поиска контента
Поэтапная модернизация, более быстрые переключения в случае аварий; сокращение времени плановых и внеплановых простоев
Кластеризация с включением по схеме «Active-Active» до двух узлов, обеспечивающая близкий к линейному рост производительности
Кэширование операций чтения для масштабируемой обработки запросов к NFS в случае большой доли таких операций
Кластерное пространство имен в целях унифицированной структуры каталогов
До 16 миллионов объектов на каталог
До 1024 «мгновенных снимков» на каждую файловую систему
Динамическое расширение файловых систем
До 64 виртуальных серверов с уникальными идентификаторами для аутентификации в AD, LDAP или NIS
http://hnas.hds.ru
Модернизация хранилища данных для использования передовой аналитикиYuri Yashkin
Обновление хранилища, предназначенного для обработки и анализа больших объемов данных, не должно нарушать функционирования вашей информационной среды. Благодаря низкой стоимости, высокой скорости и масштабируемости массивно-параллельной архитектуры колоночная база данных, в частности HPE Vertica, способна стать важнейшим элементом гибридной архитектуры Больших данных.
Модернизация хранилища данных для использования передовой аналитикиElizaveta Alekseeva
Устаревшее хранилище данных сильно «тормозит» и обходится слишком дорого? Даже если вам очень хочется выбросить его на помойку, не делайте этого: вы рискуете совершить не просто ошибку, а очень дорогостоящую ошибку. Просто замените платформу СУБД с построчным хранением данных на более современную – с поколоночным.
Защита данных от Dell Software: бэкап и восстановление так, как это хочет видеть бизнес
Дмитрий Крайнов, менеджер по работе с корпоративными клиентами и партнерами, Dell Software
Форум решений Dell — 2014 (Dell Solutions Forum 2014).
Москва, 14 ноября 2014 г.
Архитектура и уникальные особенности магистральной платформы Cisco NCS 6000Cisco Russia
1. Архитектура линейного шасси
2. Линейные карты для Cisco NCS6000
3. Оптические трансиверы
4. Архитектура мультистоечной конфигурации
5. Особенности операционной системы
Техносфера Mail.ru Group, МГУ им. М.В. Ломоносова.
Курс "Методы распределенной обработки больших объемов данных в Hadoop"
Видео лекции курса https://www.youtube.com/playlist?list=PLrCZzMib1e9rPxMIgPri9YnOpvyDAL9HD
DataScienceLab2017_Высокопроизводительные вычислительные возможности для сист...GeeksLab Odessa
DataScience Lab, 13 мая 2017
Высокопроизводительные вычислительные возможности для систем анализа данных
Михаил Федосеев ( Архитектор инфраструктурных решений, LanTec)
В докладе мы поговорим о hardware стороне систем анализа данных для случаев построения приватных облаков или локальных высокопроизводительных вычислительных кластеров. Рассмотрим какие технологии и комплексные решения от компании Hewlett Packard Enterprise позволяют ускорить процесс анализа данных. Это не только зарекомендовавшие в своей области лучшие в своем сегменте сервера линейки HPE Apollo, а так же высокоскоростные сетевые коммутаторы HPE, но и дополнительные вспомогательные элементы решения, такие как мощные графические карты NVIDIA и хост-процессоры Xeon Phi. Так же будет рассмотрен стек HPE Core HPC Software Stack, который позволяет администраторам контролировать использование ресурсов системы.
Все материалы доступны по ссылке: http://datascience.in.ua/report2017
Модернизация хранилища данных для использования передовой аналитикиYuri Yashkin
Обновление хранилища, предназначенного для обработки и анализа больших объемов данных, не должно нарушать функционирования вашей информационной среды. Благодаря низкой стоимости, высокой скорости и масштабируемости массивно-параллельной архитектуры колоночная база данных, в частности HPE Vertica, способна стать важнейшим элементом гибридной архитектуры Больших данных.
Модернизация хранилища данных для использования передовой аналитикиElizaveta Alekseeva
Устаревшее хранилище данных сильно «тормозит» и обходится слишком дорого? Даже если вам очень хочется выбросить его на помойку, не делайте этого: вы рискуете совершить не просто ошибку, а очень дорогостоящую ошибку. Просто замените платформу СУБД с построчным хранением данных на более современную – с поколоночным.
Защита данных от Dell Software: бэкап и восстановление так, как это хочет видеть бизнес
Дмитрий Крайнов, менеджер по работе с корпоративными клиентами и партнерами, Dell Software
Форум решений Dell — 2014 (Dell Solutions Forum 2014).
Москва, 14 ноября 2014 г.
Архитектура и уникальные особенности магистральной платформы Cisco NCS 6000Cisco Russia
1. Архитектура линейного шасси
2. Линейные карты для Cisco NCS6000
3. Оптические трансиверы
4. Архитектура мультистоечной конфигурации
5. Особенности операционной системы
Техносфера Mail.ru Group, МГУ им. М.В. Ломоносова.
Курс "Методы распределенной обработки больших объемов данных в Hadoop"
Видео лекции курса https://www.youtube.com/playlist?list=PLrCZzMib1e9rPxMIgPri9YnOpvyDAL9HD
DataScienceLab2017_Высокопроизводительные вычислительные возможности для сист...GeeksLab Odessa
DataScience Lab, 13 мая 2017
Высокопроизводительные вычислительные возможности для систем анализа данных
Михаил Федосеев ( Архитектор инфраструктурных решений, LanTec)
В докладе мы поговорим о hardware стороне систем анализа данных для случаев построения приватных облаков или локальных высокопроизводительных вычислительных кластеров. Рассмотрим какие технологии и комплексные решения от компании Hewlett Packard Enterprise позволяют ускорить процесс анализа данных. Это не только зарекомендовавшие в своей области лучшие в своем сегменте сервера линейки HPE Apollo, а так же высокоскоростные сетевые коммутаторы HPE, но и дополнительные вспомогательные элементы решения, такие как мощные графические карты NVIDIA и хост-процессоры Xeon Phi. Так же будет рассмотрен стек HPE Core HPC Software Stack, который позволяет администраторам контролировать использование ресурсов системы.
Все материалы доступны по ссылке: http://datascience.in.ua/report2017
Андрей Николаенко, IBS. Гиперконвергентная инфраструктура: миграция, технико-...IBS
Материалы выступления, Андрея Николаенко, архитектора в компании IBS, на конференции "Цифровая Индустрия Промышленной России" (ЦИПР), которая прошла в Иннополисе в июне 2016 года.
Корпоративный Linux: осваиваем с нуля Red Hat Enterprise LinuxSkillFactory
Никита Войтов – ведущий инструктор SkillFactory по направлению Linux – об особенностях и преимуществах корпоративного стандарта ОС Linux – Red Hat Enterprise.
Андрей Николаенко, IBS. NVMf: 5 млн IOPS по сети своими рукамиIBS
Андрей Николаенко, системный архитектор в IBS, выступил на конференции HighLoad++ 2016.
Тезисы
В выпуске 4.8 ядра Linux появилась поддержка NVMf (NVM Express over Fabrics) — стандартизованной возможности присоединять по сети как блочные устройства твердотельные накопители, установленные в разъёмы PCI Express. NVMf лишён многих недостатков iSCSI, повторяющего по сети SCSI-команды со всеми их издержками времён дисковых накопителей, и главное — позволяет по полной использовать возможности сетей с прямым доступом к оперативной памяти (RDMA). Таким образом, можно под управлением одного узла собрать сверхбыстрый и сверхотзывчивый пул блочных устройств, не прибегая к покупке дорогого флэш-массива. Но как воспользоваться этим пулом, не загубив теоретические показатели программными обёртками?
В докладе будут рассмотрены варианты применения NVMf для различных конфигураций PostgreSQL, Oracle Database, Hadoop, файловых хранилищ, о разработках в направлении «программно-определяемой памяти» с применением NVMe-устройств, доступных по сети, обсуждены текущие проблемы, ограничения и перспективы. Особое внимание будет уделено практическим способам измерения производительности ввода-вывода с учётом задачи, решаемой подсистемой хранения.
NVMf: 5 млн IOPS по сети своими руками / Андрей Николаенко (IBS)Ontico
В выпуске 4.8 ядра Linux появилась поддержка NVMf (NVM Express over Fabrics) — стандартизованной возможности присоединять по сети как блочные устройства твердотельные накопители, установленные в разъёмы PCI Express. NVMf лишён многих недостатков iSCSI, повторяющего по сети SCSI-команды со всеми их издержками времён дисковых накопителей, и главное — позволяет по полной использовать возможности сетей с прямым доступом к оперативной памяти (RDMA). Таким образом, можно под управлением одного узла собрать сверхбыстрый и сверхотзывчивый пул блочных устройств, не прибегая к покупке дорогого флэш-массива. Но как воспользоваться этим пулом, не загубив теоретические показатели программными обёртками?
В докладе будут рассмотрены варианты применения NVMf для различных конфигураций PostgreSQL, Oracle Database, Hadoop, файловых хранилищ, о разработках в направлении «программно-определяемой памяти» с применением NVMe-устройств, доступных по сети, обсуждены текущие проблемы, ограничения и перспективы. Особое внимание будет уделено практическим способам измерения производительности ввода-вывода с учётом задачи, решаемой подсистемой хранения.
СУБД Firebird: Краткий обзор, Дмитрий Еманов (in Russian)Alexey Kovyazin
Небольшая презентация Дмитрия Еманова, ведущего разработчика Firebird, посвящена обзору СУБД Firebird, в том числе текущему состоянию и планам развития.
Новые модели серверов DEPO Storm на базе Intel Xeon. Практический опыт постро...DEPO Computers
Андрей Состин, руководитель направления по серверной продукции компании DEPO Computers, представил обзор линейки серверов DEPO Storm и более подробно рассказал о специальных моделях серверов компании DEPO Computers, разработанных для применения в первой российской конвергентной вычислительной платформе СКАЛА-Р.
Вычислительная инфраструктура без американских производителей: реалии и возмо...КРОК
Семинар «Вендорозамещение на 100%: инфраструктура, телеком и все-все-все»
http://www.croc.ru/action/detail/50595/
Презентация Антона Семчишена, менеджера по продвижению комплексных решений компании КРОК
DBMS benchmarking overview and trends for Moscow ACM SIGMOD ChapterAndrei Nikolaenko
This document discusses database benchmarking and provides an overview of trends and benchmarks. It begins with a discussion of the early TPC-A and TPC-B benchmarks and introduces the more complex TPC-C benchmark. It then summarizes several other TPC benchmarks including TPC-H, TPC-E, and proposed but obsolete benchmarks. It also discusses new types of benchmarks for workloads like MapReduce, graphs, and atomic operations. Finally, it briefly introduces some open-source "pocket tools" that can run simple benchmarks.
Cloud Databases, Database-as-a-Service: definition, architecture solutions, controversy, influence techonologies, tendencies, prospectives, history, taxonomy, vendors and service providers, research and researchers
2. Полюса представлений
о машинах баз данных
“Уникальное
разработанное
hi-end-оборудование
и заточенный под
него софт”
“Ещё один способ для
вендоров по привязке
и повышению
ценника на
стандартном железе
и стандартном
софте”
“Всего лишь
сбалансированная
конфигурация под
конкретную СУБД,
способ снижения
издержек за счёт
стандартизации”
7. Облачный подход к таксономии
приложения
платформы
инфраструктура
Фундаментальные вычислительные ресурсы (ЦПУ,
память, ресурсы хранения, ОС…)
Средства для создания и обеспечения
работы приложений (СУБД,
связующее ПО, средства разработки,
среды выполнения…)
Приложения
8. Интегрированные системы
$ 5,9 млрд
$ 3,5 млрд
$373
млн
Integrated
infrastructure
Integrated
platform
Hyperconverged
systems
Database
machines
Данные IDC на 2015 год
9. Термины
Database machine == Database appliance
MPP appliance
Data warehouse
appliance
Hadoop
appliance
Integrated
platform
“Массово-
параллельный
комплекс”
Integrated system == Engineered system
10. “Integratedplatform”
OLTP
Exadata Xx-8
Pure for
Trans.
DAAD
СУБД общего
назначения
Exadata Xx-2
Fusion
Cube / DB
MPP-СУБД
EDW
Netezza
Greenplum
DB
Vertica
MPP-СУБД+
Hadoop
Aster
Greenplum
DCA
Hadoop on
DAS
Big Data
Appliance
for Hadoop
Hadoop
+ NAS
Greenplum
HD
+
EMC
2
Isilon
Data
Engine for
Analytics
In-memory
1 узел
Hana
Classic
Exalytics
BLU
In-memory
кластерный
Hana Scale-
Out
NumaQ
IMM/H
Серверы
приложений
Exalogic
Pure
Application
R D B M S B i g D a t a I M C
М а ш и н ы б а з д а н н ы х
12. Teradata
• группа узлов, в рамках которых переподключаемы
дисковые группы – область отказоустойчивости
К л и к а
Clique
• x86-машина под управлением SuSE
• в каждой клике может быть один узел под горячий
резерв
У з е л
Node
• Межсоединение между узламиB Y N e t
Banyan Network
• группа процессов, отвечающих за разбор
запросов и раздачу параллельных заданий
PE
parsing engine
• единица параллелизма
• группа процессов, работающая с
выделенной дисковой группой
AMP
access module processor
• Подключённая по FC группа
накопителейДисковая группа
2 (max 10) на узел,
120 сессий на PE
2 Infiniband-
коммутатора
1–4 на клику,
до 512 на кластер
1 на шкаф
4–20 на узел
(max 128 на узел)
13. Netezza
Шкаф
• 1…8 на кластер
SMP-host
• x86-узел, RHEL
• 1…2 на кластер
Сниппет-блейд
• x86-узел, RHEL
Сниппет-ПЛИС
• Xilinx Virtex 6
• 2 на сниппет-блейд
• Обрабатывает весь
ввод-вывод к своей
дисковой группе
Диски
• Сгруппированы в
RAID1-группы
• Напрямую
подключены через
ПЛИС в cниппеты
Операции на ПЛИС:
Snippet – единица параллелизма
…на ЦПУ:
A[symmetric]MPP
15. Dell DAAD
x86-стройблок для узлов СУБД и
узлов хранения
• Dell PowerEdge, 2 × Xeon E5
Три вида сетевых технологий
• 10G
• FC в межсети для ASM
• Infiniband для соединения узлов
хранения
Fusion-io ION на узлах хранения
16. Oracle Big Data Appliance &
Teradata Appliance for Hadoop
18×2×CPU x86
• 12×8TB JBOD в каждом
Infiniband/QDR
• Межсоединение IPoIB
• Соединяемость с Exadata
Предустановленный софт
• Cloudera Data Hub Edition
• Oracle Table Access for Hadoop
• Oracle NoSQL CE
• Oracle R Enterprise
• ….
18×2×CPU x86
• 12×8TB JBOD в каждом
BYNet [Infiniband/QDR]
• Межсоединение IPoIB
• Соединяемость с Teradata
Предустановленный софт
• Cloudera CDH или Hortonworks
17. Dell-EMC DCA & Isilon
Greenplum appliance (DB only)
EMC Greenplum Data Computing
Appliance (+Hadoop, 2013)
EMC Data Computing Appliance
(2015)
NAS,
доступный по HDFS
18. SAP Hana
Scale-up
• Один узел
• Для ERP
• Много ОЗУ
• Много ЦПУ
Scale-out
• Много узлов
• Для BW, аналитики…
• С марта 2017 – и для
S4/Hana
Некоторые базовые условия
Xeon E7
Есть системы на
IBM Power
Фактически: сертифицированные
на стороне SAP некоторые
аппаратные платформы
19. Резидентные вычисления «в железе»
OLTP-
SQL
MOLAP BI Data
Discovery
Stats Apps OLTP-
NoSQL
Hadoop
Hana in-memory database
DB 12c
(Timesten)
MonetDB
Essbase
KXen
OBIEE
RevolutionR
Полиматика
SAP S/4
Endeca
Vora
(Spark)
Spark
Spark
Spark
DB2 BLU
R
(DB option)
Hyperion
R
PAL R
Hana
Exalytics
BLU
NumaQ
Скала-СР /
Аналатика
IMM/H
20. Характерные организации скелета
Гиперконвергенция
• Универсальный строительный блок
• Каждый узел выполняет работу по хранению
и обработке
Дезагрегация
• Узлы обработки
• Узлы хранения
• Специальный протокол общения
21. Основные анатомические признаки
n × [Commodity x86]
как строительный
блок
Infiniband/RDMA
[часто – просто 10G]
FPGA
[редко]
Программные
добавки, программная
определеяемость
Без единых точек отказа,
дублирование компонентов,
самолечение
[не всегда и не во всём]
Pre-configured,
self-managed,
DBaaS off-the-shelf
22. InfinibandиFPGA
OLTP
Exadata Xx-8
Pure for
Trans.
DAAD
СУБД общего
назначения
Exadata Xx-2
Fusion
Cube / DB
MPP-СУБД
EDW
Netezza
Greenplum
DB
Vertica
MPP-СУБД+
Hadoop
Aster
Greenplum
DCA
Hadoop on
DAS
Big Data
Appliance
for Hadoop
Hadoop
+ NAS
Greenplum
HD
+
EMC
2
Isilon
Data
Engine for
Analytics
In-memory
1 узел
Hana
Classic
Exalytics
BLU
In-memory
кластерный
Hana Scale-
Out
NumaQ
IMM/H
Серверы
приложений
Exalogic
Pure
Application
R D B M S B i g D a t a I M C
М а ш и н ы б а з д а н н ы х
23. OLTP
Exadata Xx-8
Pure for
Trans.
DAAD
СУБД общего
назначения
Exadata Xx-2
Fusion
Cube / DB
MPP-СУБД
EDW
Netezza
Greenplum
DB
Vertica
MPP-СУБД+
Hadoop
Aster
Greenplum
DCA
Hadoop on
DAS
Big Data
Appliance
for Hadoop
Hadoop
+ NAS
Greenplum
HD
+
EMC
2
Isilon
Data
Engine for
Analytics
In-memory
1 узел
Hana
Classic
Exalytics
BLU
In-memory
кластерный
Hana Scale-
Out
NumaQ
IMM/H
Серверы
приложений
Exalogic
Pure
Application
R D B M S B i g D a t a I M C
М а ш и н ы б а з д а н н ы х
InfinibandиFPGA
24. Архитектурный континуум
Поддерживаемые
инфраструктурные
компоненты
• “Linux x86-64”
• “10GbE”
Рекомендуемое
оборудование и
рекомендованные
параметры
• “2×CPU, HW RAID”
• “CentOS 6.5…”
• kernel.shmmax = xxx
• DB_BLOCK_SIZE=4k…
Референтная
архитектура
• “3×PowerEdge…”
• “Cisco Nexus”
Машина
баз
данных
31. OLTP
Exadata Xx-8
Pure for
Trans.
DAAD
СУБД общего
назначения
Exadata Xx-2
Fusion
Cube / DB
MPP-СУБД
EDW
Netezza
Greenplum
DB
Vertica
MPP-СУБД+
Hadoop
Aster
Greenplum
DCA
Hadoop on
DAS
Big Data
Appliance
for Hadoop
Hadoop
+ NAS
Greenplum
HD
+
EMC
2
Isilon
Data
Engine for
Analytics
In-memory
1 узел
Hana
Classic
Exalytics
BLU
In-memory
кластерный
Hana Scale-
Out
NumaQ
IMM/H
Серверы
приложений
Exalogic
Pure
Application
R D B M S B i g D a t a I M C
М а ш и н ы б а з д а н н ы х
ВетвленияPostgreSQL
32. ВетвленияPostgreSQL
OLTP
Exadata Xx-8
Pure for
Trans.
DAAD
СУБД общего
назначения
Exadata Xx-2
Fusion
Cube / DB
MPP-СУБД
EDW
Netezza
Greenplum
DB
Vertica
MPP-СУБД+
Hadoop
Aster
Greenplum
DCA
Hadoop on
DAS
Big Data
Appliance
for Hadoop
Hadoop
+ NAS
Greenplum
HD
+
EMC
2
Isilon
Data
Engine for
Analytics
In-memory
1 узел
Hana
Classic
Exalytics
BLU
In-memory
кластерный
Hana Scale-
Out
NumaQ
IMM/H
Серверы
приложений
Exalogic
Pure
Application
R D B M S B i g D a t a I M C
М а ш и н ы б а з д а н н ы х
33. MPP-машины первой половины 2000-х
(на пятидесятимиллионном рынке)
Netezza Datallegro Greenplum ParAccel
Возникновение
2002 2003 2003 2005
Строительный
блок «Сниппет»
[PowerPC + FPGA]
Dell PowerEdge
[x86]
Sun Fire на AMD
[x86]
“Blade cluster”
[x86]
Кодовая база
PostgreSQL Ingres PostgreSQL PostgreSQL
Поглощение 2013
IBM
2008
Microsoft
2010
EMC
2011
Actian
Современность IBM Pure Data for
Analytics
Microsoft SQL
Server PDW
Dell-EMC-Pivotal
Greenplum DB
Amazon RedShift
35. Угол Постгреса (и Ингреса)
И с т о р и я м а ш и н б а з д а н н ы х
к а к ч а с т ь м и р о в о й и с т о р и и С У Б Д
Изображение: Hasso Plattner Institute, CC-BY-SA, 2015
36. Datallegro на стыке семейств
Изображение:HassoPlattnerInstitute,CC-BY-SA,2015
38. Сталисофтом…
OLTP
Exadata Xx-8
Pure for
Trans.
DAAD
СУБД общего
назначения
Exadata Xx-2
Fusion
Cube / DB
MPP-СУБД
EDW
Netezza
Greenplum
DB
Vertica
MPP-СУБД+
Hadoop
Aster
Greenplum
DCA
Hadoop on
DAS
Big Data
Appliance
for Hadoop
Hadoop
+ NAS
Greenplum
HD
+
EMC
2
Isilon
Data
Engine for
Analytics
In-memory
1 узел
Hana
Classic
Exalytics
BLU
In-memory
кластерный
Hana Scale-
Out
NumaQ
IMM/H
Серверы
приложений
Exalogic
Pure
Application
R D B M S B i g D a t a I M C
М а ш и н ы б а з д а н н ы х
39. OLTP
Exadata Xx-8
Pure for
Trans.
DAAD
СУБД общего
назначения
Exadata Xx-2
Fusion
Cube / DB
MPP-СУБД
EDW
Netezza
Greenplum
DB
Vertica
MPP-СУБД+
Hadoop
Aster
Greenplum
DCA
Hadoop on
DAS
Big Data
Appliance
for Hadoop
Hadoop
+ NAS
Greenplum
HD
+
EMC
2
Isilon
Data
Engine for
Analytics
In-memory
1 узел
Hana
Classic
Exalytics
BLU
In-memory
кластерный
Hana Scale-
Out
NumaQ
IMM/H
Серверы
приложений
Exalogic
Pure
Application
R D B M S B i g D a t a I M C
М а ш и н ы б а з д а н н ы х
Сталисофтом…
47. Естьвоблаке
OLTP
Exadata Xx-8
Pure for
Trans.
DAAD
СУБД общего
назначения
Exadata Xx-2
Fusion
Cube / DB
MPP-СУБД
EDW
Netezza
Greenplum
DB
Vertica
MPP-СУБД+
Hadoop
Aster
Greenplum
DCA
Hadoop on
DAS
Big Data
Appliance
for Hadoop
Hadoop
+ NAS
Greenplum
HD
+
EMC
2
Isilon
Data
Engine for
Analytics
In-memory
1 узел
Hana
Classic
Exalytics
BLU
In-memory
кластерный
Hana Scale-
Out
NumaQ
IMM/H
Серверы
приложений
Exalogic
Pure
Application
R D B M S B i g D a t a I M C
М а ш и н ы б а з д а н н ы х
48. Естьвоблаке
OLTP
Exadata Xx-8
Pure for
Trans.
DAAD
СУБД общего
назначения
Exadata Xx-2
Fusion
Cube / DB
MPP-СУБД
EDW
Netezza
Greenplum
DB
Vertica
MPP-СУБД+
Hadoop
Aster
Greenplum
DCA
Hadoop on
DAS
Big Data
Appliance
for Hadoop
Hadoop
+ NAS
Greenplum
HD
+
EMC
2
Isilon
Data
Engine for
Analytics
In-memory
1 узел
Hana
Classic
Exalytics
BLU
In-memory
кластерный
Hana Scale-
Out
NumaQ
IMM/H
Серверы
приложений
Exalogic
Pure
Application
R D B M S B i g D a t a I M C
М а ш и н ы б а з д а н н ы х
49. Oracle cloud machine
То же оборудование, но в собственности Oracle
То же ПО, но в собственности Oracle
Устанавливается в ЦОД заказчика
Выделенное подключение к Oracle Corp.
Цены – как за публично-
облачную подписку
50. Teradata: стандартнее, гибче, виртуальнее
Teradata on VMWare Aster Data on VMWare
T[eradta]
OS
TOS
Windows
Linux
SuSE
Linux
IntelliFlex
плотнее, стройблоки атомарнее
56. Покупатели Exadata
И снова Apple
для AppStore
Allegro Group
LinkShare
(онлайн-
маркетинг)
TargetBase
(онлайн-
реклама
Промышленность и
энергетика
Госсектор
Банки
но также….
57. Pro – contra для клиентов
(общего характера)
Предкон-
фигурированное
Понятная
производительность
(проверить на готовом)
…не нужно
проектировать
“привезли –
включили –
работает”
Одно окно
Проверка на стороне
одного
производителя
Уже не скажут:
«а это не мы, а ОС
(гипервизор, СХД…)»
…
Vendor
Lock-in
Запчасти –
от единственного
производителя
Ограниченный
манёвр по
поставщику
Сложности
миграции
Цены
…
59. Exadata on AWS
Доступно для
скачивания
Oracle
Database
Exadata
Storage
Software
Сообщения о
запуске на
AWS
Сообщения
о запуске с
Infiniband-
сетью
В целом –
успешные
...с
особенностями
Нелега льно, но …
…и уже не чёр ный ящик
60. Скала-СР / Oracle DB
DB #1 DB #2
Quorum, СРК
DB #1 DB #2 DB #3
IB #1 IB #2
DB #1 DB #2
IB #1 IB #2
Cell #1 Cell #2 Cell #3
Infiniband/RDMA
NVMe-устройства
– напрямую в
ASM
[iSER → NVMf]
Flashgrid для
управления
устройствами в
ASM
100, SE2
500
300
61. Скала-СР / Postgres Pro: Постгрес с RDMA
300 500 700
Кластер общего
назначения
Мультимастер
ROLAP без разделяемых
ресурсов
// TODO…
доставка WAL по RDMA
мастер
n синхронных реплик
m асинхронных реплик
координация по RDMA
RDMA
over
Converged
Ethernet
62. Скала-СР: с мыслью о будущем
Комплекс для Hadoop и
современных нагрузок
Пути оптимизации стоимости терабайта
(Data Lake, HDFS-enabled NAS)
Поддержка резидентных вычислений
(Spark, in-memory-NoSQL)
Федерация SQL-on-[MPP, Hadoop]
Кластер с графическими ускорителями
Адаптация новых
аппаратных технологий
NVMe over Fabrics
GPGPU
Вычисления на сетевых картах
3D Xpoint
Унификация линеек
Hyperconverged node
Storage node
Compute node
63. Из веба – в Enterprise
Технологии, отлаженные в веб-масштабе
….востребованы в Enterprise-
секторе на самых
интенсивных участках
…требуют адаптации к
специфическим показателям
назначения
…кандидаты на доработку для
упаковки в машины баз
данных
Машины баз данных –
изначально «веб-масштабны»
Узлы массового класса
Горизонтальная
масштабируемость
Гиперконвергенция и
дезагрегация
Машины баз данных –
конструкции, трудно осуществимые в стандартном случае
“5,5 млн SQL IOPS
на недорогих x86-узлах”
“Десять синхронных реплик, не «кладущих»
мастер”