Доклад А.Левенчука "Системное мышление за пределами инженерии и менеджмента. Пример: системный фитнес" на конференции "Системный менеджмент" Школы системного менеджмента и Русского отделения INCOSE, 16 апреля 2017г.
Андрей Николаенко, IBS. NVMf: 5 млн IOPS по сети своими рукамиIBS
Андрей Николаенко, системный архитектор в IBS, выступил на конференции HighLoad++ 2016.
Тезисы
В выпуске 4.8 ядра Linux появилась поддержка NVMf (NVM Express over Fabrics) — стандартизованной возможности присоединять по сети как блочные устройства твердотельные накопители, установленные в разъёмы PCI Express. NVMf лишён многих недостатков iSCSI, повторяющего по сети SCSI-команды со всеми их издержками времён дисковых накопителей, и главное — позволяет по полной использовать возможности сетей с прямым доступом к оперативной памяти (RDMA). Таким образом, можно под управлением одного узла собрать сверхбыстрый и сверхотзывчивый пул блочных устройств, не прибегая к покупке дорогого флэш-массива. Но как воспользоваться этим пулом, не загубив теоретические показатели программными обёртками?
В докладе будут рассмотрены варианты применения NVMf для различных конфигураций PostgreSQL, Oracle Database, Hadoop, файловых хранилищ, о разработках в направлении «программно-определяемой памяти» с применением NVMe-устройств, доступных по сети, обсуждены текущие проблемы, ограничения и перспективы. Особое внимание будет уделено практическим способам измерения производительности ввода-вывода с учётом задачи, решаемой подсистемой хранения.
NVMf: 5 млн IOPS по сети своими руками / Андрей Николаенко (IBS)Ontico
В выпуске 4.8 ядра Linux появилась поддержка NVMf (NVM Express over Fabrics) — стандартизованной возможности присоединять по сети как блочные устройства твердотельные накопители, установленные в разъёмы PCI Express. NVMf лишён многих недостатков iSCSI, повторяющего по сети SCSI-команды со всеми их издержками времён дисковых накопителей, и главное — позволяет по полной использовать возможности сетей с прямым доступом к оперативной памяти (RDMA). Таким образом, можно под управлением одного узла собрать сверхбыстрый и сверхотзывчивый пул блочных устройств, не прибегая к покупке дорогого флэш-массива. Но как воспользоваться этим пулом, не загубив теоретические показатели программными обёртками?
В докладе будут рассмотрены варианты применения NVMf для различных конфигураций PostgreSQL, Oracle Database, Hadoop, файловых хранилищ, о разработках в направлении «программно-определяемой памяти» с применением NVMe-устройств, доступных по сети, обсуждены текущие проблемы, ограничения и перспективы. Особое внимание будет уделено практическим способам измерения производительности ввода-вывода с учётом задачи, решаемой подсистемой хранения.
Мы покажем, как можно перенести разработанные алгоритмы для работы с Big Data с минимальными изменениями исходных программ. Рассмотрим возможности по распараллеливанию счета на многоядерных процессорах (вычислительных кластерах) и графических процессорах, поддерживающих CUDA.
Доклад А.Левенчука "Системное мышление за пределами инженерии и менеджмента. Пример: системный фитнес" на конференции "Системный менеджмент" Школы системного менеджмента и Русского отделения INCOSE, 16 апреля 2017г.
Андрей Николаенко, IBS. NVMf: 5 млн IOPS по сети своими рукамиIBS
Андрей Николаенко, системный архитектор в IBS, выступил на конференции HighLoad++ 2016.
Тезисы
В выпуске 4.8 ядра Linux появилась поддержка NVMf (NVM Express over Fabrics) — стандартизованной возможности присоединять по сети как блочные устройства твердотельные накопители, установленные в разъёмы PCI Express. NVMf лишён многих недостатков iSCSI, повторяющего по сети SCSI-команды со всеми их издержками времён дисковых накопителей, и главное — позволяет по полной использовать возможности сетей с прямым доступом к оперативной памяти (RDMA). Таким образом, можно под управлением одного узла собрать сверхбыстрый и сверхотзывчивый пул блочных устройств, не прибегая к покупке дорогого флэш-массива. Но как воспользоваться этим пулом, не загубив теоретические показатели программными обёртками?
В докладе будут рассмотрены варианты применения NVMf для различных конфигураций PostgreSQL, Oracle Database, Hadoop, файловых хранилищ, о разработках в направлении «программно-определяемой памяти» с применением NVMe-устройств, доступных по сети, обсуждены текущие проблемы, ограничения и перспективы. Особое внимание будет уделено практическим способам измерения производительности ввода-вывода с учётом задачи, решаемой подсистемой хранения.
NVMf: 5 млн IOPS по сети своими руками / Андрей Николаенко (IBS)Ontico
В выпуске 4.8 ядра Linux появилась поддержка NVMf (NVM Express over Fabrics) — стандартизованной возможности присоединять по сети как блочные устройства твердотельные накопители, установленные в разъёмы PCI Express. NVMf лишён многих недостатков iSCSI, повторяющего по сети SCSI-команды со всеми их издержками времён дисковых накопителей, и главное — позволяет по полной использовать возможности сетей с прямым доступом к оперативной памяти (RDMA). Таким образом, можно под управлением одного узла собрать сверхбыстрый и сверхотзывчивый пул блочных устройств, не прибегая к покупке дорогого флэш-массива. Но как воспользоваться этим пулом, не загубив теоретические показатели программными обёртками?
В докладе будут рассмотрены варианты применения NVMf для различных конфигураций PostgreSQL, Oracle Database, Hadoop, файловых хранилищ, о разработках в направлении «программно-определяемой памяти» с применением NVMe-устройств, доступных по сети, обсуждены текущие проблемы, ограничения и перспективы. Особое внимание будет уделено практическим способам измерения производительности ввода-вывода с учётом задачи, решаемой подсистемой хранения.
Мы покажем, как можно перенести разработанные алгоритмы для работы с Big Data с минимальными изменениями исходных программ. Рассмотрим возможности по распараллеливанию счета на многоядерных процессорах (вычислительных кластерах) и графических процессорах, поддерживающих CUDA.
Новые модели серверов DEPO Storm на базе Intel Xeon. Практический опыт постро...DEPO Computers
Андрей Состин, руководитель направления по серверной продукции компании DEPO Computers, представил обзор линейки серверов DEPO Storm и более подробно рассказал о специальных моделях серверов компании DEPO Computers, разработанных для применения в первой российской конвергентной вычислительной платформе СКАЛА-Р.
Usually, software engineering changes appear with a 10-15 year lag in systems engineering as a general practice. Therefore we can reliably predict what will be changed in the systems engineering mainstream in the nearest future and perform these practices today rather than tomorrow. There are a lot of changes: systems architecture established itself as a new separate discipline that deals with -ilities as architectural concerns/characteristics, requirements engineering disappears, manufacturing operates by developers (DevOps concept), and ubiquitous usage of continuous development and continuous delivering principles. The presentation gives an overview of these changes reflected in the "Systems engineering 2022" textbook published by Anatoly Levenchuk a couple of months ago.
Слайды лекции по современной методологии в составе интеллект-стека как идущей на смену праксиологии, на базе которой были сделаны наработки австрийской школы экономики.
Доклад А.Левенчука "SysArchi -- системное моделирование в ArchiMate 3.0" на семинаре "Дни инженерии организаций" факультета информатики, математики и компьютерных наук НИУ ВШЭ. Москва-Нижний Новгород, 11 сентября 2018
Доклад Марка Акоева (Уральский федеральный университет) "Системная динамика как вид системного мышления" на 119 заседании Русского отделения INCOSE, 26 октября 2016г.
Talk of Ali Mousavi "Event-Modelling An Engineering Solution for Control and Analysis of Complex Systems" at 116th regular meeting of INCOSE Russian chapter, 14-Sep-2016
2. [Тут обычно делают нудный рассказ, почему
для аналитики больших данных нужна
большая скорость вычислений]
• Во-первых, …
• Во-вторых, …
• …
• Лучше быть здоровым и богатым, чем
бедным и больным.
С быстрыми (x1000) и
дешёвыми (x40)
вычислениями
невозможное становится
возможным.
2
Типичный график сравнения производительности
с участием аппаратного ускорения
https://www.mapd.com/
3. Платформенный стек аналитики больших данных
3
Платформа приложений
АНАЛИТИКА БОЛЬШИХ ДАННЫХ ТУТ
Аналитические фреймворки
СУБД
CPU Оптимизаторы (драйверы)
GPU/ FPGA
Устройства
GPU/FPGA
Подрывноеобепечение
Подрывнойспрос
Спасибо играющим в компьютерные игры за их подрывной
спрос, который дал нам такое подрывное обеспечение как GPU
COMMODITY
4. Кто работает с FPGA? Реляционщики!
Ryft
Netezza
Swarm64
4
Scalable Data Accelerator (SDA)
PCIe card: от x10 на
IBM PureData System for Analytics
Ryft One, Ryft Cloud --up to x200
5. IBM PureData System for Analytics
Технология Netezza (c 1999 года): The appliance integrates through
standard ODBC, JDBC and OLE DB interfaces. FPGAs are used for data
decompression, data filtering and early SQL projections and restrictions.
5https://www.ibm.com/us-en/marketplace/puredata-system-for-analytics/
6. Неожиданность: GPU GPGPU
6
• 2009 – Fermi architecture у NVIDIA, CUDA-архитектура
• 2011 – придумали ускорять deep learning на CUDA
• 2012 – придумали ускорять базы данных на CUDA
• 2017 – Volta architecture: 5120 CUDA Cores, 16GB HBM2@900GB/s, 300GB/s NVLink
• Бонус: интеграция с IBM Power8 (OpenPOWER): brings x3 faster moving data
s
TESLA V100
8. GPU и реляционные базы данных
MapD
PG-Strom
Kinetica
SQReam
Brytlyt
BlazingDB 8
In-database analytics:
• Deep learning in-database: уже есть!
Очень быстрые:
• x300 по сравнению с «традиционными»
• x50 по сравнению с in-memory
• x5 по сравнению с кластерами
https://www.kinetica.com/blog/tensorflow-distributed-deep-learning/
9. Графовые базы: становятся уместны
9
Графовые базы:
• Лучше реляционных, но
• Плохо масштабируются на CPU
• Медленней реляционных x10
С GPU они:
• быстрее CPU решений x700-x1800
• x40 дешевле на 1G traverse
Edges/sec
https://www.blazegraph.com
10. Худшие продукты на рынке?
• We verified these technologies can provide faster
queries with cheaper infrastructures than usual CPU-
based alternatives. Specially for typical “Select …
where … group by…” clauses with variable filters and
aggregations. However funcionality is actually quite
limited and not enough robust for our requirements.
And we’ve got significant problems with complex
queries.
https://labs.beeva.com/gpus-and-analytical-databases-the-beginning-of-a-beautiful-friendship-8f5e590601c5
10
11. Дилемма инноватора: бойтесь худших продуктов!
(Clayton Christensen из Гарварда)
11
Х
а
р
а
к
т
е
р
и
с
т
и
к
и
Время
Характеристики
лучших продуктов
На рынке
Характеристики
худших продуктов
на рынке
http://web.mit.edu/6.933/www/Fall2000/teradyne/clay.html