Build private clouds with ProxmoxVE distributiveДима Ванькевич
Specifics and purposefullness of private cloud usage is discussed. Demands to the cloud are reviewed, as one one of the possible solutions, based on the Proxmox Virtual Environment distributive.
http://summer.lvee.org/en/articles/281
Вычислительная инфраструктура без американских производителей: реалии и возмо...КРОК
Семинар «Вендорозамещение на 100%: инфраструктура, телеком и все-все-все»
http://www.croc.ru/action/detail/50595/
Презентация Антона Семчишена, менеджера по продвижению комплексных решений компании КРОК
Build private clouds with ProxmoxVE distributiveДима Ванькевич
Specifics and purposefullness of private cloud usage is discussed. Demands to the cloud are reviewed, as one one of the possible solutions, based on the Proxmox Virtual Environment distributive.
http://summer.lvee.org/en/articles/281
Вычислительная инфраструктура без американских производителей: реалии и возмо...КРОК
Семинар «Вендорозамещение на 100%: инфраструктура, телеком и все-все-все»
http://www.croc.ru/action/detail/50595/
Презентация Антона Семчишена, менеджера по продвижению комплексных решений компании КРОК
Сложности и специфика построения систем раздачи адалт видео контентаUP2IT
UP2IT 2017, DEV&QA Stream 1
Володимир Смірнов, Managing Director, Apptimized Operations (Суми)
"Складнощі і специфіка побудови систем роздачі адалт контенту"
HDD, SSD, RAM, RAID, и кого на ком кэшировать / Михаил Конюхов (Perfect Solut...Ontico
Рассуждение, опыт, практика и примеры на тему производительности ввода-вывода.
Мы будем сравнивать "дефолтное" поведение SSD и HDD, сравним "недефолтное" поведение после тюнинга HDD. Я расскажу о плюсах и минусах в надежности HDD и SSD, о проблемах восстановления SSD и HDD после сбоев. Многие моменты будут посвящены кэшированию ввода-вывода, что очень помогает в реальных проектах.
Отдельная тема - оптимизация ФС и сервера для снижения количества операций ввода-вывода (IOPS), попробую оценить, что можно сделать с каким-нибудь проектом-примером.
Будут показаны и рассказаны реальные примеры из моего опыта оптимизации IO, я даже нарисую "карту принятия решения" для выбора накопителей для Вашего проекта.
Андрей Николаенко, IBS. NVMf: 5 млн IOPS по сети своими рукамиIBS
Андрей Николаенко, системный архитектор в IBS, выступил на конференции HighLoad++ 2016.
Тезисы
В выпуске 4.8 ядра Linux появилась поддержка NVMf (NVM Express over Fabrics) — стандартизованной возможности присоединять по сети как блочные устройства твердотельные накопители, установленные в разъёмы PCI Express. NVMf лишён многих недостатков iSCSI, повторяющего по сети SCSI-команды со всеми их издержками времён дисковых накопителей, и главное — позволяет по полной использовать возможности сетей с прямым доступом к оперативной памяти (RDMA). Таким образом, можно под управлением одного узла собрать сверхбыстрый и сверхотзывчивый пул блочных устройств, не прибегая к покупке дорогого флэш-массива. Но как воспользоваться этим пулом, не загубив теоретические показатели программными обёртками?
В докладе будут рассмотрены варианты применения NVMf для различных конфигураций PostgreSQL, Oracle Database, Hadoop, файловых хранилищ, о разработках в направлении «программно-определяемой памяти» с применением NVMe-устройств, доступных по сети, обсуждены текущие проблемы, ограничения и перспективы. Особое внимание будет уделено практическим способам измерения производительности ввода-вывода с учётом задачи, решаемой подсистемой хранения.
Тест-драйв «Флеш СХД: битва титанов на сверхбыстрых скоростях» http://www.croc.ru/action/test-drives/42143/
Презентация Вадима Болотнова, директора центра решений КРОК на базе технологий EMC
Сложности и специфика построения систем раздачи адалт видео контентаUP2IT
UP2IT 2017, DEV&QA Stream 1
Володимир Смірнов, Managing Director, Apptimized Operations (Суми)
"Складнощі і специфіка побудови систем роздачі адалт контенту"
HDD, SSD, RAM, RAID, и кого на ком кэшировать / Михаил Конюхов (Perfect Solut...Ontico
Рассуждение, опыт, практика и примеры на тему производительности ввода-вывода.
Мы будем сравнивать "дефолтное" поведение SSD и HDD, сравним "недефолтное" поведение после тюнинга HDD. Я расскажу о плюсах и минусах в надежности HDD и SSD, о проблемах восстановления SSD и HDD после сбоев. Многие моменты будут посвящены кэшированию ввода-вывода, что очень помогает в реальных проектах.
Отдельная тема - оптимизация ФС и сервера для снижения количества операций ввода-вывода (IOPS), попробую оценить, что можно сделать с каким-нибудь проектом-примером.
Будут показаны и рассказаны реальные примеры из моего опыта оптимизации IO, я даже нарисую "карту принятия решения" для выбора накопителей для Вашего проекта.
Андрей Николаенко, IBS. NVMf: 5 млн IOPS по сети своими рукамиIBS
Андрей Николаенко, системный архитектор в IBS, выступил на конференции HighLoad++ 2016.
Тезисы
В выпуске 4.8 ядра Linux появилась поддержка NVMf (NVM Express over Fabrics) — стандартизованной возможности присоединять по сети как блочные устройства твердотельные накопители, установленные в разъёмы PCI Express. NVMf лишён многих недостатков iSCSI, повторяющего по сети SCSI-команды со всеми их издержками времён дисковых накопителей, и главное — позволяет по полной использовать возможности сетей с прямым доступом к оперативной памяти (RDMA). Таким образом, можно под управлением одного узла собрать сверхбыстрый и сверхотзывчивый пул блочных устройств, не прибегая к покупке дорогого флэш-массива. Но как воспользоваться этим пулом, не загубив теоретические показатели программными обёртками?
В докладе будут рассмотрены варианты применения NVMf для различных конфигураций PostgreSQL, Oracle Database, Hadoop, файловых хранилищ, о разработках в направлении «программно-определяемой памяти» с применением NVMe-устройств, доступных по сети, обсуждены текущие проблемы, ограничения и перспективы. Особое внимание будет уделено практическим способам измерения производительности ввода-вывода с учётом задачи, решаемой подсистемой хранения.
Тест-драйв «Флеш СХД: битва титанов на сверхбыстрых скоростях» http://www.croc.ru/action/test-drives/42143/
Презентация Вадима Болотнова, директора центра решений КРОК на базе технологий EMC
This document discusses third party patches for MySQL that provide quick wins and new features. It summarizes five such patches: 1) Slow query filtering which helps identify expensive queries, 2) Index statistics which helps determine unused indexes, 3) An InnoDB dictionary limit which constrains memory usage, 4) A global long query time setting, and 5) A "fix" for InnoDB group commit performance regressions in MySQL 5.0. The document encourages using third party patches to gain features and improvements not yet available in the MySQL core.
The document discusses three common ways to improve performance of a MySQL database that is experiencing high load:
1. Upgrade hardware by adding more RAM, faster disks, or more powerful CPUs. This provides a temporary fix but can become exponentially more expensive and does not address underlying issues.
2. Change MySQL configuration settings like tmp_table_size or sort_buffer_size to optimize for specific bottlenecks shown in global status variables, but there are no "silver bullets" and misconfigurations must be addressed.
3. Improve indexing and tune queries by addressing issues like temporary tables on disk, full table scans, and lack of indexes causing full joins or sorting, which can have long term benefits over simply adding resources
This document discusses techniques for optimizing Perl source code performance. It begins by cautioning against premature optimization and recommends first profiling code to identify actual bottlenecks. It then provides tips for different phases of optimization, starting with easy "low hanging fruit" like moving invariant expressions out of loops. Deeper changes include adding caching, changing data structures, and rewriting hot spots in C. The key messages are to measure first before optimizing and only optimize critical parts of code.
Performance Enhancements In Postgre Sql 8.4HighLoad2009
PostgreSQL 8.4 introduced several performance enhancements including optimizations to anti-joins, semi-joins, hash aggregation, and new free space map and visibility map features. It also included application-level improvements such as subqueries in LIMIT/OFFSET clauses, window functions, common table expressions, and parallel restore. Many changes provided performance benefits transparently to applications or DBAs while some required application changes to realize gains.