Метаданные для кластера: гонка key-value-героев / Руслан Рагимов, Светлана Лазарева (RAIDIX)
•
0 likes•323 views
HighLoad++ 2017 Зал Дели + Калькутта, 7 ноября, 10:00 Тезисы: http://www.highload.ru/2017/abstracts/2974.html Обзоры и сравнения key-value баз данных, коих сегодня огромное количество, пестрят обещаниями миллионов операций в секунду с менее чем миллисекундными задержками. Мы строим высокопроизводительный кластер хранения, и нам нужно где-то хранить метаданные. Одним из вариантов стали хвалёные key-value-решения. Справятся ли они с такой нагрузкой? ...
Recommended
Recommended
More Related Content
Viewers also liked
Viewers also liked (20)
Similar to Метаданные для кластера: гонка key-value-героев / Руслан Рагимов, Светлана Лазарева (RAIDIX)
Similar to Метаданные для кластера: гонка key-value-героев / Руслан Рагимов, Светлана Лазарева (RAIDIX) (20)
More from Ontico
More from Ontico (20)
Метаданные для кластера: гонка key-value-героев / Руслан Рагимов, Светлана Лазарева (RAIDIX)
- 1. Метаданные для кластера: гонка key-value героев Руслан Рагимов Светлана Лазарева
- 2. 2 О КОМПАНИИ «Рэйдикс» — ведущий российский разработчик высокопроизводительных систем хранения данных. Уникальные алгоритмы помехоустойчивого кодирования составляют ключевые преимущества создаваемого продукта.
- 3. 3 О КОМПАНИИ В области развития технологий и оптимизации решений компания «Рэйдикс» сотрудничает с ведущими экспертами отрасли и крупнейшими стратегическими партнерами по всему миру. Партнерская сеть «Рэйдикс» охватывает системных интеграторов и поставщиков более чем в 30 странах мира.
- 5. Все хотят, чтобы СХД: •Легко масштабировалась до любых размеров •Стоила недорого •Была гибкой в настройке и обслуживании •Быстро развертывалась и легко управлялась 5
- 6. • Перебалансировка кластера в приоритетном режиме: • плохо работает с большими дисками • Избыточность- репликация 6
- 7. Конфигурация кластера 12 узлов по 2 NVME диска. Linux kernel 4.9.22 собранный с поддержкой nvme и IB. Узлы соединены по Infiniband драйвера MLNX_OFED_LINUX-4.0 7
- 8. Максимальная производительность. Без отказоустойчивости. Random write 4K Random read 4K СEPH Bluestore 240K 540K MDRAID (ISER) 3180K 5160K MDRAID(SPDK) 7759K 11078K ZFS vol 180K 408K
- 9. Что нужносейчас рынку. • Быстрый NVME- RAID • Быстрый сетевой NVME- RAID 9
- 10. Рабочая нагрузка. HPC •16/32 KB IO. •Чередование запись/чтение в сотни и тысячи потоков
- 11. Рабочая нагрузка. Enterprise •8-64 KB IO. •Random read/write примерно 50/50. •Периодически Seq Read и Write в сотни потоков (Boot, Virus Scan)
- 12. Рабочая нагрузка.Media • NLE (нелинейный монтаж) Чтение и запись нескольких больших файлов параллельно • VOD (видео по запросу) Чтение множества потоков, иногда с перескоками Возможна параллельная запись в несколько потоков • Транскодинг 16-128 KB random R/W 50/50
- 13. Требования • Основной сценарий доступа - Случайные r/w • Размер блоков 8-64kb • Соотношение 50/50 • Latency -1-2мс для flash • Производительность на узел от 20ГБ/с ,от 300-500K IOPs
- 14. Распределенная система хранения. • Доступность 99.999% (простой 5 минут в год) • Распределенное кодирование вместо репликации (уменьшение стоимости, размещение данных) • Лог-структурированная запись ??? • Дедупликация+сжатие онлайн ( для виртуализации) • Гибридное хранение • Снэпшоты 14
- 15. Запросы к СХД от клиента •Время поступления запроса. Latency •Тип запроса (запись или чтение) •Логический адрес первого блока- LBA. Определяем откуда читать/писать- PBA. • Размер запроса.
- 17. Блочная дедупликация • Получаем данные • Считаем хэш от LBA • Проверяем совпадение • Создаем записи в таблицах метаданных 800 Tbуникальных данных при размере блока 8K Требуют 2 Tb метаданных
- 18. Метаданные
- 19. Как выглядят наши метаданные? lba1 metadata1 lba2 metadata2 lbaN metadataN 8 bytes 16 bytes 24 bytes Адресует страницу 4КБ
- 20. Какое N? Данных на узел (ГБ) N Метаданных на узел (ГБ) 3815 1 000 000 000 22.3
- 21. Какое N? Данных на узел (ГБ) N Метаданных на узел (ГБ) 65536 17 179 869 184 384 3815 1 000 000 000 22.3
- 22. Какое N? Данных на узел (ГБ) N Метаданных на узел (ГБ) 524288 137 438 953 472 3072 65536 17 179 869 184 384 3815 1 000 000 000 22.3
- 23. Как их можно хранить? • Key-value БД ✓ lba – ключ, metadata - значение
- 24. Как их можно хранить? • Key-value БД ✓ lba – ключ, metadata - значение • Прямая адресация
- 25. Прямая адресация MD1 MD32MD2 MD3 MD31 pba1 lba1 lba2 lba3 lba31 lba32 lba1 metadata1 lba2 metadata2 lbaN metadataN
- 26. Как их можно хранить? • Key-value БД ✓ lba – ключ, metadata - значение • Прямая адресация ✓ Не храним lba = метаданных N*16Б, а не N*24Б
- 28. Попробуем выбрать KV-БД • Встраиваемые
- 29. Попробуем выбрать KV-БД • Встраиваемые • Выделенные
- 30. Попробуем выбрать KV-БД • Встраиваемые • Выделенные
- 32. • YCSB Чем тестить? СТАНДАРТ WORKLOAD'Ы JAVA НЕ ДЛЯ ДВИЖКОВ
- 33. • YCSB • ioarena Чем тестить? СТАНДАРТ WORKLOAD'Ы JAVA НЕ ДЛЯ ДВИЖКОВ C МАЛО WORKLOAD'ОВ
- 34. Какие у нас workload'ы? Mix 50/50
- 35. Какие у нас workload'ы? Mix 50/50 Mix 70/30 Mix 30/70 Read
- 36. Методика тестирования 1. Заполнение БД Сброс кэшей
- 37. Методика тестирования 1. Заполнение БД Сброс кэшей 2. 32 потока: 1. Read Сброс кэшей 2. Mix'ы Сброс кэшей
- 38. 1. Заполнение БД Сброс кэшей 2. 32 потока: 1. Read Сброс кэшей 2. Mix'ы Сброс кэшей 3. 256 потоков: 1. Как 32 потока Методика тестирования
- 39. Что измеряем? • Throughput (IOPS/RPS) • Latency (msec): • Min • Max
- 40. Что измеряем? • Throughput (IOPS/RPS) • Latency (msec): • Min • Max • Среднее квадратическое значение • 99.99% <=
- 41. Конфигурация CPU: 2 x Intel Xeon E5-2620 v4 2.10GHz RAM: 16Gb Disk: [2 x] NVMe HGST SN100 1.5TB OS: CentOS Linux 7.2 kernel 3.11 FS: EXT4
- 43. Тесты RocksDB WiredTiger Sophia MDBX Durability = sync | lazy | nosync
- 44. Тесты RocksDB WiredTiger Sophia MDBX Durability = sync | lazy | nosync
- 45. Результаты
- 46. RocksDB-? WiredTiger-? Sophia-? MDBX-? Заполнение 1млрд ключей
- 47. RocksDB WiredTiger-? Sophia-? MDBX-? Заполнение 1млрд ключей
- 48. RocksDB WiredTiger-? Sophia-? MDBX-? Заполнение 1млрд ключей
- 52. RocksDB Sophia MDBX WiredTiger DATA > RAM Заполнение 1млрд ключей
- 53. RocksDB Sophia MDBX WiredTiger Заполнение 1млрд ключей. MAX latency
- 54. RocksDB Sophia MDBX WiredTiger Заполнение 1млрд ключей. MAX latency
- 55. RocksDB Sophia MDBX WiredTiger Заполнение 1млрд ключей. RMS latency
- 56. RocksDB Sophia MDBX WiredTiger Заполнение 1млрд ключей. RMS latency
- 57. RocksDB Sophia MDBX WiredTiger Заполнение 1млрд ключей. RMS latency
- 63. Latency. Read. 1млрд ключей
- 64. Latency. Mix50/50. 1млрд ключей
- 65. 17млрд ключей
- 69. RocksDB WiredTiger Заполнение 17млрд ключей. MAX latency + RMS latency
- 75. Latency. Read. 17млрд ключей
- 76. Latency. Mix50/50. 17млрд ключей
- 77. Выводы Запись + мало потоков => WiredTiger
- 78. Выводы Запись + мало потоков => WiredTiger Запись + много потоков => RocksDB
- 79. Выводы Запись + мало потоков => WiredTiger Запись + много потоков => RocksDB Чтение + DATA > RAM => RocksDB
- 80. Выводы Запись + мало потоков => WiredTiger Запись + много потоков => RocksDB Чтение + DATA > RAM => RocksDB Чтение + DATA < RAM => MDBX
- 81. Выводы Запись + мало потоков => WiredTiger Запись + много потоков => RocksDB Чтение + DATA > RAM => RocksDB Чтение + DATA < RAM => MDBX Mix50/50 + много потоков + DATA > RAM => RocksDB
- 82. Выделенные БД
- 83. Выделенные БД • Aerospike • Cassandra
- 84. Aerospike • Индекс в RAM
- 85. Aerospike • Индекс в RAM • Использование RAW дисков (= нет ФС)
- 86. Aerospike • Индекс в RAM • Использование RAW дисков (= нет ФС) • Не дерево, а хэш
- 87. Индекс Aerospike • 64 байта на ключ
- 88. Индекс Aerospike • 64 байта на ключ - ОЧЕНЬ МНОГО!
- 89. Индекс Aerospike • 64 байта на ключ - ОЧЕНЬ МНОГО! • Надо уменьшить кол-во ключей
- 90. Чит lba1 metadata1 lba2 metadata2 lbaN metadataN lba3 metadata3 lba4 metadata4 lba5 metadata5
- 91. Чит lba1 metadata1 lba2 metadata2 lbaN metadataN lba3 metadata3 lba4 metadata4 lba5 metadata5
- 92. Чит lba1 metadata1 lba2 metadata2 lbaN metadataN lba3 metadata3 lba4 metadata4 lba5 metadata5 metadata6 metadata7 metadata8
- 93. Чит lba1 metadata1 lba2 metadata2 lbaN metadataN lba3 metadata3 lba4 metadata4 lba5 metadata5 metadata6 metadata7 metadata8
- 94. Чит lba1 metadata1 lba2 metadata2 lbaN/4 ….. lba3 metadata3 lba4 metadata4 lba5 metadata5 metadata6 metadata7 metadata8
- 95. Чит lba1 metadata1 lba2 metadata2 lbaN/4 ….. lba3 metadata3 lba4 metadata4 lba5 metadata5 metadata6 metadata7 metadata8 УПАКОВКА
- 96. Чит • Получили N/4 ключей • Таким же образом получаем N/k ключей
- 97. Чит • Получили N/4 ключей • Таким же образом получаем N/k ключей • Размер значения теперь 16 * k байт
- 99. Тесты • 17млрд ключей / 64 = 265млн ключей
- 100. Тесты • 17млрд ключей / 64 = 265млн ключей • 16 байт значение * 64 = 1024 байт значение
- 101. Результаты
- 102. Заполнение 17млрд ключей (265млн)
- 103. Заполнение 17млрд ключей (265млн). MAX latency
- 104. Read. 17млрд ключей (265млн)
- 105. Mix70/30. 17млрд ключей (256млн)
- 106. Mix50/50. 17млрд ключей (256млн)
- 107. Mix30/70. 17млрд ключей (256млн)
- 108. Latency. Read. 17млрд ключей (265млн)
- 109. Latency. Mix50/50. 17млрд ключей (265млн)
- 110. Выводы Запись + мало потоков => WiredTiger Запись + много потоков => RocksDB Чтение + DATA > RAM => RocksDB Чтение + DATA < RAM => MDBX Много потоков + DATA > RAM + Упаковка => Aerospike
- 111. Упущения • ФС и её настройки имеют значение
- 112. Упущения • ФС и её настройки имеют значение • Настройки виртуальной памяти
- 113. Упущения • ФС и её настройки имеют значение • Настройки виртуальной памяти • Ещё что-то..
- 114. Что дальше? • Попробовать упаковку на RocksDB/...
- 115. Что дальше? • Попробовать упаковку на RocksDB/... • Тесты на 137млрд ключей
- 116. Что дальше? • Попробовать упаковку на RocksDB/... • Тесты на 137млрд ключей • Посмотреть на Cassandra/ещё что-то
- 117. Что дальше? • Попробовать упаковку на RocksDB/... • Тесты на 137млрд ключей • Посмотреть на Cassandra/ещё что-то • Прямая адресация • Фрагментация • Трудозатратно • Выделение сразу всего места на накопителе
- 118. raidix.ru Ragimov.R@raidix.com, Lazareva.s@raidix.ru +7 812 622 16 80 Россия, Санкт-Петербург, наб. р. Смоленки, д. 33 Спасибо за внимание! 118 https://github.com/ragruslan/raidixHL2017