Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Flashcache в mamba.ru / Яковлев Александр Юрьевич (ЗАО Мамба)

725 views

Published on

Некоторое время назад, когда в очередной раз встал вопрос о производительности большого парка mysql sharding серверов, мы не захотели покупать новые сервера и производить resharding. Мы обнаружили, что компания facebook выпустила в opensource большое количество своих разработок, в том числе и модуль ядра flashcache.

Flashcache — модуль для кэширования блоков блочного устройства, предоставляющий 4 разных режима кэширования.

В данном докладе я расскажу, как мы тестировали, поэтапно проверяя под нагрузкой, 3 из 4 режимов кэширования, сравнивая и выбирая оптимальный. Итогом данной работы стало внедрение данного модуля в нашу архитектуру (фотосервера, сервера БД).

Published in: Engineering
  • Be the first to comment

  • Be the first to like this

Flashcache в mamba.ru / Яковлев Александр Юрьевич (ЗАО Мамба)

  1. 1. Яковлев Александр lashcache в mamba.ru
  2. 2. Зачем 0 10 20 30 40 50 60 70 80 Aug-13 Nov-13 Mar-14 Jun-14 Sep-14 Dec-14 Apr-15 Jul-15 Oct-15 Jan-16 May-16 Photostorage util %
  3. 3. Зачем 0 10 20 30 40 50 60 70 Aug-13 Nov-13 Mar-14 Jun-14 Sep-14 Dec-14 Apr-15 Jul-15 Oct-15 Jan-16 May-16 DBS util %
  4. 4. Задача 1. 48 mysql sharding серверов. 10 Raid 600GB 15k rpm*4, 32-64G RAM. Summary usage space – 15 TB. 2. 10 photo серверов. 10 Raid 600GB 15k rpm*12, 128G RAM. Summary usage space – 24 TB.
  5. 5. Почему кэширование • Очевидный высокий hit rate на фото (популярные пользователи) • Переписка просматривается десятки раз во время разговора
  6. 6. Четыре метода кэширования • Writethrough (надежный) • Writearound (надежный) • Writeback (самый быстрый) • Writeonly
  7. 7. Схема работы
  8. 8. Flashstat
  9. 9. Flashstat
  10. 10. Flashstat
  11. 11. Flashstat
  12. 12. Flashstat
  13. 13. Установка SSD
  14. 14. Мониторинг SSD Мониторим параметр Media_Wearout_Indicator, если меньше 10 – надо менять.
  15. 15. Результаты Стало Было Место на фото серверах, Tb Raid10 Raid6 33 54
  16. 16. Результаты 0 10 20 30 40 50 60 70 Aug-13 Nov-13 Mar-14 Jun-14 Sep-14 Dec-14 Apr-15 Jul-15 Oct-15 Jan-16 May-16 DBS util %
  17. 17. Результаты 0 10 20 30 40 50 60 70 Aug-13 Nov-13 Mar-14 Jun-14 Sep-14 Dec-14 Apr-15 Jul-15 Oct-15 Jan-16 May-16 Photostorage util % Series1 прогноз
  18. 18. Спасибо. Яковлев Александр. yakovlev@mamba.ru
  19. 19. SSD • Samsung_SSD_850_PRO_256GB • OCZ-VERTEX460 • Samsung_SSD_850_EVO_250GB • INTEL_SSDSC2BB120G4

×