Документ содержит информацию о конфигурации серверов и решениях по кэшированию для фотохранения на платформе mamba.ru. Обсуждаются шардирование MySQL, использование SSD и методы кэширования, включая их преимущества и недостатки. Также приводятся результаты мониторинга использования ресурсов и объемов хранилищ.

1. Яковлев Александр
lashcache в mamba.ru

4. Зачем
0
10
20
30
40
50
60
70
80
Aug-13 Nov-13 Mar-14 Jun-14 Sep-14 Dec-14 Apr-15 Jul-15 Oct-15 Jan-16 May-16
Photostorage util %

5. Зачем
0
10
20
30
40
50
60
70
Aug-13 Nov-13 Mar-14 Jun-14 Sep-14 Dec-14 Apr-15 Jul-15 Oct-15 Jan-16 May-16
DBS util %

6. Задача
1. 48 mysql sharding серверов.
10 Raid 600GB 15k rpm*4, 32-64G RAM. Summary usage
space – 15 TB.
2. 10 photo серверов.
10 Raid 600GB 15k rpm*12, 128G RAM. Summary usage space
– 24 TB.

7. Почему кэширование
• Очевидный высокий hit rate на фото
(популярные пользователи)
• Переписка просматривается десятки
раз во время разговора

8. Четыре метода кэширования
• Writethrough (надежный)
• Writearound (надежный)
• Writeback (самый быстрый)
• Writeonly

9. Схема работы

10. Flashstat

11. Flashstat

12. Flashstat

13. Flashstat

14. Flashstat

15. Установка SSD

17. Мониторинг SSD
Мониторим параметр
Media_Wearout_Indicator, если
меньше 10 – надо менять.

18. Результаты
Стало
Было
Место на фото серверах, Tb
Raid10
Raid6
33
54

19. Результаты
0
10
20
30
40
50
60
70
Aug-13 Nov-13 Mar-14 Jun-14 Sep-14 Dec-14 Apr-15 Jul-15 Oct-15 Jan-16 May-16
DBS util %

20. Результаты
0
10
20
30
40
50
60
70
Aug-13 Nov-13 Mar-14 Jun-14 Sep-14 Dec-14 Apr-15 Jul-15 Oct-15 Jan-16 May-16
Photostorage util %
Series1 прогноз

21. Спасибо.
Яковлев Александр.
yakovlev@mamba.ru

22. SSD
• Samsung_SSD_850_PRO_256GB
• OCZ-VERTEX460
• Samsung_SSD_850_EVO_250GB
• INTEL_SSDSC2BB120G4