Download to read offline
Uploaded byBadoo Development
Архитектура хранения и отдачи фотографий в Badoo
Документ описывает архитектуру системы хранения и отдачи фотографий для Badoo, обрабатывающей 3,5 миллиона новых фотографий в день. Основное внимание уделяется проблемам ограничения емкости и характеристикам нагрузки, где чтение преобладает над записью, а также системам кэширования для оптимизации производительности. Была рассмотрена необходимость в резервировании и отказоустойчивости, а также вопросы контроля и предсказуемости системы при использовании CDN.
More Related Content
Similar to Архитектура хранения и отдачи фотографий в Badoo
Архитектура хранения и отдачи фотографий в Badoo
- 1. Архитектура хранения иотдачи фотографий в Badoo Артем Денисов, Badoo
- 2. 330 млн. пользователей 3Pb фотографий 3,5 млн. новых фотографий в день 80 тыс. запросов в секунду за фото
- 3.
- 4.
- 5. Тривиальный пример place_id place_id: 1..5 place_id:6..11 place_id: m..n photos1 photos2 photosN
- 6.
- 7.
- 8. ! Ограниченная вместимость Тривиальныйпример: проблемы
- 9. ! Ограниченная вместимость !Нетипичная конфигурация машин Тривиальный пример: проблемы
- 10. ! Ограниченная вместимость !Нетипичная конфигурация машин ! Цена Тривиальный пример: проблемы
- 11. Используем систему храненияданных bphotos1 bphotos2 bphotosN Storage Area Network (SAN)
- 12. ! Меньше $/Gb bphotos1 bphotos2 bphotosN StorageArea Network (SAN) Используем систему хранения данных
- 13. ! Меньше $/Gb !Больше плотность размещения bphotos2 bphotosN Storage Area Network (SAN) bphotos1 Используем систему хранения данных
- 14. ! Меньше $/Gb !Больше плотность размещения ! Быстрая деградация чтения (>500 rps per host) bphotos2 bphotosN Storage Area Network (SAN) bphotos1 Используем систему хранения данных
- 15. Характер нагрузки Чтение преобладаетнад записью: 7*109 reads / 3.5*106 writes per day
- 16. Характер нагрузки Горячий datasetнебольшой Чтение преобладает над записью: 7*109 reads / 3.5*106 writes per day
- 17. Характер нагрузки Горячий datasetнебольшой Кажется, нам нужен кэш с LRU Чтение преобладает над записью: 7*109 reads / 3.5*106 writes per day
- 18.
- 19.
- 20.
- 21.
- 22. Структура фотокэша Local cache Buffer Hotcache Cold cache proxy_pass proxy_store bphotos
- 23. Структура фотокэша Local cache Buffer Hotcache Cold cache Access log <photo_path> <served_by> proxy_pass proxy_store bphotos
- 24. Структура фотокэша Local cache Buffer Hotcache Cold cache Access log <photo_path> <served_by> proxy_pass proxy_store bphotos Cache manager daemon
- 25. Структура фотокэша Local cache Buffer Hotcache Cold cache Access log <photo_path> <served_by> proxy_pass proxy_store bphotos Cache manager daemon Хранит статистику запросов по файлам
- 26. Структура фотокэша Local cache Buffer Hotcache Cold cache Access log <photo_path> <served_by> proxy_pass proxy_store bphotos Cache manager daemon Хранит статистику запросов по файлам Часто запрашиваемые -> Hot cache
- 27. Структура фотокэша Local cache Buffer Hotcache Cold cache Access log <photo_path> <served_by> proxy_pass proxy_store bphotos Cache manager daemon Хранит статистику запросов по файлам Часто запрашиваемые -> Hot cache Редко запрашиваемые -> Cold cache
- 28. Структура фотокэша Local cache Buffer Hotcache Cold cache Access log <photo_path> <served_by> proxy_pass proxy_store bphotos Cache manager daemon Хранит статистику запросов по файлам Часто запрашиваемые -> Hot cache Редко запрашиваемые -> Cold cache Постепенно удаляет из Cold cache
- 29.
- 30.
- 31. Как распределять запросы? Round-robin? Hash% count? photoscache2 photoscache1 photoscache3
- 32. Как распределять запросы? Round-robin? Hash% count? hash(“example_url”) = 5 server_idx0 = 5 % 3 = 2photoscache2 photoscache1 photoscache3
- 33. Как распределять запросы? Round-robin? Hash% count? hash(“example_url”) = 5 server_idx0 = 5 % 3 = 2 server_idx1 = 5 % 4 = 1
- 34.
- 35. Как распределять запросы? Round-robin? Hash% count? Consistent hashing?photoscache2 photoscache1 photoscache3
- 36.
- 37.
- 38.
- 39.
- 40.
- 41.
- 42.
- 43.
- 44.
- 45. Кэширование. Результаты - Hitrate(количество попаданий в кэш) 98% - Из 80k только 1600 rps доходят до bphotos
- 46. Кэширование. Результаты - Hitrate(количество попаданий в кэш) 98% - Из 80k только 1600 rps доходят до bphotos - 3 точки присутствия (Прага, Майами, Гонконг)
- 47. Кэширование. Результаты - Hitrate(количество попаданий в кэш) 98% - Из 80k только 1600 rps доходят до bphotos - 3 точки присутствия (Прага, Майами, Гонконг) + - Поддержка webp, progressive jpeg - Динамический resize/crop - Динамические вотермарки, фильтры (blur, pixelize)
- 48. Почему не CDN? -Хочется больше контроля и предсказуемости
- 49. Почему не CDN? -Хочется больше контроля и предсказуемости - Система развивалась постепенно
- 50. Почему не CDN? -Хочется больше контроля и предсказуемости - Система развивалась постепенно - Много специфической логики на фотокэшах
- 51. Почему не CDN? -Хочется больше контроля и предсказуемости - Система развивалась постепенно - Много специфической логики на фотокэшах - Невысокая сложность поддержки итогового решения
- 52. Почему не CDN? -Хочется больше контроля и предсказуемости - Система развивалась постепенно - Много специфической логики на фотокэшах - Невысокая сложность поддержки итогового решения Современный CDN — хорошая альтернатива в условиях дефицита ресурсов и времени
- 53. Хранение. 2013 год bphotos1 bphotos2 bphotosN StorageArea Network (SAN) photoscache1 photoscacheN
- 54. Хранение. 2013 год bphotos1 bphotos2 bphotosN StorageArea Network (SAN) photoscache1 photoscacheN 80 x bphotos = ~560Tb данных 40 x photoscache X 2 ДЦ
- 55. Хранение. 2013 год bphotos1 bphotos2 bphotosN StorageArea Network (SAN) photoscache1 photoscacheN 1 x POINT OF FAILURE
- 56. Хранение. 2013 год bphotos1 bphotos2 bphotosN StorageArea Network (SAN) photoscache1 photoscacheN 2 x POINT OF FAILURE
- 57. Хранение. 2013 год bphotos1 bphotos2 bphotosN StorageArea Network (SAN) photoscache1 photoscacheN 3 x POINT OF FAILURE
- 58. Хранение. 2013 год bphotos1 bphotos2 bphotosN StorageArea Network (SAN) photoscache1 photoscacheN 3 x POINT OF FAILURE ! MAINTENANCE
- 59. Хранение. 2013 год bphotos1 bphotos2 bphotosN StorageArea Network (SAN) photoscache1 photoscacheN 3 x POINT OF FAILURE ! DATA LOSS ! MAINTENANCE
- 60. Резервирование v.1 bphotos Main partition LocalFS Fiber Storage Area Network
- 61. bphotos Local FS Main partition Backuppartition Fiber Storage Area Network Fiber Storage Area Network Резервирование v.1
- 62. Async queue bphotos Local FS Mainpartition Backup partition Fiber Storage Area Network Fiber Storage Area Network Резервирование v.1
- 63. Async queue bphotos Local FS Mainpartition Backup partition Fiber Storage Area Network Fiber Storage Area Network Buffer partition Резервирование v.1
- 64. Async queue bphotos Local FS Mainpartition Backup partition Fiber Storage Area Network Fiber Storage Area Network Buffer partition ! NO DATA LOSS Резервирование v.1
- 65. Async queue bphotos Local FS Mainpartition Backup partition Fiber Storage Area Network Fiber Storage Area Network Buffer partition ! NO DATA LOSS ! POINT OF FAILURE Резервирование v.1
- 66. Async queue bphotos Local FS Mainpartition Backup partition Fiber Storage Area Network Fiber Storage Area Network Buffer partition ! NO DATA LOSS ! POINT OF FAILURE ! MAINTENANCE Резервирование v.1
- 67. Dphotos Async queue bphotos Local FS Mainpartition Backup partition Fiber Storage Area Network Fiber Storage Area Network Buffer partition
- 68. Dphotos Async queue bphotos Local FS Mainpartition Backup partition Buffer partition
- 69. Dphotos Async queue bphotos Local FS Mainpartition Backup partition Buffer partition
- 70. Dphotos dphotosN Buffer partition Main partition dphotosN+1 Bufferpartition Main partition
- 71. Dphotos dphotosN Async queue Buffer partition Mainpartition dphotosN+1 Buffer partition Main partition
- 72. Dphotos. Upload Async queue dphotosN dphotosN+1Roundrobin + health checks Load balancer
- 73. Dphotos. Отдача photoscache Async queue dphotosN dphotosN+1Roundrobin + health checks
- 74. Dphotos. Отдача photoscache Async queue dphotosN dphotosN+1 HIT Roundrobin + health checks
- 75. Dphotos. Отдача Async queue dphotosN dphotosN+1 MISS Roundrobin + health checks photoscache
- 76. Dphotos. Отдача Async queue dphotosN dphotosN+1 MISS Roundrobin + health checks photoscache
- 77. Dphotos. Отказоустойчивость dphotosN Async queue Bufferpartition Main partition dphotosN+1 Buffer partition Main partition
- 78. Dphotos. Отказоустойчивость dphotosN Async queue Bufferpartition Main partition dphotosN+1 Buffer partition Main partition
- 79. Dphotos. Отказоустойчивость dphotosN Async queue Bufferpartition Main partition dphotosN+1 Buffer partition Main partition
- 80. Dphotos. Отказоустойчивость dphotosN Async queue Bufferpartition Main partition dphotosN+1 Buffer partition Main partition
- 81.
- 82. Dphotos. Результаты - Отказоустойчивость -Простая эксплуатация
- 83. Dphotos. Результаты - Отказоустойчивость -Простая эксплуатация - Двойной запас по чтению
- 84. Dphotos. Результаты - Отказоустойчивость -Простая эксплуатация - Двойной запас по чтению - Сложность разработки
- 85. Dphotos. Результаты - Отказоустойчивость -Простая эксплуатация - Двойной запас по чтению - Сложность разработки Так хранить локально — это хорошо или плохо? - Проще в эксплуатации
- 86. Dphotos. Результаты - Отказоустойчивость -Простая эксплуатация - Двойной запас по чтению - Сложность разработки Так хранить локально — это хорошо или плохо? - Проще в эксплуатации - Производительнее
- 87. Dphotos. Результаты - Отказоустойчивость -Простая эксплуатация - Двойной запас по чтению - Сложность разработки Так хранить локально — это хорошо или плохо? - Проще в эксплуатации - Производительнее - В 1.5 раза дороже, чем SAN
- 88.
- 89.
- 90.
- 91.
- 92.
- 93. Итоги photoscache dphotos CDN Storagelayer Local drives
- 94. Итоги photoscache dphotos Storage AreaNetwork CDN Storage layer Local drives
- 95. Итоги - А надоли улучшать? Сначала измерь
- 96. Итоги - А надоли улучшать? Сначала измерь http://pinba.org
- 97. Итоги - А надоли улучшать? Сначала измерь http://pinba.org - Чтение -> кэш - Запись -> шардинг
- 98. Итоги - А надоли улучшать? Сначала измерь http://pinba.org - Чтение -> кэш - Запись -> шардинг - Immutable фотки
- 99. Итоги - А надоли улучшать? Сначала измерь http://pinba.org - Чтение -> кэш - Запись -> шардинг - Immutable фотки - Resize на лету
- 100. Итоги - А надоли улучшать? Сначала измерь http://pinba.org - Чтение -> кэш - Запись -> шардинг - Immutable фотки - Resize на лету - Инкрементальные асинхронные бэкапы - это хорошо
- 101. Итоги - А надоли улучшать? Сначала измерь http://pinba.org - Чтение -> кэш - Запись -> шардинг - Immutable фотки - Resize на лету - Инкрементальные асинхронные бэкапы - это хорошо - Если что-то может сломаться - оно сломается