Download as PDF, PPTX
More Related Content
Similar to «Как 200 строк на Go помогли нам освободить 15 серверов» – Паша Мурзаков (Badoo)
«Как 200 строк на Go помогли нам освободить 15 серверов» – Паша Мурзаков (Badoo)
- 1. Как 200 строкна Go освободили 15 серверов Pavel Murzakov
- 2. Badoo — это ✦320 млн пользователей ✦ 400 тыс регистраций каждый день ✦ ~3000 серверов ✦ 70 тыс клиентских запросов на бэкенды в секунду
- 6.
- 7. ✦ 4 большихотдела: Features, Billing, Back Office, Platform ✦ В каждом по ~10-25 человек (разделены на команды) ✦ Вопроса о выборе языка не встаёт (есть куча других важных проблем!) PHP в Badoo
- 8. PHP в Badoo Здесьможет быть твоё фото
- 9.
- 10. Go в Badoo первыйдемон на GO в продакшене - 2014 г.
- 11.
- 12.
- 13. PHP в Badoo Goв Badoo Здесь может быть твоё фото
- 14.
- 15. О чём доклад ✦Задача, которую мы решали
- 16. О чём доклад ✦Задача, которую мы решали ✦ Прежняя реализация на PHP
- 17. О чём доклад ✦Задача, которую мы решали ✦ Прежняя реализация на PHP ✦ Релаизация на Go
- 18.
- 19.
- 20.
- 21.
- 22.
- 23. Блок Friends ✦ Основанна друзьях из Facebook
- 24. Блок Friends ✦ Основанна друзьях из Facebook ✦ Общие друзья
- 25. Блок Friends ✦ Основанна друзьях из Facebook ✦ Общие друзья ✦ Особенно интересны не зарегистрированные на Badoo
- 26.
- 27. Общие друзья A B X Y Z Y МыКого мы смотрим
- 28. Общие друзья A B X Y Z Y МыКого мы смотрим Общий друг
- 29. Реализация #1 ✦ Заранеескачиваем с FB друзей текущего пользователя A X Y
- 30. Реализация #1 ✦ Заранеескачиваем с FB друзей текущего пользователя ✦ Заранее скачиваем с FB друзей просматриваемого пользователя A X Y BZ Y
- 31. Реализация #1 ✦ Заранеескачиваем с FB друзей текущего пользователя ✦ Заранее скачиваем с FB друзей просматриваемого пользователя ✦ Пересекаем списки в момент показа A X Y BZ Y
- 32. Реализация #1 ✦ Заранеескачиваем с FB друзей текущего пользователя ✦ Заранее скачиваем с FB друзей просматриваемого пользователя ✦ Пересекаем списки в момент показа ✦ PROFIT!!!! A X Y BZ Y
- 33. Апдейт FB APIv2.0
- 34. Апдейт FB APIv2.0 Было Friends endpoint * Зарегистрированные (дали доступ Badoo на FB) * Незарегистрированные
- 35. Апдейт FB APIv2.0 Было Стало Friends endpoint * Зарегистрированные * Незарегистрированные Friends endpoint * Только зарегистрированные
- 36. Апдейт FB APIv2.0 Было Стало Friends endpoint * Зарегистрированные * Незарегистрированные All Mutual Friends endpoint * Зарегистрированные * Незарегистрированные * Нужно 2 fb_id Friends endpoint * Только зарегистрированные
- 37. Реализация #1 —крах ✦ Предварительно скачать всех друзей мы не можем ✦ => Надо получать общих друзей в онлайне
- 38. Реализация #2 ✦ Предварительноскачиваем списки зарегистрированных друзей
- 39. Реализация #2 ✦ Предварительноскачиваем списки зарегистрированных друзей ✦ В клиентском запросе на профайл делаем HTTP-запрос в Facebook за общими друзьями
- 41. Время на запросык FB
- 42. Время на запросык FB Грубо ~1 сек
- 44. Реализация #2 ✦ Предварительноскачиваем списки зарегистрированных друзей ✦ В клиентском запросе на профайл делаем HTTP-запрос в Facebook за общими друзьями Мы не можем ждать 1с на отрисовку профиля!
- 45. Реализация #3 ✦ Предварительноскачиваем списки зарегистрированных друзей ✦ В клиентском запросе на профайл отдельном асинхронном запросе делаем HTTP-запрос в Facebook за общими друзьями
- 48.
- 49. PHP-FPM Master process Child process1 Child process 2 Child process 3 Child process 4 Child process N Client 1 Client 2
- 50. ✦ 100 воркеровPHP-FPM на сервер Реализация #3
- 51. ✦ 100 воркеровPHP-FPM на сервер ✦ 100 серверов Реализация #3
- 52. ✦ 100 воркеровPHP-FPM на сервер ✦ 100 серверов ✦ => 100 * 100 = 10 000 воркеров Реализация #3
- 53. ✦ 100 воркеровPHP-FPM на сервер ✦ 100 серверов ✦ => 100 * 100 = 10 000 воркеров ✦ нагрузка 1 000 rps Реализация #3
- 54. ✦ 100 воркеровPHP-FPM на сервер ✦ 100 серверов ✦ => 100 * 100 = 10 000 воркеров ✦ нагрузка 1 000 rps ✦ FB “подтупляет" и начинает отвечать по 10 сек Реализация #3
- 55. ✦ 100 воркеровPHP-FPM на сервер ✦ 100 серверов ✦ => 100 * 100 = 10 000 воркеров ✦ нагрузка 1 000 rps ✦ FB “подтупляет" и начинает отвечать по 10 сек ✦ через 10 сек 1 000 * 10 = 10 000 => все воркеры будут заняты Реализация #3
- 56. 100 воркеров насервер
- 57. 300 воркеров насервер
- 58. 7300 воркеров насервер
- 59. ✦ CPU-bound нагрузка(обычно) ✦ Память ✦ Context Switch’es ✦ Непредсказуемость времени ответа от Facebook (нужно “перезакладываться” в десятки раз) Воркеры — ограничения
- 60. Время на запросык FB Непредсказуемо
- 61. ✦ Предварительно скачиваемсписки зарегистрированных друзей ✦ В клиентском запросе на профайл отдельном запросе делаем HTTP-запрос в Facebook за общими друзьями Мы не можем себе позволить долгие запросы! (вообще) Реализация #3
- 62.
- 63.
- 64.
- 65. Реализация #4 ✦ Вкоротком клиентском запросе запускаем скрипт в PHProxyd
- 66. Реализация #4 ✦ Вкоротком клиентском запросе запускаем скрипт в PHProxyd ✦ Клиент перепроверяет (поллит) результаты
- 67. Реализация #4 ✦ Вкоротком клиентском запросе запускаем скрипт в PHProxyd ✦ Клиент перепроверяет (поллит) результаты ✦ В скрипте в PHProxyd делаем HTTP-запрос к FB + небольшая бизнес логика
- 68. Реализация #4 ✦ Вкоротком клиентском запросе запускаем скрипт в PHProxyd ✦ Клиент перепроверяет (поллит) результаты ✦ В скрипте в PHProxyd делаем HTTP-запрос к FB + небольшая бизнес логика Теперь точно PROFIT!!!!!!!
- 69.
- 70. Реализация #4 60M perday => 1000 rps в пике
- 71.
- 72.
- 73.
- 74.
- 75.
- 76.
- 77.
- 78.
- 79.
- 80.
- 81.
- 82.
- 83.
- 84. PHProxyd — замена ✦Создание воркера на новый запрос (phproxyd)
- 85. PHProxyd — замена ✦Создание воркера на новый запрос (phproxyd) Не работает
- 86. PHProxyd — замена ✦Создание воркера на новый запрос (phproxyd) ✦ Преподготовить заранее кучу воркеров (php-fpm)
- 87. PHProxyd — замена ✦Создание воркера на новый запрос (phproxyd) ✦ Преподготовить заранее кучу воркеров (php-fpm) Не работает
- 88. PHProxyd — замена ✦Создание воркера на новый запрос (phproxyd) ✦ Преподготовить заранее кучу воркеров (php-fpm) ✦ Что-то асинхронное (nodejs, React PHP)
- 89. PHProxyd — замена ✦Создание воркера на новый запрос (phproxyd) ✦ Преподготовить заранее кучу воркеров (php-fpm) ✦ Что-то асинхронное (nodejs, React PHP) Мы любим PHP…
- 90. PHProxyd — замена ✦Создание воркера на новый запрос (phproxyd) ✦ Преподготовить заранее кучу воркеров (php-fpm) ✦ Что-то асинхронное (nodejs, React PHP) … но НЕТ! Мы любим PHP…
- 91. PHProxyd — замена ✦Создание воркера на новый запрос (phproxyd) ✦ Преподготовить заранее кучу воркеров (php-fpm) ✦ Что-то асинхронное (nodejs, React PHP) ✦ Go = пишешь “синхронный” код, работает асинхронно
- 92. PHProxyd — замена ✦Создание воркера на новый запрос (phproxyd) ✦ Преподготовить заранее кучу воркеров (php-fpm) ✦ Что-то асинхронное (nodejs, React PHP) ✦ Go = пишешь “синхронный” код, работает асинхронно + “сложились звёзды”
- 93.
- 94. ✦ Предварительно скачиваемсписки зарегистрированных друзей ✦ В коротком клиентском запросе запускаем скрипт в PHProxyd ✦ Клиент перепроверяет (поллит) результаты ✦ В скрипте в PHProxyd делаем HTTP-запрос к FB + небольшая бизнес логика Реализация #4 (предыдущая)
- 95. ✦ Предварительно скачиваемсписки зарегистрированных друзей ✦ В коротком клиентском запросе запускаем скрипт в PHProxyd ✦ Клиент перепроверяет (поллит) результаты ✦ В скрипте в PHProxyd делаем HTTP-запрос к FB + небольшая бизнес логика (походы в MySQL, memcache итд) Реализация #4 (предыдущая)
- 96. Реализация #5 —отличия ✦ Принимает на вход “образ” http/https запроса
- 97. Реализация #5 —отличия ✦ Принимает на вход “образ” http/https запроса ✦ Отвечает “in progress”, начинает исполнять запрос асинхронно
- 98. Реализация #5 —отличия ✦ Принимает на вход “образ” http/https запроса ✦ Отвечает “in progress”, начинает исполнять запрос асинхронно ✦ На повторные реквесты отвечает “in progress” либо данными
- 99. Реализация #5 —отличия ✦ Принимает на вход “образ” http/https запроса ✦ Отвечает “in progress”, начинает исполнять запрос асинхронно ✦ На повторные реквесты отвечает “in progress” либо данными ✦ Всю остальную бизнес-логику (базы, мемкеши) оставляем снаружи
- 103. Реализация #5 ✦ Глобальныйmap с заданиями и результатами
- 104. Реализация #5 ✦ Глобальныйmap с заданиями и результатами ✦ HTTP-сервер, принимает “json” образ запроса, шлёт его в канал
- 105. Реализация #5 ✦ Глобальныйmap с заданиями и результатами ✦ HTTP-сервер, принимает “json” образ запроса, шлёт его в канал ✦ N горутин читают из канала, шлют запрос в FB
- 106. Реализация #5 ✦ Глобальныйmap с заданиями и результатами ✦ HTTP-сервер, принимает “json” образ запроса, шлёт его в канал ✦ N горутин читают из канала, шлют запрос в FB ✦ После получения результата пишут его в глобальный map
- 107. Реализация #5 ✦ Глобальныйmap с заданиями и результатами ✦ HTTP-сервер, принимает “json” образ запроса, шлёт его в канал ✦ N горутин читают из канала, шлют запрос в FB ✦ После получения результата пишут его в глобальный map ✦ Повторный запрос отдаёт результат из этого map
- 108. Реализация #5 ✦ Глобальныйmap с заданиями и результатами ✦ HTTP-сервер, принимает “json” образ запроса, шлёт его в канал ✦ N горутин читают из канала, шлют запрос в FB ✦ После получения результата пишут его в глобальный map ✦ Повторный запрос отдаёт результат из этого map Дублируем продакшен-трафик!!!
- 109.
- 115.
- 116. Прага Майами + демонна GO + демон на GO
- 118.
- 119. Вписываем в инфраструктуру ✦JSON over HTTP -> “homemade” proto (GPB/JSON over TCP)
- 120. Вписываем в инфраструктуру ✦JSON over HTTP -> “homemade” proto (GPB/JSON over TCP) ✦ Tests
- 121. Вписываем в инфраструктуру ✦JSON over HTTP -> “homemade” proto (GPB/JSON over TCP) ✦ Tests ✦ Build / Deploy
- 122. Вписываем в инфраструктуру ✦JSON over HTTP -> “homemade” proto (GPB/JSON over TCP) ✦ Tests ✦ Build / Deploy ✦ Statistics / monitoring
- 125.
- 126.
- 127. ✦ Badoo, ФичаFriends Заключение
- 128. ✦ Badoo, ФичаFriends ✦ PHP, PHP-FPM, долгие запросы, запросы к внешним сервисам Заключение
- 129. ✦ Badoo, ФичаFriends ✦ PHP, PHP-FPM, долгие запросы, запросы к внешним сервисам ✦ Go: прототип, pprof, keep-alive Заключение
- 130.
- 131. Выводы ✦ Изолируйте проблему ✦Делайте прототипы
- 132. Выводы ✦ Изолируйте проблему ✦Делайте прототипы ✦ Не бойтесь экспериментировать
- 133.