Паша Мурзаков: Как 200 строк на Go помогли нам освободить 15 серверов»
•
0 likes•1,474 views
В Badoo я работаю в команде, которая разрабатывает на PHP. Одна из фич, которой мы занимаемся, со временем начала отъедать всё больше и больше железячных ресурсов. В итоге мы едва успевали добавлять серверы под растущую нагрузку. При этом вечера, проведённые с Go дома, подсказывали, что можно сделать на порядки производительнее, не затратив на разработку много времени. Я расскажу о том, почему наша фича так плохо ложится на PHP и хорошо – на Go, как уговорить всех всё переписать и не показаться сумасшедшим, ну и, конечно же, как из 19 серверов оставить только 4.
Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Viewers also liked
Viewers also liked (20)
Similar to Паша Мурзаков: Как 200 строк на Go помогли нам освободить 15 серверов»
Similar to Паша Мурзаков: Как 200 строк на Go помогли нам освободить 15 серверов» (20)
More from Badoo Development
More from Badoo Development (17)
Паша Мурзаков: Как 200 строк на Go помогли нам освободить 15 серверов»
- 1. Как 200 строк на Go освободили 15 серверов Pavel Murzakov
- 2. Badoo — это ✦ 320 млн пользователей ✦ 400 тыс регистраций каждый день ✦ ~3000 серверов ✦ 70 тыс клиентских запросов на бэкенды в секунду
- 7. ✦ 4 больших отдела: Features, Billing, Back Office, Platform ✦ В каждом по ~10-25 человек (разделены на команды) ✦ Вопроса о выборе языка не встаёт (есть куча других важных проблем!) PHP в Badoo
- 8. PHP в Badoo Здесь может быть твоё фото
- 9. Go в Badoo
- 10. Go в Badoo первый демон на GO в продакшене - 2014 г.
- 12. Go в Badoo
- 13. PHP в Badoo Go в Badoo Здесь может быть твоё фото
- 14. О чём доклад
- 15. О чём доклад ✦ Задача, которую мы решали
- 16. О чём доклад ✦ Задача, которую мы решали ✦ Прежняя реализация на PHP
- 17. О чём доклад ✦ Задача, которую мы решали ✦ Прежняя реализация на PHP ✦ Релаизация на Go
- 18. Задача
- 19. Профайл
- 20. Блок Friends
- 21. Блок Friends
- 22. Блок Friends
- 23. Блок Friends ✦ Основан на друзьях из Facebook
- 24. Блок Friends ✦ Основан на друзьях из Facebook ✦ Общие друзья
- 25. Блок Friends ✦ Основан на друзьях из Facebook ✦ Общие друзья ✦ Особенно интересны не зарегистрированные на Badoo
- 27. Общие друзья A B X Y Z Y Мы Кого мы смотрим
- 28. Общие друзья A B X Y Z Y Мы Кого мы смотрим Общий друг
- 29. Реализация #1 ✦ Заранее скачиваем с FB друзей текущего пользователя A X Y
- 30. Реализация #1 ✦ Заранее скачиваем с FB друзей текущего пользователя ✦ Заранее скачиваем с FB друзей просматриваемого пользователя A X Y BZ Y
- 31. Реализация #1 ✦ Заранее скачиваем с FB друзей текущего пользователя ✦ Заранее скачиваем с FB друзей просматриваемого пользователя ✦ Пересекаем списки в момент показа A X Y BZ Y
- 32. Реализация #1 ✦ Заранее скачиваем с FB друзей текущего пользователя ✦ Заранее скачиваем с FB друзей просматриваемого пользователя ✦ Пересекаем списки в момент показа ✦ PROFIT!!!! A X Y BZ Y
- 33. Апдейт FB API v2.0
- 34. Апдейт FB API v2.0 Было Friends endpoint * Зарегистрированные (дали доступ Badoo на FB) * Незарегистрированные
- 35. Апдейт FB API v2.0 Было Стало Friends endpoint * Зарегистрированные * Незарегистрированные Friends endpoint * Только зарегистрированные
- 36. Апдейт FB API v2.0 Было Стало Friends endpoint * Зарегистрированные * Незарегистрированные All Mutual Friends endpoint * Зарегистрированные * Незарегистрированные * Нужно 2 fb_id Friends endpoint * Только зарегистрированные
- 37. Реализация #1 — крах ✦ Предварительно скачать всех друзей мы не можем ✦ => Надо получать общих друзей в онлайне
- 38. Реализация #2 ✦ Предварительно скачиваем списки зарегистрированных друзей
- 39. Реализация #2 ✦ Предварительно скачиваем списки зарегистрированных друзей ✦ В клиентском запросе на профайл делаем HTTP-запрос в Facebook за общими друзьями
- 41. Время на запросы к FB
- 42. Время на запросы к FB Грубо ~1 сек
- 44. Реализация #2 ✦ Предварительно скачиваем списки зарегистрированных друзей ✦ В клиентском запросе на профайл делаем HTTP-запрос в Facebook за общими друзьями Мы не можем ждать 1с на отрисовку профиля!
- 45. Реализация #3 ✦ Предварительно скачиваем списки зарегистрированных друзей ✦ В клиентском запросе на профайл отдельном асинхронном запросе делаем HTTP-запрос в Facebook за общими друзьями
- 48. PHP
- 49. PHP-FPM Master process Child process 1 Child process 2 Child process 3 Child process 4 Child process N Client 1 Client 2
- 50. ✦ 100 воркеров PHP-FPM на сервер Реализация #3
- 51. ✦ 100 воркеров PHP-FPM на сервер ✦ 100 серверов Реализация #3
- 52. ✦ 100 воркеров PHP-FPM на сервер ✦ 100 серверов ✦ => 100 * 100 = 10 000 воркеров Реализация #3
- 53. ✦ 100 воркеров PHP-FPM на сервер ✦ 100 серверов ✦ => 100 * 100 = 10 000 воркеров ✦ нагрузка 1 000 rps Реализация #3
- 54. ✦ 100 воркеров PHP-FPM на сервер ✦ 100 серверов ✦ => 100 * 100 = 10 000 воркеров ✦ нагрузка 1 000 rps ✦ FB “подтупляет" и начинает отвечать по 10 сек Реализация #3
- 55. ✦ 100 воркеров PHP-FPM на сервер ✦ 100 серверов ✦ => 100 * 100 = 10 000 воркеров ✦ нагрузка 1 000 rps ✦ FB “подтупляет" и начинает отвечать по 10 сек ✦ через 10 сек 1 000 * 10 = 10 000 => все воркеры будут заняты Реализация #3
- 56. 100 воркеров на сервер
- 57. 300 воркеров на сервер
- 58. 7300 воркеров на сервер
- 59. ✦ CPU-bound нагрузка (обычно) ✦ Память ✦ Context Switch’es ✦ Непредсказуемость времени ответа от Facebook (нужно “перезакладываться” в десятки раз) Воркеры — ограничения
- 60. Время на запросы к FB Непредсказуемо
- 61. ✦ Предварительно скачиваем списки зарегистрированных друзей ✦ В клиентском запросе на профайл отдельном запросе делаем HTTP-запрос в Facebook за общими друзьями Мы не можем себе позволить долгие запросы! (вообще) Реализация #3
- 62. PHProxyd
- 64. Реализация #4
- 65. Реализация #4 ✦ В коротком клиентском запросе запускаем скрипт в PHProxyd
- 66. Реализация #4 ✦ В коротком клиентском запросе запускаем скрипт в PHProxyd ✦ Клиент перепроверяет (поллит) результаты
- 67. Реализация #4 ✦ В коротком клиентском запросе запускаем скрипт в PHProxyd ✦ Клиент перепроверяет (поллит) результаты ✦ В скрипте в PHProxyd делаем HTTP-запрос к FB + небольшая бизнес логика
- 68. Реализация #4 ✦ В коротком клиентском запросе запускаем скрипт в PHProxyd ✦ Клиент перепроверяет (поллит) результаты ✦ В скрипте в PHProxyd делаем HTTP-запрос к FB + небольшая бизнес логика Теперь точно PROFIT!!!!!!!
- 70. Реализация #4 60M per day => 1000 rps в пике
- 71. Реализация #4
- 72. Реализация #4
- 73. Реализация #4
- 74. Реализация #4
- 75. Реализация #4
- 76. Реализация #4
- 77. Реализация #4
- 78. Реализация #4
- 79. Реализация #4
- 80. Реализация #4
- 83. XHProf
- 84. PHProxyd — замена ✦ Создание воркера на новый запрос (phproxyd)
- 85. PHProxyd — замена ✦ Создание воркера на новый запрос (phproxyd) Не работает
- 86. PHProxyd — замена ✦ Создание воркера на новый запрос (phproxyd) ✦ Преподготовить заранее кучу воркеров (php-fpm)
- 87. PHProxyd — замена ✦ Создание воркера на новый запрос (phproxyd) ✦ Преподготовить заранее кучу воркеров (php-fpm) Не работает
- 88. PHProxyd — замена ✦ Создание воркера на новый запрос (phproxyd) ✦ Преподготовить заранее кучу воркеров (php-fpm) ✦ Что-то асинхронное (nodejs, React PHP)
- 89. PHProxyd — замена ✦ Создание воркера на новый запрос (phproxyd) ✦ Преподготовить заранее кучу воркеров (php-fpm) ✦ Что-то асинхронное (nodejs, React PHP) Мы любим PHP…
- 90. PHProxyd — замена ✦ Создание воркера на новый запрос (phproxyd) ✦ Преподготовить заранее кучу воркеров (php-fpm) ✦ Что-то асинхронное (nodejs, React PHP) … но НЕТ! Мы любим PHP…
- 91. PHProxyd — замена ✦ Создание воркера на новый запрос (phproxyd) ✦ Преподготовить заранее кучу воркеров (php-fpm) ✦ Что-то асинхронное (nodejs, React PHP) ✦ Go = пишешь “синхронный” код, работает асинхронно
- 92. PHProxyd — замена ✦ Создание воркера на новый запрос (phproxyd) ✦ Преподготовить заранее кучу воркеров (php-fpm) ✦ Что-то асинхронное (nodejs, React PHP) ✦ Go = пишешь “синхронный” код, работает асинхронно + “сложились звёзды”
- 93. Реализация на Go
- 94. ✦ Предварительно скачиваем списки зарегистрированных друзей ✦ В коротком клиентском запросе запускаем скрипт в PHProxyd ✦ Клиент перепроверяет (поллит) результаты ✦ В скрипте в PHProxyd делаем HTTP-запрос к FB + небольшая бизнес логика Реализация #4 (предыдущая)
- 95. ✦ Предварительно скачиваем списки зарегистрированных друзей ✦ В коротком клиентском запросе запускаем скрипт в PHProxyd ✦ Клиент перепроверяет (поллит) результаты ✦ В скрипте в PHProxyd делаем HTTP-запрос к FB + небольшая бизнес логика (походы в MySQL, memcache итд) Реализация #4 (предыдущая)
- 96. Реализация #5 — отличия ✦ Принимает на вход “образ” http/https запроса
- 97. Реализация #5 — отличия ✦ Принимает на вход “образ” http/https запроса ✦ Отвечает “in progress”, начинает исполнять запрос асинхронно
- 98. Реализация #5 — отличия ✦ Принимает на вход “образ” http/https запроса ✦ Отвечает “in progress”, начинает исполнять запрос асинхронно ✦ На повторные реквесты отвечает “in progress” либо данными
- 99. Реализация #5 — отличия ✦ Принимает на вход “образ” http/https запроса ✦ Отвечает “in progress”, начинает исполнять запрос асинхронно ✦ На повторные реквесты отвечает “in progress” либо данными ✦ Всю остальную бизнес-логику (базы, мемкеши) оставляем снаружи
- 103. Реализация #5 ✦ Глобальный map с заданиями и результатами
- 104. Реализация #5 ✦ Глобальный map с заданиями и результатами ✦ HTTP-сервер, принимает “json” образ запроса, шлёт его в канал
- 105. Реализация #5 ✦ Глобальный map с заданиями и результатами ✦ HTTP-сервер, принимает “json” образ запроса, шлёт его в канал ✦ N горутин читают из канала, шлют запрос в FB
- 106. Реализация #5 ✦ Глобальный map с заданиями и результатами ✦ HTTP-сервер, принимает “json” образ запроса, шлёт его в канал ✦ N горутин читают из канала, шлют запрос в FB ✦ После получения результата пишут его в глобальный map
- 107. Реализация #5 ✦ Глобальный map с заданиями и результатами ✦ HTTP-сервер, принимает “json” образ запроса, шлёт его в канал ✦ N горутин читают из канала, шлют запрос в FB ✦ После получения результата пишут его в глобальный map ✦ Повторный запрос отдаёт результат из этого map
- 108. Реализация #5 ✦ Глобальный map с заданиями и результатами ✦ HTTP-сервер, принимает “json” образ запроса, шлёт его в канал ✦ N горутин читают из канала, шлют запрос в FB ✦ После получения результата пишут его в глобальный map ✦ Повторный запрос отдаёт результат из этого map Дублируем продакшен-трафик!!!
- 109. Pprof
- 115. Keep-Alive
- 116. Прага Майами + демон на GO + демон на GO
- 119. Вписываем в инфраструктуру ✦ JSON over HTTP -> “homemade” proto (GPB/JSON over TCP)
- 120. Вписываем в инфраструктуру ✦ JSON over HTTP -> “homemade” proto (GPB/JSON over TCP) ✦ Tests
- 121. Вписываем в инфраструктуру ✦ JSON over HTTP -> “homemade” proto (GPB/JSON over TCP) ✦ Tests ✦ Build / Deploy
- 122. Вписываем в инфраструктуру ✦ JSON over HTTP -> “homemade” proto (GPB/JSON over TCP) ✦ Tests ✦ Build / Deploy ✦ Statistics / monitoring
- 125. Было Стало
- 126. Заключение
- 127. ✦ Badoo, Фича Friends Заключение
- 128. ✦ Badoo, Фича Friends ✦ PHP, PHP-FPM, долгие запросы, запросы к внешним сервисам Заключение
- 129. ✦ Badoo, Фича Friends ✦ PHP, PHP-FPM, долгие запросы, запросы к внешним сервисам ✦ Go: прототип, pprof, keep-alive Заключение
- 131. Выводы ✦ Изолируйте проблему ✦ Делайте прототипы
- 132. Выводы ✦ Изолируйте проблему ✦ Делайте прототипы ✦ Не бойтесь экспериментировать
- 133. Спасибо!