Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Viewers also liked
Viewers also liked (20)
Similar to «Как 200 строк на Go помогли нам освободить 15 серверов» – Паша Мурзаков (Badoo)
Similar to «Как 200 строк на Go помогли нам освободить 15 серверов» – Паша Мурзаков (Badoo) (20)
More from AvitoTech
More from AvitoTech (20)
«Как 200 строк на Go помогли нам освободить 15 серверов» – Паша Мурзаков (Badoo)
- 1. Как 200 строк на Go освободили 15 серверов Pavel Murzakov
- 2. Badoo — это ✦ 320 млн пользователей ✦ 400 тыс регистраций каждый день ✦ ~3000 серверов ✦ 70 тыс клиентских запросов на бэкенды в секунду
- 7. ✦ 4 больших отдела: Features, Billing, Back Office, Platform ✦ В каждом по ~10-25 человек (разделены на команды) ✦ Вопроса о выборе языка не встаёт (есть куча других важных проблем!) PHP в Badoo
- 8. PHP в Badoo Здесь может быть твоё фото
- 9. Go в Badoo
- 10. Go в Badoo первый демон на GO в продакшене - 2014 г.
- 12. Go в Badoo
- 13. PHP в Badoo Go в Badoo Здесь может быть твоё фото
- 14. О чём доклад
- 15. О чём доклад ✦ Задача, которую мы решали
- 16. О чём доклад ✦ Задача, которую мы решали ✦ Прежняя реализация на PHP
- 17. О чём доклад ✦ Задача, которую мы решали ✦ Прежняя реализация на PHP ✦ Релаизация на Go
- 18. Задача
- 19. Профайл
- 20. Блок Friends
- 21. Блок Friends
- 22. Блок Friends
- 23. Блок Friends ✦ Основан на друзьях из Facebook
- 24. Блок Friends ✦ Основан на друзьях из Facebook ✦ Общие друзья
- 25. Блок Friends ✦ Основан на друзьях из Facebook ✦ Общие друзья ✦ Особенно интересны не зарегистрированные на Badoo
- 27. Общие друзья A B X Y Z Y Мы Кого мы смотрим
- 28. Общие друзья A B X Y Z Y Мы Кого мы смотрим Общий друг
- 29. Реализация #1 ✦ Заранее скачиваем с FB друзей текущего пользователя A X Y
- 30. Реализация #1 ✦ Заранее скачиваем с FB друзей текущего пользователя ✦ Заранее скачиваем с FB друзей просматриваемого пользователя A X Y BZ Y
- 31. Реализация #1 ✦ Заранее скачиваем с FB друзей текущего пользователя ✦ Заранее скачиваем с FB друзей просматриваемого пользователя ✦ Пересекаем списки в момент показа A X Y BZ Y
- 32. Реализация #1 ✦ Заранее скачиваем с FB друзей текущего пользователя ✦ Заранее скачиваем с FB друзей просматриваемого пользователя ✦ Пересекаем списки в момент показа ✦ PROFIT!!!! A X Y BZ Y
- 33. Апдейт FB API v2.0
- 34. Апдейт FB API v2.0 Было Friends endpoint * Зарегистрированные (дали доступ Badoo на FB) * Незарегистрированные
- 35. Апдейт FB API v2.0 Было Стало Friends endpoint * Зарегистрированные * Незарегистрированные Friends endpoint * Только зарегистрированные
- 36. Апдейт FB API v2.0 Было Стало Friends endpoint * Зарегистрированные * Незарегистрированные All Mutual Friends endpoint * Зарегистрированные * Незарегистрированные * Нужно 2 fb_id Friends endpoint * Только зарегистрированные
- 37. Реализация #1 — крах ✦ Предварительно скачать всех друзей мы не можем ✦ => Надо получать общих друзей в онлайне
- 38. Реализация #2 ✦ Предварительно скачиваем списки зарегистрированных друзей
- 39. Реализация #2 ✦ Предварительно скачиваем списки зарегистрированных друзей ✦ В клиентском запросе на профайл делаем HTTP-запрос в Facebook за общими друзьями
- 41. Время на запросы к FB
- 42. Время на запросы к FB Грубо ~1 сек
- 44. Реализация #2 ✦ Предварительно скачиваем списки зарегистрированных друзей ✦ В клиентском запросе на профайл делаем HTTP-запрос в Facebook за общими друзьями Мы не можем ждать 1с на отрисовку профиля!
- 45. Реализация #3 ✦ Предварительно скачиваем списки зарегистрированных друзей ✦ В клиентском запросе на профайл отдельном асинхронном запросе делаем HTTP-запрос в Facebook за общими друзьями
- 48. PHP
- 49. PHP-FPM Master process Child process 1 Child process 2 Child process 3 Child process 4 Child process N Client 1 Client 2
- 50. ✦ 100 воркеров PHP-FPM на сервер Реализация #3
- 51. ✦ 100 воркеров PHP-FPM на сервер ✦ 100 серверов Реализация #3
- 52. ✦ 100 воркеров PHP-FPM на сервер ✦ 100 серверов ✦ => 100 * 100 = 10 000 воркеров Реализация #3
- 53. ✦ 100 воркеров PHP-FPM на сервер ✦ 100 серверов ✦ => 100 * 100 = 10 000 воркеров ✦ нагрузка 1 000 rps Реализация #3
- 54. ✦ 100 воркеров PHP-FPM на сервер ✦ 100 серверов ✦ => 100 * 100 = 10 000 воркеров ✦ нагрузка 1 000 rps ✦ FB “подтупляет" и начинает отвечать по 10 сек Реализация #3
- 55. ✦ 100 воркеров PHP-FPM на сервер ✦ 100 серверов ✦ => 100 * 100 = 10 000 воркеров ✦ нагрузка 1 000 rps ✦ FB “подтупляет" и начинает отвечать по 10 сек ✦ через 10 сек 1 000 * 10 = 10 000 => все воркеры будут заняты Реализация #3
- 56. 100 воркеров на сервер
- 57. 300 воркеров на сервер
- 58. 7300 воркеров на сервер
- 59. ✦ CPU-bound нагрузка (обычно) ✦ Память ✦ Context Switch’es ✦ Непредсказуемость времени ответа от Facebook (нужно “перезакладываться” в десятки раз) Воркеры — ограничения
- 60. Время на запросы к FB Непредсказуемо
- 61. ✦ Предварительно скачиваем списки зарегистрированных друзей ✦ В клиентском запросе на профайл отдельном запросе делаем HTTP-запрос в Facebook за общими друзьями Мы не можем себе позволить долгие запросы! (вообще) Реализация #3
- 62. PHProxyd
- 64. Реализация #4
- 65. Реализация #4 ✦ В коротком клиентском запросе запускаем скрипт в PHProxyd
- 66. Реализация #4 ✦ В коротком клиентском запросе запускаем скрипт в PHProxyd ✦ Клиент перепроверяет (поллит) результаты
- 67. Реализация #4 ✦ В коротком клиентском запросе запускаем скрипт в PHProxyd ✦ Клиент перепроверяет (поллит) результаты ✦ В скрипте в PHProxyd делаем HTTP-запрос к FB + небольшая бизнес логика
- 68. Реализация #4 ✦ В коротком клиентском запросе запускаем скрипт в PHProxyd ✦ Клиент перепроверяет (поллит) результаты ✦ В скрипте в PHProxyd делаем HTTP-запрос к FB + небольшая бизнес логика Теперь точно PROFIT!!!!!!!
- 70. Реализация #4 60M per day => 1000 rps в пике
- 71. Реализация #4
- 72. Реализация #4
- 73. Реализация #4
- 74. Реализация #4
- 75. Реализация #4
- 76. Реализация #4
- 77. Реализация #4
- 78. Реализация #4
- 79. Реализация #4
- 80. Реализация #4
- 83. XHProf
- 84. PHProxyd — замена ✦ Создание воркера на новый запрос (phproxyd)
- 85. PHProxyd — замена ✦ Создание воркера на новый запрос (phproxyd) Не работает
- 86. PHProxyd — замена ✦ Создание воркера на новый запрос (phproxyd) ✦ Преподготовить заранее кучу воркеров (php-fpm)
- 87. PHProxyd — замена ✦ Создание воркера на новый запрос (phproxyd) ✦ Преподготовить заранее кучу воркеров (php-fpm) Не работает
- 88. PHProxyd — замена ✦ Создание воркера на новый запрос (phproxyd) ✦ Преподготовить заранее кучу воркеров (php-fpm) ✦ Что-то асинхронное (nodejs, React PHP)
- 89. PHProxyd — замена ✦ Создание воркера на новый запрос (phproxyd) ✦ Преподготовить заранее кучу воркеров (php-fpm) ✦ Что-то асинхронное (nodejs, React PHP) Мы любим PHP…
- 90. PHProxyd — замена ✦ Создание воркера на новый запрос (phproxyd) ✦ Преподготовить заранее кучу воркеров (php-fpm) ✦ Что-то асинхронное (nodejs, React PHP) … но НЕТ! Мы любим PHP…
- 91. PHProxyd — замена ✦ Создание воркера на новый запрос (phproxyd) ✦ Преподготовить заранее кучу воркеров (php-fpm) ✦ Что-то асинхронное (nodejs, React PHP) ✦ Go = пишешь “синхронный” код, работает асинхронно
- 92. PHProxyd — замена ✦ Создание воркера на новый запрос (phproxyd) ✦ Преподготовить заранее кучу воркеров (php-fpm) ✦ Что-то асинхронное (nodejs, React PHP) ✦ Go = пишешь “синхронный” код, работает асинхронно + “сложились звёзды”
- 93. Реализация на Go
- 94. ✦ Предварительно скачиваем списки зарегистрированных друзей ✦ В коротком клиентском запросе запускаем скрипт в PHProxyd ✦ Клиент перепроверяет (поллит) результаты ✦ В скрипте в PHProxyd делаем HTTP-запрос к FB + небольшая бизнес логика Реализация #4 (предыдущая)
- 95. ✦ Предварительно скачиваем списки зарегистрированных друзей ✦ В коротком клиентском запросе запускаем скрипт в PHProxyd ✦ Клиент перепроверяет (поллит) результаты ✦ В скрипте в PHProxyd делаем HTTP-запрос к FB + небольшая бизнес логика (походы в MySQL, memcache итд) Реализация #4 (предыдущая)
- 96. Реализация #5 — отличия ✦ Принимает на вход “образ” http/https запроса
- 97. Реализация #5 — отличия ✦ Принимает на вход “образ” http/https запроса ✦ Отвечает “in progress”, начинает исполнять запрос асинхронно
- 98. Реализация #5 — отличия ✦ Принимает на вход “образ” http/https запроса ✦ Отвечает “in progress”, начинает исполнять запрос асинхронно ✦ На повторные реквесты отвечает “in progress” либо данными
- 99. Реализация #5 — отличия ✦ Принимает на вход “образ” http/https запроса ✦ Отвечает “in progress”, начинает исполнять запрос асинхронно ✦ На повторные реквесты отвечает “in progress” либо данными ✦ Всю остальную бизнес-логику (базы, мемкеши) оставляем снаружи
- 103. Реализация #5 ✦ Глобальный map с заданиями и результатами
- 104. Реализация #5 ✦ Глобальный map с заданиями и результатами ✦ HTTP-сервер, принимает “json” образ запроса, шлёт его в канал
- 105. Реализация #5 ✦ Глобальный map с заданиями и результатами ✦ HTTP-сервер, принимает “json” образ запроса, шлёт его в канал ✦ N горутин читают из канала, шлют запрос в FB
- 106. Реализация #5 ✦ Глобальный map с заданиями и результатами ✦ HTTP-сервер, принимает “json” образ запроса, шлёт его в канал ✦ N горутин читают из канала, шлют запрос в FB ✦ После получения результата пишут его в глобальный map
- 107. Реализация #5 ✦ Глобальный map с заданиями и результатами ✦ HTTP-сервер, принимает “json” образ запроса, шлёт его в канал ✦ N горутин читают из канала, шлют запрос в FB ✦ После получения результата пишут его в глобальный map ✦ Повторный запрос отдаёт результат из этого map
- 108. Реализация #5 ✦ Глобальный map с заданиями и результатами ✦ HTTP-сервер, принимает “json” образ запроса, шлёт его в канал ✦ N горутин читают из канала, шлют запрос в FB ✦ После получения результата пишут его в глобальный map ✦ Повторный запрос отдаёт результат из этого map Дублируем продакшен-трафик!!!
- 109. Pprof
- 115. Keep-Alive
- 116. Прага Майами + демон на GO + демон на GO
- 119. Вписываем в инфраструктуру ✦ JSON over HTTP -> “homemade” proto (GPB/JSON over TCP)
- 120. Вписываем в инфраструктуру ✦ JSON over HTTP -> “homemade” proto (GPB/JSON over TCP) ✦ Tests
- 121. Вписываем в инфраструктуру ✦ JSON over HTTP -> “homemade” proto (GPB/JSON over TCP) ✦ Tests ✦ Build / Deploy
- 122. Вписываем в инфраструктуру ✦ JSON over HTTP -> “homemade” proto (GPB/JSON over TCP) ✦ Tests ✦ Build / Deploy ✦ Statistics / monitoring
- 125. Было Стало
- 126. Заключение
- 127. ✦ Badoo, Фича Friends Заключение
- 128. ✦ Badoo, Фича Friends ✦ PHP, PHP-FPM, долгие запросы, запросы к внешним сервисам Заключение
- 129. ✦ Badoo, Фича Friends ✦ PHP, PHP-FPM, долгие запросы, запросы к внешним сервисам ✦ Go: прототип, pprof, keep-alive Заключение
- 131. Выводы ✦ Изолируйте проблему ✦ Делайте прототипы
- 132. Выводы ✦ Изолируйте проблему ✦ Делайте прототипы ✦ Не бойтесь экспериментировать
- 133. Спасибо!