Downloaded 13 times
Uploaded byOntico
RTB DSP на языке Go укрощение buzzwords / Даниил Подольский (Qmobi.Com)
Документ описывает процесс создания RTB DSP на языке Go в компании QMobi, специализирующейся на интернет-рекламе и продвижении мобильных приложений. Основное внимание уделяется архитектуре системы, проблемам с масштабируемостью различных компонентов и выбору технологий, что привело к созданию эффективного решения для обработки множества рекламных кампаний. Итогом проекта стал высокопроизводительный код, способный обрабатывать 10,000 запросов в секунду на одном сервере, несмотря на возникшие трудности с использованием MySQL.
More Related Content
Similar to RTB DSP на языке Go укрощение buzzwords / Даниил Подольский (Qmobi.Com)
RTB DSP на языке Go укрощение buzzwords / Даниил Подольский (Qmobi.Com)
- 1. Создание RTB DSP на языкеGo Даниил Подольский Qmobi.com
- 2. Немного о Qmobi.com •Компания Qmobi занимается • интернет-рекламой • продвижением мобильных приложений • без RTB DSP просто не может • Стек технологий (.Net), до настоящего времени использовавшийся в компании, не подходит под задачу • и это прекрасно - мы свободны в выборе!
- 3. Немного о выборе •насамом деле - выбор совсем не широк •.Net •JVM-экосистема •все_остальное •нет, это нельзя писать на perl •да, мы проверяли •из всего_остального мы выбрали Go •да, это произвол
- 4. Немного о докладе •никакихцифр и графиков •розовые единороги и радуга повсюду •основная мысль - выбор стал шире: •Net •JVM-экосистема •Go •все_остальное
- 5. С чего всеначиналось
- 6.
- 7. Как все началозаканчиваться • 4 часа сборки • C++ • Описание интерфейсов в терминах наследования • Запутанная архитектура • JSON-конфиги, xml-конфиги • Zookeeper • ZeroMQ • Redis
- 8. RTBkit все •мы написали •smaato-коннектор,Bid и Win •bidder agent •ad-server •logger •интеграцию с trading desc (sort of)
- 9. RTBkit все •что осталось •router- неудобный при том •banker
- 10. RTBkit все •что осталось •router- неудобный при том •banker •так, может быть, переписать и их?
- 11. Немного о задаче •1000пользователей •по 100 кампаний •по 100 креативов на кампанию •итого - 10 000 000 строк
- 12. Немного о задаче •1000пользователей •по 100 кампаний •по 100 креативов на кампанию •итого - 10 000 000 строк •10krps •можно и больше, но не нужно •мы ограничены бюджетом
- 13. Еще о задаче •Задача выглядит прямой как палка и простой как 3 копейки • вот креативы • вот запросы • матч один к другому, и все получится • задача выглядит хорошо масштабирующейся • база креативов обновляется редко • базе креативов не нужна strong consistency
- 14. А теперь -о проблемах • banker - не масштабируется • чтобы масштабировать banker нам нужна CA (в терминах CAP-теоремы) СУБД
- 15. А теперь -о проблемах • banker - не масштабируется • чтобы масштабировать banker нам нужна CA (в терминах CAP-теоремы) СУБД • bidder - это расчет пересечения множеств • а пересечения множеств - это или сортировка, или полный перебор
- 16. А теперь -о проблемах • banker - не масштабируется • чтобы масштабировать banker нам нужна CA (в терминах CAP-теоремы) СУБД • bidder - это расчет пересечения множеств • а пересечения множеств - это или сортировка, или полный перебор • а еще bidder - это сортировка выборки • по приоритету • по времени последнего показа • по цене показа • по остатку на счете кампании
- 17. И о решениях •нетипичныйпроект, задачи •или тривиальны •или не имеют решения
- 18. Об очевидных технических решениях •тривиальный код сетевого взаимодействия на Go • из нестандартного - OpenRTB протокол СУБД драйвер
- 19. Об очевидных технических решениях •тривиальный код сетевого взаимодействия на Go • из нестандартного OpenRTB протокол и СУБД драйвер • nginx - знамя русского хайлоада - на входе • просто для обработки таймаута
- 20. Об очевидных технических решениях •тривиальный код сетевого взаимодействия на Go • из нестандартного OpenRTB протокол и СУБД драйвер • nginx - знамя русского хайлоада - на входе • просто для обработки таймаута • кеширование креативов и кампаний в памяти • раз уж они влезают
- 21. Об очевидных технических решениях •Geo-таргетинг делается по кодам ISO-3166 • коды получаются из координат с помощью PostGIS • Полная база работает недопустимо медленно, пришлось создать свою выборку, только с границами интересующих нас областей • примерно треть запросов не содержит координат • практически ни один запрос не содержит кодов ISO-3166 - а по стандарту должен!
- 22. О спорных технических решениях •MySQL как banker • прижился со стадии прототипа • да, на триггерах • 10krps - это примерно 20k updates per second • backup есть, failover и balancing нет • и backup может существенно отставать
- 23. О спорных технических решениях •Logger на InfluxDB • InfluxDB - странная база, но она работает • Она - time series • В нее же пишем метрики для Grafana
- 24. О спорных технических решениях •Logger на InfluxDB • InfluxDB - странная база, но она работает • Она - time series • В нее же пишем метрики для Grafana • Обычно для логов используется Elastic Search • Но он слишком сильно грузит диски • И даже известно, почему
- 25. О самому-страшно технических решениях •Как устроена выборка по таргетингу • НИКАК! • мы берем случайную запись, и проверяем ее на соответствие • если не подошла - берем еще одну случайную • и так, пока не выйдет время (100ms)
- 26. О самому-страшно технических решениях •Как устроена выборка по таргетингу • НИКАК! • мы берем случайную запись, и проверяем ее на соответствие • если не подошла - берем еще одну случайную • и так, пока не выйдет время (100ms) • И это работает • и мы можем это доказать
- 27. О самому-страшно технических решениях •На самом деле - это не совсем правда • самый нужный таргетинг захардкожен в структуру кеша • случайная выборка происходит не по всему пространству, а по подмножеству, ограниченному Device + OS + version + Geo
- 28. О самому-страшно технических решениях •Подлый удар от Go sheduler • переключение go-routines происходит по IO • это значит - пока мы ползаем по базе, мы не даем другим рутинам работать • пришлось вставить runtime.Gosched() в цикл
- 29. О самому-страшно технических решениях •Приоритетов кампаний ровно два • и приоритетные просто "дважды изображены на бутылке"
- 30. О самому-страшно технических решениях •Приоритетов кампаний ровно два • и приоритетные просто "дважды изображены на бутылке" • прекратите смех!!1
- 31. Что дальше • заменитьMySQL на CA кластер. • Возможно, придется написать свой • таргетинг по произвольному набору параметров - второй подход к снаряду • анализатор логов - выяснить, что нужно бизнесу от него, и написать соответствующий интерфейс • автоматическая обратная связь - именно для нее все и затевается
- 32. Итоги • довольно быстрыйрезультат • 3 человеко-месяца
- 33. Итоги • довольно быстрыйрезультат • 3 человеко-месяца • высокоэффективный код • 1 сервер тянет 10krps • уперлись мы в MySQL • MySQL уперся в CPU
- 34. Итоги • довольно быстрыйрезультат • 3 человеко-месяца • высокоэффективный код • 1 сервер тянет 10krps • уперлись мы в MySQL • MySQL уперся в CPU • полностью свой проект • не считая MySQL и nginx
- 35. Спасибо за внимание •Вопросы?