Кругом обманили использование стандартных протоколов        для нестандартных вещейАлександр Клестов, ведущий разработчик ...
Кто мы?• Компания WapStart – владелец крупнейшей в России мобильной  рекламной сети Plus1 WapStart и каталога мобильных са...
Загадка
Загадка
Логика подбора баннера1. Определение характеристик запроса2. Подбор подходящих под запрос баннеров3. Отсечки на время выпо...
Проблемы1. Длинный хвост2. Редкие запросы
Memcached, «все хорошо»                   Кеш              СУБД     «Попали» в кеш,         «Не попали»     70-95%Основная...
Memcached, «пришла Индия»                   Кеш             СУБД     «Попали» в кеш,        «Не попали»     10-15%Кеш бесп...
Проект «рыба»: идея!                          Очередь на                          наполнение         Кеш              «Не ...
Проект «рыба»: итерация перваяServer      Storage     LibraryWorker #1Worker #2                FillerWorker #N
Проблемы1. Удаление данных2. Проблема «первого запроса»3. Много дублированных данных
Проект «рыба»: итерация втораяServer      Storage     LibraryWorker #1               NormalizerWorker #2                 F...
Проблемы1. Удаление данных2. Проблема «первого запроса»
Резюме1. По скорости работы сопоставим с Redis2. Держит 1000 rps на одном ядре на   production-серверах3. Потери качества ...
Планы1. Доработка наполнятора / поддержка   нескольких наполняторов с приоритетом2. Повышение скорости работы3. Возможност...
Вопросы?Wapstart:                               Я:http://wapstart.ru/                     Mail/jabber: alan@klestoff.ruhtt...
Upcoming SlideShare
Loading in …5
×

Кругом обман или использование стандартных протоколов для нестандартных вещей

1,352 views

Published on

Презентация доклада Клестова Александра на конференции DevConf 2012

0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
1,352
On SlideShare
0
From Embeds
0
Number of Embeds
350
Actions
Shares
0
Downloads
3
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

Кругом обман или использование стандартных протоколов для нестандартных вещей

  1. 1. Кругом обманили использование стандартных протоколов для нестандартных вещейАлександр Клестов, ведущий разработчик Wapstart
  2. 2. Кто мы?• Компания WapStart – владелец крупнейшей в России мобильной рекламной сети Plus1 WapStart и каталога мобильных сайтов Top WapStart.• Компания оказывает услуги тысячам издателей мобильных сайтов и приложений.• Ежемесячная рекламная емкость WapStart - свыше 1,5 млрд. показов, число уникальных посетителей - более 10 миллионов в месяц.• Компания WapStart владеет передовыми технологиями таргетинга и анализа аудитории, позволяющими проводить рекламные кампании с высокой рентабельностью инвестиций.
  3. 3. Загадка
  4. 4. Загадка
  5. 5. Логика подбора баннера1. Определение характеристик запроса2. Подбор подходящих под запрос баннеров3. Отсечки на время выполнения Определение Подбор баннеров Отсечки характеристик
  6. 6. Проблемы1. Длинный хвост2. Редкие запросы
  7. 7. Memcached, «все хорошо» Кеш СУБД «Попали» в кеш, «Не попали» 70-95%Основная часть запросов обрабатывается вкеше, СУБД не перегружена
  8. 8. Memcached, «пришла Индия» Кеш СУБД «Попали» в кеш, «Не попали» 10-15%Кеш бесполезен, СУБД «ложится», SLA невыполняются
  9. 9. Проект «рыба»: идея! Очередь на наполнение Кеш «Не попали» СУБД «Попали»Отказоустойчивость и выдерживание SLA за счетнезначительного падения эффективности
  10. 10. Проект «рыба»: итерация перваяServer Storage LibraryWorker #1Worker #2 FillerWorker #N
  11. 11. Проблемы1. Удаление данных2. Проблема «первого запроса»3. Много дублированных данных
  12. 12. Проект «рыба»: итерация втораяServer Storage LibraryWorker #1 NormalizerWorker #2 Filler HasherWorker #N
  13. 13. Проблемы1. Удаление данных2. Проблема «первого запроса»
  14. 14. Резюме1. По скорости работы сопоставим с Redis2. Держит 1000 rps на одном ядре на production-серверах3. Потери качества распознавания менее 1%4. Всегда отвечаем из памяти
  15. 15. Планы1. Доработка наполнятора / поддержка нескольких наполняторов с приоритетом2. Повышение скорости работы3. Возможность синхронной работы наполнятора
  16. 16. Вопросы?Wapstart: Я:http://wapstart.ru/ Mail/jabber: alan@klestoff.ruhttps://plus1.wapstart.ru Vkontakte: http://vk.com/klestoffПродажи: sales@co.wapstart.ru FaceBook: http://fb.com/klestoffРазработка: dev@co.wapstart.ruGitHub: https://github.com/Wapstart GitHub: https://github.com/klestoffHabr: http://habr.ru/company/wapstart Habr: http://habr.ru/users/klestoff

×