Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
SkyTools: помощь в вопросах     масштабирования         Артём Носов
План доклада●   Skytools: готовые решения от Skype●   Основы PgQ: очередь, поставщик и потребитель;●   Londiste — как сред...
Компоненты SkyTools●   PgQ●   londiste●   walmgr
Применение PgQ●   Асинхронная обработка событий●   Обработка группы событий (batch)●   Репликация
Под капотом
Пример                             Rating                           Consumer                 Comet                        ...
Сильные стороны●   Поддержка транзакций●   Эффективная обработка событий●   Нет ограничений на количество поставщиков и   ...
PgQ: ticker●   Без ticker(a) нет batch(ей)●   Без batch(ей) события не обрабатываются●   Держите ticker всегда запущенным!
Параметры очереди●   ticker_max_lag●   ticker_idle_period●   ticker_max_count●   rotation_period
Londiste — master/slave replay
В чем подвох
request                                          consumer1со                             1 событиеб      request queueыти ...
email notification                            consumer_1notification fake table                          email notificatio...
Мониторинг●   pgq.get_consumer_info●   pgqadm.py status●   cacti и nagios
pgq.get_consumer_info()    queue_name    |    consumer_name      |       lag        |    last_seen-----------------+------...
1000Количество событий                     900                     800                     700                     600    ...
SkyTools 3●   Cooperative consumer●   pgqd●   Londiste: Parallel COPY
Вопросы?
Upcoming SlideShare
Loading in …5
×

SkyTools помощь в вопросах масштабирования (Артем Носов)

1,257 views

Published on

  • Be the first to comment

  • Be the first to like this

SkyTools помощь в вопросах масштабирования (Артем Носов)

  1. 1. SkyTools: помощь в вопросах масштабирования Артём Носов
  2. 2. План доклада● Skytools: готовые решения от Skype● Основы PgQ: очередь, поставщик и потребитель;● Londiste — как средство репликации;● Проблемы масштабирования skytools 2.x● Светлое будущее
  3. 3. Компоненты SkyTools● PgQ● londiste● walmgr
  4. 4. Применение PgQ● Асинхронная обработка событий● Обработка группы событий (batch)● Репликация
  5. 5. Под капотом
  6. 6. Пример Rating Consumer Comet (Realtime) activity queue Memcached user stat table Activity consumer
  7. 7. Сильные стороны● Поддержка транзакций● Эффективная обработка событий● Нет ограничений на количество поставщиков и потребителей● Надежность● Простота использования● Open Source
  8. 8. PgQ: ticker● Без ticker(a) нет batch(ей)● Без batch(ей) события не обрабатываются● Держите ticker всегда запущенным!
  9. 9. Параметры очереди● ticker_max_lag● ticker_idle_period● ticker_max_count● rotation_period
  10. 10. Londiste — master/slave replay
  11. 11. В чем подвох
  12. 12. request consumer1со 1 событиеб request queueыти notification fake table 10000е событий
  13. 13. email notification consumer_1notification fake table email notification notification queue_1 consumer_.. notification queue_..notification queue_100 email notification consumer_100
  14. 14. Мониторинг● pgq.get_consumer_info● pgqadm.py status● cacti и nagios
  15. 15. pgq.get_consumer_info() queue_name | consumer_name | lag | last_seen-----------------+-----------------------+-----------------+----------------- load_avatars_1 | load_avatars_consumer | 00:00:42.083408 | 00:00:37.561954 load_avatars_2 | load_avatars_consumer | 00:00:42.081061 | 00:00:37.653641 load_avatars_3 | load_avatars_consumer | 00:00:42.082729 | 00:00:37.906649 load_avatars_4 | load_avatars_consumer | 00:00:42.081907 | 00:00:37.574957 load_avatars_5 | load_avatars_consumer | 00:00:42.08163 | 00:00:37.840843
  16. 16. 1000Количество событий 900 800 700 600 500 400 300 200 100 0 08:00 09:00 10:00 11:00 12:00 13:00 14:00 15:00 16:00 17:00 18:00 19:00 20:00 Время
  17. 17. SkyTools 3● Cooperative consumer● pgqd● Londiste: Parallel COPY
  18. 18. Вопросы?

×