В докладе я расскажу про то, как по мере роста аудитории и функционала проекта iFunny возникла потребность асинхронно выполнять тяжелые задачи, требующие значительного количества серверных ресурсов и времени. Проведу краткий анализ существующих решений и поведаю, как мы дошли до Python и Celery. Подробнее остановлюсь на архитектуре, которую мы выбрали. Celery: быстрый старт, важные настройки, тюнинг. Мониторинг и логирование. Существующие проблемы и планы на будущее.

1. АсинхронныезадачивiFunny:)
СергеевАнтон
@hackPNZ

2. Прочтовсеэто?
Когдаидлячегомогутпонадобитьсяасинхронныезадачи;
ОчередьзадачCelery;
Нашаархитектура,нашопыт.

3. iFunny:)
Юмористическийсервис;
Суточнаяаудитория:
4000000пользователей;
Около250000работ
публикуетсяежедневно;
Около1000000000
просмпросмотровконтентакаждыйдень.

4. Разработка
iFunny:)

5. iFunny2.4
ВозможностьдобавлятьGIF
Тяжелыйконтент;
Конвертацияввидеоформатwebm;
Нарезкатумбнейлов:форматыjpeg
иwebp.
Q22013

6. iFunny3.0
Подписки,републикацияработ
Подписки:добавлениеновыхработ
влентыпользователей;
Републикации:добавление
републикацийвленты
пользователей.
Q42013

7. Asynchronous
taskqueue

8. Pythonвкачествеосновногоподдерживаемогоязыка;
Проектбыстроразвивается,активноесообщество;
Легкоразвертывается,минимумконфиговилишнегокода;
Поддержкамножестваотдельныхброкеров;
Отказоустойчивый,легкомасштабируется.
www.celeryproject.orgCelery

10. Celery
brokers

11. RabbitMQ
Стабильный;
Рекомендуютпо-умолчанию.
Cложностьтонкойнастройки;
Плюсещеодинкомпонентинфраструктуры.

12. Redis
Давноиуспешноиспользуемвproduction;
Быстрыезапись/чтение(задачихранятсявпамяти);
Легкоподнятьснуля.
Дорогодлябольшихданных;
Failover:можно,носложно.

13. Experimentalbrokers
MongoDB; |ограничениеразмерадокумента16Mb
Beanstalk;
AmazonSQS;
CouchDB;
SQLAlchemy;
...others.

14. Сельдерей+редис!

15. Архитектура

16. APIInstances
Celerygates
Celery
workers
Redisstorage

17. 2xuWSGIgates
AWSEC2c3.xlargeinstances
(4vCPU,7.5GbRAM,2x40GbSSD)
8xWorker
AWSEC2c3.2xlargeinstances
(8vCPU,15GbRAM,2x80GbSSD)

18. RequestsPerMinute

19. ЗадачивiFunny:)
Публикацияконтента;
Fanout;
Revokefanout;
Рассылкаemail-уведомлений.

20. КонфигурацияCelery
celery=Celery('celerytasks')
celery.config_from_object(‘celeryconfig')#celeryconfig.ру
@celery.task()
deftest_task(foo):
result=tasks.test.execute(foo)
returnresult

21. Brokerconfig
BROKER_URL="redis://:12345@localhost:6379/0"
CELERY_RESULT_BACKEND="redis://:12345@localhost:6379/0"

22. APIentrypoint
@app.route(“/test/task",methods=[‘GET'])
deftest_task():
async_result=celerytasks.test_task.delay(42)
returnasync_result

23. Разделениеочередей
CELERY_ROUTES={
'celerytasks.test_task':{'queue':'foo_queue'},
'celerytasks.foo_task':{'queue':'foo_queue'},
'celerytasks.bar_task':{'queue':'bar_queue'},
}

24. Taskcalling
features

25. Linking
test_task.apply_async((foo),link=test_task.s(bar))
Customerrorhandler
test_task.apply_async((foo),link_error=error_handler.s())
Countdown
result=test_task.apply_async((foo),countdown=3)
rresult.get()#вернетрезультаткакминимумчерез3секунды

26. Expiration
test_task.apply_async((foo),expires=60)#задачаистечетчерез
60секундоттекущеговремени(получаетстатусREVOKED)
Retry
test_task.apply_async((foo),retry=True,retry_policy={
'max_retries':3,
'interval_start':0,
'interval_step':0.2,
'interval_max':0.2,
})

27. Serializers
test_task.apply_async((foo),serializer=‘json')#pickle,JSON,YAML,
msgpacketc
Compression
test_task.apply_async((foo),compression=‘zlib')#gzip,bzip2
Routingtoqueue
test_task.apply_async(queue=‘test_queue')test_task.apply_async(queue=‘test_queue')

28. Логирование
имониторинг

29. Graylog2:celerylogs

30. Datadog:commonmetrics

31. Datadog:CPUmetric

32. NewRelic:среднеевремявыполнения

33. NewRelic:мониторингошибок

34. Чтодальше?

35. Celery3.1— течетпамятьподнагрузкой;
Гейтысамипосебе— тяжелыеиизбыточные.
Решение:добавлятьзадачинапрямуювRedis;
ДумаемнасчетRabbitMQ.

36. Спасибозавнимание!
Вопросы?
СергеевАнтон
@hackPNZ
github.com/hackpnz