Я расскажу про то, как выполнять тяжелые задачи, требующие значительного количества серверных ресурсов и времени так, чтобы это оставалось незаметным для пользователя. Какую архитектуру выбрали мы, каким инструментом пользуемся для решения асинхронных задач в iFunny. Поделюсь опытом: какие трудности были встречены на пути перехода к асинхронным задачам, какие решения выбрали и как мы видим наше светлое будущее. Доклад будет интересен всем, кто интересуется сложными распределенными системами.

1. АсинхронныезадачивiFunny:)
СергеевАнтон
@hackPNZ

2. Прочтовсеэто?
Когдаидлячегомогутпонадобитьсяасинхронныезадачи;
Существующиеготовыерешения;
Чтовыбралимы,нашаархитектура,нашопыт.

3. iFunny:)
Юмористическийсервис;
Суточнаяаудитория:
4000000пользователей;
Около250000работ
публикуетсяежедневно;
Около1000000000
просмпросмотровконтентакаждыйдень.

4. Разработка
iFunny:)

5. iFunny2.4
ВозможностьдобавлятьGIF
Тяжелыйконтент(до10Mb);
Конвертацияввидеопридобавлении
(форматwebm);
Нарезкатумбов,форматыjpeg
иwebp.
Q22013

6. iFunny3.0
Подписки,возможность
републикацииработ
Подписки,добавлениеработ
влентыпользователей;
РепуРепубликации,добавление
републикацийвленты
пользователей.
Q42013

7. Asynchronous
taskqueue

8. Поддержкамножестваязыковдляреализацииворкеров
(втомчисле,PHP);
Оченьбольшойлимитразмерасообщения(4GB);
Большоеколичествомануаловвсети.
www.gearman.org

9. Pythonвкачествеосновногоподдерживаемогоязыка;
Проектбыстроразвивается,активноесообщество;
Легкоразвертывается,минимумконфиговилишнегокода;
ИнтеграциясDjango.
www.celeryproject.orgCelery

10. МывыбралиCelery
Python:)
Гибкий,поддержкамножестваразличныхброкеров;
Отказоустойчивый,легкомасштабируется;
Высокопроизводительный;
ВдохновляющийопытInstagram.

11. Celery
brokers

12. RabbitMQ
Стабильный;
Рекомендуютпо-умолчанию.
Cложностьтонкойнастройки;
Плюсещеодинкомпонентинфраструктуры.

13. Redis
Давноиуспешноиспользуемвпродакшне;
Быстрыезапись/чтение(задачихранятсявпамяти);
Легкоподнятьснуля.
Дорогодлябольшихданных;
Failover:можно,носложно.

14. Experimentalbrokers
MongoDB; |ограничениеразмерадокумента16Mb
Beanstalk;
AmazonSQS;
CouchDB;
SQLAlchemy;
...другие.

15. Сельдерей+редис!

16. Архитектура

17. APIInstances
Celerygates
Celery
workers
Redisstorage

18. 2xuWSGIgateinstances
2xAWSEC2c3.xlarge
(4vCPU,7.5GbRAM,2x40GbSSD)
8xWorkerinstances
8xAWSEC2c3.2xlarge
(8vCPU,15GbRAM,2x80GbSSD)

19. rpm

20. ЗадачивiFunny:)
Публикацияконтента;
Fanout;
Revokefanout;
Рассылкаemail-уведомлений.

21. КонфигурацияCelery
celery=Celery('celerytasks')
celery.config_from_object(‘celeryconfig')
@celery.task()
deftest_task(foo):
result=tasks.test.execute(foo)
returnresult

22. Brokerconfig
BROKER_URL="redis://:12345@localhost:6379/0"
CELERY_RESULT_BACKEND="redis://:12345@localhost:6379/0"

23. APIentrypoint
fromflaskimportg
...
@app.route(“/test/task",methods=[‘GET'])
deftest_task():
foo=g.params.get('foo')
async_result=celerytasks.test_task.delay(foo)
returnasync_result

24. Разделениеочередей
CELERY_ROUTES={
'celerytasks.test_task':{'queue':'test_foo'},
'celerytasks.foo_task':{'queue':'test_foo'},
'celerytasks.bar_task':{'queue':'test_bar'},
}

25. Taskcalling
features

26. Linking
test_task.apply_async((foo),link=test_task.s(bar))
Customerrorhandler
test_task.apply_async((foo),link_error=error_handler.s())
Countdown
result=test_task.apply_async((foo),countdown=3)
rresult.get()#вернетрезультаткакминимумчерез3секунды

27. Expiration
test_task.apply_async((foo),expires=60)#задачаистечетчерез
60секундоттекущеговремени(получаетстатусREVOKED)
Retry
test_task.apply_async((foo),retry=True,retry_policy={
'max_retries':3,
'interval_start':0,
'interval_step':0.2,
'interval_max':0.2,
})

28. Serializers
test_task.apply_async((foo),serializer=‘json')#pickle,JSON,YAML,
msgpacketc
Compression
test_task.apply_async((foo),compression=‘zlib')#gzip,bzip2
Routingtoqueue
test_task.apply_async(queue=‘test_queue')test_task.apply_async(queue=‘test_queue')

29. Логирование

30. Graylog2
Opensourceсистемааналитикиданных;
СобственныйформатсообщенийGELF;
Дополнительноберемсообщенияизsyslog.
ИногдападаетприиспользованииGELF.

32. Мониторинг
Celeryevents;
Flower;
Datadog;
NewRelic;
...другие.

33. Flower
Real-timetasksmonitoring;
Workerspoolrestart;
Web-interface;
Основаннаceleryevents.
Постояннопадалвпикенагрузки;
МалосМалостатистики.

37. Datadog
fromstatsdimportstatsd
...
@app.route("/foo",methods=['POST'])
deffoo():
statsd.increment('ifunny.tasks.received',1,tags=[“task:foo”])

40. NewRelic
Среднеевремявыполнениязадачи;
Детальнаястатистикапотипамзадач;
Реалтайммониторингошибок;
Количествозапросоввминуту;
Футболкавподарок:)
ССтоитнедешево.

41. Среднеевремявыполнениязадач

42. Мониторингошибок

43. Чтодальше?
Celery3.1— течетпамять;
FailoverгейтовпришлосьсделалирукамивкодеAPI;
Гейтысамипосебе— тяжелыеиизбыточные;
ДобавлятьзадачинапрямуюизRedis;
ДумаемнасчетRabbitMQ.

44. Спасибозавнимание!
Вопросы?
СергеевАнтон
@hackPNZ
github.com/hackpnz