Что происходит внутри асинхронного кода? Как быть, когда логика становится cpu-bound? Можно ли сделать гибридную синхронно-асинхронную архитектуру? Я попробую ответить на эти вопросы на примере приложения на Tornado. Сделаю визуализацию работы приложения и предложу пути решения некоторых проблем.

1. ПРЕПАРИРОВАНИЕ РАБОТЫ
АСИНХРОННОГО КОДА
Александр Кошелев, Яндекс
PyCon Россия, 2013

2. ЗАЧЕМ
Asynchronous is a new cool
Эффективность
Много io-bound
Мало cpu-bound
Высокие нагрузки
Много клиентов

3. КАК
Инструменты на выбор
Twisted
Tornado
Asyncore
Gevent
...
Node.js
Можно написать своё

4. EVENT LOOP
Опрос сокетов
Вызов хендлеров
Обработка таймаутов
Вызов колбеков

5. EVENT LOOP
wiernig
hl unn:
d_adesces)
ohnl_okt(
d_adetmot(
ohnl_ieus)
d_adeclbcs)
ohnl_alak(

6. ЭТО ЗНАЧИТ
Все запросы обрабатываются в одном процессе
Обработка одного запроса влияет на другие
Требуется изоляция контекста каждого запроса

7. ГЛАВНЫЕ ПРАВИЛА
Нельзя блокироваться
Разбивка на короткие этапы
Обязательно io-bound

8. ЭКСПЕРИМЕНТ
Tornado
cpu-bound
Основан на реальной задаче

9. ЭКСПЕРИМЕНТ
ТЕСТОВОЕ ПРИЛОЖЕНИЕ
Принять запрос
Параллельно опросить бекэнды — принципиально
Обработать данные
Отдать ответ

10. ЭКСПЕРИМЕНТ
ТЕСТОВОЕ ПРИЛОЖЕНИЕ

11. ЭКСПЕРИМЕНТ
ХЕНДЛЕР
casApade(bet:
ls pHnlrojc)
@e.nie
gnegn
dfpoessl,clbc)
e rcs(ef alak:
yedgnTs(efd_o
il e.aksl.oi)
sl.ocu)
efd_p(
rsls=yed[e.aksl.obac)
eut il gnTs(efd_rnh,
gnTs(efd_rnh]
e.aksl.obac)
sl.ocu)
efd_p(
yedgnTs(efd_o
il e.aksl.oi)
sl.ocu)
efd_p(
clbc(o'
alak'k)

12. ЭКСПЕРИМЕНТ
ХЕНДЛЕР
casApade(bet:
ls pHnlrojc)
#..
.
dfd_p(ef cce=000)
e ocusl, yls1000:
fr_i xag(yls:
o n rnecce)
ps
as
@e.nie
gnegn
dfd_osl,clbc)
e oi(ef alak:
yedgnTs(efht_letfth 'tp/lclot50/)
il e.aksl.tpcin.ec, ht:/oahs:01'
clbc(oe
alakNn)
@e.nie
gnegn
dfd_rnhsl,clbc)
e obac(ef alak:
yed[e.aksl.oi)fr_i rne5]
il gnTs(efd_o o n ag()
sl.ocu)
efd_p(
clbc(oe
alakNn)

13. ЭКСПЕРИМЕНТ
ПРИЛОЖЕНИЕ
fo traoipr wb
rm ond mot e
fo hnlripr Apade
rm ade mot pHnlr
casRoHnlrwbRqetade)
ls otade(e.eusHnlr:
@e.snhoos
wbaycrnu
dfgtsl)
e e(ef:
hnlr=Apade(
ade pHnlr)
hnlrpoessl.eunrsos)
ade.rcs(efrtr_epne
dfrtr_epnesl,rsos)
e eunrsos(ef epne:
sl.iihrsos)
effns(epne
apiain=wbApiain[
plcto e.plcto(
('' RoHnlr,
r/, otade)
])

14. 1 ПАРАЛЛЕЛЬНЫЙ ЗАПРОС

15. 1 ПАРАЛЛЕЛЬНЫЙ ЗАПРОС

16. N ПАРАЛЛЕЛЬНЫХ ЗАПРОСОВ

17. 3 ПАРАЛЛЕЛЬНЫХ ЗАПРОСА

18. ВЫВОДЫ
Запросы мешают друг другу из-за cpu-bound задач
Растет время ответа
Жадность

19. WORKAROUND
FLASK + TORNADO IOLOOP
Синхронный воркер
Не жадный
Но нужно несколько процессов
Event loop внутри
Параллельный опрос бекэндов

20. FLASK + TORNADO IOLOOP
РЕАКТОР
dfd(ade,ag=) kag=}:
e ohnlr rs(, wrs{)
i_op=traoilo.Oopisac(
olo ond.oopILo.ntne)
rsl =[oe
eut Nn]
dfclbc(eut)
e alakrsl_:
rsl[]=rsl_
eut0 eut
i_opso(
olo.tp)
kag[clbc' =clbc
wrs'alak] alak
hnlr*rs *kag)
ade(ag, *wrs
i_opsat)
olo.tr(
rtr rsl[]
eun eut0

21. FLASK + TORNADO IOLOOP
ПРИЛОЖЕНИЕ
fo fakipr Fak
rm ls mot ls
ipr hnlr ratr
mot ade, eco
apiain=Fak_nm_)
plcto ls(_ae_
@plcto.ot(/)
apiainrue''
dfro(:
e ot)
hd =hnlrApade(
nl ade.pHnlr)
rsos =ratrd(nlpoes
epne eco.ohd.rcs)
rtr rsos
eun epne

22. 1 ПАРАЛЛЕЛЬНЫЙ ЗАПРОС

23. 1 ПАРАЛЛЕЛЬНЫЙ ЗАПРОС

24. N ПАРАЛЛЕЛЬНЫХ ЗАПРОСОВ

25. 3 ПАРАЛЛЕЛЬНЫХ ЗАПРОСА

26. ИТОГИ
Время не зависит от числа параллельных запросов
Более предсказуемое поведение

27. ВЫВОДЫ
Баланс cpu-bound/io-bound
Всё зависит от задачи

28. ВОПРОСЫ?
Спасибо
Александр Кошелев, Яндекс