Докладчик: Никита Семенов О докладе: Появление asyncio стало новой вехой в истории питона. По-настоящему удобный и эффективный способ запускать асинхронный код. В своем докладе я познакомлю слушателя с базовым синтаксисом, парадигмами и примитивами, чтобы можно было начать использовать всю мощь asyncio уже сегодня. Для этого я возьму децентрализованные базы данных с web-интерфейсом, раскиданные по нескольким серверам, и покажу как их можно эффективно запроцесить только при помощи стандартных методов питона 3.4+ и aiohttp. Видео: https://youtu.be/rpiHVA6vRTY

1. asyncio для процессинга
распределенной базы данных

2. О себе
●
Никита Семенов
●
5 лет играл в покер
●
R, scikit-learn, data mining
●
1 год python backend в pickorban.com

3. pickorban.com
●
Machine learning
для Dota 2

4. О чем доклад
●
asyncio
●
aiohttp, web socket
●
gather, semaphore, asyncio.Queue
●
От плохого к хорошему

5. api.steampowered.com/IDOTA2Match_570/GetMatchDetails/V1/?match_id=...&key=...

7. Matches dbs Users dbsBlack Box
1 000 000 000 игр
1 тб сжатых данных
70 тб скачено через Dota Web API
10 000 000 игроков
500 гб данных
Key:value
+1 000 000 каждый день
GET /getMatch/{match_id}
GET /getNextMatch

8. Решение #1
sequential read:
Читаем все матчи подряд и апдейтим игроков
SSD 200 MBsec, HDD 100 MBsec

9. Решение #1
sequential read:
Читаем все матчи подряд и апдейтим игроков
import requests
from config import db_addresses
for db_server, db_port in db_addresses:
while not error:
r = requests.get('http://{}:{}/getNextMatch'.format(db_server,
db_port))
match_json = r.json()
process(match_json)

10. Как хочется?
●
Чтобы использовалось 100% CPU

11. Как хочется?
●
Чтобы использовалось 100% CPU
Решение
Task 1: In process
Task 2: In process
Task 3: Finish
Task 4: Canceled

12. from concurrent.futures import ThreadPoolExecutor
def fetch(server, port):
r = requests.get('http://{}:{}/getNextMatch'.format(server, port))
process(r.json())
with ThreadPoolExecutor(max_workers = 10) as executor:
for db_server, db_port in db_addresses:
while True:
for _ in range(10):
executor.submit(fetch, db_server, db_port)
sleep(0.015)

13. from concurrent.futures import ThreadPoolExecutor
def fetch(server, port):
r = requests.get('http://{}:{}/getNextMatch'.format(server, port))
process(r.json())
with ThreadPoolExecutor(max_workers = 10) as executor:
for db_server, db_port in db_addresses:
while True:
for _ in range(10):
executor.submit(fetch, db_server, db_port)
sleep(0.015)
Накрасивый вызов аргументов

14. from concurrent.futures import ThreadPoolExecutor
def fetch(server, port):
r = requests.get('http://{}:{}/getNextMatch'.format(server, port))
process(r.json())
with ThreadPoolExecutor(max_workers = 10) as executor:
for db_server, db_port in db_addresses:
while True:
for _ in range(10):
executor.submit(fetch, db_server, db_port)
sleep(0.015)
Параметры придется подбирать эксперементально

15. from concurrent.futures import ThreadPoolExecutor
def fetch(server, port):
r = requests.get('http://{}:{}/getNextMatch'.format(server, port))
process(r.json())
with ThreadPoolExecutor(max_workers = 10) as executor:
for db_server, db_port in db_addresses:
while True:
for _ in range(10):
executor.submit(fetch, db_server, db_port)
sleep(0.015)
Треды не бесконечны и затрагивают OS

16. from concurrent.futures import ThreadPoolExecutor
def fetch(server, port):
r = requests.get('http://{}:{}/getNextMatch'.format(server, port))
process(r.json())
with ThreadPoolExecutor(max_workers = 10) as executor:
for db_server, db_port in db_addresses:
while True:
for _ in range(10):
executor.submit(fetch, db_server, db_port)
sleep(0.015)
Неявное отличие блокирующих функций от неблокирующих

17. import asyncio
import aiohttp
async def fetch(session, url):
async with session.get(url) as response:
match_json = await response.json()
process(match_json)
async def main():
async with aiohttp.ClientSession() as session:
for db_server, db_port in db_addresses:
while True:
for _ in range(10):
loop.create_task(fetch(session, url))
await asyncio.sleep(0.015)
loop = asyncio.get_event_loop()
loop.run_until_complete(main())

18. import asyncio
import aiohttp
async def fetch(session, url):
async with session.get(url) as response:
match_json = await response.json()
process(match_json)
async def main():
async with aiohttp.ClientSession() as session:
for db_server, db_port in db_addresses:
while True:
for _ in range(10):
loop.create_task(fetch(session, url))
await asyncio.sleep(0.015)
loop = asyncio.get_event_loop()
loop.run_until_complete(main())
1 скрипт = 1 loop, 1 thread

19. import asyncio
import aiohttp
async def fetch(session, url):
async with session.get(url) as response:
match_json = await response.json()
process(match_json)
async def main():
async with aiohttp.ClientSession() as session:
for db_server, db_port in db_addresses:
while True:
for _ in range(10):
loop.create_task(fetch(session, url))
await asyncio.sleep(0.015)
loop = asyncio.get_event_loop()
loop.run_until_complete(main())
Все еще проблема со sleep и синтаксисом

20. async def main():
async with aiohttp.ClientSession() as session:
for db_server, db_port in db_addresses:
while True:
tasks = []
for _ in range(10):
tasks.append(fetch(session, url))
await asyncio.gather(*tasks)

21. async def main():
async with aiohttp.ClientSession() as session:
for db_server, db_port in db_addresses:
while True:
tasks = []
for _ in range(10):
tasks.append(fetch(session, url))
await asyncio.gather(*tasks)
Gather работает со скоростью самого медленного запроса

22. sem = asyncio.Semaphore(10)
async def fetch(session, url):
async with session.get(url) as response:
match_json = await response.json()
process(match_json)
sem.release()
async def main():
async with aiohttp.ClientSession() as session:
for db_server, db_port in db_addresses:
while True:
await sem.acquire()
loop.create_task(fetch(session, url))

23. async def fetch(session, url):
async with session.get(url) as response:
match_json = await response.json()
process(match_json)
async def main():
async with aiohttp.ClientSession() as session:
for db_server, db_port in db_addresses:
while True:
async with sem:
loop.create_task(fetch(session, url))

24. async def fetch(session, url):
async with session.get(url) as response:
match_json = await response.json()
process(match_json)
async def main():
async with aiohttp.ClientSession() as session:
for db_server, db_port in db_addresses:
while True:
async with sem:
loop.create_task(fetch(session, url))
Размер семафора все еще нужно подбирать эксперементально

25. async def fetch(session, url):
async with session.get(url) as response:
match_json = await response.json()
process(match_json)
async def main():
async with aiohttp.ClientSession() as session:
for db_server, db_port in db_addresses:
while True:
async with sem:
loop.create_task(fetch(session, url))
Данные изменяются в разных частях кода. Нет гарантий точности

26. async def fetch(session, url):
async with session.get(url) as response:
match_json = await response.json()
process(match_json)
async def main():
async with aiohttp.ClientSession() as session:
for db_server, db_port in db_addresses:
while True:
async with sem:
loop.create_task(fetch(session, url))
Можно упереться в нагрузку на стороне сервера с базой
Хочется делать N паралельных запросов к каждому серверу

27. Queue
Читаем данные из любого места в коде
Изменяем данные только в одном месте
Гарантирован порядок выполнения задач
Thinking about Concurrency
Raymond Hettinger, Python core developer
https://youtu.be/Bv25Dwe84g0

28. ●
Максимальный доступ к базам
●
Результат собирается в одном месте
admin_queue = asyncio.Queue(maxsize = 1000)
async def read_from_admin_queue():
while True:
match_json = await admin_queue.get()
process(match_json)
admin_queue.task_done()
async def fetch_from_db(url):
while True:
async with session.get(url) as response():
match_json = await response.json()
await admin_queue.put(match_json)
async def main():
loop.create_task(read_from_admin_queue())
for db_server, db_port in db_addresses:
loop.create_task(fetch_from_db(url))

29. Все круто пока игроки помещаются в память. А если нет?

30. Все круто пока игроки помещаются в память. А если нет?
while True:
for player_id, player_matches in players_matches_list:
player = Player(player_id)
for match_id in player_matches:
match_json = r.get('.../getMatch/{}'.format(match_id))
player.parse_match(match_json)
db.update(player)

31. Все круто пока игроки помещаются в память. А если нет?
while True:
for player_id, player_matches in players_matches_list:
player = Player(player_id)
for match_id in player_matches:
match_json = r.get('.../getMatch/{}'.format(match_id))
player.parse_match(match_json)
db.update(player)
База становится очень зависима от скорости random read.
SSD ~ 40 000RPS
Выгодно брать больше серверов с большим кол-вом дисков

32. Hash Ring
players
Player
matches list

33. 10-15 000 RPS
Java

34. Децентрализованая архитектура
1: /getMatch/{id}
2: /getMatch/{id}
3: /getMatch/{id}
4: /getMatch/{id}
5: /getMatch/{id}
40: /getMatch/{id}
...
/getNextPlayerMatchesList/{db_id}
player_db_1
player_db_2
player_db_3
player_db_4
player_db_20
…

35. read_only для всех баз кроме последней
Можно делать частичную выборку игроков
Можно писать один код для batch и online обновлений

36. async def get_match_json(db_server, db_port, match_id):
async with session.get(url.format(db_server, db_port, match_id)) as
response:
return await response.json()
for player_id, player_matches in players_matches_list:
player = Player(player_id)
tasks = await asyncio.gather(*[get_match_json(db_server, db_port,
match_id) for db_server, db_port, match_id in player_matches])
for match_json in tasks.results():
player.parse_match(match_json)
db.update(player)

37. async def get_match_json(db_server, db_port, match_id):
async with session.get(url.format(db_server, db_port, match_id)) as
response:
return await response.json()
for player_id, player_matches in players_matches_list:
player = Player(player_id)
tasks = await asyncio.gather(*[get_match_json(db_server, db_port,
match_id) for db_server, db_port, match_id in player_matches])
for match_json in tasks.results():
player.parse_match(match_json)
db.update(player)
Gather может собирать результаты функции

38. async def get_match_json(db_server, db_port, match_id):
async with session.get(url.format(db_server, db_port, match_id)) as
response:
return await response.json()
for player_id, player_matches in players_matches_list:
player = Player(player_id)
tasks = await asyncio.gather(*[get_match_json(db_server, db_port,
match_id) for db_server, db_port, match_id in player_matches])
for match_json in tasks.results():
player.parse_match(match_json)
db.update(player)
Одновременно процесим только одного игрока ;-(

39. async def read_from_admin_queue():
players = {}
total_player_matches = {}
cur_matches_precessed = {}
while True:
task_name, task_data = await admin_queue.get()
if task_name == 'new player':
player_id = task_data['player_id']
total_player_matches = task_data['total_player_matches']
players[player_id] = Player(player_id)
total_player_matches[player_id] = total_player_matches
cur_matches_precessed[player_id] = 0
elif task_name == 'new match':
player_id = task_data['player_id']
match_json = task_data['match_json']
players[player_id].parse_match(match_json)
cur_matches_precessed[player_id] += 1
if cur_matches_precessed[player_id] == total_player_matchesplayer_id:
db.update(player)
admin_queue.task_done()

40. async def main():
url = 'http://{}:{}/getNextMatch'
loop.create_task(read_from_admin_queue())
for db_name, db_server, db_port in db_addresses:
matches_db_queues[db_name] = asyncio.Queue(maxsize = 100)
loop.create_task(fetch_from_match_db(db_server, db_port,
matches_db_queues[db_name]))
loop.create_task(fetch_from_players_matches_list())

41. async def fetch_from_match_db(db_server, db_port, queue):
while True:
match_id = await queue.get()
url = 'http://{}:{}/getMatch/{}'.format(db_server, db_port, match_id)
async with session.get(url) as response():
match_json = await response.json()
await admin_queue.put(('new match', {'match_json': match_json}))
queue.task_done()

42. async def fetch_from_players_matches_list():
for player_id, player_matches in players_matches_list:
await admin_queue.put(('new player', {
'player_id': player_id,
'total_player_matches': len(player_matches)
}))
await asyncio.gather(*[
matches_db_queues[db_name].put(match_id) for
db_name, match_id in player_matches
])

43. Каждый матч придется читать не 1 раз, а в N раз больше.
N — кол-во игроков в одном матче

44. HTTP слишком медленный протокол для такого кол-ва операций
~ 1000-1500 запросов в секунду при 100% CPU

45. HTTP слишком медленный протокол для такого кол-ва операций
~ 1000-1500 запросов в секунду при 100% CPU
HTTP лучше заменить на web socket
~ 10 000 запросов в секунду без нагрузки на CPU
(можно использовать RabbitMQ или Apache Kafka)

46. async def fetch_from_socket(db_name):
async with ClientSession() as session:
async with session.ws_connect('http://
{}/socket'.format(db_name)) as ws:
async for msg in ws:
if msg.type == aiohttp.WSMsgType.TEXT:
match_json = json.load(msg.data)
await admin_queue.put(match_json)

47. async def fetch_from_socket(db_name):
async with ClientSession() as session:
async with session.ws_connect('http://
{}/socket'.format(db_name)) as ws:
async for msg in ws:
if msg.type == aiohttp.WSMsgType.TEXT:
match_json = json.load(msg.data)
await admin_queue.put(match_json)
Пока ждем ответа от сервера негде послать сообщение

48. async def fetch_from_socket(db_name):
async with ClientSession() as session:
async with session.ws_connect('http://
{}/socket'.format(db_name)) as ws:
async for msg in ws:
if msg.type == aiohttp.WSMsgType.TEXT:
match_json = json.load(msg.data)
await admin_queue.put(match_json)
async def send_to_socket(ws):
while True:
match_id = await matches_db_queues.get()
await ws.send_str('get next match {}'.format(match_id))
matches_db_queues.task_done()

49. Даже если мы может процесить несколько игроков одновременно,
их игры будет неравномерно распределены по базам с матчами

50. Даже если мы может процесить несколько игроков одновременно,
их игры будет неравномерно распределены по базам с матчами

51. Даже если мы может процесить несколько игроков одновременно,
их игры будет неравномерно распределены по базам с матчами

52. Даже если мы может процесить несколько игроков одновременно,
их игры будет неравномерно распределены по базам с матчами
Одна база все равно используется неэффективно

53. Даже если мы может процесить несколько игроков одновременно,
их игры будет неравномерно распределены по базам с матчами
Выгоднее один раз посчитать такие наборы игроков,
что их обращение к базам будет наиболее эффективно

54. Итог
●
CPU на 100% на базах с матчами и игроками
●
Скорость ограничена SSD random read
●
Гибко
●
Понятно
●
Легко мониторить