Я расскажу о том, как можно использовать распределённую очередь задач на основе Celery, а также быстро и эффективно выполнять импорт данных из множества источников с последующим экспортом. Доклад будет интересен тем, кто пишет на языке Python или разрабатывает сервисы, основанные на агрегации данных.

2. Использование распределенной
очереди задач для обработки данных
в бэкенде Яндекс Спорта
Александр Южаков
20 сентября 2014

3. Агрегация данных
3
Проверка наличия
обновлений
Импорт
Хранение и
модерация
Экспорт
logging

4. 4
Задачи решаемые на бэкенде
• Импорт и обработка данных
• Валидация импорта
• Интернационализация
• Хранение данных, модерация

5. 5
Задачи решаемые на бэкенде
• Подготовка данных (экспорт) для API и фронта
• Полное логирование процессов импорта/экспорта
• Независимость модулей различных видов спорта

6. 6
Задачи решаемые на бэкенде
• Высокая скорость работы
• Балансировка нагрузки
• Отказоустойчивость

7. Особенности спортивных проектов
• Данных не очень много
• Строгие требования к свежести данных
• Множество источников, различные форматы
• Схожие сущности в различных видах спорта будут иметь разные схемы
данных

8. Особенности спортивных проектов
• Большие пиковые нагрузки, при относительно низких средних нагрузках
• Всегда есть задержки в данных относительно реальности
• Дедлайн не перенести

9. 9
спортсмены
...
расписание
...
результаты
составы
команд
расписание ТВ
онлайн
трансляции
видео лучших
моментов и голов
...
...

10. Инструментарий
•Python 2.x
•Django
•MySQL
•MongoDB
10
Celery 3.1.x

11. Celery

12. Задачи импорта в виде функций
@task
def (...):

13. Задачи импорта в виде функций
Плюс
+ просто и очевидно

14. Задачи импорта в виде функций
Минусы:
– многократное повторение одного и того же кода
– нет возможности использовать уже готовые функции
импорта/экспорта с небольшими изменениями
– трудно отслеживать движение задачи
– сложно обрабатывать исключения

15. 15
К чему мы пришли...

16. Задачи как классы

17. Базовый класс для импорта

18. 18

19. Пример импорта команд в футболе

20. Плюсы?
+ Минимум кода
+ Фокус на импорте данных без явного взаимодействия с
подсистемами
+ Обработка ошибок через генерацию стандартных исключений
(SkipImport, ValidationError)

21. Плюсы?
+ Декларативность
+ Стандартизация логирования
+ Предварительное кэширование для оптимизации работы с БД
+ Многоуровневая абстракция

22. Минусы?
– Стал выше порог вхождения для программиста

23. Еще много чего интересного...
• Классы экспортеры
• Классы импорта/экспорта переводов из Танкера
• Удобное централизованное логирование

24. Логи

25. Еще много чего интересного...
• Импорт переводов (если данные на разных языках)
import_translations(data, cache, *args, **kwargs)
• Интеграция в Django-админку
• Независимость модулей системы
• Класс Resolver для автоимпорта по URL

26. Админка

27. Спасибо за внимание!