Иван Соколов, teamlead REG.RU. Очередь – один из наиболее используемых механизмов в программировании. Например, для интеграции с платежными системами или для обработки медиа-контента, загруженного пользователем, необходимо наличие очередей. В REG.RU тоже не обходятся без очередей. Поэтому потребность найти решение появилась достаточно давно. Учитывая специфику компании как доменного регистратора большинство существующих решений не подходило, и программисты решили «написать свой велосипед». Иван расскажет об архитектуре их очереди, ее возможностях, и в каких задачах она используется.

1. 11
FastQueue – как мы сделали свою очередь
на Perl и Redis
Иван Соколов

2. 2
До появления FastQueue и полной переработки доменов,
эта самая проверка представляла собой жалкое зрелище.
Бизнес требовал сделать как у мировых лидеров доменной
индустрии.
Предпосылки

3. 3
Почему свой велосипед?
Сложная бизнес-логика проверки доменов
Много legacy кода
Желание полностью управлять очередью
Все существующие решения нужно допиливать под нас
Либо вообще не подходят под требования
Другие очереди сложно деплоить или админить
Rails Resque и Rails Sidekiq иcпользуют Redis
А почему бы и не сделать?

4. 4
Что получилось
Схема
Задача
Очереди
Статистика
Конфигурация
Код

5. 5
Redis
fastqp
fastq_maint
fastqp
fastqp
Серверы
исполнители
Постановка в очередь
Получение из очереди
Постановка в очередь
Получение из очереди
Различные
скрипты, демоны

6. 6
Код
my $qp = FastQueue->create;
my $task = FastQueue::Task::Class->new;
$qp->enqueue($task, %opts );
$qp->get_result( $task || $task_id );
$qp->get_result_blocking( $timeout, $task || $task_id, $task || $task_id );
$qp->get_all_results_blocking( $timeout, $task || $task_id, $task || $task_id );

7. Задача
Один модуль на задачу FastQueue::Task::Some::Class
Уникальный id в очереди
Отдает один или несколько результатов
Может заменять другие задачи
Может создавать новые
Три типа состояний queued, inprogress, failed
Кеширование результатов выполнения задачи
7

8. 8
Очередь
Some:Task:Class:subqueue
Можно одну очередь в отдельном процессе
Можно несколько процессов на одну очередь
В какую очередь попадает задача, определяет сама
задача

9. 9
Конфигурация 1
fastqp_servers:
img1.my-gallery.ru:
batches:
- batch_name: images
workers: 10
restart_after_n_jobs: 500
queues:
- Images:*
img2.my-gallery.ru:
- batch_name: images
workers: 10
restart_after_n_jobs: 500
queues:
- Images:*

10. 10
Конфигурация 2
fastqp_servers:
orders.shop.ru:
batches:
- batch_name: orders
workers: 20
ordering: normal
queues:
- Order:vip
- Order:normal

11. 11
Конфигурация 3
fastqp_servers:
misc.shop.ru:
batches:
- batch_name: images
workers: 2
restart_after_n_jobs: 500
queues:
- Reports:*
- NotifyTop:*

12. 12
Статистика
По типам состояний
По очередям
Различные счетчики
Всё агрегируется и пишется в лог
По логу строятся графики
Оповещения в случае превышения кол. заданий в
очередях

13. 13
Статистика - график

14. 14
Где используем
Проверка доменов
Взаимодействие с платежными системами
Почтовые рассылки
Отправка ошибок сайта в Sentry
Отправка запросов в тех. поддержку
Или любая другая медленная операция, которую можно
сделать асинхронно

15. Написание возможно в 2 строки
Плашку регулировать по длине текста
Вывод или посыл зрителю
Спасибо!
Буду рад ответить
на ваши вопросы!
E-mail:
vaneska@reg.ru
15