Zkušenosti nasbírané při vývoji messagingu a workerů pro zpracování velkých dat US zdravotních pojišťoven. Na příkladech ukážu místa, kde jsme se spálili. Předvedu, jak jsme systém debugovali. Vysvětlím, jak se ZeroMQ doplňuje s Gearmanem.

1. Vývoj backendu pomocí
ZeroMQ a Gearmana
Jiří Sedláček, Intelimedix s.r.o. 2015
@towhans

5. Gearman

7. worker:
register(‘coffee-1’,’coffee-2’,’coffee-1’)
client:
add_task(‘coffee-2’)
add_task(‘coffee-2’)
add_task(‘coffee-2’)
add_task(‘coffee-1’)
add_task(‘coffee-1’)

8. coffee-1 coffee-2
} Gearman queues
coffee-1,coffee-2,coffee-1
} Worker

9. coffee-1 coffee-2
} Gearman queues
} Worker
coffee-1,coffee-2,coffee-1
^

10. coffee-1 coffee-2
} Gearman queues
} Worker
coffee-1,coffee-2,coffee-1
^

11. coffee-1 coffee-2
} Gearman queues
} Worker
coffee-1,coffee-2,coffee-1
^

12. coffee-1 coffee-2
} Gearman queues
coffee-1,coffee-2,coffee-1
^
} Worker

13. coffee-1 coffee-2
} Gearman queues
coffee-1,coffee-2,coffee-1
^
} Worker

14. coffee-1 coffee-2
} Gearman queues
coffee-1,coffee-2,coffee-1
^
} Worker

15. coffee-1 coffee-2
} Gearman queues
coffee-1,coffee-2,coffee-1
^
} Worker

16. coffee-1 coffee-2
} Gearman queues
coffee-1,coffee-2,coffee-1
^
} Worker

18. Zkušenosti
● ze ZeroMQ jen PUSH/PULL, PUB/SUB a
REQ/REP
● combo ZeroMQ, Gearman je skvělé
● na debugování Gantt charty
● eventový kód se špatně debuguje
(propagace chyb, cleaning)
● čeká nás monitoring front a timeouty