BeanstalkD Queues in Django

Distribuirano delo z Djangom Jernej Virag Jernej Virag | @jernejv | http://www.virag.si 1

Problemi Strežniki so počasni Hudo počasni. Res. Zelo.Distribuirano delo z Djangom 2

Problemi Več strežnikov Več strežnikov za različna heterogena opravilaDistribuirano delo z Djangom 3

Rešitev MQ strežniki Drugi jeziki in infrastrukture to poznajo že lep časDistribuirano delo z Djangom 4

Rešitev MQ strežniki Drugi jeziki in infrastrukture to poznajo že lep časDistribuirano delo z Djangom 5

Rešitev MQ strežnik WorkersD j a Workers n g o WorkersDistribuirano delo z Djangom 6

Problem Python + MQDistribuirano delo z Djangom 7

BeanstalkD• Prioritete• Binarna shramba• Preprost tekstovni protokol• Ni odvisnosti• Hiter• HroščatDistribuirano delo z Djangom 8

BeanstalkD Tekstovna sporočila Preprosto pošiljanje in sprejemanje – JSON, YAML itd.Distribuirano delo z Djangom 9

BeanstalkD„Cevi“ – posamezne vrste Zelo light-weight, možno delanje z večimi hkratiDistribuirano delo z Djangom 10

BeanstalkD beanstalkc za knjižnico Je „ok“.Distribuirano delo z Djangom 11

BeanstalkD - task PUT čaka RESERVE procesira DELETEDistribuirano delo z Djangom 12

BeanstalkD - taskDistribuirano delo z Djangom 13

BeanstalkD - taskDistribuirano delo z Djangom 14

BeanstalkD - task PUT-DELAY DELAYED PUT RESERVE DELETE READY RESERVED RELEASE KICK BURY BURIEDDistribuirano delo z Djangom 15

BeanstalkD - tubes• .tubes()• .use(tube) / .using()• .watch(tube) / .watching()• .ignore(tube)Distribuirano delo z Djangom 16

BeanstalkD Kontrola napak Nastavljanje TTR, avtomatsko vračanje v vrsto, …Distribuirano delo z Djangom 17

Pozor Stabilnost beanstalkd Beanstalkc zganja paniko če beanstalkd zgineDistribuirano delo z Djangom 18

PozorPrivzet je in-memory store Za trajno shranjevanje sporočil je treba podati -bDistribuirano delo z Djangom 19

Pozor Ciklanje pri napakah Prestrezite vse exceptione drugače se zgodijo GrdeStvari™Distribuirano delo z Djangom 20

Pozor Varnost Ni avtentikacije, enkripcije in ostalih mehanizmovDistribuirano delo z Djangom 21

Pozor Hrošči https://github.com/kr/beanstalkd https://github.com/earl/beanstalkcDistribuirano delo z Djangom 22

? Jernej Virag @jernejv http://www.virag.siDistribuirano delo z Djangom 23

by Jernej Virag