In the age of automated infrastructure our monitoring tools need to be capable of being automated , we need to be able to deploy new services and hosts and know that they are monitored. Puppet can obviously help us here. But in the age of the chaos monkey our puppet infra needs to be monitored too. So how do you monitor Puppet and its friends itselve ? This talk will give you some ideas on monitoring a puppetmaster with it's friends , PuppetDB, etc ..

1. MMoonniittoorriinngg ((wwiitthh)) PPuuppppeett
PuppetCamp Dusseldorf
@KrisBuytaert

2. KKrriiss BBuuyyttaaeerrtt
● II uusseedd ttoo bbee aa DDeevv,,
● TThheenn BBeeccaammee aann OOpp
● CChhiieeff TTrroolllliinngg OOffffiicceerr aanndd OOppeenn SSoouurrccee
CCoonnssuullttaanntt @@iinnuuiittss..eeuu
● EEvveerryytthhiinngg iiss aann eeffffiinngg DDNNSS PPrroobblleemm
● BBuuiillddiinngg CClloouuddss ssiinnccee bbeeffoorree tthhee bbooookkssttoorree
● OOrrggaanniissiinngg ttoooo mmaannyy ccoonnffss ,, ##ddeevvooppssddaayyss,,
##llooaaddaayyss,, ......
● EEvvaannggeelliizziinngg ddeevvooppss

3. DDoo yyoouu kknnooww wwhhaatt yyoouurr cchhiillddrreenn ddoo aatt 55 aamm iinn
tthhee mmoorrnniinngg ??
● SSlleeeeppiinngg ??
● CCrraasshhiinngg aa PPaarrttyy ??
● WWhhyy aarree tthhee ccooppss aatt yyoouurr ffrroonntt ddoooorr ??
● WWhhaatt hhaappppeenneedd ??
● HHooww lloonngg hhaavvee tthheeyy bbeeeenn ggoonnee ??

4. ddeevvooppss == ccllaammss
● CCuullttuurree
● ((LLeeaann))
● AAuuttoommaattee aallll tthhee tthhiinnggss ......
• BBuuiilldd AAuuttoommaattiioonn
• TTeesstt AAuuttoommaattiioonn
• IIAACC
● MMoonniittoorriinngg ,, MMeettrriiccss ......
● SShhaarriinngg

5. MMoonniittoorriinngg iiss uussuuaallllyy aann
aafftteerrttoouugghhtt
EENNOOBBUUDDGGEETT,, EENNOOTTIIMMEE

6. ##mmoonniittoorriinnggssuucckkss
● JJoohhnn VViinncceenntt ((@@lluussiiss))
● AA ssuubb mmoovveemmeenntt
● hhttttppss::////ggiitthhuubb..ccoomm//mmoonniittoorriinnggssuucckkss//

7. ##mmoonniittoorriinngglloovvee
• ##mmoonniittoorriinngglloovvee hhaacckksseessssiioonnss
• ##mmoonniittoorraammaa

8. FFoorr yyeeaarrss wwee''vvee ttoolleerraatteedd hhuummaannss ttoo ttoo
mmaakkee ssttrruuccttuurraall mmaannuuaall cchhaannggeess ttoo tthhee
iinnffrraassttrruuccttuurree oouurr ccrriittiiccaall
aapppplliiccaattiioonnss aarree rruunnnniinngg oonn..
WWhhiillsstt aatt tthhee ssaammee ttiimmee ddeemmaannddiinngg
tthhoossee ccrriittiiccaall aapppplliiccaattiioonnss ttoo ggoo
ttrroouugghh rriiggiidd tteesstt sscceennaarriiooss..
WWhhoo lleett tthhiiss hhaappppeenn ??

9. IInnffrraassttrruuccttuurree aass CCooddee
● MMooddeell oouurr iinnffrraassttrruuccttuurree
● AA ffaasstt rreepprroodduuccaabbllee ppllaattffoorrmm
● DDiissaasstteerr ddiissccoovveerryy ffoorr ““ffrreeee””

10. IInnffrraassttrruuccttuurree aass CCooddee
● CCooddee == CCooddee
● VVeerrssiioonn CCoonnttrrooll
● QQuuaalliittyy CChheecckkss
● TTeessttiinngg
● CCoonnttiinnuuoouuss IInntteeggrraattiioonn
● CCoonnttiinnoouuss DDeelliivveerryy

11. IInnffrraassttrruuccttuurree aass CCooddee
● CCoorree IInnffrraassttrruuccttuurree
● MMiiddddlleewwaarree ddeeppllooyymmeenntt aanndd iinntteeggrraattiioonn
● AAuuttoommaatteedd ccoonnttiinnuuoouuss aapppplliiccaattiioonn
ddeeppllooyymmeenntt
● IInntteeggrraatteedd SSeeccuurriittyy eennffoorrcceemmeenntt
● HHoosstt,, SSeerrvviiccee aanndd AApppplliiccaattiioonn
MMoonniittoorriinngg ccoonnffiigguurreedd

12. WWhhyy ##mmoonniittoorriinnggssuucckkss
● MMaannuuaall ccoonnffiigg ((gguuii))
● NNoott iinn ssyynncc wwiitthh rreeaalliittyy
● HHoossttss oonnllyy
● SSeerrvviicceess ssoommeettiimmeess
● AApppplliiccccaattiioonn nneevveerr
● CChhaaooss

13. BBuutt ttoooollss ddoo AAuuttooddeetteeccttiioonn
• RReeaallllyy ??
• SSeerrvviiccee,,
• FFuunnccttiioonnaalliittiieess
• eegg.. vvhhoossttss eettcc
• SSiinnggllee SSoouurrccee ooff TTrruutthh

14. MMoonniittoorriinngg 110011
● DDeeppllooyy aa hhoosstt,,
● AAdddd iitt ttoo tthhee mmoonniittoorriinngg
● AAdddd ccoolllleeccttiioonn ttoooollss
● AAdddd cchheecckk ddeeffiinniittiioonnss
● UUppddaattee tthhee mmoonniittoorriinngg ttooooll ccoonnffiigg
● RReessttaarrtt

15. CCoolllleecctt MMeettrriiccss 110011

16. CCoolllleeccttdd
● CCoolllleeccttss
● ZZiilllliioonn PPlluuggiinnss
• NNggiinnxx,,aappaacchhee,, mmyyssqqll,, ddiisskk
● GGrraapphhiittee CCaarrbboonn PPlluuggiinn
● SSeenndd mmeettrriiccss ttoo ggrraapphhiittee
● hhttttppss::////ggiitthhuubb..ccoomm//KKrriissBBuuyyttaaeerrtt//ppuuppppee
tt--ccoolllleeccttdd

17. PPuuppppeett aanndd GGrraapphhiittee
● hhttttppss::////ggiitthhuubb..ccoomm//KKrriissBBuuyyttaaeerrtt//vvaaggrraanntt--ggrraapphhiittee//
● IInncclluuddeess GGrraapphhiittee // GGddaasshh // JJmmxxttrraannss // LLooggsstteerr // CCoolllleeccttdd //
SSttaattssdd // TTaattttllee aanndd mmoorree mmoodduulleess aass ssuubbmmoodduulleess !!
● ggiitt cclloonnee
● ggiitt ssuubbmmoodduullee iinniitt
● ggiitt ssuubbmmoodduullee uuppddaattee
● vvaaggrraanntt uupp

18. 22001144 ssttyyllee ddaasshhbbooaarrddss

19. AAlleerrttiinngg 110011

20. AAlleerrtt aallll tthhee tthhiinnggss
AAnndd ggeett aalleerrttffaattiigguuee
● WWee aarree iinn GGeerrmmaannyy,, EEuurrooppee
● IItt nneeeeddss ttoo bbee ccoonnffiigguurraabbllee
==>> IIcciinnggaa

21. BBuutt MMoonniittoorriinngg ccoonnffiigg iiss
DDaattaa ??
● IIff iitt ccaann bbee ggeenneerraatteedd iitt''ss nnoott uusseerr
ggeenneerraatteedd ccoonntteenntt aannyymmoorree
● YYoouurr ccoommppuutteerr ccaann ggeenneerraattee yyoouurr
ccoonnffiigg !!

22. SSttoorreedd CCoonnffiiggss

23. CCoolllleeccttiioonn aanndd EExxppoorrtt
EExxppoorrtt ::
@@@@rreessoouurrccee {{
...... }}
CCoolllleecctt::
RReessoouurrccee <<<<||
qquueerryy ||>>>>
CClleeaann oouutt nnooddeess tthhaatt ddiissssaappeeaarr
ppuuppppeett nnooddee cclleeaann

24. EExxppoorrttiinngg aanndd CCoolllleeccttiinngg

25. DDeeffaauulltt PPuuppppeett TTyyppeess

26. PPuuppppeett--iicciinnggaa mmoodduullee
● hhttttppss::////ggiitthhuubb..ccoomm//iinnuuiittss//ppuuppppeett--
iicciinnggaa

27. MMoonniittoorriinngg aa VVhhoosstt

28. AAlltteerrnnaattiivvee AApppprrooaacchheess
● hhttttppss::////ggiisstt..ggiitthhuubb..ccoomm//jjffrryymmaann//55880088553377
● hhttttppss::////ggiitthhuubb..ccoomm//ffaavvoorreettttii//ppuuppppeettddbb
--eexxtteerrnnaall--nnaaggiinnaattoorr

29. ● DDeeppllooyy aa nneeww aapppp
● AAdddd mmoonniittoorriinngg
● AAdddd RReeaall aapppplliiccaattiioonn mmoonniittoorriinngg
● BBootthh oonn iinnffrraa aanndd oonn aapppp lleevveell

30. MMoonniittoorriinngg PPuuppppeett && FFrriieennddss

31. PPuuppppeett RRuunnss

32. PPuuppppeettMMaasstteerr

33. PPuuppppeettMMaasstteerr
@@@@nnaaggiiooss__sseerrvviiccee{{""cchheecckk__ssoocckkeett__88114400__ppuuppppeett__$${{::::ffqqddnn}}""::
cchheecckk__ccoommmmaanndd ==>> ''cchheecckk__ttccpp!!88114400'',,
sseerrvviiccee__ddeessccrriippttiioonn ==>> ''TTCCPP ppuuppppeett oonn ppoorrtt 88114400'',,
hhoosstt__nnaammee ==>> $$::::ffqqddnn,,
uussee ==>> ''ggeenneerriicc--sseerrvviiccee'',,
ccoonnttaacctt__ggrroouuppss ==>> $$::::eennvviirroonnmmeenntt,,
nnoottiiffiiccaattiioonn__ppeerriioodd ==>> $$::::iicciinnggaa::::nnoottiiffiiccaattiioonn__ppeerriioodd,,
nnoottiiffiiccaattiioonnss__eennaabblleedd ==>> $$::::iicciinnggaa::::nnoottiiffiiccaattiioonnss__eennaabblleedd,,
ttaarrggeett ==>> ""//eettcc//iicciinnggaa//oobbjjeeccttss//sseerrvviicceess//$${{::::ffqqddnn}}..ccffgg"",,
}}

34. PPuuppppeettDDBB

35. PPuuppppeettDDBB((22))
● cchheecckk__ppuuppppeettddbb__mmeemmoorryy
• JJaavvaa hheeaapp mmeemmoorryy
● cchheecckk__ppuuppppeettddbb__pprroocceesssseedd
• NNrr ooff rreeppoorrttss pprroocceesssseedd
● cchheecckk__ppuuppppeettddbb__ppooppuullaattiioonnss
• RReessoouurrcceess,, nnooddeess,, rreessoouurrcceess ppeerr nnooddee
● cchheecckk__ppuuppppeettddbb__qquueeuuee
• IIss ppggssqqll ddoowwnn ?? ::))

36. PPuuppppeett DDaasshhbbooaarrdd
@@@@nnaaggiiooss__sseerrvviiccee{{""cchheecckk__hhttttpp__ppuuppppeett__ddaasshhbbooaarrdd__$${{::::ffqqddnn}}""::
cchheecckk__ccoommmmaanndd ==>> ""cchheecckk__hhttttpp!!--HH $${{::::ffqqddnn}} --pp 33000000 --ee 220000"",,
sseerrvviiccee__ddeessccrriippttiioonn ==>> ''HHTTTTPP PPuuppppeettDDaasshhbbooaarrdd oonn ppoorrtt 33000000'',,
hhoosstt__nnaammee ==>> $$::::ffqqddnn,,
uussee ==>> ''ggeenneerriicc--sseerrvviiccee'',,
ccoonnttaacctt__ggrroouuppss ==>> $$::::eennvviirroonnmmeenntt,,
nnoottiiffiiccaattiioonn__ppeerriioodd ==>> $$::::iicciinnggaa::::nnoottiiffiiccaattiioonn__ppeerriioodd,,
nnoottiiffiiccaattiioonnss__eennaabblleedd ==>> $$::::iicciinnggaa::::nnoottiiffiiccaattiioonnss__eennaabblleedd,,
ttaarrggeett ==>> ""//eettcc//iicciinnggaa//oobbjjeeccttss//sseerrvviicceess//$${{::::ffqqddnn}}..ccffgg"",,
}}

37. PPuuppppeett DDaasshhbbooaarrdd((22))
//uussrr//sshhaarree//ppuuppppeett--ddaasshhbbooaarrdd//ssppooooll

38. PPuuppppeettSSeerrvveerr

39. ##MMoonniittoorriinnggSSuucckkss
● PPuuppppeettrruunnss bbrreeaakk oouurr IIcciinnggaa bbooxxeenn
● BBaaddllyy
● FFrreeqquueennttllyy

40. IItt aaiinn''tt bboorrkkeenn
● SSuucccceessssffuull ppuuppppeett rruunn
● SSuucccceessssffuull IIcciinnggaa rreeccoonnffiigguurree
● DDiisskk uussaaggee ggrroowwss
● FFaasstt

41. BBee aawwaarree ooff bbuucckkeettss

42. AA PPuuppppeett BBuugg

43. TTrriiggggeerrss oonn GGrraapphhss
● EExxppoorrtt JJaavvaa MMeettrriiccss
● JJMMXXTTrraannss
● EExxppoorrtt JJMMXXCCoonnffiiggss
● CCoonnffiigguurree NNRRPPEE CChheecckk
● EExxppoorrtt NNaaggiioossCChheecckk
● CCoolllleecctt JJMMXX EExxppoorrttss oonn
JJMMXXTTrraannssNNooddee
● GGrraapphh EEmm
CCoolllleecctt NNaaggiiooss CCoonnffiiggss
oonn NNaaggiiooss SSeerrvveerr

44. TTrriiggggeerrss oonn GGrraapphhss

45. TTrriiggggeerrss oonn GGrraapphhss

46. SSuummmmaarryy
● HHoonnoouurr yyoouurr ppaarreennttss
● DDoonn''tt mmaannuuaallllyy ddoo wwhhaatt mmaacchhiinneess ccaann
ddoo ffoorr yyoouu
● MMoonniittoorr yyoouurr ppuuppppeett iinnffrraassttrruuccttuurree
ttoooo !!
● SSeenndd PPuullll RReeqquueessttss
● IIcciinnggaa22 mmoodduullee iinn tthhee wwoorrkkss

47. CCoonnttaacctt
KKrriiss..BBuuyyttaaeerrtt@@iinnuuiittss..eeuu
FFuurrtthheerr RReeaaddiinngg
@@kkrriissbbuuyyttaaeerrtt
hhttttpp::////wwwwww..kkrriissbbuuyyttaaeerrtt..bbee//bblloogg//
hhttttpp::////wwwwww..iinnuuiittss..eeuu//
IInnuuiittss
DDuubbooiissttrraaaatt 5500
22006600 AAnnttwweerrppeenn
BBeellggiiuumm
889911..551144..223311
++3322 447755 996611222211