Open Source Monitoring in 2014, from #monitoringssucks to #monitoringlove and back

4,056 views

Published on

My #OSMC 2014 Keynote,
From #monitoringsucks to #monitoringlove and back
A rant on Open Source monitoring tools and a look at the future

Published in: Technology

Open Source Monitoring in 2014, from #monitoringssucks to #monitoringlove and back

  1. 1. From #MonitoringSucks to #MonitoringLove (and back) @KrisBuytaert OSMC 2014 , Nuremberg, Germany
  2. 2. KKrriiss BBuuyyttaaeerrtt ● II uusseedd ttoo bbee aa DDeevv,, ● TThheenn BBeeccaammee aann OOpp ● CChhiieeff TTrroolllliinngg OOffffiicceerr aanndd OOppeenn SSoouurrccee CCoonnssuullttaanntt @@iinnuuiittss..eeuu ● EEvveerryytthhiinngg iiss aann eeffffiinngg DDNNSS PPrroobblleemm ● BBuuiillddiinngg CClloouuddss ssiinnccee bbeeffoorree tthhee bbooookkssttoorree ● OOrrggaanniissiinngg CCoonnffeerreenncceess ● EEvvaannggeelliizziinngg ddeevvooppss
  3. 3. AAnn ooppiinniioonnaatteedd ttaallkk aabboouutt tthhee OOppeenn SSoouurrccee MMoonniittoorriinngg ttoooolliinngg llaannddssccaappee IInn wwhhiicchh II hhooppee ttoo lleeaarrnn ffrroomm YYOOUU
  4. 4. ##ddeevvooppss==~~CC((LL))AAMMSS ● CCuullttuurree ● ((LLeeaann)) ● AAuuttoommaattiioonn ● MMoonniittoorriinngg aanndd MMeeaassuurreemmeenntt ● SShhaarriinngg DDaammoonn EEddwwaarrddss aanndd JJoohhnn WWiilllliiss GGeennee KKiimm
  5. 5. MMoonniittoorriinngg iiss uussuuaallllyy aann aafftteerrttoouugghhtt EENNOOBBUUDDGGEETT,, EENNOOTTIIMMEE
  6. 6. AAnn 22000088 OOLLSS PPaappeerr ●WWee hhaavvee bbllooaatteedd JJaavvaa ttoooollss ● SSoommee ooppeenn CCoorree ssttuuffff ● DDYYII ffoollkkss wwaanntt ttrraaddiittiioonnaall NNaaggiiooss ● DDBBAA RReeqquuiirreedd
  7. 7. ##mmoonniittoorriinnggssuucckkss ● JJoohhnn VViinncceenntt ((@@lluussiiss)),, jjuunnee 22001111 ● AA ssuubb ##ddeevvooppss mmoovveemmeenntt ● hhttttppss::////ggiitthhuubb..ccoomm//mmoonniittoorriinnggssuucckkss//
  8. 8. WWhhyy ##mmoonniittoorriinnggssuucckkss ● MMaannuuaall ccoonnffiigg ((gguuii)) ● NNoott iinn ssyynncc wwiitthh rreeaalliittyy ● HHoossttss oonnllyy ● SSeerrvviicceess ssoommeettiimmeess ● AApplliiccaattiioonn nneevveerr ● CChhaaooss oorr oouutt ooff ssyynncc wwiitthh rreeaalliittyy ● AAlleerrtt FFaattiigguuee
  9. 9. LLeett''ss ffoorrggeett aabboouutt ● TToooollss wwiitthh nnoo ((ssttaabbllee)) AAPPII ● TToooollss wwiitthh ssttrroonngg ffooccuuss oonn GGUUII ● UUnnlleessss yyoouu aarree aann SSMMEE wwiitthh << 110000 nnooddeess ● ZZeennoossss,, HHyyppeerriicc,, GGrroouunnddWWoorrkk,, ........ ● PP..SS.. :: ddoonn''tt eevveenn mmeennttiioonn pprroopprriieettaarryy ssooffttwwaarree ttoo mmee
  10. 10. WWhhaatt wwee wwaanntt ● SSmmaallll ,, wweellll ssuuiitteedd ccoommppoonneennttss • CCoolllleecctt • TTrraannssppoorrtt // MMaannggllee • SSttoorree • AAnnaallyyssee • AAcctt // AAlleerrtt • VViissuuaalliizzee
  11. 11. ##mmoonniittoorriinngglloovvee • • UUllff MMaannssssoonn ##ddeevvooppssddaayyss RRoommee 22001111 • AA nneeww eerraa ooff ttoooolliinngg • ##mmoonniittoorriinngglloovvee hhaacckksseessssiioonnss @@iinnuuiittss • ##mmoonniittoorraammaa
  12. 12. IIcciinnggaa • 22000099 FFoorrkk • II ccoonnssiiddeerr NNaaggiiooss ddeeaadd • VViibbrraanntt CCoommmmuunniittyy ((oorr tthheeyy ssttaallkk mmee)) • TThhrrooww ggrreeaatt ppaarrttiieess iinn NNuurrnnbbeerrgg • NNoobbooddyy ccaann pprroonnoouunnccee iitt aannyyhhooww • hhttttppss::////ggiitthhuubb..ccoomm//IInnuuiittss//ppuuppppeett--iicciinnggaa//
  13. 13. SSttoorreedd CCoonnffiiggss
  14. 14. ##mmoonniittoorriinngglloovvee BBuutt tthhee lloovvee wwaass aabboouutt ::
  15. 15. SSeennssuu ● AAwweessoommee ffoorr nnoonn ssttaattiicc eennvviirroonnmmeennttss ● SSccaalliinngg aa cclluusstteerreedd RRaabbbbiittMMQQ ?? ● TThhiiss iiss EEuurrooppee,, UU nnoo ddoo cclloouudd
  16. 16. AAuuttoommaattiioonn ooff ##mmoonniittoorriinngg bbrroouugghhtt bbaacckk tthhee ##lloovvee
  17. 17. II lloovvee CChheecckkMMKK ● AAuuttooddeetteeccttiioonn ● MMuullttiipplleexxiinngg ● TTrreenndd FFoorreeccaassttiinngg
  18. 18. II hhaattee CChheecckkMMKK • AAuuttooddeetteeccttiioonn ?? • SSeerrvviiccee,, • BBuussiinneessss FFuunnccttiioonnaalliittiieess • eegg.. vvhhoossttss eettcc • SSiinnggllee SSoouurrccee ooff TTrruutthh
  19. 19. MMoonniittoorriinngg aa sseerrvviiccee vvss MMoonniittoorriinngg aa SSeerrvviiccee
  20. 20. ddeeffiinniittiioonn ooff ddoonnee:: mmoonniittoorreedd aanndd iinn pprroodduuccttiioonn
  21. 21. AA ssooffttwwaarree pprroojjeecctt iiss nnoott ddoonnee uunnttiillll yyoouurr llaasstt eenndd uusseerr iiss ddeeaadd
  22. 22. CCuullttuurree,, AAuuttoommaattiioonn,, MMeeaassuurreemmeenntt :: mmeeaassuurree aallll tthhee tthhiinnggss SShhaarriinngg
  23. 23. DDeeppllooyy SSttaattiissttiiccss ● TTiimmee TToo DDeeppllooyy ● DDeeppllooyy FFrreeqquueennccyy ● LLiiffeeccyyccllee ffrreeqquueennccyy ●MMaapp ttoo ootthheerr mmeettrriiccss
  24. 24. CCoolllleeccttDD aallll tthhee mmeettrriiccss,, aatt hhiigghh iinntteerrvvaallss
  25. 25. OOllddsscchhooooll ggrraapphhiittee
  26. 26. SSeellff SSeerrvviiccee GGddaasshh bbaasseedd ppiippeelliinneess PPuuppppeettiizzeedd TTeemmppllaatteess ((wwiipp))
  27. 27. GGddaasshh
  28. 28. GGrraaffaannaa
  29. 29. GGrraapphhiittee++++ ● DDaasshhbbooaarrddss • GGrraaffaannaa ● EEnnggiinneess :: • IInnfflluuxxDDBB • CCyyaanniittee
  30. 30. TTrriiggggeerrss oonn GGrraapphhss ● EExxppoorrtt JJaavvaa MMeettrriiccss ● JJMMXXTTrraannss ● EExxppoorrtt JJMMXXCCoonnffiiggss ● CCoonnffiigguurree NNRRPPEE CChheecckk ● EExxppoorrtt NNaaggiioossCChheecckk ● CCoolllleecctt JJMMXX EExxppoorrttss oonn JJMMXXTTrraannssNNooddee ● GGrraapphh EEmm CCoolllleecctt IIcciinnggaa CCoonnffiiggss oonn IIcciinnggaa
  31. 31. AAggggrreeggaattiioonn ● AAlleerrtt oonn ssttrreeaammss ● AAlleerrtt oonn aaggggrreeggaatteedd mmeettrriiccss
  32. 32. RRiieemmaannnn ● II ssttiillll ddoonn''tt ggeett iitt ?? ● DDiissttrriibbuutteedd TToopp ● DDoo yyoouu lliikkee CClloojjuurree ?? ● RRiieemmaannnn HHeeaalltthh pplluuggiinn ?? ● ss//rriieemmaannnn--hheeaalltthh//ccoolllleeccttdd//gg;; ●OOuuttppuutt ttoo ggrraapphhiittee
  33. 33. GGrraapphhss ttoo KKnnoowwlleeddggee SSkkyylliinnee • OOccuulluuss • CCrreeaattiinngg IInnffoorrmmaattiioonn oouutt ooff tthhiiss ddaattaa • BBiigg ddaattaa • MMaacchhiinnee LLeeaarrnniinngg
  34. 34. BBuutt II hhaavvee lloogg ffiilleess....
  35. 35. LLooggss aanndd MMeettrriiccss ●GGrraayylloogg22 ● EELLSSAA ((EEnntteerrpprriissee LLoogg SSeeaarrcchh aanndd AArrcchhiivvee)) ● EELLKK SSttaacckk
  36. 36. ● CCoolllleecctt ffrroomm aannyywwhheerree ● FFiilltteerr ● SSeenndd aannyywwhheerree
  37. 37. BBllaacckk oonn WWhhiittee ??
  38. 38. AAPPMM BBuutt wwhhaatt aabboouutt mmyy aappppss ?? HHaallff tthhee wwoorrlldd cchheeeerrss aabboouutt SSAAAASS ttoooollss :((
  39. 39. PPaacckkeettbbeeaatt ● TTrraaffffiicc FFllooww tthhrroouugghh nneettwwoorrkk ● TTrraannssaaccttiioonnss ccaauussiinngg eerrrrrrooss ● SSQQLL ppeerr HHTTTTPP ● AAPPII ccaallll uussaaggee
  40. 40. PPaacckkeettBBeeaatt
  41. 41. TThhiiss nneeww ““DD”” hhyyppee
  42. 42. CCoonnttaaiinneerrss aarree tthhee nneeww bbllaacckk ● 11 pprroocceessss ppeerr ccoonnttaaiinneerr ●MMeettrriicc ccoolllleeccttiioonn ?? ● SSeerrvviiccee hheeaalltthh ??
  43. 43. So you want service rreeggiissttrraattiioonn ooff yyoouurr hheeaalltthhyy ((ccoonnttaaiinneerriizzeedd)) aapppplliiccaattiioonnss ??
  44. 44. EEnntteerr CCoonnssuull..iioo ● SSeerrvviiccee ddiissccoovveerryy ● FFaaiilluurree ddeetteeccttiioonn ● UUssiinngg GGoossssiipp bbuuiilldd oonn ttoopp ooff SSeerrff ● RRaannddoomm nnooddee 22 nnooddee ccoommmmuunniiccaattiioonn ● AA HHaasshhiiCCoorrpp pprroojjeecctt
  45. 45. CCoonnssuull ● UUsseess mmoonniittoorriinngg__pplluuggiinnss ffoorr hheeaalltthh ● CCrreeaatteess uunnhheeaalltthhyy ddnnss sseettuuppss ● SSeennssuu aalliikkee ● KKeeyy--VVaalluuee ssttoorree ● CCoonnssuull__tteemmppllaattee ==>> ffiillllss yyoouurr tteemmppllaatteess
  46. 46. EEvveerryytthhiinngg iiss aa ffrreeaakkiinngg ddnnss pprroobblleemm
  47. 47. SSeellff HHeeaalliinngg ●PPaacceemmaakkeerr CCoorroossyynncc ((ooccff rreessoouurrccee tthhaatt mmoonniittoorrss yyoouurr sseerrvviiccee)) ●MMeessooss ●KKuubbeerrnneetteess ●SSccaallee cchhaannggeess,, CCoonnsseennssuuss MMooddeellss cchhaannggee
  48. 48. SSoo yyoouurr DDCC ffaaiillss WWhhoomm ttoo aalleerrtt wwhheenn ??
  49. 49. ''NNeeww'' kkiiddss oonn tthhee bblloocckk ● FFllaappjjaacckk ffllaappjjaacckk..iioo mmoonniittoorriinngg nnoottiiffiiccaattiioonn rroouuttiinngg ++ eevveenntt pprroocceessssiinngg ssyysstteemm ●OOppeennDDuuttyy ggiitthhuubb..ccoomm//sszzeecchhuueenn//OOppeennDDuuttyy DDuuttyy mmaannaaggeemmeenntt
  50. 50. MMyy AAlleerrttiinngg SSttrraatteeggyy IIss ssttiillll iinn bbeettaa
  51. 51. AAnndd bbaacckk ::(( IInn 22001144 II``mm ssttiillll rruunnnniinngg tthhee ssaammee cchheecckk ffoorr -- sseerrvviiccee rreeggiissttrraattiioonn ((ccoonnssuull)) -- hhiigghh aavvaaiillaabbiilliittyy ((ppaacceemmaakkeerr//ccoorroossyynncc)) -- mmoonniittoorriinngg ((iicciinnggaa))
  52. 52. l But I loovvee wwhheerree MMoonniittoorriinngg iiss hheeaaddiinngg WWee hhaavvee mmuucchh lleessss ffaallssee ppoossiittiivveess AAnndd wwee hhaavvee aa MMaaiinnttaaiinnaabbllee MMoonniittoorriinngg IInnffrraa KKiinnddaa
  53. 53. YYoouurr nneexxtt ttrriipp ttoo GGeenntt !! CfgMgmtcamp.eu February 2 and 3, 2015 CFP is Open !
  54. 54. CCoonnttaacctt KKrriiss..BBuuyyttaaeerrtt@@iinnuuiittss..eeuu FFuurrtthheerr RReeaaddiinngg @@kkrriissbbuuyyttaaeerrtt hhttttpp::////wwwwww..kkrriissbbuuyyttaaeerrtt..bbee//bblloogg// hhttttpp::////wwwwww..iinnuuiittss..eeuu// IInnuuiittss DDuubbooiissttrraaaatt 5500 22006600 AAnnttwweerrppeenn BBeellggiiuumm 889911..551144..223311 ++3322 447755 996611222211

×