7 Years of Puppet Horror Stories

2,438 views

Published on

My PuppetConf 2014 Talk, outlining a number of disasters and how we recovered from them.

Published in: Technology
0 Comments
18 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
2,438
On SlideShare
0
From Embeds
0
Number of Embeds
78
Actions
Shares
0
Downloads
22
Comments
0
Likes
18
Embeds 0
No embeds

No notes for slide

7 Years of Puppet Horror Stories

  1. 1. 7 Years of Puppet Horror Stories Kris Buytaert @krisbuytaert
  2. 2. KKrriiss BBuuyyttaaeerrtt ● II uusseedd ttoo bbee aa DDeevv,, ● TThheenn BBeeccaammee aann OOpp ● CChhiieeff TTrroolllliinngg OOffffiicceerr aanndd OOppeenn SSoouurrccee CCoonnssuullttaanntt @@iinnuuiittss..eeuu ● EEvveerryytthhiinngg iiss aann eeffffiinngg DDNNSS PPrroobblleemm ● BBuuiillddiinngg CClloouuddss ssiinnccee bbeeffoorree tthhee bbooookkssttoorree ● SSoommee bbooookkss,, ssoommee ppaappeerrss,, ssoommee bbllooggss ● EEvvaannggeelliizziinngg ddeevvooppss
  3. 3. SSeettttiinngg tthhee SSttaaggee ● [[rroooott@@xxeenn ~~]]## rrppmm --qqaa || ggrreepp ppuuppppeett ppuuppppeett--00..2233..22--1..eell55 ● --rrwwxxrr--xxrr--xx 1 rroooott rroooott 4880099 AAuugg 2222 22000077 //uussrr//bbiinn//ppuuppppeett ● CCoonnssuullttiinngg @@ ddiiffffeerreenntt ccuussttoommeerrss.. ● TTeelllliinngg mmyy wwaarr ssttoorriieess,, ssoo yyoouu ddoonn''tt hhaavvee ttoo
  4. 4. DDeebbuuggggiinngg IInnffrraassttrruuccttuurreess Everything is a Funky DNS Problem No really, Everything is a Funky DNS Problem If it's not a funky DNS Problem .. It's an arp problem If it's not an arp problem... It's a Full Filesystem Problem If your filesystem isn't full It's a Spanning Tree problem If it's not a spanning Tree problem... It's a USB problem If it's not a USB Problem It might be an ntp problem If it's not an ntp problem It's a sharing IRQ Problem If it's not a sharing IRQ Problem But most often .. its a Freaking Dns Problem ! Or someone playing tricks on you Jan 2006
  5. 5. Chapter 1:: DDeeppllooyyiinngg aa PPuuppppeettmmaasstteerr
  6. 6. CChhiicckkeenn aanndd EEggggss ● PPllaattffoorrmm == RRaacckk ffuullll ● 22xx ppxxee,, yyuumm,, ddhhccppdd,, ppuuppppeettmmaasstteerr ● RReeiinnssttaalllliinngg tthhee ppllaattffoorrmm • SSccrraattcchh tthhee cceennttrraall bbooxx • SSccrraattcchh tthhee ootthheerr bbooxxeenn
  7. 7. WWoorrkkss iinn DDeevv,, FFaaiillss iinn PPrroodd PPrroodd == sshhiippppeedd ppllaattffoorrmm oonn ootthheerr ccoonnttiinneenntt ● PPllaattffoorrmm wwoorrkkss,, lleettss rreeddeeppllooyy.. ● TTaakkee ddoowwnn PPuuppppeettMMaasstteerr.. ● RReebboooottssttrraapp ● BBoooossttrraapp ffiirrsstt ccoouuppllee ooff nnooddeess,, ssuucccceessss ● MMoorree nnooddeess.... ffaaiilluurree ssttaarrtt hhaappppeenniinngg
  8. 8. IItt''ss nnoott yyoouurr ccooddee ● SSttrriipp oouutt ccooddee,, ● RRuunnss wwoorrkk ssoommeettiimmeess oonn aallmmoosstt eemmppttyy ccaattaallooggss ● RReeeennaabbllee ccooddee ● RRuunn sseerrvveerr iinn ddeebbuugg,, pprroobblleemm ggeettss wwoorrssee AAbboouutt ttoo rreennaammee tthhee ppuuppppeettmmaasstteerr ttoo sscchhrrooddiinnggeerr
  9. 9. 224 hhoouurrss aanndd aa VVPPNN FFaaiilluurree llaatteerr
  10. 10. TThhee CCrruullppiitt :: ● PPaarrttiiaall ffaaiilliinngg MMaannaaggeedd PPoowweerrssuuppppllyy ● 66 bbooxxeenn wweerree nnoott ppoowweerreedd ooffff ● UUssuuaallllyy wwee ppoowweerreedd ooffff aallll tthhee ootthheerr bbooxxeenn ● BBrreeaakkiinngg wweebbrriicckk ,, ● WWiitthh oolldd ssssll rreeqquueessttss
  11. 11. Chapter 2: Hoonnoouurr yyoouurr ppaarreennttss oorr yyoouurr ddiisskkss wwiillll fflloooodd
  12. 12. ##MMoonniittoorriinnggSSuucckkss ● PPuuppppeettrruunnss bbrreeaakk oouurr IIcciinnggaa bbooxxeenn ● BBaaddllyy ● FFrreeqquueennttllyy
  13. 13. SSttoorreedd CCoonnffiiggss
  14. 14. EExxppoorrttiinngg aanndd CCoolllleeccttiinngg
  15. 15. IItt aaiinn''tt bboorrkkeenn ● SSuucccceessssffuull ppuuppppeett rruunn ● SSuucccceessssffuull IIcciinnggaa rreeccoonnffiigguurree ● DDiisskk uussaaggee ggrroowwss ● FFaasstt
  16. 16. AA PPuuppppeett BBuugg
  17. 17. CChhaapptteerr 33:: RReelleeaassee MMaannaaggeemmeenntt
  18. 18. IItt wwoorrkkss,, iitt ddooeessnn''tt wwoorrkk ● IImmaaggiinnee aa wwoorrkkiinngg ppuuppppeett sseettuupp ● AAtt ddiiffffeerreenntt ccuussttoommeerrss ● UUppssttrreeaamm VVeennddoorr rreelleeaasseess nneeww ssooffttwwaarree ● HHaallff ooff tthhee ccuussttoommeerrss ccaallll ccrryyiinngg tthhaatt tthheeiirr ppllaattffoorrmm iiss bbrrookkeenn
  19. 19. AA bbrrookkeenn mmccoolllleeccttiivvee ● CCuussttoommeerrss wwiitthh sseellff mmaannaaggeedd ((ppaacckkaaggee)) rreeppooss aarree hhaappppyy ● CCuussttoommeerrss uussiinngg uuppssttrreeaamm rreeppooss aarree iinn ppaaiinn
  20. 20. RReeppoossiittoorryy MMaannaaggeemmeenntt ● PPuullpp • PPrroo :: MMiirrrroorriinnggLLoovvee • CCoonn :: MMoonnggoo,, SSttaabbiilliittyy,, ..ddeebb,, ffoorrggee ● PPRRMM ● YYuumm RReeppoo SSeerrvveerr bbyy IISS2244
  21. 21. RReeppoossiittoorryy MMaannaaggeemmeenntt
  22. 22. VVeerrssiioonn vvss LLaatteesstt ● VVeerrssiioonn yyoouurr rreeppooss ?? eennssuurree ==>> llaatteessttss ● LLaatteesstt yyoouurr eennvviirroonnmmeennttss ?? ● SSttrriicctt vveerrssiioonniinngg iinn ccoonnffiigg ?? EEnnssuurree ==>> ''00..998..44'' UUssee HHiieerraa
  23. 23. CChhaapptteerr 44:: WWee aarree aallll ddeevvss nnooww
  24. 24. NNoo mmoorree ppuuppppeett rruunnss ::(( ● PPuuppppeett iiss ccrroonnnneedd ● DDaasshhbbooaarrdd sshhoowwss nnoo ssuucccceessssffuull rruunnss ffoorr hhoouurrss ● ppuuppppeett aaggeenntt --tt ssttaarrttss ,, tthheenn eexxiittss wwiitthh nnoo eerrrroorr
  25. 25. WWee ddiiddnn''tt cchhaannggee aa tthhiinngg !! ● QQuuiicckk ggiitt lloogg sshhoowweedd nnoo rreelleevvaanntt cchhaannggeess oonn tthhee ccooddee bbaassee..
  26. 26. LLeett''ss ddeebbuugg ● PPuutt aaggeenntt iinn vveerrbboossee ● PPuutt mmaasstteerr iinn vveerrbboossee
  27. 27. LLeett''ss ddeebbuugg ● PPuutt aaggeenntt iinn vveerrbboossee ● PPuutt mmaasstteerr iinn vveerrbboossee ● TTrryy ddiiffffeerreenntt eennvviirroonnmmeennttss
  28. 28. LLeett''ss ddeebbuugg ● PPuutt aaggeenntt iinn vveerrbboossee ● PPuutt mmaasstteerr iinn vveerrbboossee ● TTrryy ddiiffffeerreenntt eennvviirroonnmmeennttss ((iitt wwoorrkkss iinn 11)) ● UUppggrraaddee ppuuppppeettmmaasstteerr ● UUppggrraaddee ppuuppppeett aaggeenntt
  29. 29. LLeett''ss ddeebbuugg ● PPuutt aaggeenntt iinn vveerrbboossee ● PPuutt mmaasstteerr iinn vveerrbboossee ● TTrryy ddiiffffeerreenntt eennvviirroonnmmeennttss ● UUppggrraaddee ppuuppppeettmmaasstteerr ● UUppggrraaddee ppuuppppeett aaggeenntt ● MMooddiiffyy //eettcc//hhoossttss
  30. 30. LLeett''ss ddeebbuugg ● PPuutt aaggeenntt iinn vveerrbboossee ● PPuutt mmaasstteerr iinn vveerrbboossee ● TTrryy ddiiffffeerreenntt eennvviirroonnmmeennttss ● UUppggrraaddee ppuuppppeettmmaasstteerr ● UUppggrraaddee ppuuppppeett aaggeenntt ● MMooddiiffyy //eettcc//hhoossttss ● CClleeaann SSSSLL CCeerrttss
  31. 31. CCaalllleedd iinn tthhee ttrrooooppss ● II''vvee nneevveerr sseeeenn ssoommeetthhiinngg lliikkee tthhiiss bbeeffoorree ● TThheeyy ccoouullddnn''tt ffiinndd aa tthhiinngg eeiitthheerr .... ● WWee''vvee nneevveerr sseeeenn ssoommeetthhiinngg lliikkee tthhiiss bbeeffoorree..
  32. 32. WWee ddiiddnn''tt cchhaannggee aa tthhiinngg ((22))!! ● QQuuiicckk ggiitt lloogg sshhoowweedd nnoo rreelleevvaanntt cchhaannggeess oonn tthhee ccooddee bbaassee.. ● OOnn tthhee mmaanniiffeessttss iinncclluuddeedd iinn tthhee ppllaattffoorrmm wwhheerree tthhee ccooddee wwaass ffaaiilliinngg ● 9955%% LLiinnuuxx nnooddeess ffaaiilliinngg,, nnoo ccooddee cchhaannggee
  33. 33. EExxiitt ZZeerroo ● 55%% WWiinnddoowwss nnooddeess,, ccooddee cchhaannggeess iiggnnoorreedd ==>> tthhaatt mmoodduullee iissnn''tt uusseedd oonn LLiinnuuxx rriigghhtt ??
  34. 34. Chapter 55:: SSooffttwwaarree ddeeffiinneedd NNeettwwoorrkk
  35. 35. BBuussiinneessss aass uussuuaall ● FFuullllyy ppuuppppeettiizzeedd ppllaattffoorrmm ● DDeeppllooyyeedd 55++ iinnssttaanncceess ooff ppllaattffoorrmm ● IIPPSSeecc TTuunnnneellss iinn aallll ddiirreeccttiioonnss ..
  36. 36. OOnnee MMoorrnniinngg ● PPuuppppeettrruunnss ssttaarrtt ffaaiilliinngg ● PPeerrffeecctt aacccceessss ttoo nneeww ccuussttoommeerr ppllaattffoorrmm ● MMoonniittoorriinngg ssaayyss eevveerryytthhiinngg iiss ffiinnee.. ● BBooxxeenn ccaann ppiinngg ppuuppppeettmmaasstteerr ● PPuuppppeettmmaasstteerr ccaann ppiinngg bbooxxeenn
  37. 37. EEvveerryytthhiinngg iiss aa FFuunnkkyy DDNNSS PPrroobblleemm ● RReevveerrssee DDNNSS wwaass bbrrookkeenn ● FFiixxeedd RReevveerrssee DDNNSS ffoorr nneeww ppllaattffoorrmm ● HHeeyy .... tthhiiss llooookkss bbeetttteerr
  38. 38. BBuutt iitt''ss nnoott ffiixxeedd yyeett ● IItt''ss ssssll ?? ● LLeett''ss cclleeaarr ssoommee CCeerrttss.. ● NNooppee nnoott SSSSLL
  39. 39. II ccaann ccoonnnneecctt !! ● II ccaann ppiinngg tthhee ppuuppppeettmmaasstteerr ● II ccaann tteellnneett ttoo ppoorrtt 88114400 oonn tthhee ppuuppppeettmmaasstteerr ● TThhee ppuuppppeettmmaasstteerr ccaann ppiinngg mmee ● IItt aallll wwoorrkkss
  40. 40. BBuutt ● II ccaann''tt wwggeett ffrroomm tthhee ppuuppppeettmmaasstteerr ● IItt mmuusstt bbee nneettwwoorrkkiinngg ● IIss iitt aa nnaatt rruullee oonn tthhee vvppnn ??
  41. 41. HHaavvee yyoouu ttrriieedd ttuurrnniinngg iitt ooff aanndd oonn aaggaaiinn ?? ● BBrrookkeenn IIPPSSeecc sseettuupp ● RReessttaarrttiinngg ttuunnnneellss ssoollvveedd iitt..
  42. 42. CChhaapptteerr 77:: TThheerree''ss 33 hhaarrdd tthhiinnggss iinn IITT -- CCaacchhee IInnvvaalliiddaattiioonn -- SShhaarreedd MMeemmoorryy MMaannaaggeemmeenntt -- OOffff bbyy 11 eerrrroorrss -- NNaammiinngg tthhiinnggss
  43. 43. YYeett aannootthheerr bbrrookkeenn ppuuppppeettrruunn eerrrr:: CCoouulldd nnoott rreettrriieevvee ccaattaalloogg ffrroomm rreemmoottee sseerrvveerr:: EErrrroorr 440000 oonn SSEERRVVEERR:: AAnnootthheerr llooccaall oorr iimmppoorrtteedd rreessoouurrccee eexxiissttss wwiitthh tthhee ttyyppee aanndd ttiittllee AAppaacchhee::::VVhhoosstt[[ssoommeehhoosstt..ssoommeeccuusstteerroomm..eeuu__8800__ pprrooxxyy]] oonn nnooddee pprrooxxyy..ssoommeewwhheerree..eeuu wwaarrnniinngg:: NNoott uussiinngg ccaacchhee oonn ffaaiilleedd ccaattaalloogg
  44. 44. BBuutt tthhaatt sshhoouullddnn''tt bbee tthheerree ● VVhhoosstt ddooeess nnoott ggeett eexxppoorrtteedd ttoo tthheerree ● BBooxx sshhoouulldd nnoott ccoolllleecctt tthhaatt
  45. 45. BBuutt tthhaatt sshhoouullddnn''tt bbee tthheerree ● VVhhoosstt ddooeess nnoott ggeett eexxppoorrtteedd ttoo tthheerree ● BBooxx sshhoouulldd nnoott ccoolllleecctt tthhaatt ● DDiiggggiinngg iinn ttoo eexxppoorrttss ● DDiiggggiinngg iinnttoo ppuuppppeettddbb ,, hhoowwss yyoouurr ppssqqll ??
  46. 46. CCoolllleeccttiinngg AAppaacchhee::::VVhhoosstt <<<<|| ttaagg == ''pprrooxxyy'' ||>> {{}} AAppaacchhee::::VVhhoosstt::::SSssll <<<<|| ttaagg == ''pprrooxxyy'' ||>> {{}} AAppaacchhee::::VVhhoosstt::::MMoodd::::RReevveerrssee__pprrooxxyy <<<<|| ttaagg == ''pprrooxxyy'' ||>> {{}}
  47. 47. BBeewwaarree wwhhaatt yyoouu ccoolllleecctt!! ● pprrooffiilleess::::vvhhoosstt::::pprrooxxyy
  48. 48. LLeessssoonnss LLeeaarrnneedd ● RReeppoossiittoorryy MMaannaaggeemmeenntt iiss IImmppoorrttaanntt ● DDeevveellooppmmeenntt eennvviirroonnmmeennttss aarree rreelleevvaanntt,, aallssoo ffoorr ppuuppppeett ccooddee !! ● WWee aallll hhaattee SSSSLL ● YYoouu nneevveerr mmoonniittoorr eennoouugghh ● UUppggrraaddiinngg iiss mmoossttllyy nnoott tthhee ssoolluuttiioonn ● UUnnlleessss iitt''ss aa bbuugg iinn PPuuppppeett ● RReelleeaassee MMaannaaggeemmeenntt iiss nnoott aa ssoollvveedd pprroobblleemm
  49. 49. CCoonnttaacctt KKrriiss BBuuyyttaaeerrtt KKrriiss..BBuuyyttaaeerrtt@@iinnuuiittss..bbee FFuurrtthheerr RReeaaddiinngg @@kkrriissbbuuyyttaaeerrtt hhttttpp::////wwwwww..kkrriissbbuuyyttaaeerrtt..bbee//bblloogg// hhttttpp::////wwwwww..iinnuuiittss..bbee// IInnuuiittss DDuubbooiissttrraaaatt 5500 22006600 AAnnttwweerrppeenn BBeellggiiuumm 889911..551144..223311 ++3322 447755 996611222211

×