Advertisement

7 Years of Puppet Horror Stories

Devops, Linux and Open Source Expert at Inuits
Sep. 24, 2014
Advertisement

More Related Content

Advertisement
Advertisement

7 Years of Puppet Horror Stories

  1. 7 Years of Puppet Horror Stories Kris Buytaert @krisbuytaert
  2. KKrriiss BBuuyyttaaeerrtt ● II uusseedd ttoo bbee aa DDeevv,, ● TThheenn BBeeccaammee aann OOpp ● CChhiieeff TTrroolllliinngg OOffffiicceerr aanndd OOppeenn SSoouurrccee CCoonnssuullttaanntt @@iinnuuiittss..eeuu ● EEvveerryytthhiinngg iiss aann eeffffiinngg DDNNSS PPrroobblleemm ● BBuuiillddiinngg CClloouuddss ssiinnccee bbeeffoorree tthhee bbooookkssttoorree ● SSoommee bbooookkss,, ssoommee ppaappeerrss,, ssoommee bbllooggss ● EEvvaannggeelliizziinngg ddeevvooppss
  3. SSeettttiinngg tthhee SSttaaggee ● [[rroooott@@xxeenn ~~]]## rrppmm --qqaa || ggrreepp ppuuppppeett ppuuppppeett--00..2233..22--1..eell55 ● --rrwwxxrr--xxrr--xx 1 rroooott rroooott 4880099 AAuugg 2222 22000077 //uussrr//bbiinn//ppuuppppeett ● CCoonnssuullttiinngg @@ ddiiffffeerreenntt ccuussttoommeerrss.. ● TTeelllliinngg mmyy wwaarr ssttoorriieess,, ssoo yyoouu ddoonn''tt hhaavvee ttoo
  4. DDeebbuuggggiinngg IInnffrraassttrruuccttuurreess Everything is a Funky DNS Problem No really, Everything is a Funky DNS Problem If it's not a funky DNS Problem .. It's an arp problem If it's not an arp problem... It's a Full Filesystem Problem If your filesystem isn't full It's a Spanning Tree problem If it's not a spanning Tree problem... It's a USB problem If it's not a USB Problem It might be an ntp problem If it's not an ntp problem It's a sharing IRQ Problem If it's not a sharing IRQ Problem But most often .. its a Freaking Dns Problem ! Or someone playing tricks on you Jan 2006
  5. Chapter 1:: DDeeppllooyyiinngg aa PPuuppppeettmmaasstteerr
  6. CChhiicckkeenn aanndd EEggggss ● PPllaattffoorrmm == RRaacckk ffuullll ● 22xx ppxxee,, yyuumm,, ddhhccppdd,, ppuuppppeettmmaasstteerr ● RReeiinnssttaalllliinngg tthhee ppllaattffoorrmm • SSccrraattcchh tthhee cceennttrraall bbooxx • SSccrraattcchh tthhee ootthheerr bbooxxeenn
  7. WWoorrkkss iinn DDeevv,, FFaaiillss iinn PPrroodd PPrroodd == sshhiippppeedd ppllaattffoorrmm oonn ootthheerr ccoonnttiinneenntt ● PPllaattffoorrmm wwoorrkkss,, lleettss rreeddeeppllooyy.. ● TTaakkee ddoowwnn PPuuppppeettMMaasstteerr.. ● RReebboooottssttrraapp ● BBoooossttrraapp ffiirrsstt ccoouuppllee ooff nnooddeess,, ssuucccceessss ● MMoorree nnooddeess.... ffaaiilluurree ssttaarrtt hhaappppeenniinngg
  8. IItt''ss nnoott yyoouurr ccooddee ● SSttrriipp oouutt ccooddee,, ● RRuunnss wwoorrkk ssoommeettiimmeess oonn aallmmoosstt eemmppttyy ccaattaallooggss ● RReeeennaabbllee ccooddee ● RRuunn sseerrvveerr iinn ddeebbuugg,, pprroobblleemm ggeettss wwoorrssee AAbboouutt ttoo rreennaammee tthhee ppuuppppeettmmaasstteerr ttoo sscchhrrooddiinnggeerr
  9. 224 hhoouurrss aanndd aa VVPPNN FFaaiilluurree llaatteerr
  10. TThhee CCrruullppiitt :: ● PPaarrttiiaall ffaaiilliinngg MMaannaaggeedd PPoowweerrssuuppppllyy ● 66 bbooxxeenn wweerree nnoott ppoowweerreedd ooffff ● UUssuuaallllyy wwee ppoowweerreedd ooffff aallll tthhee ootthheerr bbooxxeenn ● BBrreeaakkiinngg wweebbrriicckk ,, ● WWiitthh oolldd ssssll rreeqquueessttss
  11. Chapter 2: Hoonnoouurr yyoouurr ppaarreennttss oorr yyoouurr ddiisskkss wwiillll fflloooodd
  12. ##MMoonniittoorriinnggSSuucckkss ● PPuuppppeettrruunnss bbrreeaakk oouurr IIcciinnggaa bbooxxeenn ● BBaaddllyy ● FFrreeqquueennttllyy
  13. SSttoorreedd CCoonnffiiggss
  14. EExxppoorrttiinngg aanndd CCoolllleeccttiinngg
  15. IItt aaiinn''tt bboorrkkeenn ● SSuucccceessssffuull ppuuppppeett rruunn ● SSuucccceessssffuull IIcciinnggaa rreeccoonnffiigguurree ● DDiisskk uussaaggee ggrroowwss ● FFaasstt
  16. AA PPuuppppeett BBuugg
  17. CChhaapptteerr 33:: RReelleeaassee MMaannaaggeemmeenntt
  18. IItt wwoorrkkss,, iitt ddooeessnn''tt wwoorrkk ● IImmaaggiinnee aa wwoorrkkiinngg ppuuppppeett sseettuupp ● AAtt ddiiffffeerreenntt ccuussttoommeerrss ● UUppssttrreeaamm VVeennddoorr rreelleeaasseess nneeww ssooffttwwaarree ● HHaallff ooff tthhee ccuussttoommeerrss ccaallll ccrryyiinngg tthhaatt tthheeiirr ppllaattffoorrmm iiss bbrrookkeenn
  19. AA bbrrookkeenn mmccoolllleeccttiivvee ● CCuussttoommeerrss wwiitthh sseellff mmaannaaggeedd ((ppaacckkaaggee)) rreeppooss aarree hhaappppyy ● CCuussttoommeerrss uussiinngg uuppssttrreeaamm rreeppooss aarree iinn ppaaiinn
  20. RReeppoossiittoorryy MMaannaaggeemmeenntt ● PPuullpp • PPrroo :: MMiirrrroorriinnggLLoovvee • CCoonn :: MMoonnggoo,, SSttaabbiilliittyy,, ..ddeebb,, ffoorrggee ● PPRRMM ● YYuumm RReeppoo SSeerrvveerr bbyy IISS2244
  21. RReeppoossiittoorryy MMaannaaggeemmeenntt
  22. VVeerrssiioonn vvss LLaatteesstt ● VVeerrssiioonn yyoouurr rreeppooss ?? eennssuurree ==>> llaatteessttss ● LLaatteesstt yyoouurr eennvviirroonnmmeennttss ?? ● SSttrriicctt vveerrssiioonniinngg iinn ccoonnffiigg ?? EEnnssuurree ==>> ''00..998..44'' UUssee HHiieerraa
  23. CChhaapptteerr 44:: WWee aarree aallll ddeevvss nnooww
  24. NNoo mmoorree ppuuppppeett rruunnss ::(( ● PPuuppppeett iiss ccrroonnnneedd ● DDaasshhbbooaarrdd sshhoowwss nnoo ssuucccceessssffuull rruunnss ffoorr hhoouurrss ● ppuuppppeett aaggeenntt --tt ssttaarrttss ,, tthheenn eexxiittss wwiitthh nnoo eerrrroorr
  25. WWee ddiiddnn''tt cchhaannggee aa tthhiinngg !! ● QQuuiicckk ggiitt lloogg sshhoowweedd nnoo rreelleevvaanntt cchhaannggeess oonn tthhee ccooddee bbaassee..
  26. LLeett''ss ddeebbuugg ● PPuutt aaggeenntt iinn vveerrbboossee ● PPuutt mmaasstteerr iinn vveerrbboossee
  27. LLeett''ss ddeebbuugg ● PPuutt aaggeenntt iinn vveerrbboossee ● PPuutt mmaasstteerr iinn vveerrbboossee ● TTrryy ddiiffffeerreenntt eennvviirroonnmmeennttss
  28. LLeett''ss ddeebbuugg ● PPuutt aaggeenntt iinn vveerrbboossee ● PPuutt mmaasstteerr iinn vveerrbboossee ● TTrryy ddiiffffeerreenntt eennvviirroonnmmeennttss ((iitt wwoorrkkss iinn 11)) ● UUppggrraaddee ppuuppppeettmmaasstteerr ● UUppggrraaddee ppuuppppeett aaggeenntt
  29. LLeett''ss ddeebbuugg ● PPuutt aaggeenntt iinn vveerrbboossee ● PPuutt mmaasstteerr iinn vveerrbboossee ● TTrryy ddiiffffeerreenntt eennvviirroonnmmeennttss ● UUppggrraaddee ppuuppppeettmmaasstteerr ● UUppggrraaddee ppuuppppeett aaggeenntt ● MMooddiiffyy //eettcc//hhoossttss
  30. LLeett''ss ddeebbuugg ● PPuutt aaggeenntt iinn vveerrbboossee ● PPuutt mmaasstteerr iinn vveerrbboossee ● TTrryy ddiiffffeerreenntt eennvviirroonnmmeennttss ● UUppggrraaddee ppuuppppeettmmaasstteerr ● UUppggrraaddee ppuuppppeett aaggeenntt ● MMooddiiffyy //eettcc//hhoossttss ● CClleeaann SSSSLL CCeerrttss
  31. CCaalllleedd iinn tthhee ttrrooooppss ● II''vvee nneevveerr sseeeenn ssoommeetthhiinngg lliikkee tthhiiss bbeeffoorree ● TThheeyy ccoouullddnn''tt ffiinndd aa tthhiinngg eeiitthheerr .... ● WWee''vvee nneevveerr sseeeenn ssoommeetthhiinngg lliikkee tthhiiss bbeeffoorree..
  32. WWee ddiiddnn''tt cchhaannggee aa tthhiinngg ((22))!! ● QQuuiicckk ggiitt lloogg sshhoowweedd nnoo rreelleevvaanntt cchhaannggeess oonn tthhee ccooddee bbaassee.. ● OOnn tthhee mmaanniiffeessttss iinncclluuddeedd iinn tthhee ppllaattffoorrmm wwhheerree tthhee ccooddee wwaass ffaaiilliinngg ● 9955%% LLiinnuuxx nnooddeess ffaaiilliinngg,, nnoo ccooddee cchhaannggee
  33. EExxiitt ZZeerroo ● 55%% WWiinnddoowwss nnooddeess,, ccooddee cchhaannggeess iiggnnoorreedd ==>> tthhaatt mmoodduullee iissnn''tt uusseedd oonn LLiinnuuxx rriigghhtt ??
  34. Chapter 55:: SSooffttwwaarree ddeeffiinneedd NNeettwwoorrkk
  35. BBuussiinneessss aass uussuuaall ● FFuullllyy ppuuppppeettiizzeedd ppllaattffoorrmm ● DDeeppllooyyeedd 55++ iinnssttaanncceess ooff ppllaattffoorrmm ● IIPPSSeecc TTuunnnneellss iinn aallll ddiirreeccttiioonnss ..
  36. OOnnee MMoorrnniinngg ● PPuuppppeettrruunnss ssttaarrtt ffaaiilliinngg ● PPeerrffeecctt aacccceessss ttoo nneeww ccuussttoommeerr ppllaattffoorrmm ● MMoonniittoorriinngg ssaayyss eevveerryytthhiinngg iiss ffiinnee.. ● BBooxxeenn ccaann ppiinngg ppuuppppeettmmaasstteerr ● PPuuppppeettmmaasstteerr ccaann ppiinngg bbooxxeenn
  37. EEvveerryytthhiinngg iiss aa FFuunnkkyy DDNNSS PPrroobblleemm ● RReevveerrssee DDNNSS wwaass bbrrookkeenn ● FFiixxeedd RReevveerrssee DDNNSS ffoorr nneeww ppllaattffoorrmm ● HHeeyy .... tthhiiss llooookkss bbeetttteerr
  38. BBuutt iitt''ss nnoott ffiixxeedd yyeett ● IItt''ss ssssll ?? ● LLeett''ss cclleeaarr ssoommee CCeerrttss.. ● NNooppee nnoott SSSSLL
  39. II ccaann ccoonnnneecctt !! ● II ccaann ppiinngg tthhee ppuuppppeettmmaasstteerr ● II ccaann tteellnneett ttoo ppoorrtt 88114400 oonn tthhee ppuuppppeettmmaasstteerr ● TThhee ppuuppppeettmmaasstteerr ccaann ppiinngg mmee ● IItt aallll wwoorrkkss
  40. BBuutt ● II ccaann''tt wwggeett ffrroomm tthhee ppuuppppeettmmaasstteerr ● IItt mmuusstt bbee nneettwwoorrkkiinngg ● IIss iitt aa nnaatt rruullee oonn tthhee vvppnn ??
  41. HHaavvee yyoouu ttrriieedd ttuurrnniinngg iitt ooff aanndd oonn aaggaaiinn ?? ● BBrrookkeenn IIPPSSeecc sseettuupp ● RReessttaarrttiinngg ttuunnnneellss ssoollvveedd iitt..
  42. CChhaapptteerr 77:: TThheerree''ss 33 hhaarrdd tthhiinnggss iinn IITT -- CCaacchhee IInnvvaalliiddaattiioonn -- SShhaarreedd MMeemmoorryy MMaannaaggeemmeenntt -- OOffff bbyy 11 eerrrroorrss -- NNaammiinngg tthhiinnggss
  43. YYeett aannootthheerr bbrrookkeenn ppuuppppeettrruunn eerrrr:: CCoouulldd nnoott rreettrriieevvee ccaattaalloogg ffrroomm rreemmoottee sseerrvveerr:: EErrrroorr 440000 oonn SSEERRVVEERR:: AAnnootthheerr llooccaall oorr iimmppoorrtteedd rreessoouurrccee eexxiissttss wwiitthh tthhee ttyyppee aanndd ttiittllee AAppaacchhee::::VVhhoosstt[[ssoommeehhoosstt..ssoommeeccuusstteerroomm..eeuu__8800__ pprrooxxyy]] oonn nnooddee pprrooxxyy..ssoommeewwhheerree..eeuu wwaarrnniinngg:: NNoott uussiinngg ccaacchhee oonn ffaaiilleedd ccaattaalloogg
  44. BBuutt tthhaatt sshhoouullddnn''tt bbee tthheerree ● VVhhoosstt ddooeess nnoott ggeett eexxppoorrtteedd ttoo tthheerree ● BBooxx sshhoouulldd nnoott ccoolllleecctt tthhaatt
  45. BBuutt tthhaatt sshhoouullddnn''tt bbee tthheerree ● VVhhoosstt ddooeess nnoott ggeett eexxppoorrtteedd ttoo tthheerree ● BBooxx sshhoouulldd nnoott ccoolllleecctt tthhaatt ● DDiiggggiinngg iinn ttoo eexxppoorrttss ● DDiiggggiinngg iinnttoo ppuuppppeettddbb ,, hhoowwss yyoouurr ppssqqll ??
  46. CCoolllleeccttiinngg AAppaacchhee::::VVhhoosstt <<<<|| ttaagg == ''pprrooxxyy'' ||>> {{}} AAppaacchhee::::VVhhoosstt::::SSssll <<<<|| ttaagg == ''pprrooxxyy'' ||>> {{}} AAppaacchhee::::VVhhoosstt::::MMoodd::::RReevveerrssee__pprrooxxyy <<<<|| ttaagg == ''pprrooxxyy'' ||>> {{}}
  47. BBeewwaarree wwhhaatt yyoouu ccoolllleecctt!! ● pprrooffiilleess::::vvhhoosstt::::pprrooxxyy
  48. LLeessssoonnss LLeeaarrnneedd ● RReeppoossiittoorryy MMaannaaggeemmeenntt iiss IImmppoorrttaanntt ● DDeevveellooppmmeenntt eennvviirroonnmmeennttss aarree rreelleevvaanntt,, aallssoo ffoorr ppuuppppeett ccooddee !! ● WWee aallll hhaattee SSSSLL ● YYoouu nneevveerr mmoonniittoorr eennoouugghh ● UUppggrraaddiinngg iiss mmoossttllyy nnoott tthhee ssoolluuttiioonn ● UUnnlleessss iitt''ss aa bbuugg iinn PPuuppppeett ● RReelleeaassee MMaannaaggeemmeenntt iiss nnoott aa ssoollvveedd pprroobblleemm
  49. CCoonnttaacctt KKrriiss BBuuyyttaaeerrtt KKrriiss..BBuuyyttaaeerrtt@@iinnuuiittss..bbee FFuurrtthheerr RReeaaddiinngg @@kkrriissbbuuyyttaaeerrtt hhttttpp::////wwwwww..kkrriissbbuuyyttaaeerrtt..bbee//bblloogg// hhttttpp::////wwwwww..iinnuuiittss..bbee// IInnuuiittss DDuubbooiissttrraaaatt 5500 22006600 AAnnttwweerrppeenn BBeellggiiuumm 889911..551144..223311 ++3322 447755 996611222211
Advertisement