7 Years of Puppet
Horror Stories
Kris Buytaert
@krisbuytaert

KKrriiss BBuuyyttaaeerrtt
● II uusseedd ttoo bbee aa DDeevv,,
● TThheenn BBeeccaammee aann OOpp
● CChhiieeff TTrroolllliinngg OOffffiicceerr aanndd OOppeenn SSoouurrccee
CCoonnssuullttaanntt @@iinnuuiittss..eeuu
● EEvveerryytthhiinngg iiss aann eeffffiinngg DDNNSS PPrroobblleemm
● BBuuiillddiinngg CClloouuddss ssiinnccee bbeeffoorree tthhee bbooookkssttoorree
● SSoommee bbooookkss,, ssoommee ppaappeerrss,, ssoommee bbllooggss
● EEvvaannggeelliizziinngg ddeevvooppss

SSeettttiinngg tthhee SSttaaggee
● [[rroooott@@xxeenn ~~]]## rrppmm --qqaa || ggrreepp ppuuppppeett
ppuuppppeett--00..2233..22--1..eell55
● --rrwwxxrr--xxrr--xx 1 rroooott rroooott 4880099 AAuugg 2222 22000077
//uussrr//bbiinn//ppuuppppeett
● CCoonnssuullttiinngg @@ ddiiffffeerreenntt ccuussttoommeerrss..
● TTeelllliinngg mmyy wwaarr ssttoorriieess,, ssoo yyoouu ddoonn''tt hhaavvee ttoo

DDeebbuuggggiinngg IInnffrraassttrruuccttuurreess
Everything is a Funky DNS Problem
No really, Everything is a Funky DNS Problem
If it's not a funky DNS Problem ..
It's an arp problem
If it's not an arp problem...
It's a Full Filesystem Problem
If your filesystem isn't full
It's a Spanning Tree problem
If it's not a spanning Tree problem...
It's a USB problem
If it's not a USB Problem
It might be an ntp problem
If it's not an ntp problem
It's a sharing IRQ Problem
If it's not a sharing IRQ Problem
But most often .. its a Freaking Dns Problem !
Or someone playing tricks on you
Jan 2006

Chapter 1:: DDeeppllooyyiinngg aa PPuuppppeettmmaasstteerr

CChhiicckkeenn aanndd EEggggss
● PPllaattffoorrmm == RRaacckk ffuullll
● 22xx ppxxee,, yyuumm,, ddhhccppdd,, ppuuppppeettmmaasstteerr
● RReeiinnssttaalllliinngg tthhee ppllaattffoorrmm
• SSccrraattcchh tthhee cceennttrraall bbooxx
• SSccrraattcchh tthhee ootthheerr bbooxxeenn

WWoorrkkss iinn DDeevv,, FFaaiillss iinn PPrroodd
PPrroodd == sshhiippppeedd ppllaattffoorrmm oonn ootthheerr ccoonnttiinneenntt
● PPllaattffoorrmm wwoorrkkss,, lleettss rreeddeeppllooyy..
● TTaakkee ddoowwnn PPuuppppeettMMaasstteerr..
● RReebboooottssttrraapp
● BBoooossttrraapp ffiirrsstt ccoouuppllee ooff nnooddeess,, ssuucccceessss
● MMoorree nnooddeess.... ffaaiilluurree ssttaarrtt hhaappppeenniinngg

IItt''ss nnoott yyoouurr ccooddee
● SSttrriipp oouutt ccooddee,,
● RRuunnss wwoorrkk ssoommeettiimmeess oonn aallmmoosstt eemmppttyy
ccaattaallooggss
● RReeeennaabbllee ccooddee
● RRuunn sseerrvveerr iinn ddeebbuugg,, pprroobblleemm ggeettss wwoorrssee
AAbboouutt ttoo rreennaammee tthhee ppuuppppeettmmaasstteerr ttoo
sscchhrrooddiinnggeerr

224 hhoouurrss aanndd aa VVPPNN FFaaiilluurree llaatteerr

TThhee CCrruullppiitt ::
● PPaarrttiiaall ffaaiilliinngg MMaannaaggeedd PPoowweerrssuuppppllyy
● 66 bbooxxeenn wweerree nnoott ppoowweerreedd ooffff
● UUssuuaallllyy wwee ppoowweerreedd ooffff aallll tthhee ootthheerr bbooxxeenn
● BBrreeaakkiinngg wweebbrriicckk ,,
● WWiitthh oolldd ssssll rreeqquueessttss

Chapter 2: Hoonnoouurr yyoouurr ppaarreennttss oorr yyoouurr ddiisskkss wwiillll
fflloooodd

##MMoonniittoorriinnggSSuucckkss
● PPuuppppeettrruunnss bbrreeaakk oouurr IIcciinnggaa bbooxxeenn
● BBaaddllyy
● FFrreeqquueennttllyy

SSttoorreedd CCoonnffiiggss

EExxppoorrttiinngg aanndd CCoolllleeccttiinngg

IItt aaiinn''tt bboorrkkeenn
● SSuucccceessssffuull ppuuppppeett rruunn
● SSuucccceessssffuull IIcciinnggaa rreeccoonnffiigguurree
● DDiisskk uussaaggee ggrroowwss
● FFaasstt

AA PPuuppppeett BBuugg

CChhaapptteerr 33:: RReelleeaassee MMaannaaggeemmeenntt

IItt wwoorrkkss,, iitt ddooeessnn''tt wwoorrkk
● IImmaaggiinnee aa wwoorrkkiinngg ppuuppppeett sseettuupp
● AAtt ddiiffffeerreenntt ccuussttoommeerrss
● UUppssttrreeaamm VVeennddoorr rreelleeaasseess nneeww ssooffttwwaarree
● HHaallff ooff tthhee ccuussttoommeerrss ccaallll ccrryyiinngg tthhaatt tthheeiirr
ppllaattffoorrmm iiss bbrrookkeenn

AA bbrrookkeenn mmccoolllleeccttiivvee
● CCuussttoommeerrss wwiitthh sseellff mmaannaaggeedd ((ppaacckkaaggee)) rreeppooss
aarree hhaappppyy
● CCuussttoommeerrss uussiinngg uuppssttrreeaamm rreeppooss aarree iinn ppaaiinn

RReeppoossiittoorryy MMaannaaggeemmeenntt
● PPuullpp
• PPrroo :: MMiirrrroorriinnggLLoovvee
• CCoonn :: MMoonnggoo,, SSttaabbiilliittyy,, ..ddeebb,, ffoorrggee
● PPRRMM
● YYuumm RReeppoo SSeerrvveerr bbyy IISS2244

RReeppoossiittoorryy MMaannaaggeemmeenntt

VVeerrssiioonn vvss LLaatteesstt
● VVeerrssiioonn yyoouurr rreeppooss ??
eennssuurree ==>> llaatteessttss
● LLaatteesstt yyoouurr eennvviirroonnmmeennttss ??
● SSttrriicctt vveerrssiioonniinngg iinn ccoonnffiigg ??
EEnnssuurree ==>> ''00..998..44''
UUssee HHiieerraa

CChhaapptteerr 44:: WWee aarree aallll ddeevvss nnooww

NNoo mmoorree ppuuppppeett rruunnss ::((
● PPuuppppeett iiss ccrroonnnneedd
● DDaasshhbbooaarrdd sshhoowwss nnoo ssuucccceessssffuull rruunnss ffoorr hhoouurrss
● ppuuppppeett aaggeenntt --tt ssttaarrttss ,, tthheenn eexxiittss wwiitthh nnoo eerrrroorr

WWee ddiiddnn''tt cchhaannggee aa tthhiinngg !!
● QQuuiicckk ggiitt lloogg sshhoowweedd nnoo rreelleevvaanntt cchhaannggeess oonn
tthhee ccooddee bbaassee..

LLeett''ss ddeebbuugg
● PPuutt aaggeenntt iinn vveerrbboossee
● PPuutt mmaasstteerr iinn vveerrbboossee

LLeett''ss ddeebbuugg
● PPuutt aaggeenntt iinn vveerrbboossee
● PPuutt mmaasstteerr iinn vveerrbboossee
● TTrryy ddiiffffeerreenntt eennvviirroonnmmeennttss

LLeett''ss ddeebbuugg
● PPuutt aaggeenntt iinn vveerrbboossee
● PPuutt mmaasstteerr iinn vveerrbboossee
● TTrryy ddiiffffeerreenntt eennvviirroonnmmeennttss ((iitt wwoorrkkss iinn 11))
● UUppggrraaddee ppuuppppeettmmaasstteerr
● UUppggrraaddee ppuuppppeett aaggeenntt

LLeett''ss ddeebbuugg
● PPuutt aaggeenntt iinn vveerrbboossee
● PPuutt mmaasstteerr iinn vveerrbboossee
● TTrryy ddiiffffeerreenntt eennvviirroonnmmeennttss
● UUppggrraaddee ppuuppppeettmmaasstteerr
● UUppggrraaddee ppuuppppeett aaggeenntt
● MMooddiiffyy //eettcc//hhoossttss

LLeett''ss ddeebbuugg
● PPuutt aaggeenntt iinn vveerrbboossee
● PPuutt mmaasstteerr iinn vveerrbboossee
● TTrryy ddiiffffeerreenntt eennvviirroonnmmeennttss
● UUppggrraaddee ppuuppppeettmmaasstteerr
● UUppggrraaddee ppuuppppeett aaggeenntt
● MMooddiiffyy //eettcc//hhoossttss
● CClleeaann SSSSLL CCeerrttss

CCaalllleedd iinn tthhee ttrrooooppss
● II''vvee nneevveerr sseeeenn ssoommeetthhiinngg lliikkee tthhiiss bbeeffoorree
● TThheeyy ccoouullddnn''tt ffiinndd aa tthhiinngg eeiitthheerr ....
● WWee''vvee nneevveerr sseeeenn ssoommeetthhiinngg lliikkee tthhiiss bbeeffoorree..

WWee ddiiddnn''tt cchhaannggee aa tthhiinngg ((22))!!
● QQuuiicckk ggiitt lloogg sshhoowweedd nnoo rreelleevvaanntt cchhaannggeess oonn
tthhee ccooddee bbaassee..
● OOnn tthhee mmaanniiffeessttss iinncclluuddeedd iinn tthhee ppllaattffoorrmm wwhheerree
tthhee ccooddee wwaass ffaaiilliinngg
● 9955%% LLiinnuuxx nnooddeess ffaaiilliinngg,, nnoo ccooddee cchhaannggee

EExxiitt ZZeerroo
● 55%% WWiinnddoowwss nnooddeess,, ccooddee cchhaannggeess iiggnnoorreedd
==>> tthhaatt mmoodduullee iissnn''tt uusseedd oonn LLiinnuuxx rriigghhtt ??

Chapter 55:: SSooffttwwaarree ddeeffiinneedd NNeettwwoorrkk

BBuussiinneessss aass uussuuaall
● FFuullllyy ppuuppppeettiizzeedd
ppllaattffoorrmm
● DDeeppllooyyeedd 55++
iinnssttaanncceess ooff ppllaattffoorrmm
● IIPPSSeecc TTuunnnneellss iinn aallll
ddiirreeccttiioonnss ..

OOnnee MMoorrnniinngg
● PPuuppppeettrruunnss ssttaarrtt ffaaiilliinngg
● PPeerrffeecctt aacccceessss ttoo nneeww ccuussttoommeerr ppllaattffoorrmm
● MMoonniittoorriinngg ssaayyss eevveerryytthhiinngg iiss ffiinnee..
● BBooxxeenn ccaann ppiinngg ppuuppppeettmmaasstteerr
● PPuuppppeettmmaasstteerr ccaann ppiinngg bbooxxeenn

EEvveerryytthhiinngg iiss aa FFuunnkkyy DDNNSS
PPrroobblleemm
● RReevveerrssee DDNNSS wwaass bbrrookkeenn
● FFiixxeedd RReevveerrssee DDNNSS ffoorr nneeww ppllaattffoorrmm
● HHeeyy .... tthhiiss llooookkss bbeetttteerr

BBuutt iitt''ss nnoott ffiixxeedd yyeett
● IItt''ss ssssll ??
● LLeett''ss cclleeaarr ssoommee CCeerrttss..
● NNooppee nnoott SSSSLL

II ccaann ccoonnnneecctt !!
● II ccaann ppiinngg tthhee ppuuppppeettmmaasstteerr
● II ccaann tteellnneett ttoo ppoorrtt 88114400 oonn tthhee ppuuppppeettmmaasstteerr
● TThhee ppuuppppeettmmaasstteerr ccaann ppiinngg mmee
● IItt aallll wwoorrkkss

BBuutt
● II ccaann''tt wwggeett ffrroomm tthhee ppuuppppeettmmaasstteerr
● IItt mmuusstt bbee nneettwwoorrkkiinngg
● IIss iitt aa nnaatt rruullee oonn tthhee vvppnn ??

HHaavvee yyoouu ttrriieedd ttuurrnniinngg iitt ooff
aanndd oonn aaggaaiinn ??
● BBrrookkeenn IIPPSSeecc sseettuupp
● RReessttaarrttiinngg ttuunnnneellss
ssoollvveedd iitt..

CChhaapptteerr 77:: TThheerree''ss 33 hhaarrdd tthhiinnggss iinn IITT
-- CCaacchhee IInnvvaalliiddaattiioonn
-- SShhaarreedd MMeemmoorryy MMaannaaggeemmeenntt
-- OOffff bbyy 11 eerrrroorrss
-- NNaammiinngg tthhiinnggss

YYeett aannootthheerr bbrrookkeenn ppuuppppeettrruunn
eerrrr:: CCoouulldd nnoott rreettrriieevvee ccaattaalloogg ffrroomm rreemmoottee
sseerrvveerr:: EErrrroorr 440000 oonn SSEERRVVEERR:: AAnnootthheerr llooccaall oorr
iimmppoorrtteedd rreessoouurrccee eexxiissttss wwiitthh tthhee ttyyppee aanndd ttiittllee
AAppaacchhee::::VVhhoosstt[[ssoommeehhoosstt..ssoommeeccuusstteerroomm..eeuu__8800__
pprrooxxyy]] oonn nnooddee pprrooxxyy..ssoommeewwhheerree..eeuu
wwaarrnniinngg:: NNoott uussiinngg ccaacchhee oonn ffaaiilleedd ccaattaalloogg

BBuutt tthhaatt sshhoouullddnn''tt bbee tthheerree
● VVhhoosstt ddooeess nnoott ggeett eexxppoorrtteedd ttoo tthheerree
● BBooxx sshhoouulldd nnoott ccoolllleecctt tthhaatt

BBuutt tthhaatt sshhoouullddnn''tt bbee tthheerree
● VVhhoosstt ddooeess nnoott ggeett eexxppoorrtteedd ttoo tthheerree
● BBooxx sshhoouulldd nnoott ccoolllleecctt tthhaatt
● DDiiggggiinngg iinn ttoo eexxppoorrttss
● DDiiggggiinngg iinnttoo ppuuppppeettddbb ,, hhoowwss yyoouurr ppssqqll ??

CCoolllleeccttiinngg
AAppaacchhee::::VVhhoosstt <<<<|| ttaagg == ''pprrooxxyy'' ||>> {{}}
AAppaacchhee::::VVhhoosstt::::SSssll <<<<|| ttaagg == ''pprrooxxyy'' ||>> {{}}
AAppaacchhee::::VVhhoosstt::::MMoodd::::RReevveerrssee__pprrooxxyy <<<<|| ttaagg ==
''pprrooxxyy'' ||>> {{}}

BBeewwaarree wwhhaatt yyoouu ccoolllleecctt!!
● pprrooffiilleess::::vvhhoosstt::::pprrooxxyy

LLeessssoonnss LLeeaarrnneedd
● RReeppoossiittoorryy MMaannaaggeemmeenntt iiss IImmppoorrttaanntt
● DDeevveellooppmmeenntt eennvviirroonnmmeennttss aarree rreelleevvaanntt,, aallssoo
ffoorr ppuuppppeett ccooddee !!
● WWee aallll hhaattee SSSSLL
● YYoouu nneevveerr mmoonniittoorr eennoouugghh
● UUppggrraaddiinngg iiss mmoossttllyy nnoott tthhee ssoolluuttiioonn
● UUnnlleessss iitt''ss aa bbuugg iinn PPuuppppeett
● RReelleeaassee MMaannaaggeemmeenntt iiss nnoott aa ssoollvveedd pprroobblleemm

CCoonnttaacctt
KKrriiss BBuuyyttaaeerrtt KKrriiss..BBuuyyttaaeerrtt@@iinnuuiittss..bbee
FFuurrtthheerr RReeaaddiinngg
@@kkrriissbbuuyyttaaeerrtt
hhttttpp::////wwwwww..kkrriissbbuuyyttaaeerrtt..bbee//bblloogg//
hhttttpp::////wwwwww..iinnuuiittss..bbee//
IInnuuiittss
DDuubbooiissttrraaaatt 5500
22006600 AAnnttwweerrppeenn
BBeellggiiuumm
889911..551144..223311
++3322 447755 996611222211