1.
7 Years of Puppet
Horror Stories
Kris Buytaert
@krisbuytaert

2.
KKrriiss BBuuyyttaaeerrtt
● II uusseedd ttoo bbee aa DDeevv,,
● TThheenn BBeeccaammee aann OOpp
● CChhiieeff TTrroolllliinngg OOffffiicceerr aanndd OOppeenn SSoouurrccee
CCoonnssuullttaanntt @@iinnuuiittss..eeuu
● EEvveerryytthhiinngg iiss aann eeffffiinngg DDNNSS PPrroobblleemm
● BBuuiillddiinngg CClloouuddss ssiinnccee bbeeffoorree tthhee bbooookkssttoorree
● SSoommee bbooookkss,, ssoommee ppaappeerrss,, ssoommee bbllooggss
● EEvvaannggeelliizziinngg ddeevvooppss

3.
SSeettttiinngg tthhee SSttaaggee
● [[rroooott@@xxeenn ~~]]## rrppmm --qqaa || ggrreepp ppuuppppeett
ppuuppppeett--00..2233..22--1..eell55
● --rrwwxxrr--xxrr--xx 1 rroooott rroooott 4880099 AAuugg 2222 22000077
//uussrr//bbiinn//ppuuppppeett
● CCoonnssuullttiinngg @@ ddiiffffeerreenntt ccuussttoommeerrss..
● TTeelllliinngg mmyy wwaarr ssttoorriieess,, ssoo yyoouu ddoonn''tt hhaavvee ttoo

4.
DDeebbuuggggiinngg IInnffrraassttrruuccttuurreess
Everything is a Funky DNS Problem
No really, Everything is a Funky DNS Problem
If it's not a funky DNS Problem ..
It's an arp problem
If it's not an arp problem...
It's a Full Filesystem Problem
If your filesystem isn't full
It's a Spanning Tree problem
If it's not a spanning Tree problem...
It's a USB problem
If it's not a USB Problem
It might be an ntp problem
If it's not an ntp problem
It's a sharing IRQ Problem
If it's not a sharing IRQ Problem
But most often .. its a Freaking Dns Problem !
Or someone playing tricks on you
Jan 2006

5.
Chapter 1:: DDeeppllooyyiinngg aa PPuuppppeettmmaasstteerr

6.
CChhiicckkeenn aanndd EEggggss
● PPllaattffoorrmm == RRaacckk ffuullll
● 22xx ppxxee,, yyuumm,, ddhhccppdd,, ppuuppppeettmmaasstteerr
● RReeiinnssttaalllliinngg tthhee ppllaattffoorrmm
• SSccrraattcchh tthhee cceennttrraall bbooxx
• SSccrraattcchh tthhee ootthheerr bbooxxeenn

7.
WWoorrkkss iinn DDeevv,, FFaaiillss iinn PPrroodd
PPrroodd == sshhiippppeedd ppllaattffoorrmm oonn ootthheerr ccoonnttiinneenntt
● PPllaattffoorrmm wwoorrkkss,, lleettss rreeddeeppllooyy..
● TTaakkee ddoowwnn PPuuppppeettMMaasstteerr..
● RReebboooottssttrraapp
● BBoooossttrraapp ffiirrsstt ccoouuppllee ooff nnooddeess,, ssuucccceessss
● MMoorree nnooddeess.... ffaaiilluurree ssttaarrtt hhaappppeenniinngg

8.
IItt''ss nnoott yyoouurr ccooddee
● SSttrriipp oouutt ccooddee,,
● RRuunnss wwoorrkk ssoommeettiimmeess oonn aallmmoosstt eemmppttyy
ccaattaallooggss
● RReeeennaabbllee ccooddee
● RRuunn sseerrvveerr iinn ddeebbuugg,, pprroobblleemm ggeettss wwoorrssee
AAbboouutt ttoo rreennaammee tthhee ppuuppppeettmmaasstteerr ttoo
sscchhrrooddiinnggeerr

9.
224 hhoouurrss aanndd aa VVPPNN FFaaiilluurree llaatteerr

10.
TThhee CCrruullppiitt ::
● PPaarrttiiaall ffaaiilliinngg MMaannaaggeedd PPoowweerrssuuppppllyy
● 66 bbooxxeenn wweerree nnoott ppoowweerreedd ooffff
● UUssuuaallllyy wwee ppoowweerreedd ooffff aallll tthhee ootthheerr bbooxxeenn
● BBrreeaakkiinngg wweebbrriicckk ,,
● WWiitthh oolldd ssssll rreeqquueessttss

11.
Chapter 2: Hoonnoouurr yyoouurr ppaarreennttss oorr yyoouurr ddiisskkss wwiillll
fflloooodd

12.
##MMoonniittoorriinnggSSuucckkss
● PPuuppppeettrruunnss bbrreeaakk oouurr IIcciinnggaa bbooxxeenn
● BBaaddllyy
● FFrreeqquueennttllyy

13.
SSttoorreedd CCoonnffiiggss

14.
EExxppoorrttiinngg aanndd CCoolllleeccttiinngg

15.
IItt aaiinn''tt bboorrkkeenn
● SSuucccceessssffuull ppuuppppeett rruunn
● SSuucccceessssffuull IIcciinnggaa rreeccoonnffiigguurree
● DDiisskk uussaaggee ggrroowwss
● FFaasstt

16.
AA PPuuppppeett BBuugg

17.
CChhaapptteerr 33:: RReelleeaassee MMaannaaggeemmeenntt

18.
IItt wwoorrkkss,, iitt ddooeessnn''tt wwoorrkk
● IImmaaggiinnee aa wwoorrkkiinngg ppuuppppeett sseettuupp
● AAtt ddiiffffeerreenntt ccuussttoommeerrss
● UUppssttrreeaamm VVeennddoorr rreelleeaasseess nneeww ssooffttwwaarree
● HHaallff ooff tthhee ccuussttoommeerrss ccaallll ccrryyiinngg tthhaatt tthheeiirr
ppllaattffoorrmm iiss bbrrookkeenn

19.
AA bbrrookkeenn mmccoolllleeccttiivvee
● CCuussttoommeerrss wwiitthh sseellff mmaannaaggeedd ((ppaacckkaaggee)) rreeppooss
aarree hhaappppyy
● CCuussttoommeerrss uussiinngg uuppssttrreeaamm rreeppooss aarree iinn ppaaiinn

20.
RReeppoossiittoorryy MMaannaaggeemmeenntt
● PPuullpp
• PPrroo :: MMiirrrroorriinnggLLoovvee
• CCoonn :: MMoonnggoo,, SSttaabbiilliittyy,, ..ddeebb,, ffoorrggee
● PPRRMM
● YYuumm RReeppoo SSeerrvveerr bbyy IISS2244

21.
RReeppoossiittoorryy MMaannaaggeemmeenntt

22.
VVeerrssiioonn vvss LLaatteesstt
● VVeerrssiioonn yyoouurr rreeppooss ??
eennssuurree ==>> llaatteessttss
● LLaatteesstt yyoouurr eennvviirroonnmmeennttss ??
● SSttrriicctt vveerrssiioonniinngg iinn ccoonnffiigg ??
EEnnssuurree ==>> ''00..998..44''
UUssee HHiieerraa

23.
CChhaapptteerr 44:: WWee aarree aallll ddeevvss nnooww

24.
NNoo mmoorree ppuuppppeett rruunnss ::((
● PPuuppppeett iiss ccrroonnnneedd
● DDaasshhbbooaarrdd sshhoowwss nnoo ssuucccceessssffuull rruunnss ffoorr hhoouurrss
● ppuuppppeett aaggeenntt --tt ssttaarrttss ,, tthheenn eexxiittss wwiitthh nnoo eerrrroorr

25.
WWee ddiiddnn''tt cchhaannggee aa tthhiinngg !!
● QQuuiicckk ggiitt lloogg sshhoowweedd nnoo rreelleevvaanntt cchhaannggeess oonn
tthhee ccooddee bbaassee..

26.
LLeett''ss ddeebbuugg
● PPuutt aaggeenntt iinn vveerrbboossee
● PPuutt mmaasstteerr iinn vveerrbboossee

27.
LLeett''ss ddeebbuugg
● PPuutt aaggeenntt iinn vveerrbboossee
● PPuutt mmaasstteerr iinn vveerrbboossee
● TTrryy ddiiffffeerreenntt eennvviirroonnmmeennttss

28.
LLeett''ss ddeebbuugg
● PPuutt aaggeenntt iinn vveerrbboossee
● PPuutt mmaasstteerr iinn vveerrbboossee
● TTrryy ddiiffffeerreenntt eennvviirroonnmmeennttss ((iitt wwoorrkkss iinn 11))
● UUppggrraaddee ppuuppppeettmmaasstteerr
● UUppggrraaddee ppuuppppeett aaggeenntt

29.
LLeett''ss ddeebbuugg
● PPuutt aaggeenntt iinn vveerrbboossee
● PPuutt mmaasstteerr iinn vveerrbboossee
● TTrryy ddiiffffeerreenntt eennvviirroonnmmeennttss
● UUppggrraaddee ppuuppppeettmmaasstteerr
● UUppggrraaddee ppuuppppeett aaggeenntt
● MMooddiiffyy //eettcc//hhoossttss

30.
LLeett''ss ddeebbuugg
● PPuutt aaggeenntt iinn vveerrbboossee
● PPuutt mmaasstteerr iinn vveerrbboossee
● TTrryy ddiiffffeerreenntt eennvviirroonnmmeennttss
● UUppggrraaddee ppuuppppeettmmaasstteerr
● UUppggrraaddee ppuuppppeett aaggeenntt
● MMooddiiffyy //eettcc//hhoossttss
● CClleeaann SSSSLL CCeerrttss

31.
CCaalllleedd iinn tthhee ttrrooooppss
● II''vvee nneevveerr sseeeenn ssoommeetthhiinngg lliikkee tthhiiss bbeeffoorree
● TThheeyy ccoouullddnn''tt ffiinndd aa tthhiinngg eeiitthheerr ....
● WWee''vvee nneevveerr sseeeenn ssoommeetthhiinngg lliikkee tthhiiss bbeeffoorree..

32.
WWee ddiiddnn''tt cchhaannggee aa tthhiinngg ((22))!!
● QQuuiicckk ggiitt lloogg sshhoowweedd nnoo rreelleevvaanntt cchhaannggeess oonn
tthhee ccooddee bbaassee..
● OOnn tthhee mmaanniiffeessttss iinncclluuddeedd iinn tthhee ppllaattffoorrmm wwhheerree
tthhee ccooddee wwaass ffaaiilliinngg
● 9955%% LLiinnuuxx nnooddeess ffaaiilliinngg,, nnoo ccooddee cchhaannggee

33.
EExxiitt ZZeerroo
● 55%% WWiinnddoowwss nnooddeess,, ccooddee cchhaannggeess iiggnnoorreedd
==>> tthhaatt mmoodduullee iissnn''tt uusseedd oonn LLiinnuuxx rriigghhtt ??

34.
Chapter 55:: SSooffttwwaarree ddeeffiinneedd NNeettwwoorrkk

35.
BBuussiinneessss aass uussuuaall
● FFuullllyy ppuuppppeettiizzeedd
ppllaattffoorrmm
● DDeeppllooyyeedd 55++
iinnssttaanncceess ooff ppllaattffoorrmm
● IIPPSSeecc TTuunnnneellss iinn aallll
ddiirreeccttiioonnss ..

36.
OOnnee MMoorrnniinngg
● PPuuppppeettrruunnss ssttaarrtt ffaaiilliinngg
● PPeerrffeecctt aacccceessss ttoo nneeww ccuussttoommeerr ppllaattffoorrmm
● MMoonniittoorriinngg ssaayyss eevveerryytthhiinngg iiss ffiinnee..
● BBooxxeenn ccaann ppiinngg ppuuppppeettmmaasstteerr
● PPuuppppeettmmaasstteerr ccaann ppiinngg bbooxxeenn

37.
EEvveerryytthhiinngg iiss aa FFuunnkkyy DDNNSS
PPrroobblleemm
● RReevveerrssee DDNNSS wwaass bbrrookkeenn
● FFiixxeedd RReevveerrssee DDNNSS ffoorr nneeww ppllaattffoorrmm
● HHeeyy .... tthhiiss llooookkss bbeetttteerr

38.
BBuutt iitt''ss nnoott ffiixxeedd yyeett
● IItt''ss ssssll ??
● LLeett''ss cclleeaarr ssoommee CCeerrttss..
● NNooppee nnoott SSSSLL

39.
II ccaann ccoonnnneecctt !!
● II ccaann ppiinngg tthhee ppuuppppeettmmaasstteerr
● II ccaann tteellnneett ttoo ppoorrtt 88114400 oonn tthhee ppuuppppeettmmaasstteerr
● TThhee ppuuppppeettmmaasstteerr ccaann ppiinngg mmee
● IItt aallll wwoorrkkss

40.
BBuutt
● II ccaann''tt wwggeett ffrroomm tthhee ppuuppppeettmmaasstteerr
● IItt mmuusstt bbee nneettwwoorrkkiinngg
● IIss iitt aa nnaatt rruullee oonn tthhee vvppnn ??

41.
HHaavvee yyoouu ttrriieedd ttuurrnniinngg iitt ooff
aanndd oonn aaggaaiinn ??
● BBrrookkeenn IIPPSSeecc sseettuupp
● RReessttaarrttiinngg ttuunnnneellss
ssoollvveedd iitt..

42.
CChhaapptteerr 77:: TThheerree''ss 33 hhaarrdd tthhiinnggss iinn IITT
-- CCaacchhee IInnvvaalliiddaattiioonn
-- SShhaarreedd MMeemmoorryy MMaannaaggeemmeenntt
-- OOffff bbyy 11 eerrrroorrss
-- NNaammiinngg tthhiinnggss

43.
YYeett aannootthheerr bbrrookkeenn ppuuppppeettrruunn
eerrrr:: CCoouulldd nnoott rreettrriieevvee ccaattaalloogg ffrroomm rreemmoottee
sseerrvveerr:: EErrrroorr 440000 oonn SSEERRVVEERR:: AAnnootthheerr llooccaall oorr
iimmppoorrtteedd rreessoouurrccee eexxiissttss wwiitthh tthhee ttyyppee aanndd ttiittllee
AAppaacchhee::::VVhhoosstt[[ssoommeehhoosstt..ssoommeeccuusstteerroomm..eeuu__8800__
pprrooxxyy]] oonn nnooddee pprrooxxyy..ssoommeewwhheerree..eeuu
wwaarrnniinngg:: NNoott uussiinngg ccaacchhee oonn ffaaiilleedd ccaattaalloogg

44.
BBuutt tthhaatt sshhoouullddnn''tt bbee tthheerree
● VVhhoosstt ddooeess nnoott ggeett eexxppoorrtteedd ttoo tthheerree
● BBooxx sshhoouulldd nnoott ccoolllleecctt tthhaatt

45.
BBuutt tthhaatt sshhoouullddnn''tt bbee tthheerree
● VVhhoosstt ddooeess nnoott ggeett eexxppoorrtteedd ttoo tthheerree
● BBooxx sshhoouulldd nnoott ccoolllleecctt tthhaatt
● DDiiggggiinngg iinn ttoo eexxppoorrttss
● DDiiggggiinngg iinnttoo ppuuppppeettddbb ,, hhoowwss yyoouurr ppssqqll ??

46.
CCoolllleeccttiinngg
AAppaacchhee::::VVhhoosstt <<<<|| ttaagg == ''pprrooxxyy'' ||>> {{}}
AAppaacchhee::::VVhhoosstt::::SSssll <<<<|| ttaagg == ''pprrooxxyy'' ||>> {{}}
AAppaacchhee::::VVhhoosstt::::MMoodd::::RReevveerrssee__pprrooxxyy <<<<|| ttaagg ==
''pprrooxxyy'' ||>> {{}}

47.
BBeewwaarree wwhhaatt yyoouu ccoolllleecctt!!
● pprrooffiilleess::::vvhhoosstt::::pprrooxxyy

48.
LLeessssoonnss LLeeaarrnneedd
● RReeppoossiittoorryy MMaannaaggeemmeenntt iiss IImmppoorrttaanntt
● DDeevveellooppmmeenntt eennvviirroonnmmeennttss aarree rreelleevvaanntt,, aallssoo
ffoorr ppuuppppeett ccooddee !!
● WWee aallll hhaattee SSSSLL
● YYoouu nneevveerr mmoonniittoorr eennoouugghh
● UUppggrraaddiinngg iiss mmoossttllyy nnoott tthhee ssoolluuttiioonn
● UUnnlleessss iitt''ss aa bbuugg iinn PPuuppppeett
● RReelleeaassee MMaannaaggeemmeenntt iiss nnoott aa ssoollvveedd pprroobblleemm

49.
CCoonnttaacctt
KKrriiss BBuuyyttaaeerrtt KKrriiss..BBuuyyttaaeerrtt@@iinnuuiittss..bbee
FFuurrtthheerr RReeaaddiinngg
@@kkrriissbbuuyyttaaeerrtt
hhttttpp::////wwwwww..kkrriissbbuuyyttaaeerrtt..bbee//bblloogg//
hhttttpp::////wwwwww..iinnuuiittss..bbee//
IInnuuiittss
DDuubbooiissttrraaaatt 5500
22006600 AAnnttwweerrppeenn
BBeellggiiuumm
889911..551144..223311
++3322 447755 996611222211