SlideShare a Scribd company logo
1 of 51
7 Years of Puppet 
Horror Stories 
Kris Buytaert 
@krisbuytaert
KKrriiss BBuuyyttaaeerrtt 
● II uusseedd ttoo bbee aa DDeevv,, 
● TThheenn BBeeccaammee aann OOpp 
● CChhiieeff TTrroolllliinngg OOffffiicceerr aanndd OOppeenn SSoouurrccee 
CCoonnssuullttaanntt @@iinnuuiittss..eeuu 
● EEvveerryytthhiinngg iiss aann eeffffiinngg DDNNSS PPrroobblleemm 
● BBuuiillddiinngg CClloouuddss ssiinnccee bbeeffoorree tthhee bbooookkssttoorree 
● SSoommee bbooookkss,, ssoommee ppaappeerrss,, ssoommee bbllooggss 
● EEvvaannggeelliizziinngg ddeevvooppss
SSeettttiinngg tthhee SSttaaggee 
● [[rroooott@@xxeenn ~~]]## rrppmm --qqaa || ggrreepp ppuuppppeett 
ppuuppppeett--00..2233..22--1..eell55 
● --rrwwxxrr--xxrr--xx 1 rroooott rroooott 4880099 AAuugg 2222 22000077 
//uussrr//bbiinn//ppuuppppeett 
● CCoonnssuullttiinngg @@ ddiiffffeerreenntt ccuussttoommeerrss.. 
● TTeelllliinngg mmyy wwaarr ssttoorriieess,, ssoo yyoouu ddoonn''tt hhaavvee ttoo
DDeebbuuggggiinngg IInnffrraassttrruuccttuurreess 
Everything is a Funky DNS Problem 
No really, Everything is a Funky DNS Problem 
If it's not a funky DNS Problem .. 
It's an arp problem 
If it's not an arp problem... 
It's a Full Filesystem Problem 
If your filesystem isn't full 
It's a Spanning Tree problem 
If it's not a spanning Tree problem... 
It's a USB problem 
If it's not a USB Problem 
It might be an ntp problem 
If it's not an ntp problem 
It's a sharing IRQ Problem 
If it's not a sharing IRQ Problem 
But most often .. its a Freaking Dns Problem ! 
Or someone playing tricks on you 
Jan 2006
Chapter 1:: DDeeppllooyyiinngg aa PPuuppppeettmmaasstteerr
CChhiicckkeenn aanndd EEggggss 
● PPllaattffoorrmm == RRaacckk ffuullll 
● 22xx ppxxee,, yyuumm,, ddhhccppdd,, ppuuppppeettmmaasstteerr 
● RReeiinnssttaalllliinngg tthhee ppllaattffoorrmm 
• SSccrraattcchh tthhee cceennttrraall bbooxx 
• SSccrraattcchh tthhee ootthheerr bbooxxeenn
WWoorrkkss iinn DDeevv,, FFaaiillss iinn PPrroodd 
PPrroodd == sshhiippppeedd ppllaattffoorrmm oonn ootthheerr ccoonnttiinneenntt 
● PPllaattffoorrmm wwoorrkkss,, lleettss rreeddeeppllooyy.. 
● TTaakkee ddoowwnn PPuuppppeettMMaasstteerr.. 
● RReebboooottssttrraapp 
● BBoooossttrraapp ffiirrsstt ccoouuppllee ooff nnooddeess,, ssuucccceessss 
● MMoorree nnooddeess.... ffaaiilluurree ssttaarrtt hhaappppeenniinngg
IItt''ss nnoott yyoouurr ccooddee 
● SSttrriipp oouutt ccooddee,, 
● RRuunnss wwoorrkk ssoommeettiimmeess oonn aallmmoosstt eemmppttyy 
ccaattaallooggss 
● RReeeennaabbllee ccooddee 
● RRuunn sseerrvveerr iinn ddeebbuugg,, pprroobblleemm ggeettss wwoorrssee 
AAbboouutt ttoo rreennaammee tthhee ppuuppppeettmmaasstteerr ttoo 
sscchhrrooddiinnggeerr
224 hhoouurrss aanndd aa VVPPNN FFaaiilluurree llaatteerr
TThhee CCrruullppiitt :: 
● PPaarrttiiaall ffaaiilliinngg MMaannaaggeedd PPoowweerrssuuppppllyy 
● 66 bbooxxeenn wweerree nnoott ppoowweerreedd ooffff 
● UUssuuaallllyy wwee ppoowweerreedd ooffff aallll tthhee ootthheerr bbooxxeenn 
● BBrreeaakkiinngg wweebbrriicckk ,, 
● WWiitthh oolldd ssssll rreeqquueessttss
Chapter 2: Hoonnoouurr yyoouurr ppaarreennttss oorr yyoouurr ddiisskkss wwiillll 
fflloooodd
##MMoonniittoorriinnggSSuucckkss 
● PPuuppppeettrruunnss bbrreeaakk oouurr IIcciinnggaa bbooxxeenn 
● BBaaddllyy 
● FFrreeqquueennttllyy
SSttoorreedd CCoonnffiiggss
EExxppoorrttiinngg aanndd CCoolllleeccttiinngg
IItt aaiinn''tt bboorrkkeenn 
● SSuucccceessssffuull ppuuppppeett rruunn 
● SSuucccceessssffuull IIcciinnggaa rreeccoonnffiigguurree 
● DDiisskk uussaaggee ggrroowwss 
● FFaasstt
AA PPuuppppeett BBuugg
CChhaapptteerr 33:: RReelleeaassee MMaannaaggeemmeenntt
IItt wwoorrkkss,, iitt ddooeessnn''tt wwoorrkk 
● IImmaaggiinnee aa wwoorrkkiinngg ppuuppppeett sseettuupp 
● AAtt ddiiffffeerreenntt ccuussttoommeerrss 
● UUppssttrreeaamm VVeennddoorr rreelleeaasseess nneeww ssooffttwwaarree 
● HHaallff ooff tthhee ccuussttoommeerrss ccaallll ccrryyiinngg tthhaatt tthheeiirr 
ppllaattffoorrmm iiss bbrrookkeenn
AA bbrrookkeenn mmccoolllleeccttiivvee 
● CCuussttoommeerrss wwiitthh sseellff mmaannaaggeedd ((ppaacckkaaggee)) rreeppooss 
aarree hhaappppyy 
● CCuussttoommeerrss uussiinngg uuppssttrreeaamm rreeppooss aarree iinn ppaaiinn
RReeppoossiittoorryy MMaannaaggeemmeenntt 
● PPuullpp 
• PPrroo :: MMiirrrroorriinnggLLoovvee 
• CCoonn :: MMoonnggoo,, SSttaabbiilliittyy,, ..ddeebb,, ffoorrggee 
● PPRRMM 
● YYuumm RReeppoo SSeerrvveerr bbyy IISS2244
RReeppoossiittoorryy MMaannaaggeemmeenntt
VVeerrssiioonn vvss LLaatteesstt 
● VVeerrssiioonn yyoouurr rreeppooss ?? 
eennssuurree ==>> llaatteessttss 
● LLaatteesstt yyoouurr eennvviirroonnmmeennttss ?? 
● SSttrriicctt vveerrssiioonniinngg iinn ccoonnffiigg ?? 
EEnnssuurree ==>> ''00..998..44'' 
UUssee HHiieerraa
CChhaapptteerr 44:: WWee aarree aallll ddeevvss nnooww
NNoo mmoorree ppuuppppeett rruunnss ::(( 
● PPuuppppeett iiss ccrroonnnneedd 
● DDaasshhbbooaarrdd sshhoowwss nnoo ssuucccceessssffuull rruunnss ffoorr hhoouurrss 
● ppuuppppeett aaggeenntt --tt ssttaarrttss ,, tthheenn eexxiittss wwiitthh nnoo eerrrroorr
WWee ddiiddnn''tt cchhaannggee aa tthhiinngg !! 
● QQuuiicckk ggiitt lloogg sshhoowweedd nnoo rreelleevvaanntt cchhaannggeess oonn 
tthhee ccooddee bbaassee..
LLeett''ss ddeebbuugg 
● PPuutt aaggeenntt iinn vveerrbboossee 
● PPuutt mmaasstteerr iinn vveerrbboossee
LLeett''ss ddeebbuugg 
● PPuutt aaggeenntt iinn vveerrbboossee 
● PPuutt mmaasstteerr iinn vveerrbboossee 
● TTrryy ddiiffffeerreenntt eennvviirroonnmmeennttss
LLeett''ss ddeebbuugg 
● PPuutt aaggeenntt iinn vveerrbboossee 
● PPuutt mmaasstteerr iinn vveerrbboossee 
● TTrryy ddiiffffeerreenntt eennvviirroonnmmeennttss ((iitt wwoorrkkss iinn 11)) 
● UUppggrraaddee ppuuppppeettmmaasstteerr 
● UUppggrraaddee ppuuppppeett aaggeenntt
LLeett''ss ddeebbuugg 
● PPuutt aaggeenntt iinn vveerrbboossee 
● PPuutt mmaasstteerr iinn vveerrbboossee 
● TTrryy ddiiffffeerreenntt eennvviirroonnmmeennttss 
● UUppggrraaddee ppuuppppeettmmaasstteerr 
● UUppggrraaddee ppuuppppeett aaggeenntt 
● MMooddiiffyy //eettcc//hhoossttss
LLeett''ss ddeebbuugg 
● PPuutt aaggeenntt iinn vveerrbboossee 
● PPuutt mmaasstteerr iinn vveerrbboossee 
● TTrryy ddiiffffeerreenntt eennvviirroonnmmeennttss 
● UUppggrraaddee ppuuppppeettmmaasstteerr 
● UUppggrraaddee ppuuppppeett aaggeenntt 
● MMooddiiffyy //eettcc//hhoossttss 
● CClleeaann SSSSLL CCeerrttss
CCaalllleedd iinn tthhee ttrrooooppss 
● II''vvee nneevveerr sseeeenn ssoommeetthhiinngg lliikkee tthhiiss bbeeffoorree 
● TThheeyy ccoouullddnn''tt ffiinndd aa tthhiinngg eeiitthheerr .... 
● WWee''vvee nneevveerr sseeeenn ssoommeetthhiinngg lliikkee tthhiiss bbeeffoorree..
WWee ddiiddnn''tt cchhaannggee aa tthhiinngg ((22))!! 
● QQuuiicckk ggiitt lloogg sshhoowweedd nnoo rreelleevvaanntt cchhaannggeess oonn 
tthhee ccooddee bbaassee.. 
● OOnn tthhee mmaanniiffeessttss iinncclluuddeedd iinn tthhee ppllaattffoorrmm wwhheerree 
tthhee ccooddee wwaass ffaaiilliinngg 
● 9955%% LLiinnuuxx nnooddeess ffaaiilliinngg,, nnoo ccooddee cchhaannggee
EExxiitt ZZeerroo 
● 55%% WWiinnddoowwss nnooddeess,, ccooddee cchhaannggeess iiggnnoorreedd 
==>> tthhaatt mmoodduullee iissnn''tt uusseedd oonn LLiinnuuxx rriigghhtt ??
Chapter 55:: SSooffttwwaarree ddeeffiinneedd NNeettwwoorrkk
BBuussiinneessss aass uussuuaall 
● FFuullllyy ppuuppppeettiizzeedd 
ppllaattffoorrmm 
● DDeeppllooyyeedd 55++ 
iinnssttaanncceess ooff ppllaattffoorrmm 
● IIPPSSeecc TTuunnnneellss iinn aallll 
ddiirreeccttiioonnss ..
OOnnee MMoorrnniinngg 
● PPuuppppeettrruunnss ssttaarrtt ffaaiilliinngg 
● PPeerrffeecctt aacccceessss ttoo nneeww ccuussttoommeerr ppllaattffoorrmm 
● MMoonniittoorriinngg ssaayyss eevveerryytthhiinngg iiss ffiinnee.. 
● BBooxxeenn ccaann ppiinngg ppuuppppeettmmaasstteerr 
● PPuuppppeettmmaasstteerr ccaann ppiinngg bbooxxeenn
EEvveerryytthhiinngg iiss aa FFuunnkkyy DDNNSS 
PPrroobblleemm 
● RReevveerrssee DDNNSS wwaass bbrrookkeenn 
● FFiixxeedd RReevveerrssee DDNNSS ffoorr nneeww ppllaattffoorrmm 
● HHeeyy .... tthhiiss llooookkss bbeetttteerr
BBuutt iitt''ss nnoott ffiixxeedd yyeett 
● IItt''ss ssssll ?? 
● LLeett''ss cclleeaarr ssoommee CCeerrttss.. 
● NNooppee nnoott SSSSLL
II ccaann ccoonnnneecctt !! 
● II ccaann ppiinngg tthhee ppuuppppeettmmaasstteerr 
● II ccaann tteellnneett ttoo ppoorrtt 88114400 oonn tthhee ppuuppppeettmmaasstteerr 
● TThhee ppuuppppeettmmaasstteerr ccaann ppiinngg mmee 
● IItt aallll wwoorrkkss
BBuutt 
● II ccaann''tt wwggeett ffrroomm tthhee ppuuppppeettmmaasstteerr 
● IItt mmuusstt bbee nneettwwoorrkkiinngg 
● IIss iitt aa nnaatt rruullee oonn tthhee vvppnn ??
HHaavvee yyoouu ttrriieedd ttuurrnniinngg iitt ooff 
aanndd oonn aaggaaiinn ?? 
● BBrrookkeenn IIPPSSeecc sseettuupp 
● RReessttaarrttiinngg ttuunnnneellss 
ssoollvveedd iitt..
CChhaapptteerr 77:: TThheerree''ss 33 hhaarrdd tthhiinnggss iinn IITT 
-- CCaacchhee IInnvvaalliiddaattiioonn 
-- SShhaarreedd MMeemmoorryy MMaannaaggeemmeenntt 
-- OOffff bbyy 11 eerrrroorrss 
-- NNaammiinngg tthhiinnggss
YYeett aannootthheerr bbrrookkeenn ppuuppppeettrruunn 
eerrrr:: CCoouulldd nnoott rreettrriieevvee ccaattaalloogg ffrroomm rreemmoottee 
sseerrvveerr:: EErrrroorr 440000 oonn SSEERRVVEERR:: AAnnootthheerr llooccaall oorr 
iimmppoorrtteedd rreessoouurrccee eexxiissttss wwiitthh tthhee ttyyppee aanndd ttiittllee 
AAppaacchhee::::VVhhoosstt[[ssoommeehhoosstt..ssoommeeccuusstteerroomm..eeuu__8800__ 
pprrooxxyy]] oonn nnooddee pprrooxxyy..ssoommeewwhheerree..eeuu 
wwaarrnniinngg:: NNoott uussiinngg ccaacchhee oonn ffaaiilleedd ccaattaalloogg
BBuutt tthhaatt sshhoouullddnn''tt bbee tthheerree 
● VVhhoosstt ddooeess nnoott ggeett eexxppoorrtteedd ttoo tthheerree 
● BBooxx sshhoouulldd nnoott ccoolllleecctt tthhaatt
BBuutt tthhaatt sshhoouullddnn''tt bbee tthheerree 
● VVhhoosstt ddooeess nnoott ggeett eexxppoorrtteedd ttoo tthheerree 
● BBooxx sshhoouulldd nnoott ccoolllleecctt tthhaatt 
● DDiiggggiinngg iinn ttoo eexxppoorrttss 
● DDiiggggiinngg iinnttoo ppuuppppeettddbb ,, hhoowwss yyoouurr ppssqqll ??
CCoolllleeccttiinngg 
AAppaacchhee::::VVhhoosstt <<<<|| ttaagg == ''pprrooxxyy'' ||>> {{}} 
AAppaacchhee::::VVhhoosstt::::SSssll <<<<|| ttaagg == ''pprrooxxyy'' ||>> {{}} 
AAppaacchhee::::VVhhoosstt::::MMoodd::::RReevveerrssee__pprrooxxyy <<<<|| ttaagg == 
''pprrooxxyy'' ||>> {{}}
BBeewwaarree wwhhaatt yyoouu ccoolllleecctt!! 
● pprrooffiilleess::::vvhhoosstt::::pprrooxxyy
LLeessssoonnss LLeeaarrnneedd 
● RReeppoossiittoorryy MMaannaaggeemmeenntt iiss IImmppoorrttaanntt 
● DDeevveellooppmmeenntt eennvviirroonnmmeennttss aarree rreelleevvaanntt,, aallssoo 
ffoorr ppuuppppeett ccooddee !! 
● WWee aallll hhaattee SSSSLL 
● YYoouu nneevveerr mmoonniittoorr eennoouugghh 
● UUppggrraaddiinngg iiss mmoossttllyy nnoott tthhee ssoolluuttiioonn 
● UUnnlleessss iitt''ss aa bbuugg iinn PPuuppppeett 
● RReelleeaassee MMaannaaggeemmeenntt iiss nnoott aa ssoollvveedd pprroobblleemm
CCoonnttaacctt 
KKrriiss BBuuyyttaaeerrtt KKrriiss..BBuuyyttaaeerrtt@@iinnuuiittss..bbee 
FFuurrtthheerr RReeaaddiinngg 
@@kkrriissbbuuyyttaaeerrtt 
hhttttpp::////wwwwww..kkrriissbbuuyyttaaeerrtt..bbee//bblloogg// 
hhttttpp::////wwwwww..iinnuuiittss..bbee// 
IInnuuiittss 
DDuubbooiissttrraaaatt 5500 
22006600 AAnnttwweerrppeenn 
BBeellggiiuumm 
889911..551144..223311 
++3322 447755 996611222211

More Related Content

What's hot

pdf doc
pdf docpdf doc
pdf doc
hasv31
 
C for - arrival
  C   for - arrival  C   for - arrival
C for - arrival
Rabah HELAL
 
Growth and development_of_children.ppt_aaaaa
Growth and development_of_children.ppt_aaaaaGrowth and development_of_children.ppt_aaaaa
Growth and development_of_children.ppt_aaaaa
Shirley Valera
 
001 9º ano capítulo final rafael noronha
001 9º ano    capítulo final rafael noronha001 9º ano    capítulo final rafael noronha
001 9º ano capítulo final rafael noronha
Rafael Noronha
 
4. arteria carotida externa
4. arteria carotida externa4. arteria carotida externa
4. arteria carotida externa
anatogral
 
Chapter 12
Chapter 12Chapter 12
Chapter 12
Reach Na
 

What's hot (20)

Monitoring (with) puppet
Monitoring  (with) puppetMonitoring  (with) puppet
Monitoring (with) puppet
 
A Primer into Android - An NSLUG Tech Talk
A Primer into Android - An NSLUG Tech TalkA Primer into Android - An NSLUG Tech Talk
A Primer into Android - An NSLUG Tech Talk
 
Homepi - OpenSource Smart Home
Homepi - OpenSource Smart Home Homepi - OpenSource Smart Home
Homepi - OpenSource Smart Home
 
Teaching & Learning English under difficult circumstances
Teaching & Learning English under difficult circumstancesTeaching & Learning English under difficult circumstances
Teaching & Learning English under difficult circumstances
 
Proteinas metabolismo
Proteinas metabolismoProteinas metabolismo
Proteinas metabolismo
 
Ent examination
Ent examinationEnt examination
Ent examination
 
Осврт на час српског језика и књижевности
Осврт на час српског језика и књижевностиОсврт на час српског језика и књижевности
Осврт на час српског језика и књижевности
 
pdf doc
pdf docpdf doc
pdf doc
 
C for - arrival
  C   for - arrival  C   for - arrival
C for - arrival
 
Seniors, Welcome back! gks 2012.final
Seniors, Welcome back! gks 2012.finalSeniors, Welcome back! gks 2012.final
Seniors, Welcome back! gks 2012.final
 
Growth and development_of_children.ppt_aaaaa
Growth and development_of_children.ppt_aaaaaGrowth and development_of_children.ppt_aaaaa
Growth and development_of_children.ppt_aaaaa
 
Success in sports business
Success in sports businessSuccess in sports business
Success in sports business
 
001 9º ano capítulo final rafael noronha
001 9º ano    capítulo final rafael noronha001 9º ano    capítulo final rafael noronha
001 9º ano capítulo final rafael noronha
 
Paper Towel Lab
Paper Towel LabPaper Towel Lab
Paper Towel Lab
 
Chapter 7
Chapter 7Chapter 7
Chapter 7
 
4. arteria carotida externa
4. arteria carotida externa4. arteria carotida externa
4. arteria carotida externa
 
Birdhouses
BirdhousesBirdhouses
Birdhouses
 
Amphibians Of Florida
Amphibians Of FloridaAmphibians Of Florida
Amphibians Of Florida
 
Chapter 12
Chapter 12Chapter 12
Chapter 12
 
Chapter 9
Chapter 9Chapter 9
Chapter 9
 

Viewers also liked

Viewers also liked (18)

Future of Sysadmin 2014
Future of Sysadmin 2014Future of Sysadmin 2014
Future of Sysadmin 2014
 
Continuous Delivery of Puppet Manifests
Continuous Delivery of Puppet ManifestsContinuous Delivery of Puppet Manifests
Continuous Delivery of Puppet Manifests
 
Looking back at 6.5 years of #devopsdays
Looking back at 6.5 years of #devopsdaysLooking back at 6.5 years of #devopsdays
Looking back at 6.5 years of #devopsdays
 
Continuous Delivery of (y)our infrastructure.
Continuous Delivery of (y)our infrastructure.Continuous Delivery of (y)our infrastructure.
Continuous Delivery of (y)our infrastructure.
 
Building and Deploying MediaSalsa, an Open Source DAM as Saas platform
Building and Deploying MediaSalsa, an Open Source DAM as Saas platformBuilding and Deploying MediaSalsa, an Open Source DAM as Saas platform
Building and Deploying MediaSalsa, an Open Source DAM as Saas platform
 
Devops, The future is here, it's just not evenly distributed
Devops, The future is here, it's just not evenly distributedDevops, The future is here, it's just not evenly distributed
Devops, The future is here, it's just not evenly distributed
 
When traditional configuration management is to slow for your needs
When traditional configuration management is to slow for your needsWhen traditional configuration management is to slow for your needs
When traditional configuration management is to slow for your needs
 
Looking back at 7 years of #devopsdays
Looking back at 7 years of #devopsdaysLooking back at 7 years of #devopsdays
Looking back at 7 years of #devopsdays
 
Devops 101 QA with Kris Buytaert
Devops 101 QA  with Kris BuytaertDevops 101 QA  with Kris Buytaert
Devops 101 QA with Kris Buytaert
 
The Future of System Administration
The Future of System AdministrationThe Future of System Administration
The Future of System Administration
 
From Config Management Sucks to #cfgmgmtlove
From Config Management Sucks to #cfgmgmtlove From Config Management Sucks to #cfgmgmtlove
From Config Management Sucks to #cfgmgmtlove
 
No, we can't do continuous delivery
No, we can't do continuous deliveryNo, we can't do continuous delivery
No, we can't do continuous delivery
 
Open Source Monitoring in 2015
Open Source Monitoring in 2015Open Source Monitoring in 2015
Open Source Monitoring in 2015
 
Closing the gap between Distros(devs) and their Users(ops)
Closing the gap between Distros(devs) and their Users(ops)Closing the gap between Distros(devs) and their Users(ops)
Closing the gap between Distros(devs) and their Users(ops)
 
Dev secops opsec, devsec, devops ?
Dev secops opsec, devsec, devops ?Dev secops opsec, devsec, devops ?
Dev secops opsec, devsec, devops ?
 
Monitoring with ElasticSearch
Monitoring with ElasticSearch Monitoring with ElasticSearch
Monitoring with ElasticSearch
 
Adopting Devops , Stories from the trenches
Adopting Devops , Stories from the trenchesAdopting Devops , Stories from the trenches
Adopting Devops , Stories from the trenches
 
From MonitoringSucks to Monitoring Love , 2016 Edition
From MonitoringSucks to Monitoring Love , 2016 EditionFrom MonitoringSucks to Monitoring Love , 2016 Edition
From MonitoringSucks to Monitoring Love , 2016 Edition
 

Similar to 7 Years of Puppet Horror Stories

Coresub att chem_16_electrolysis of water
Coresub att chem_16_electrolysis of waterCoresub att chem_16_electrolysis of water
Coresub att chem_16_electrolysis of water
rameeba
 
Habilidades comunicativas
Habilidades comunicativasHabilidades comunicativas
Habilidades comunicativas
iranialion
 
Antihypertensive agents. calcium channel blockers
Antihypertensive agents. calcium channel blockersAntihypertensive agents. calcium channel blockers
Antihypertensive agents. calcium channel blockers
Sravani Ganti
 
Wattle Grove Primary School - Year 7 Kalgoorlie Camp 2014
Wattle Grove Primary School - Year 7 Kalgoorlie Camp 2014 Wattle Grove Primary School - Year 7 Kalgoorlie Camp 2014
Wattle Grove Primary School - Year 7 Kalgoorlie Camp 2014
Stuart Meachem
 
Dnachapter100223 130204110739-phpapp02
Dnachapter100223 130204110739-phpapp02Dnachapter100223 130204110739-phpapp02
Dnachapter100223 130204110739-phpapp02
Felecia Sotilleo
 

Similar to 7 Years of Puppet Horror Stories (20)

Taking epilepsy to school.7.10.2014
Taking epilepsy to school.7.10.2014Taking epilepsy to school.7.10.2014
Taking epilepsy to school.7.10.2014
 
Fire Safety Refresher Training
Fire Safety Refresher TrainingFire Safety Refresher Training
Fire Safety Refresher Training
 
Nicotine and tobacco 1
Nicotine and tobacco 1Nicotine and tobacco 1
Nicotine and tobacco 1
 
Assignment 3
Assignment 3Assignment 3
Assignment 3
 
Teorema de Pitágoras
Teorema de PitágorasTeorema de Pitágoras
Teorema de Pitágoras
 
Sistemas operativos 1 bach
Sistemas operativos 1 bachSistemas operativos 1 bach
Sistemas operativos 1 bach
 
Sistemas operativos
Sistemas operativosSistemas operativos
Sistemas operativos
 
PIYDALISMO AT MANORYALISMO 2
PIYDALISMO AT MANORYALISMO 2PIYDALISMO AT MANORYALISMO 2
PIYDALISMO AT MANORYALISMO 2
 
Active learning for higher education
Active learning for higher educationActive learning for higher education
Active learning for higher education
 
Coresub att chem_16_electrolysis of water
Coresub att chem_16_electrolysis of waterCoresub att chem_16_electrolysis of water
Coresub att chem_16_electrolysis of water
 
Habilidades comunicativas
Habilidades comunicativasHabilidades comunicativas
Habilidades comunicativas
 
Cire France, An Advanced Depilatory Wax Manufacturer
Cire France, An Advanced Depilatory Wax Manufacturer Cire France, An Advanced Depilatory Wax Manufacturer
Cire France, An Advanced Depilatory Wax Manufacturer
 
Antihypertensive agents. calcium channel blockers
Antihypertensive agents. calcium channel blockersAntihypertensive agents. calcium channel blockers
Antihypertensive agents. calcium channel blockers
 
Wattle Grove Primary School - Year 7 Kalgoorlie Camp 2014
Wattle Grove Primary School - Year 7 Kalgoorlie Camp 2014 Wattle Grove Primary School - Year 7 Kalgoorlie Camp 2014
Wattle Grove Primary School - Year 7 Kalgoorlie Camp 2014
 
CV-Subandi DH 2016
CV-Subandi DH  2016CV-Subandi DH  2016
CV-Subandi DH 2016
 
MS Unit-3
MS Unit-3MS Unit-3
MS Unit-3
 
Powder metallurgy
Powder metallurgyPowder metallurgy
Powder metallurgy
 
The French & Indian War
The French & Indian WarThe French & Indian War
The French & Indian War
 
Multiple intelligences2
Multiple intelligences2Multiple intelligences2
Multiple intelligences2
 
Dnachapter100223 130204110739-phpapp02
Dnachapter100223 130204110739-phpapp02Dnachapter100223 130204110739-phpapp02
Dnachapter100223 130204110739-phpapp02
 

More from Kris Buytaert

More from Kris Buytaert (20)

Years of (not) learning , from devops to devoops
Years of (not) learning , from devops to devoopsYears of (not) learning , from devops to devoops
Years of (not) learning , from devops to devoops
 
Observability will not fix your Broken Monitoring ,Ignite
Observability will not fix your Broken Monitoring ,IgniteObservability will not fix your Broken Monitoring ,Ignite
Observability will not fix your Broken Monitoring ,Ignite
 
Infrastructure as Code Patterns
Infrastructure as Code PatternsInfrastructure as Code Patterns
Infrastructure as Code Patterns
 
From devoops to devops 13 years of (not) learning
From devoops to devops 13 years of (not) learningFrom devoops to devops 13 years of (not) learning
From devoops to devops 13 years of (not) learning
 
Pipeline all the Dashboards as Code
Pipeline all the Dashboards as CodePipeline all the Dashboards as Code
Pipeline all the Dashboards as Code
 
Help , My Datacenter is on fire
Help , My Datacenter is on fireHelp , My Datacenter is on fire
Help , My Datacenter is on fire
 
GitOps , done Right
GitOps , done RightGitOps , done Right
GitOps , done Right
 
Devops is Dead, Long live Devops
Devops is Dead, Long live DevopsDevops is Dead, Long live Devops
Devops is Dead, Long live Devops
 
10 years of #devopsdays, but what have we really learned ?
10 years of #devopsdays, but what have we really learned ? 10 years of #devopsdays, but what have we really learned ?
10 years of #devopsdays, but what have we really learned ?
 
Continuous Infrastructure First
Continuous Infrastructure FirstContinuous Infrastructure First
Continuous Infrastructure First
 
Is there a Future for devops ?
Is there a Future for devops   ? Is there a Future for devops   ?
Is there a Future for devops ?
 
10 Years of #devopsdays weirdness
10 Years of #devopsdays weirdness10 Years of #devopsdays weirdness
10 Years of #devopsdays weirdness
 
ADDO 2019: Looking back at over 10 years of Devops
ADDO 2019:    Looking back at over 10 years of DevopsADDO 2019:    Looking back at over 10 years of Devops
ADDO 2019: Looking back at over 10 years of Devops
 
Can we fix dev-oops ?
Can we fix dev-oops ?Can we fix dev-oops ?
Can we fix dev-oops ?
 
Continuous Infrastructure First Ignite Edition
Continuous Infrastructure First  Ignite EditionContinuous Infrastructure First  Ignite Edition
Continuous Infrastructure First Ignite Edition
 
Continuous Infrastructure First
Continuous Infrastructure FirstContinuous Infrastructure First
Continuous Infrastructure First
 
Open Source Monitoring in 2019
Open Source Monitoring in 2019 Open Source Monitoring in 2019
Open Source Monitoring in 2019
 
Migrating to Puppet 5
Migrating to Puppet 5Migrating to Puppet 5
Migrating to Puppet 5
 
Repositories as Code
Repositories as CodeRepositories as Code
Repositories as Code
 
Devops is a Security Requirement
Devops is a Security RequirementDevops is a Security Requirement
Devops is a Security Requirement
 

7 Years of Puppet Horror Stories

  • 1. 7 Years of Puppet Horror Stories Kris Buytaert @krisbuytaert
  • 2. KKrriiss BBuuyyttaaeerrtt ● II uusseedd ttoo bbee aa DDeevv,, ● TThheenn BBeeccaammee aann OOpp ● CChhiieeff TTrroolllliinngg OOffffiicceerr aanndd OOppeenn SSoouurrccee CCoonnssuullttaanntt @@iinnuuiittss..eeuu ● EEvveerryytthhiinngg iiss aann eeffffiinngg DDNNSS PPrroobblleemm ● BBuuiillddiinngg CClloouuddss ssiinnccee bbeeffoorree tthhee bbooookkssttoorree ● SSoommee bbooookkss,, ssoommee ppaappeerrss,, ssoommee bbllooggss ● EEvvaannggeelliizziinngg ddeevvooppss
  • 3. SSeettttiinngg tthhee SSttaaggee ● [[rroooott@@xxeenn ~~]]## rrppmm --qqaa || ggrreepp ppuuppppeett ppuuppppeett--00..2233..22--1..eell55 ● --rrwwxxrr--xxrr--xx 1 rroooott rroooott 4880099 AAuugg 2222 22000077 //uussrr//bbiinn//ppuuppppeett ● CCoonnssuullttiinngg @@ ddiiffffeerreenntt ccuussttoommeerrss.. ● TTeelllliinngg mmyy wwaarr ssttoorriieess,, ssoo yyoouu ddoonn''tt hhaavvee ttoo
  • 4. DDeebbuuggggiinngg IInnffrraassttrruuccttuurreess Everything is a Funky DNS Problem No really, Everything is a Funky DNS Problem If it's not a funky DNS Problem .. It's an arp problem If it's not an arp problem... It's a Full Filesystem Problem If your filesystem isn't full It's a Spanning Tree problem If it's not a spanning Tree problem... It's a USB problem If it's not a USB Problem It might be an ntp problem If it's not an ntp problem It's a sharing IRQ Problem If it's not a sharing IRQ Problem But most often .. its a Freaking Dns Problem ! Or someone playing tricks on you Jan 2006
  • 5. Chapter 1:: DDeeppllooyyiinngg aa PPuuppppeettmmaasstteerr
  • 6. CChhiicckkeenn aanndd EEggggss ● PPllaattffoorrmm == RRaacckk ffuullll ● 22xx ppxxee,, yyuumm,, ddhhccppdd,, ppuuppppeettmmaasstteerr ● RReeiinnssttaalllliinngg tthhee ppllaattffoorrmm • SSccrraattcchh tthhee cceennttrraall bbooxx • SSccrraattcchh tthhee ootthheerr bbooxxeenn
  • 7. WWoorrkkss iinn DDeevv,, FFaaiillss iinn PPrroodd PPrroodd == sshhiippppeedd ppllaattffoorrmm oonn ootthheerr ccoonnttiinneenntt ● PPllaattffoorrmm wwoorrkkss,, lleettss rreeddeeppllooyy.. ● TTaakkee ddoowwnn PPuuppppeettMMaasstteerr.. ● RReebboooottssttrraapp ● BBoooossttrraapp ffiirrsstt ccoouuppllee ooff nnooddeess,, ssuucccceessss ● MMoorree nnooddeess.... ffaaiilluurree ssttaarrtt hhaappppeenniinngg
  • 8. IItt''ss nnoott yyoouurr ccooddee ● SSttrriipp oouutt ccooddee,, ● RRuunnss wwoorrkk ssoommeettiimmeess oonn aallmmoosstt eemmppttyy ccaattaallooggss ● RReeeennaabbllee ccooddee ● RRuunn sseerrvveerr iinn ddeebbuugg,, pprroobblleemm ggeettss wwoorrssee AAbboouutt ttoo rreennaammee tthhee ppuuppppeettmmaasstteerr ttoo sscchhrrooddiinnggeerr
  • 9. 224 hhoouurrss aanndd aa VVPPNN FFaaiilluurree llaatteerr
  • 10. TThhee CCrruullppiitt :: ● PPaarrttiiaall ffaaiilliinngg MMaannaaggeedd PPoowweerrssuuppppllyy ● 66 bbooxxeenn wweerree nnoott ppoowweerreedd ooffff ● UUssuuaallllyy wwee ppoowweerreedd ooffff aallll tthhee ootthheerr bbooxxeenn ● BBrreeaakkiinngg wweebbrriicckk ,, ● WWiitthh oolldd ssssll rreeqquueessttss
  • 11. Chapter 2: Hoonnoouurr yyoouurr ppaarreennttss oorr yyoouurr ddiisskkss wwiillll fflloooodd
  • 12. ##MMoonniittoorriinnggSSuucckkss ● PPuuppppeettrruunnss bbrreeaakk oouurr IIcciinnggaa bbooxxeenn ● BBaaddllyy ● FFrreeqquueennttllyy
  • 15. IItt aaiinn''tt bboorrkkeenn ● SSuucccceessssffuull ppuuppppeett rruunn ● SSuucccceessssffuull IIcciinnggaa rreeccoonnffiigguurree ● DDiisskk uussaaggee ggrroowwss ● FFaasstt
  • 16.
  • 18. CChhaapptteerr 33:: RReelleeaassee MMaannaaggeemmeenntt
  • 19. IItt wwoorrkkss,, iitt ddooeessnn''tt wwoorrkk ● IImmaaggiinnee aa wwoorrkkiinngg ppuuppppeett sseettuupp ● AAtt ddiiffffeerreenntt ccuussttoommeerrss ● UUppssttrreeaamm VVeennddoorr rreelleeaasseess nneeww ssooffttwwaarree ● HHaallff ooff tthhee ccuussttoommeerrss ccaallll ccrryyiinngg tthhaatt tthheeiirr ppllaattffoorrmm iiss bbrrookkeenn
  • 20. AA bbrrookkeenn mmccoolllleeccttiivvee ● CCuussttoommeerrss wwiitthh sseellff mmaannaaggeedd ((ppaacckkaaggee)) rreeppooss aarree hhaappppyy ● CCuussttoommeerrss uussiinngg uuppssttrreeaamm rreeppooss aarree iinn ppaaiinn
  • 21. RReeppoossiittoorryy MMaannaaggeemmeenntt ● PPuullpp • PPrroo :: MMiirrrroorriinnggLLoovvee • CCoonn :: MMoonnggoo,, SSttaabbiilliittyy,, ..ddeebb,, ffoorrggee ● PPRRMM ● YYuumm RReeppoo SSeerrvveerr bbyy IISS2244
  • 23. VVeerrssiioonn vvss LLaatteesstt ● VVeerrssiioonn yyoouurr rreeppooss ?? eennssuurree ==>> llaatteessttss ● LLaatteesstt yyoouurr eennvviirroonnmmeennttss ?? ● SSttrriicctt vveerrssiioonniinngg iinn ccoonnffiigg ?? EEnnssuurree ==>> ''00..998..44'' UUssee HHiieerraa
  • 24. CChhaapptteerr 44:: WWee aarree aallll ddeevvss nnooww
  • 25. NNoo mmoorree ppuuppppeett rruunnss ::(( ● PPuuppppeett iiss ccrroonnnneedd ● DDaasshhbbooaarrdd sshhoowwss nnoo ssuucccceessssffuull rruunnss ffoorr hhoouurrss ● ppuuppppeett aaggeenntt --tt ssttaarrttss ,, tthheenn eexxiittss wwiitthh nnoo eerrrroorr
  • 26. WWee ddiiddnn''tt cchhaannggee aa tthhiinngg !! ● QQuuiicckk ggiitt lloogg sshhoowweedd nnoo rreelleevvaanntt cchhaannggeess oonn tthhee ccooddee bbaassee..
  • 27. LLeett''ss ddeebbuugg ● PPuutt aaggeenntt iinn vveerrbboossee ● PPuutt mmaasstteerr iinn vveerrbboossee
  • 28. LLeett''ss ddeebbuugg ● PPuutt aaggeenntt iinn vveerrbboossee ● PPuutt mmaasstteerr iinn vveerrbboossee ● TTrryy ddiiffffeerreenntt eennvviirroonnmmeennttss
  • 29. LLeett''ss ddeebbuugg ● PPuutt aaggeenntt iinn vveerrbboossee ● PPuutt mmaasstteerr iinn vveerrbboossee ● TTrryy ddiiffffeerreenntt eennvviirroonnmmeennttss ((iitt wwoorrkkss iinn 11)) ● UUppggrraaddee ppuuppppeettmmaasstteerr ● UUppggrraaddee ppuuppppeett aaggeenntt
  • 30. LLeett''ss ddeebbuugg ● PPuutt aaggeenntt iinn vveerrbboossee ● PPuutt mmaasstteerr iinn vveerrbboossee ● TTrryy ddiiffffeerreenntt eennvviirroonnmmeennttss ● UUppggrraaddee ppuuppppeettmmaasstteerr ● UUppggrraaddee ppuuppppeett aaggeenntt ● MMooddiiffyy //eettcc//hhoossttss
  • 31. LLeett''ss ddeebbuugg ● PPuutt aaggeenntt iinn vveerrbboossee ● PPuutt mmaasstteerr iinn vveerrbboossee ● TTrryy ddiiffffeerreenntt eennvviirroonnmmeennttss ● UUppggrraaddee ppuuppppeettmmaasstteerr ● UUppggrraaddee ppuuppppeett aaggeenntt ● MMooddiiffyy //eettcc//hhoossttss ● CClleeaann SSSSLL CCeerrttss
  • 32. CCaalllleedd iinn tthhee ttrrooooppss ● II''vvee nneevveerr sseeeenn ssoommeetthhiinngg lliikkee tthhiiss bbeeffoorree ● TThheeyy ccoouullddnn''tt ffiinndd aa tthhiinngg eeiitthheerr .... ● WWee''vvee nneevveerr sseeeenn ssoommeetthhiinngg lliikkee tthhiiss bbeeffoorree..
  • 33. WWee ddiiddnn''tt cchhaannggee aa tthhiinngg ((22))!! ● QQuuiicckk ggiitt lloogg sshhoowweedd nnoo rreelleevvaanntt cchhaannggeess oonn tthhee ccooddee bbaassee.. ● OOnn tthhee mmaanniiffeessttss iinncclluuddeedd iinn tthhee ppllaattffoorrmm wwhheerree tthhee ccooddee wwaass ffaaiilliinngg ● 9955%% LLiinnuuxx nnooddeess ffaaiilliinngg,, nnoo ccooddee cchhaannggee
  • 34. EExxiitt ZZeerroo ● 55%% WWiinnddoowwss nnooddeess,, ccooddee cchhaannggeess iiggnnoorreedd ==>> tthhaatt mmoodduullee iissnn''tt uusseedd oonn LLiinnuuxx rriigghhtt ??
  • 35. Chapter 55:: SSooffttwwaarree ddeeffiinneedd NNeettwwoorrkk
  • 36. BBuussiinneessss aass uussuuaall ● FFuullllyy ppuuppppeettiizzeedd ppllaattffoorrmm ● DDeeppllooyyeedd 55++ iinnssttaanncceess ooff ppllaattffoorrmm ● IIPPSSeecc TTuunnnneellss iinn aallll ddiirreeccttiioonnss ..
  • 37. OOnnee MMoorrnniinngg ● PPuuppppeettrruunnss ssttaarrtt ffaaiilliinngg ● PPeerrffeecctt aacccceessss ttoo nneeww ccuussttoommeerr ppllaattffoorrmm ● MMoonniittoorriinngg ssaayyss eevveerryytthhiinngg iiss ffiinnee.. ● BBooxxeenn ccaann ppiinngg ppuuppppeettmmaasstteerr ● PPuuppppeettmmaasstteerr ccaann ppiinngg bbooxxeenn
  • 38. EEvveerryytthhiinngg iiss aa FFuunnkkyy DDNNSS PPrroobblleemm ● RReevveerrssee DDNNSS wwaass bbrrookkeenn ● FFiixxeedd RReevveerrssee DDNNSS ffoorr nneeww ppllaattffoorrmm ● HHeeyy .... tthhiiss llooookkss bbeetttteerr
  • 39. BBuutt iitt''ss nnoott ffiixxeedd yyeett ● IItt''ss ssssll ?? ● LLeett''ss cclleeaarr ssoommee CCeerrttss.. ● NNooppee nnoott SSSSLL
  • 40. II ccaann ccoonnnneecctt !! ● II ccaann ppiinngg tthhee ppuuppppeettmmaasstteerr ● II ccaann tteellnneett ttoo ppoorrtt 88114400 oonn tthhee ppuuppppeettmmaasstteerr ● TThhee ppuuppppeettmmaasstteerr ccaann ppiinngg mmee ● IItt aallll wwoorrkkss
  • 41. BBuutt ● II ccaann''tt wwggeett ffrroomm tthhee ppuuppppeettmmaasstteerr ● IItt mmuusstt bbee nneettwwoorrkkiinngg ● IIss iitt aa nnaatt rruullee oonn tthhee vvppnn ??
  • 42. HHaavvee yyoouu ttrriieedd ttuurrnniinngg iitt ooff aanndd oonn aaggaaiinn ?? ● BBrrookkeenn IIPPSSeecc sseettuupp ● RReessttaarrttiinngg ttuunnnneellss ssoollvveedd iitt..
  • 43. CChhaapptteerr 77:: TThheerree''ss 33 hhaarrdd tthhiinnggss iinn IITT -- CCaacchhee IInnvvaalliiddaattiioonn -- SShhaarreedd MMeemmoorryy MMaannaaggeemmeenntt -- OOffff bbyy 11 eerrrroorrss -- NNaammiinngg tthhiinnggss
  • 44. YYeett aannootthheerr bbrrookkeenn ppuuppppeettrruunn eerrrr:: CCoouulldd nnoott rreettrriieevvee ccaattaalloogg ffrroomm rreemmoottee sseerrvveerr:: EErrrroorr 440000 oonn SSEERRVVEERR:: AAnnootthheerr llooccaall oorr iimmppoorrtteedd rreessoouurrccee eexxiissttss wwiitthh tthhee ttyyppee aanndd ttiittllee AAppaacchhee::::VVhhoosstt[[ssoommeehhoosstt..ssoommeeccuusstteerroomm..eeuu__8800__ pprrooxxyy]] oonn nnooddee pprrooxxyy..ssoommeewwhheerree..eeuu wwaarrnniinngg:: NNoott uussiinngg ccaacchhee oonn ffaaiilleedd ccaattaalloogg
  • 45. BBuutt tthhaatt sshhoouullddnn''tt bbee tthheerree ● VVhhoosstt ddooeess nnoott ggeett eexxppoorrtteedd ttoo tthheerree ● BBooxx sshhoouulldd nnoott ccoolllleecctt tthhaatt
  • 46. BBuutt tthhaatt sshhoouullddnn''tt bbee tthheerree ● VVhhoosstt ddooeess nnoott ggeett eexxppoorrtteedd ttoo tthheerree ● BBooxx sshhoouulldd nnoott ccoolllleecctt tthhaatt ● DDiiggggiinngg iinn ttoo eexxppoorrttss ● DDiiggggiinngg iinnttoo ppuuppppeettddbb ,, hhoowwss yyoouurr ppssqqll ??
  • 47. CCoolllleeccttiinngg AAppaacchhee::::VVhhoosstt <<<<|| ttaagg == ''pprrooxxyy'' ||>> {{}} AAppaacchhee::::VVhhoosstt::::SSssll <<<<|| ttaagg == ''pprrooxxyy'' ||>> {{}} AAppaacchhee::::VVhhoosstt::::MMoodd::::RReevveerrssee__pprrooxxyy <<<<|| ttaagg == ''pprrooxxyy'' ||>> {{}}
  • 48. BBeewwaarree wwhhaatt yyoouu ccoolllleecctt!! ● pprrooffiilleess::::vvhhoosstt::::pprrooxxyy
  • 49. LLeessssoonnss LLeeaarrnneedd ● RReeppoossiittoorryy MMaannaaggeemmeenntt iiss IImmppoorrttaanntt ● DDeevveellooppmmeenntt eennvviirroonnmmeennttss aarree rreelleevvaanntt,, aallssoo ffoorr ppuuppppeett ccooddee !! ● WWee aallll hhaattee SSSSLL ● YYoouu nneevveerr mmoonniittoorr eennoouugghh ● UUppggrraaddiinngg iiss mmoossttllyy nnoott tthhee ssoolluuttiioonn ● UUnnlleessss iitt''ss aa bbuugg iinn PPuuppppeett ● RReelleeaassee MMaannaaggeemmeenntt iiss nnoott aa ssoollvveedd pprroobblleemm
  • 50.
  • 51. CCoonnttaacctt KKrriiss BBuuyyttaaeerrtt KKrriiss..BBuuyyttaaeerrtt@@iinnuuiittss..bbee FFuurrtthheerr RReeaaddiinngg @@kkrriissbbuuyyttaaeerrtt hhttttpp::////wwwwww..kkrriissbbuuyyttaaeerrtt..bbee//bblloogg// hhttttpp::////wwwwww..iinnuuiittss..bbee// IInnuuiittss DDuubbooiissttrraaaatt 5500 22006600 AAnnttwweerrppeenn BBeellggiiuumm 889911..551144..223311 ++3322 447755 996611222211