perl sysadmin dba

Introdu¸˜o ca Sysadmin DBA Considera¸˜es ﬁnais coPerl para Sysadmins e DBA’s Lindolfo ”Lorn” Rodrigues Lindolfo ”Lorn” Rodrigues Perl para Sysadmins e DBA’s

Introdu¸˜o ca Sysadmin DBA Considera¸˜es ﬁnais co$ whoami $ id $ uid=1000(lorn) gid=100(users) grupos=11(#sao-paulo.pm), 17(#slackware-br), 18(#catalyst), 19(#moose),83(#perl6) Lindolfo ”Lorn” Rodrigues Perl para Sysadmins e DBA’s

Introdu¸˜o ca Sysadmin DBA Considera¸˜es ﬁnais coAgenda Sysadmin One-liners Parsers de log Automatiza¸˜es co DBA ETL Data Cleaning Lindolfo ”Lorn” Rodrigues Perl para Sysadmins e DBA’s

Introdu¸˜o ca Sysadmin DBA Considera¸˜es ﬁnais coOne-liners Perl na linha de comando Lembra muito sed/awk, com todo o poder da PCRE sed: sed -i.bck -e ’s/foo/bar/g’ arquivo.txt perl: perl -i.bck -npe ’s/foo/bar/g’ arquivo.txt awk: awk ’{print $1;}’ arquivo.txt perl: perl -npe ’print $F[0]’ arquivo.txt Perl = Shell Script + awk + sed + ... + CPAN! o/ Lindolfo ”Lorn” Rodrigues Perl para Sysadmins e DBA’s

Introdu¸õ ca Sysadmin DBA Considera¸˜es finais coOne-liners find /var/www -iname ”*.html-exec perl -i.bck -npe ’s/foo/bar/g’ ’’ perl -MDBD::mysql -e ’DBD::mysql-¿connect(’dbname=yapc;Host=192.168.1.2’, ’root’, ’yapc2009’) Lindolfo ”Lorn” Rodrigues Perl para Sysadmins e DBA’s

Introdu¸˜o ca Sysadmin DBA Considera¸˜es ﬁnais coOne-liners dicas.txt ( canivete sui¸o one-liners ) c App::Rad! Lindolfo ”Lorn” Rodrigues Perl para Sysadmins e DBA’s

Introdu¸˜o ca Sysadmin DBA Considera¸˜es ﬁnais coOne-liners1 u s e App : : Rad i n c l u d e ;2 App : : Rad−>run ; Lindolfo ”Lorn” Rodrigues Perl para Sysadmins e DBA’s

Introdu¸˜o ca Sysadmin DBA Considera¸˜es ﬁnais coOne-liners $ perl dicas.pl include ’arruma string’ -i.bck -npe ’s/foo/bar/g’ arquivo.txt $ perl dicas.pl 1 Usage : dicas . pl command [ arguments ] 2 3 Available Commands : 4 arruma_string 5 help show syntax and available commands 6 include include one−liner as a command $ perl dicas.pl arruma string outro arquivo.txt Lindolfo ”Lorn” Rodrigues Perl para Sysadmins e DBA’s

Introdu¸˜o ca Sysadmin DBA Considera¸˜es ﬁnais coOne-liners Lindolfo ”Lorn” Rodrigues Perl para Sysadmins e DBA’s

Introdu¸˜o ca Sysadmin DBA Considera¸˜es ﬁnais coParsers Como mandar o log do Apache para o Syslog ( tutorial no ultimo slide ) PABX Usar Spreadsheet::Write Customizar com cores, gerentes/chefes adoram cores maillog Lindolfo ”Lorn” Rodrigues Perl para Sysadmins e DBA’s

Introdu¸õ ca Sysadmin DBA Considera¸˜es finais coPr´-requisitos e Hash tables, o que sõ e como pode ser usada? a1 my %idade = (2 ” r a u l s e i x a s ” => 1 0 0 0 0 ,3 ” a r t h u r d e n t ” => 424 );5 p r i n t $ idade { a r t h u r d e n t } ;6 # a d i c i o n a n d o i t e n s ao h a s h7 $ idade { ” j e r e m i a s ” }=27;8 # deletando itens9 d e l e t e ( $ idade { r a u l s e i x a s } ) ; Lindolfo ”Lorn” Rodrigues Perl para Sysadmins e DBA’s

Introdu¸˜o ca Sysadmin DBA Considera¸˜es ﬁnais coPr´-requisitos e Estrutura de um hash:1 $ VAR1 = {2 j e r e m i a s => 2 7 ,3 a r t h u r d e n t => 4 2 ,4 r a u l s e i x a s => −100005 }; Lindolfo ”Lorn” Rodrigues Perl para Sysadmins e DBA’s

Introdu¸˜o ca Sysadmin DBA Considera¸˜es ﬁnais coPega ”spider” Pegando o ”invasor” do seu site 1 w h i l e (my $ line = <STDIN >) { 2 my ( $ ip ) = s p l i t ( / s / , $ line ) ; 3 $ hash_count { $ ip } = $ hash_count { $ ip } + 1 ; 4 } 5 6 p r i n t Dumper %hash_count ; 7 f o r e a c h my $ line ( s o r t { $ hash_count { $ b } <=> $ hash_count {← $a } } k e y s 8 %hash_count ) { 9 my $ acessos = $ hash_count { $ line } ;10 p r i n t ” i p : $ l i n e t a c e s s o s : t $ a c e s s o s n” ;11 } Lindolfo ”Lorn” Rodrigues Perl para Sysadmins e DBA’s

Introdu¸˜o ca Sysadmin DBA Considera¸˜es ﬁnais coPega ”spider”1 $ VAR1 = {2 1 2 8 . 9 8 . 1 2 0 . 8 4 => 2 ,3 3 8 . 9 8 . 1 2 0 . 8 4 => 6 ,4 1 1 8 . 9 8 . 1 2 0 . 8 4 => 1 5 };6 ip : 3 8 . 9 8 . 1 2 0 . 8 4 acessos : 67 ip : 1 2 8 . 9 8 . 1 2 0 . 8 4 acessos : 28 ip : 1 1 8 . 9 8 . 1 2 0 . 8 4 acessos : 1 Lindolfo ”Lorn” Rodrigues Perl para Sysadmins e DBA’s

Introdu¸˜o ca Sysadmin DBA Considera¸˜es ﬁnais coAchando arquivo duplicados 1 my @targets = ( /home/ l o r n / f o o / ) ; 2 my $ tree = File : : Find : : Object−>new ( { } , @targets ) ; 3 my %hash_file = ( ) ; 4 my $ md5 = Digest : : MD5−>new ; 5 w h i l e (my $ r = $ tree−>n e x t ( ) ) { 6 i f ( −d $ r ) { 7 next ; 8 } 9 open (my $ file , < , $ r ) or d i e ” $ ! n” ;10 $ md5−>addfile ( $ file ) ;11 my $ digest = $ md5−>hexdigest ;12 c l o s e $ file ;13 my @files = ( $ r ) ;14 pu sh ( @ { $ hash_file { $ digest } } , $ r ) ;15 } Lindolfo ”Lorn” Rodrigues Perl para Sysadmins e DBA’s

Introdu¸˜o ca Sysadmin DBA Considera¸˜es ﬁnais coAchando arquivo duplicados1 f o r e a c h my $ md5hex ( s o r t { $ hash_file { $ a } <=> $ hash_file {← $b } } k e y s2 %hash_file ) {3 i f ( s c a l a r ( @ { $ hash_file { $ md5hex } } ) > 1 ) {4 p r i n t ” A r q u i v o d u p l i c a d o ! n” ;5 f o r e a c h my $ file ( @ { $ hash_file { $ md5hex } } ) {6 p r i n t ” f i l e : $ f i l e n” ;7 }8 }9 } Lindolfo ”Lorn” Rodrigues Perl para Sysadmins e DBA’s

Introdu¸˜o ca Sysadmin DBA Considera¸˜es ﬁnais coAchando arquivo duplicados 1 $ VAR1 = { 2 4 b 1 a 7 8 5 a 1 d d 6 d b 7 b 5 e 4 f 8 6 c 7 e 5 6 c 2 d 1 d => 3 [ 4 / Users / lo r n / foo / arquivo2 . txt , 5 / Users / lo r n / foo / arquivo23 . txt 6 ], 7 8 3789 f a 4 8 9 8 d 7 b 7 f 1 5 1 3 c 8 a d 3 9 6 5 c 3 f 9 a => 9 [10 / Users / lo r n / foo / arquivo1 . txt ,11 / Users / lo r n / foo / arquivo11 . txt ,12 / U s e r s / l o r n / f o o /tmp/ a r q u i v o 4 2 . t x t 13 ]14 }; Lindolfo ”Lorn” Rodrigues Perl para Sysadmins e DBA’s

Introdu¸˜o ca Sysadmin DBA Considera¸˜es ﬁnais coAutomatizando tarefas Qualquer programa com opcao de include, pode ser automatizado Apache, Samba, Bind Lindolfo ”Lorn” Rodrigues Perl para Sysadmins e DBA’s

Introdu¸õ ca Sysadmin DBA Considera¸˜es finais coExtract, transform, loading Nenhuma linguagem carrega dados no banco, mais rapido que o proprio banco pg copy ( PostgreSQL ) , impdmp ( Oracle ) ..mas vocˆ pode modificar o que ser´ carregado antes de usar e a o proprio banco Limpeza de caracteres ’ ?’ dupla dinamic ord - chr ord: descobre o ”id” do caracter estranho chr: recebe o ”id” do caracter e retorna o mesmo my $id estranho = ord(371); my $char estranho = chr($id estranho); my $texto sujo = s/$char estranho//g; Validar os dados de entrada ( CNPJ, CPF, etc ) Business::BR::CNPJ Business::BR::CPF Lindolfo ”Lorn” Rodrigues Perl para Sysadmins e DBA’s

Introdu¸õ ca Sysadmin DBA Considera¸˜es finais coExtract, transform, loading Spreadsheet::Write tamb´m funciona bem com SELECT e ... ou seja, nõ precisa gerar um .csv e carregar no seu ”Excel” a ..mas vocˆ pode modificar o que ser´ carregado antes de usar e a o proprio banco Lindolfo ”Lorn” Rodrigues Perl para Sysadmins e DBA’s

Introdu¸˜o ca Sysadmin DBA Considera¸˜es ﬁnais coExtract, transform, loading Pequel ETL Lindolfo ”Lorn” Rodrigues Perl para Sysadmins e DBA’s

Introdu¸˜o ca Sysadmin DBA Considera¸˜es ﬁnais coPL/Perl - PL/PerlU Palesta do David Fetter ( http://fetter.org ) Lindolfo ”Lorn” Rodrigues Perl para Sysadmins e DBA’s

Introdu¸õ ca Sysadmin DBA Considera¸˜es finais coData Cleaning Text::Levenshtein ( Edit Distance ou Levenshtein Distance ) rato - ralo rodar - rodo Algorithm::LCS Algoritmo usado no diff de codigos Lindolfo ”Lorn” Rodrigues Perl para Sysadmins e DBA’s

Introdu¸õ ca Sysadmin DBA Considera¸˜es finais coBibliografia e coisas interessantes Cultured Perl: Automating UNIX system administration with Perl Cultured Perl: One-liners 101 Sending Apache httpd Logs to Syslog http://www.lornlab.org/ palestra yapc2009/ Lindolfo ”Lorn” Rodrigues Perl para Sysadmins e DBA’s

Introdu¸˜o ca Sysadmin DBA Considera¸˜es ﬁnais coObrigado Duvidas? lorn at lornlab dot org Lindolfo ”Lorn” Rodrigues Perl para Sysadmins e DBA’s

http://lornlab.org	220
http://localhost:4000	26
http://blog.lornlab.org	23
http://lorn.github.com	8
http://aodeusdouniverso.com.br	6
http://lornlab.org:8080	3
http://www.lornlab.org	2
http://igrejaaodeusdouniverso.com.br	1

perl sysadmin dba

by Lindolfo Rodrigues Oliveira Neto on Apr 13, 2011

Accessibility

Categories

Tags

Upload Details

Usage Rights

8 Embeds 289

Statistics

perl sysadmin dba — Presentation Transcript