• Like
  • Save
Pentaho data integration
Upcoming SlideShare
Loading in...5
×
 

Pentaho data integration

on

  • 2,966 views

Palestra realizada na Universidade Tiradentes.

Palestra realizada na Universidade Tiradentes.

Statistics

Views

Total Views
2,966
Views on SlideShare
2,966
Embed Views
0

Actions

Likes
0
Downloads
89
Comments
0

0 Embeds 0

No embeds

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

    Pentaho data integration Pentaho data integration Presentation Transcript

    • Pentaho Data Integration Pedro José© 2009, Pentaho. All Rights Reserved.
    • Quem sou Pedro José Técnico em desenvolvimento de sistemas Graduando em ciências da computação Sócio da empresa Moobi Programador do Tribunal de Justiça© 2009, Pentaho. All Rights Reserved.
    • Roteiro O que é ETL? Algumas ferramentas para ETL Por que usar o pentaho? Um pouco mais sobre o pentaho Desmistificando o pentaho data integration Interface gráfica Demonstração Problemas?© 2009, Pentaho. All Rights Reserved.
    • O que é ETL? “Extração, transformação e carga(ETL), é o núcleo do processo de integração de dados. É tipicamente associado com data warehousing.”© 2009, Pentaho. All Rights Reserved.
    • Ferramentas de ETL Integration services(Microsoft) Talend Oracle warehouse builder DataStage (IBM) Pentaho Data Integration Programador/DBA© 2009, Pentaho. All Rights Reserved.
    • Por que usar o PDI? Alternativa livre Multiplataforma Pequena curva de aprendizado Extensível Integrada com diversas outras ferramentas do mercado Access Excel LDAP SAP Salesforce Json, Yaml, RSS, etc...© 2009, Pentaho. All Rights Reserved.
    • Por que comecei a usar o PDI? Treinamento Suíte Pentaho Dores de cabeça de todo programador Migração entre servidores Migração entre diferentes versões de sistema Rotinas de carga em bases de dados© 2009, Pentaho. All Rights Reserved.
    • Um pouco mais sobre o PDI Inicialmente chamado de Kettle(Kettle Tranformation Transportation Loading Environment) Criada em 2001 a partir da frustação com outras ferramentas de ETL, com foco na facilidade de utilização e na facilidade de manutenção Em 2005 tornou-se open source ganhando colaboradores Adquirida pela Pentaho em 2006 “Boom” em 2007. Adição de novos recursos, suporte a processamento paralelo e diversos outros recursos para programadores© 2009, Pentaho. All Rights Reserved.
    • Componentes do PDI Spoon – interface gráfica para criação de tranformations e jobs Pan – ferramenta de linha de comando para execução de tranformations Kitchen – ferramenta de linha de comando para execução de jobs Carte – servidor web para execução remota de tranformations e jobs© 2009, Pentaho. All Rights Reserved.
    • Instalação Instale o Java Runtime Environment(JRE) versão 5.0 ou superior http://www.java.com/pt_BR/download/ Faça o download da versão comunitária do PDI http://sourceforge.net/projects/pentaho/files/Data%20Integration/ Descompacte o arquivo do PDI Execute o Spoon caso windows => spoon.bat caso linux => spoon.sh OBS: Alguns bancos de dados não possuem seus respectivos drivers no pacote básico. Caso queria adicionar um driver que esteja faltando ou substituir um existente, acesse a pasta “libextJDBC”© 2009, Pentaho. All Rights Reserved.
    • Conceitos básicos Tranformations - Sequência lógica de passos para realizar alguma tranformação.© 2009, Pentaho. All Rights Reserved.
    • Conceitos básicos Jobs - Forma de chamar e controlar a execução de uma sequência de tranformations. Geralmente, jobs são agendados e executados em lote de forma automática.© 2009, Pentaho. All Rights Reserved.
    • Conceitos básicos Repositórios Local onde as informações sobre as tranformations/jobs ficarão armazenadas. Steps Corresponde a um passo de uma determinada transformação. Este passo poderá ser a criação, leitura, escrita ou manipulação de alguma informação. Uma transformation é composta de um ou mais steps.© 2009, Pentaho. All Rights Reserved.
    • Tipos de step (Tranformation) Input – entrada de dados Output – saída de dados Tranform – transformações nos dados Flow – fluxo da informações Utility – utilitários Scripting – execução de scripts Lookup – consulta de dados Joins – junções entre fontes Validation – validação Data warehouse – armazém de dados© 2009, Pentaho. All Rights Reserved.
    • Steps básicos (Tranformation) - INPUT Input Access input CSV input Excel input Generate random values Generate rows Json input LDAP input RSS input Table input© 2009, Pentaho. All Rights Reserved.
    • Steps básicos (Tranformation) - OUTPUT Output Access output Delete Excel output Json output LDAP output RSS output Table output SQL output XML output© 2009, Pentaho. All Rights Reserved.
    • Steps básicos (Tranformation) - TRANSFORM •Tranform Add constants Replace in string Unique rows Value mapper Split fields Add sequence Strings cut Calculator© 2009, Pentaho. All Rights Reserved.
    • Steps básicos (Tranformation) - UTILITY Utility Change file encoding Run SSH commands Write to log Execute a process Send message to syslog Mail© 2009, Pentaho. All Rights Reserved.
    • Steps básicos (Tranformation) - FLOW Flow Blocking step Filter rows Abort Dummy (do nothing) Java filter Switch / case© 2009, Pentaho. All Rights Reserved.
    • Steps básicos (Tranformation) - SCRIPTING Scripting Execute SQL script Execute row SQL script Modified Java script value Regex Evaluation User defined Java class© 2009, Pentaho. All Rights Reserved.
    • Steps básicos (Tranformation) - LOOKUP Lookup Web services lookup Check if ws is available Call DB procedure Database join Database lookup Table exists File exists HTTP Post© 2009, Pentaho. All Rights Reserved.
    • Interface gráfica / Demonstrações© 2009, Pentaho. All Rights Reserved.
    • Links e livros Site da comunidade [ http://kettle.pentaho.org/ ] Fórum [ http://forums.pentaho.org/forumdisplay.php?f=69 ] Mais informação [ http://pentahobrasil.blogspot.com ] Mais informação [ http://blog.professorcoruja.com/ ]© 2009, Pentaho. All Rights Reserved.
    • Problemas?© 2009, Pentaho. All Rights Reserved.
    • Dúvidas Pedro José <pjneto@gmail.com>© 2009, Pentaho. All Rights Reserved.