1. Business Intelligence com Pentaho
Maicon de Brito do Amarante
maicon.amarante@iffarroupilha.edu.br
Instituto Federal Farroupilha
Campus S~ao Vicente do Sul
Coordenac~ao de Tecnologia da Informac~ao
25 de outubro de 2014
Maicon BI com Pentaho V MEPT 1 / 40
2. Roteiro
1 Business Intelligence
2 Data Warehouse
3 Sistemas de Apoio a Decis~ao
4 Fluxo de Business Intelligence
5 Pentaho
Data Integration - Kettle
BI Server
Dashboard
OLAP Cube
Report
Weka
Maicon BI com Pentaho V MEPT 2 / 40
3. Business Intelligence
Roteiro
1 Business Intelligence
2 Data Warehouse
3 Sistemas de Apoio a Decis~ao
4 Fluxo de Business Intelligence
5 Pentaho
Data Integration - Kettle
BI Server
Dashboard
OLAP Cube
Report
Weka
Maicon BI com Pentaho V MEPT 3 / 40
4. Business Intelligence
BI?
Intelig^encia empresarial
Business intelligence (BI) e um conjunto de metodologias,
arquiteturas e tecnicas que transformam dados brutos em
informac~ao compreensvel e util para os propositos do negocio.
Rud, Olivia (2009). Business Intelligence Success Factors: Tools for Aligning Your Business in the Global Economy.
Hoboken, N.J: Wiley Sons.
Maicon BI com Pentaho V MEPT 4 / 40
6. nal, o que eu ganho com isso? Por que investir em
Business Intelligence?
Maicon BI com Pentaho V MEPT 5 / 40
7. Business Intelligence
Por que BI?
detectar tend^encias
onde cortar custos?
onde investir? qual o risco?
onde/para quem divulgar um produto?
tomada de decis~ao!
Apenas a experi^encia basta para tomar decis~oes?
Maicon BI com Pentaho V MEPT 6 / 40
8. Business Intelligence
Precisamos de informac~oes, mas...
Como...
extrair e integrar dados de multiplas fontes
sistemas, planilhas, documentos...
fazer uso da experi^encia
casos ja resolvidos
analisar dados contextualizados
ndices s~ao bons ou ruins comparados com o que/quem?
procurar relac~oes de causa e efeito
foi a ac~ao de marketing que fez vender mais?
Se...
volume de dados e muito grande
fontes de dados diversas
informac~oes apresentadas fora de contexto
Maicon BI com Pentaho V MEPT 7 / 40
10. Business Intelligence
Algumas tarefas de BI
segmentac~ao
otimizac~ao de estoque
cross-sell up-sell
gest~ao de churn
credit scoring
gest~ao de turnover
...
Maicon BI com Pentaho V MEPT 9 / 40
12. cou 65% de clientes com quem
se relacionava de fato, investindo na sua perman^encia (churn).
Ao mapear a criminalidade, Curitiba reduziu, em media, 60%
o registro de ocorr^encias policiais em areas monitoradas.
TJSP aperfeicoou a identi
13. cac~ao dos crimes de viol^encia
domestica e familiar contra a mulher.
Escola Thomas Fortes (Santiago/RS) tracou per
14. l da
comunidade escolar para atualizar seu projeto
poltico-pedagogico. Metodologia sera publicada pela
Secretaria Estadual de Educac~ao.
Maicon BI com Pentaho V MEPT 10 / 40
16. cou 65% de clientes com quem
se relacionava de fato, investindo na sua perman^encia (churn).
Ao mapear a criminalidade, Curitiba reduziu, em media, 60%
o registro de ocorr^encias policiais em areas monitoradas.
TJSP aperfeicoou a identi
17. cac~ao dos crimes de viol^encia
domestica e familiar contra a mulher.
Escola Thomas Fortes (Santiago/RS) tracou per
18. l da
comunidade escolar para atualizar seu projeto
poltico-pedagogico. Metodologia sera publicada pela
Secretaria Estadual de Educac~ao.
Maicon BI com Pentaho V MEPT 10 / 40
20. cou 65% de clientes com quem
se relacionava de fato, investindo na sua perman^encia (churn).
Ao mapear a criminalidade, Curitiba reduziu, em media, 60%
o registro de ocorr^encias policiais em areas monitoradas.
TJSP aperfeicoou a identi
21. cac~ao dos crimes de viol^encia
domestica e familiar contra a mulher.
Escola Thomas Fortes (Santiago/RS) tracou per
22. l da
comunidade escolar para atualizar seu projeto
poltico-pedagogico. Metodologia sera publicada pela
Secretaria Estadual de Educac~ao.
Maicon BI com Pentaho V MEPT 10 / 40
24. cou 65% de clientes com quem
se relacionava de fato, investindo na sua perman^encia (churn).
Ao mapear a criminalidade, Curitiba reduziu, em media, 60%
o registro de ocorr^encias policiais em areas monitoradas.
TJSP aperfeicoou a identi
25. cac~ao dos crimes de viol^encia
domestica e familiar contra a mulher.
Escola Thomas Fortes (Santiago/RS) tracou per
26. l da
comunidade escolar para atualizar seu projeto
poltico-pedagogico. Metodologia sera publicada pela
Secretaria Estadual de Educac~ao.
Maicon BI com Pentaho V MEPT 10 / 40
27. Business Intelligence
Cases - IFFarroupilha/SVS - Processo Seletivo 2013/2014
estrategia de divulgac~ao criada com base nos relatorios de BI
resultados ainda est~ao sendo avaliados
Maicon BI com Pentaho V MEPT 11 / 40
28. Business Intelligence
Cases - IFFarroupilha/SVS - Evas~oes
Projeto de pesquisa tecnologico em andamento:
Student Keeper: Business Intelligence
aplicado a investigac~ao da evas~ao escolar
edital PRPPGI-IFFAR 125/2014
Maicon BI com Pentaho V MEPT 12 / 40
29. Business Intelligence
Tudo comeca com os dados!
Se o problema e a organizac~ao dos dados, como organiza-los?
Abordagem 1: implantar um novo sistema que resolva tudo
Abordagem 2: refatorar, consolidando as bases de dados
Abordagem 3: construir um data warehouse
Maicon BI com Pentaho V MEPT 13 / 40
30. Data Warehouse
Roteiro
1 Business Intelligence
2 Data Warehouse
3 Sistemas de Apoio a Decis~ao
4 Fluxo de Business Intelligence
5 Pentaho
Data Integration - Kettle
BI Server
Dashboard
OLAP Cube
Report
Weka
Maicon BI com Pentaho V MEPT 14 / 40
31. Data Warehouse
Data Warehouse
Data Warehouse (DW): banco de dados consolidado, contendo
dados extrados de diversas fontes, desnormalizado e indexado para
suportar intensa pesquisa.
Data Mart: subconjunto do DW - venda, estoque...
Maicon BI com Pentaho V MEPT 15 / 40
32. Data Warehouse
Como organizar? Modelagem Dimensional
Modelagem do projeto logico; contrasta com a modelagem ER.
Possui 2 modelos:
Star Schema (facts dimensions) e.g.: Sales.
Snow Flake
Maicon BI com Pentaho V MEPT 16 / 40
33. Sistemas de Apoio a Decis~ao
Roteiro
1 Business Intelligence
2 Data Warehouse
3 Sistemas de Apoio a Decis~ao
4 Fluxo de Business Intelligence
5 Pentaho
Data Integration - Kettle
BI Server
Dashboard
OLAP Cube
Report
Weka
Maicon BI com Pentaho V MEPT 17 / 40
34. Sistemas de Apoio a Decis~ao
Ok! Dados organizados!
Data warehouse construdo! E agora?
Agora precisamos transformar dados em informac~oes,
disponibilizando um Sistema de Apoio a Decis~ao (SAD).
O que teremos no SAD?
relatorios
dashboards
cubos OLAP
...
Maicon BI com Pentaho V MEPT 18 / 40
35. Sistemas de Apoio a Decis~ao
OLTP vs. OLAP
OLTP - On-line Transaction Processing
transac~oes de negocio de um sistema armazenadas no BD
nvel operacional
OLAP - On-line Analytical Processing
proporciona vis~ao dos dados voltados para analise
nvel estrategico
Maicon BI com Pentaho V MEPT 19 / 40
36. Sistemas de Apoio a Decis~ao
Cubo OLAP
Maicon BI com Pentaho V MEPT 20 / 40
37. Fluxo de Business Intelligence
Roteiro
1 Business Intelligence
2 Data Warehouse
3 Sistemas de Apoio a Decis~ao
4 Fluxo de Business Intelligence
5 Pentaho
Data Integration - Kettle
BI Server
Dashboard
OLAP Cube
Report
Weka
Maicon BI com Pentaho V MEPT 21 / 40
38. Fluxo de Business Intelligence
Fluxo BI
Maicon BI com Pentaho V MEPT 22 / 40
39. Pentaho
Roteiro
1 Business Intelligence
2 Data Warehouse
3 Sistemas de Apoio a Decis~ao
4 Fluxo de Business Intelligence
5 Pentaho
Data Integration - Kettle
BI Server
Dashboard
OLAP Cube
Report
Weka
Maicon BI com Pentaho V MEPT 23 / 40
42. Pentaho
Pentaho
Pentaho e um software de codigo aberto para intelig^encia
empresarial, desenvolvido em Java. A soluc~ao cobre as areas de
ETL, reporting, OLAP e minerac~ao de dados (data-mining).
Desenvolvido desde 2004 pela Pentaho Corporation.
Atualmente o Pentaho Community Edition esta na vers~ao 5.1.
http://community.pentaho.com/
Maicon BI com Pentaho V MEPT 26 / 40
43. Download Pentaho BI today at:
www.pentaho.com/download
Be Social with Pentaho:
Pentaho Community Enterprise Edition Product Comparison
Test and QA
Certified and Stable Software
Deployment
On Demand Cloud Hosted Option
Professional Services
Classroom / Online Training
Consulting from Pentaho and
Certified Partners
Ongoing Support
Community Online Forums
Enterprise Edition Online Forums
24X7 Enterprise Support with
SLAs (Tel/Email)
Access to Professional Product
Documentation
Remote Assistance Packages (for
Installation/Configuration, Design,
Troubleshooting/Optimization)
Knowledge Base of Technical Content
Release Updates
Roadmap Visibility and Influence
Managed Release Cycles
Entitlement to New Features
and Upgrades
Community Edition Enterprise Edition
Immediate Access to Fully Tested
Pentaho Fixes
Eventually receives fixes
(delays of 1-6 months)
Need to re-build code and test manually
Unpredictable and constant community
code changes
Leading Open Source
Business Intelligence
Shared Repository and Team Sharing
Repository Content Versioning
Repository Content Locking
Automated Content Expiration
Audit Reports
User and Role-based Permissions
Security Configuration with LDAP
Active Directory
Single Sign-On
Automated ETL Job Scheduling
Centralized Administration,
Diagnostics, and Performance
Monitoring
Clustering
Community Edition Enterprise Edition
Evaluation
Free 30 Day Evaluation Support
Licensing and Pricing
Low Cost
License
Advanced Features
Automated Installers
Sophisticated Interactive Data
Analysis, Exploration Visualization Basic analysis
Self-Service Dashboard Designer
Hadoop Integration for 'Big Data'
Reporting Analysis
Support for Mobile BI (e.g. iPad)
Free Code
Requires in-house resources to patch
and test
Open Source GPL license
If embedding in a commercial application,
obliged to make your application available
under the GPL open source license
No up-front
license costs
Low cost
subscription-based
pricing
Commercial license
Community Edition
Suited for evaluation or pre-production use. Customers choosing this option need internal resources to manage their own
release cycles, test, support, and add advanced capabilities to the basic functionality available in this version.
Enterprise Edition
Suited for production deployments. Pentaho BI Suite Enterprise Edition provides advanced, self-contained, and quality-assured
software that does not require in-house resources for development and test. Pentaho professional support offers world-class
technical support that guarantees resolution times and service level agreements.
Community vs Enterprise Edition: http://bit.ly/1gfrSHz
45. Pentaho
Pentaho Data Integration (Kettle)
Ferramenta para extrac~ao, transformac~ao e carga (ETL) de dados.
Maicon BI com Pentaho V MEPT 29 / 40
46. Pentaho
Pentaho Data Integration (Kettle)
Ferramenta para extrac~ao, transformac~ao e carga (ETL) de dados.
Maicon BI com Pentaho V MEPT 30 / 40
47. Pentaho
BI Server
Aplicac~ao responsavel pelo gerenciamento dos indicadores,
compartilhamento entre os usuarios, controle de acesso, etc.
Algumas tarefas:
autenticac~ao
auditoria
mecanismo para integrac~ao com
analises (cubes)
paineis (dashboards)
relatorios (reports)
minerac~ao de dados (data mining)
Maicon BI com Pentaho V MEPT 31 / 40
48. Pentaho
Pentaho Dashboard
Paineis para acesso rapido a informac~oes resumidas.
Maicon BI com Pentaho V MEPT 32 / 40
49. Pentaho
Vis~ao Analtica - Pentaho Cube
Analisando evas~oes no campus.
Maicon BI com Pentaho V MEPT 33 / 40
50. Pentaho
BI Server
Pentaho Reporting: derivado do projeto JFreeReport.
Maicon BI com Pentaho V MEPT 34 / 40
51. Pentaho
Weka - Machine Learning
colec~ao de algoritmos de aprendizagem de maquina para
tarefas de minerac~ao de dados (API: weka.jar)
contem ferramentas para pre-processamento (extrati
56. car o cliente conforme o risco (bom/mal
pagador)
algoritmos: Arvores de Decis~ao, RNA, Redes Bayesianas
regress~ao: estimar relacionamento entre as variaveis
exemplo: predizer gastos de consumo, exportac~oes de um pas,
quem vai zerar a prova de calculo...
algoritmos: k-nearest neighbors, RNA
Maicon BI com Pentaho V MEPT 36 / 40
57. Pentaho
Weka - Machine Learning
clusterizac~ao: agrupar dados utilizando a similaridade -
exemplo: descobrir grupos distintos de clientes baseados em
padr~oes de compras
algoritmos: K-means, Fuzzy C Means, Gustafson-Kessel
regras associativas: identi
58. car depend^encias entre atributos
que frequentemente ocorrem juntos nos dados
exemplo: cesta do supermercado - encontrar associac~oes entre
itens que s~ao frequentemente comprados juntos
algoritmos: Apriori, Ecla, FP-growth
Maicon BI com Pentaho V MEPT 37 / 40
60. nais
grande potencial de aplicac~ao
mercado em expans~ao
consolidac~ao no IFFarroupilha/SVS
Maicon BI com Pentaho V MEPT 38 / 40
61. Pentaho
Por onde comecar?
Curso de BI com PENTAHO
https://www.youtube.com/watch?v=
Y4xdD2BUTEklist=UUaLRDx7Wu6PxPvG6TrIc00w
Maicon BI com Pentaho V MEPT 39 / 40
62. Pentaho
Obrigado!
Maicon de Brito do Amarante
maicon.amarante@iarroupilha.edu.br
http://pt.slideshare.net/maiconba
Maicon BI com Pentaho V MEPT 40 / 40