Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Obtenha  insights  consistentes para o seu negócio: Conheça o novo appliance IBM Netezza Christiano Hage (chrishg@br.ibm.c...
Agenda <ul><li>O que é o appliance IBM Netezza </li></ul><ul><li>Referências de clientes e principais benefícios de negóci...
Você ainda usaria o Google  se fossem necessários 3 Dias e 5 Pessoas  para obter o resultado? Information Management
” “ -  Gartner 2010 Magic Quadrant Gerenciamento complexo Exige recursos especializados Tuning constante Dias para uma úni...
Information Management Os dados continuam a  expandir exponencialmente. Análises de negócios estão se tornando mais comple...
Appliances <ul><li>Criado para um propósito específico </li></ul><ul><li>Servidor, storage e banco de dados integrados </l...
Arquitetura convencional de um ambiente de Data Warehouse SQL DATA Database Server Storage Red Brick <ul><li>DSS Query </l...
Proposta do Appliance para Data Warehouse
Simplicidade e compatibilidade com ferramentas do mercado ODBC 3.X JDBC Type 4 SQL-92 SQL-99 Analytics Appliance IBM Netez...
A abordagem revolucionária do IBM Netezza ” “ Análises de negócio mais simples, rápidas e acessíveis É o que o Netezza fez...
Page  Mídia Bancos e Serviços Financeiros Governo Saúde & Life Sciences Varejo / Indústria Telecom Outros
O verdadeiro appliance fornece ” “ implementação muito mais rápida e fácil Nos enviaram um appliance, nós o colocamos em n...
” “ velocidade para transformar o negócio - SVP Application Development, Nielsen O verdadeiro appliance fornece … quando a...
” “ formas inovadoras de trabalhar <ul><li>Eric Williams, CIO e VP Executivo,  Catalina Marketing </li></ul>O verdadeiro a...
” “ menor custo total de propriedade - Mark Saponar, CIO, iBasis O verdadeiro appliance fornece O nosso time de data wareh...
O Appliance IBM Netezza 1000 Banco de dados de alta Performance, joins, agregações, sorts, etc.  Compilador SQL Query Plan...
A S-Blade do Appliance Netezza
Os componentes da S-Blade™ Intel Quad-Core 2+ GHz CPU Dual-Core FPGA 125 MHz 32 GB DRAM IBM BladeCenter Server Netezza DB ...
CPU Requisição Armazenamento para propósito geral Requisição Arquitetura Tradicional utilizada para DW Carga de trabalho p...
Resultados Arquitetura Tradicional utilizada para DW Requisição Armazenamento para propósito geral CPU Carga de trabalho p...
Resultados Arquitetura IBM Netezza Armazenamento Inteligente CPU Requisição Processamento Paralelo Massivo Assimétrico MPP...
Resultados Arquitetura IBM Netezza Armazenamento Inteligente CPU Requisição 1% de tráfego na rede 2% de CPU requisitados P...
Asymmetric Massively Parallel Processing™ Massively Parallel  Intelligent Storage 1 2 3 920 Ÿ Ÿ Ÿ Rede SMP Host Front End ...
Asymmetric Massively Parallel Processing™ High-Performance Database Engine Streaming joins, aggregations, sorts S-Blade Pr...
Nosso segredo: a FPGA FPGA CPU Descomprime Elimina colunas não usadas Restringe Visibilidade Operações complexas: ∑ Joins,...
Asymmetric Massively Parallel Processing™ High-Performance Database Engine Streaming joins, aggregations, sorts, etc.   S-...
<ul><li>Dados e Temp espelhados </li></ul><ul><li>Falhas de disco não são percebidas pelo usuário </li></ul><ul><li>Dados ...
Alta disponibilidade Page  . . . . . . . . . . . . . . . S-Blades
A simplicidade do Appliance <ul><li>Sem configuração de dbspace/tablespace </li></ul><ul><li>Sem configuração de redo/phys...
A evolução da inteligência competitiva Relatórios e  Análises Ad-Hoc <ul><li>O que aconteceu? </li></ul><ul><li>Quando e o...
Arquitetura tradicional Detecção de Fraude Riscos Grid  Analítico Data Warehouse Dados SPSS/SAS C/C++, Java, Python, Fortr...
Desafios Sofisticação analítica limitada? Inflexível para mudar rotas? Toma muito tempo? Trabalhar apenas com amostras Alt...
Arquitetura com IBM Netezza: in-database analytics Detecção de Fraudes Riscos SPSS/SAS Grid Analítico Data Warehouse Dados...
Arquitetura com IBM Netezza: in-database analytics Detecção de Fraude Riscos SPSS/SAS
Família de Appliances IBM Netezza Netezza 100 Netezza 1000 Netezza H1000 Ambiente de desenvolvimento e testes Data Warehou...
Como identificar uma oportunidade para utilização de Netezza <ul><li>Grande volumes de dados (vários Terabytes, vários Pet...
Conclusão Dec 5, 2011  |  Confidential  <ul><li>Netezza é rápido </li></ul><ul><li>Apresenta o melhor preço/performance </...
 
Crie seu perfil no dW:  ibm.co/registrodW Participe da comunidade:  ibm.co/webcastsdw IBMdeveloperWorksBrasil   @soudW
Obrigado!   Christiano Hage [email_address] +55 11 5494-8889 CTS IBM Netezza http://solhub.isc.br.ibm.com/demo/netezza.htm...
Upcoming SlideShare
Loading in …5
×

Datawarehouse - Obtenha insights consistentes para o seu negócio: conheça o novo appliance IBM Netezza

861 views

Published on

O appliance IBM Netezza consiste em uma plataforma de banco de dados otimizado e integrado a um hardware de alta performance. Uma nova forma de análise em grandes volumes de dados é fator chave de competitividade para as empresas.

As soluções tradicionais de datawarehouse são rígidas, complexas, lentas e caras, inibindo a agilidade na tomada de decisões. O IBM Netezza é uma plataforma que foi desenvolvida para endereçar exatamente este problema: uma solução de performance desruptiva, administração muito simples e custo reduzido, utilizado para datawarehouses de grande volume e complexidade.

Ele integra banco de dados, servidor, e discos de armazenamento em um único rack. Sua arquitetura de processamento massivo paralelo combina blades de processamento, discos e um processo de filtragem de dados através de software armazenado diretamente em chips (FPGAs: field-programmable gate arrays). Este é o diferencial de performance do IBM Netezza quando comparado aos concorrentes: sua arquitetura é única e inteligente, devido ao uso de FPGAs com software gravado diretamente em silício, lê menos dados e também move menos dados entre os componentes internos, eliminando desperdícios e gargalos de processamento. Esta arquitetura dispensa tuning, índices, particionamento, etc. tornando a administração simples, permitindo que a equipe técnica tenha mais tempo para trabalhar em projetos de negócio ao invés de gastar tempo em atividades técnicas/administrativas que não geram valor agregado.

Veja o webcast no link http://www.videolog.tv/devworksbr/videos/716598

Published in: Education
  • Be the first to comment

  • Be the first to like this

Datawarehouse - Obtenha insights consistentes para o seu negócio: conheça o novo appliance IBM Netezza

  1. 1. Obtenha insights consistentes para o seu negócio: Conheça o novo appliance IBM Netezza Christiano Hage (chrishg@br.ibm.com) Outubro de 2011
  2. 2. Agenda <ul><li>O que é o appliance IBM Netezza </li></ul><ul><li>Referências de clientes e principais benefícios de negócio </li></ul><ul><li>Apresentação da arquitetura do appliance IBM Netezza </li></ul><ul><li>Porque Netezza é diferente? </li></ul><ul><li>Benefícios do “ in-database analytics ” </li></ul><ul><li>Como identificar uma oportunidade para utilização de Netezza? </li></ul><ul><li>Conclusão </li></ul>
  3. 3. Você ainda usaria o Google se fossem necessários 3 Dias e 5 Pessoas para obter o resultado? Information Management
  4. 4. ” “ - Gartner 2010 Magic Quadrant Gerenciamento complexo Exige recursos especializados Tuning constante Dias para uma única consulta Information Management Aproximadamente 70% dos Data Warehouses apresentam limitações de performance.
  5. 5. Information Management Os dados continuam a expandir exponencialmente. Análises de negócios estão se tornando mais complexas a medida que o negócio demanda respostas mais rápidas. O data warehouse agora é de missão crítica.
  6. 6. Appliances <ul><li>Criado para um propósito específico </li></ul><ul><li>Servidor, storage e banco de dados integrados </li></ul><ul><li>Interfaces padrão (SQL, JDBC, ODBC…) </li></ul><ul><li>Melhor preço/performance </li></ul><ul><li>Performance : 10-100x mais rápido </li></ul><ul><li>Simplicidade : Administração simples </li></ul><ul><li>Escalabilidade : Escalável a Petabytes </li></ul><ul><li>Inteligente : Eliminação de desperdícios de I/O </li></ul>
  7. 7. Arquitetura convencional de um ambiente de Data Warehouse SQL DATA Database Server Storage Red Brick <ul><li>DSS Query </li></ul><ul><li>FastLoad </li></ul><ul><li>Partitioning </li></ul><ul><li>Pre Mat Views </li></ul>CACHE <ul><li>Optimizer </li></ul><ul><li>Logging </li></ul><ul><li>Lock Mgr </li></ul>CACHE <ul><li>KAIO </li></ul><ul><li>Raw/Cook </li></ul><ul><li>Lock Mgr </li></ul>CACHE <ul><li>Raid </li></ul><ul><li>Vol Mgr </li></ul><ul><li>Lock Mgr </li></ul>CACHE I/O I/O I/O I/O SQL DATA Source Systems Client High Performance Loader 3rd Party Apps DBA CLI ETL Server SOLARIS LINUX HP-UX AIX WINDOWS TRU64
  8. 8. Proposta do Appliance para Data Warehouse
  9. 9. Simplicidade e compatibilidade com ferramentas do mercado ODBC 3.X JDBC Type 4 SQL-92 SQL-99 Analytics Appliance IBM Netezza 1000 Sistemas Fonte Clientes High Performance Loader 3rd Party Apps DBA CLI ETL Server SOLARIS LINUX HP-UX AIX WINDOWS TRU64
  10. 10. A abordagem revolucionária do IBM Netezza ” “ Análises de negócio mais simples, rápidas e acessíveis É o que o Netezza fez no mercado de data warehousing: Ele mudou totalmente a forma como pensamos data warehousing. - Philip Howard, Bloor Research O Appliance
  11. 11. Page Mídia Bancos e Serviços Financeiros Governo Saúde & Life Sciences Varejo / Indústria Telecom Outros
  12. 12. O verdadeiro appliance fornece ” “ implementação muito mais rápida e fácil Nos enviaram um appliance, nós o colocamos em nosso data center e o plugamos em nossa rede. Em 24 horas o appliance estava rodando. Não estou exagerando, foi tão fácil como estou dizendo. - Joseph Essas, Vice President e de Tecnologia, eHarmony e Harmony
  13. 13. ” “ velocidade para transformar o negócio - SVP Application Development, Nielsen O verdadeiro appliance fornece … quando as análises demoravam 24 horas eu ficava limitado, mas agora que elas demoram segundos, eu posso repensar o meu negócio completamente…
  14. 14. ” “ formas inovadoras de trabalhar <ul><li>Eric Williams, CIO e VP Executivo, Catalina Marketing </li></ul>O verdadeiro appliance fornece Com a tecnologia do Netezza, nós podemos individualizar as ofertas para milhões de clientes, resultando em aumento de resultados nunca antes visto na indústria .
  15. 15. ” “ menor custo total de propriedade - Mark Saponar, CIO, iBasis O verdadeiro appliance fornece O nosso time de data warehouse consiste em um ou dois colaboradores que precisam fazer apenas pequenas alterações a cada três meses.
  16. 16. O Appliance IBM Netezza 1000 Banco de dados de alta Performance, joins, agregações, sorts, etc. Compilador SQL Query Plan Otimizador Admininistração Processadores & RAM e FPGAs Dados de usuário Espelhamento Temp/Swap SMP Hosts S-Blades™ (FPGA-based Database Accelerator) Discos/Storage
  17. 17. A S-Blade do Appliance Netezza
  18. 18. Os componentes da S-Blade™ Intel Quad-Core 2+ GHz CPU Dual-Core FPGA 125 MHz 32 GB DRAM IBM BladeCenter Server Netezza DB Accelerator SAS Expander Module
  19. 19. CPU Requisição Armazenamento para propósito geral Requisição Arquitetura Tradicional utilizada para DW Carga de trabalho para Data Warehouse: Menos requisições, muita movimentação de dados
  20. 20. Resultados Arquitetura Tradicional utilizada para DW Requisição Armazenamento para propósito geral CPU Carga de trabalho para Data Warehouse: A arquitetura tradicional é ineficiente
  21. 21. Resultados Arquitetura IBM Netezza Armazenamento Inteligente CPU Requisição Processamento Paralelo Massivo Assimétrico MPP Assimétrico: Armazenamento de Dados Inteligente
  22. 22. Resultados Arquitetura IBM Netezza Armazenamento Inteligente CPU Requisição 1% de tráfego na rede 2% de CPU requisitados Processamento Paralelo Massivo Assimétrico MPP Assimétrico: Movimentação de dados altamente eficiente
  23. 23. Asymmetric Massively Parallel Processing™ Massively Parallel Intelligent Storage 1 2 3 920 Ÿ Ÿ Ÿ Rede SMP Host Front End Appliance IBM Netezza 1000 High-Speed Loader/Unloader Execution Engine SQL Compiler Query Plan Optimize Admin ODBC 3.X JDBC Type 4 OLE-DB SQL/92 Sistemas Fonte Clientes High Performance Loader 3rd Party Apps DBA CLI ETL Server SOLARIS LINUX HP-UX AIX WINDOWS TRU64 High-Performance Database Engine Streaming joins, aggregations, sorts S-Blade Processor & streaming DB logic S-Blade Processor & stre aming DB logic S-Blade Processor & streaming DB logic S-Blade Processor & streaming DB logic
  24. 24. Asymmetric Massively Parallel Processing™ High-Performance Database Engine Streaming joins, aggregations, sorts S-Blade Processor & streaming DB logic S-Blade Processor & streaming DB logic S-Blade Processor & streaming DB logic S-Blade Processor & streaming DB logic Execution Engine Massively Parallel Intelligent Storage 1 2 3 920 Ÿ Ÿ Ÿ Rede SMP Host Front End Appliance IBM Netezza 1000 High-Speed Loader/Unloader SQL Compiler Query Plan Optimize Admin SQL 1 2 3 1 2 3 1 2 3 1 2 3 Snippets 1 2 3 1 2 3 SQL Sistemas Fonte Clientes High Performance Loader 3rd Party Apps DBA CLI ETL Server SOLARIS LINUX HP-UX AIX WINDOWS TRU64
  25. 25. Nosso segredo: a FPGA FPGA CPU Descomprime Elimina colunas não usadas Restringe Visibilidade Operações complexas: ∑ Joins, Aggs, etc. select CIDADE, PRODUTO, sum(QUANTIDADE) from VENDAS where MES = '20091201' and SEGMENTO = 509123 and CATEGORIA = 'GASTRO‘ group by CIDADE, PRODUTO order by PRODUTO; Parte da tabela VENDAS (dados comprimidos) where MES = '20091201' and SEGMENTO = 509123 and CATEGORIA = 'GASTRO' sum(QUANTIDADE) group by, order by select CIDADE, PRODUTO, sum(QUANTIDADE)
  26. 26. Asymmetric Massively Parallel Processing™ High-Performance Database Engine Streaming joins, aggregations, sorts, etc. S-Blade Processor & streaming DB logic S-Blade Processor & streaming DB logic S-Blade Processor & streaming DB logic S-Blade Processor & streaming DB logic Massively Parallel Intelligent Storage 1 2 3 920 Ÿ Ÿ Ÿ Rede SMP Host Front End Netezza TwinFin Appliance High-Speed Loader/Unloader SQL Compiler Query Plan Optimize Admin Execution Engine ODBC 3.X JDBC Type 4 OLE-DB SQL/92 1 2 3 1 2 3 1 2 3 1 2 3 Consolidação Sistemas Fonte Clientes High Performance Loader 3rd Party Apps DBA CLI ETL Server SOLARIS LINUX HP-UX AIX WINDOWS TRU64
  27. 27. <ul><li>Dados e Temp espelhados </li></ul><ul><li>Falhas de disco não são percebidas pelo usuário </li></ul><ul><li>Dados em discos defeutuosos são regerados automaticamente </li></ul><ul><li>“ Bad sectors” regravados/realocados automaticamente </li></ul>Alta disponibilidade Dados Espelhamento Temp
  28. 28. Alta disponibilidade Page . . . . . . . . . . . . . . . S-Blades
  29. 29. A simplicidade do Appliance <ul><li>Sem configuração de dbspace/tablespace </li></ul><ul><li>Sem configuração de redo/physical/Logical log </li></ul><ul><li>Sem configuração de page/block </li></ul><ul><li>Sem configuração de extents </li></ul><ul><li>Sem configuração de área temporária </li></ul><ul><li>Sem configuração de RAID </li></ul><ul><li>Sem configuração de arquivos físicos ou lógicos </li></ul><ul><li>Sem necessidade de manutenção de Kernel de SO </li></ul><ul><li>Sem necessidade de manutenção de patches de SO </li></ul>Administração minimizada Sem índices ou tuning Sem instalações de software Passos da instalação: - Ligar na energia elétrica - Trocar senha - Rodar testes - Iniciar o projeto
  30. 30. A evolução da inteligência competitiva Relatórios e Análises Ad-Hoc <ul><li>O que aconteceu? </li></ul><ul><li>Quando e onde? </li></ul><ul><li>Quanto? </li></ul>Análises Preditivas <ul><li>O que vai acontecer? </li></ul><ul><li>Qual será o impacto? </li></ul>Otimização <ul><li>Qual a melhor alternativa? </li></ul>
  31. 31. Arquitetura tradicional Detecção de Fraude Riscos Grid Analítico Data Warehouse Dados SPSS/SAS C/C++, Java, Python, Fortran, … SQL ETL SQL ETL
  32. 32. Desafios Sofisticação analítica limitada? Inflexível para mudar rotas? Toma muito tempo? Trabalhar apenas com amostras Alto custo Processo ineficiente? Dificuldade em realizar experimentos?
  33. 33. Arquitetura com IBM Netezza: in-database analytics Detecção de Fraudes Riscos SPSS/SAS Grid Analítico Data Warehouse Dados C/C++, Java, Python, Fortran, … SQL ETL SQL ETL
  34. 34. Arquitetura com IBM Netezza: in-database analytics Detecção de Fraude Riscos SPSS/SAS
  35. 35. Família de Appliances IBM Netezza Netezza 100 Netezza 1000 Netezza H1000 Ambiente de desenvolvimento e testes Data Warehouse Alta Performance Analytics Alta densidade Queryable Archiving Back-up / DR 1 TB a 10 TB 1 TB a 1.5 PB 100 TB a 10 PB
  36. 36. Como identificar uma oportunidade para utilização de Netezza <ul><li>Grande volumes de dados (vários Terabytes, vários Petabytes) </li></ul><ul><li>Análises complexas em grandes bases de dados </li></ul><ul><li>Redução de gastos com tecnologias concorrentes (Teradata ou Exadata) </li></ul><ul><li>Tranferência de processamento para in-database analytics (SAS e SPSS) </li></ul><ul><li>Necessidade de simplicidade para realizar qualquer consulta no DW </li></ul><ul><li>Necessidade de performance para respostas em segundos ou minutos ao invés de horas ou dias </li></ul>
  37. 37. Conclusão Dec 5, 2011 | Confidential <ul><li>Netezza é rápido </li></ul><ul><li>Apresenta o melhor preço/performance </li></ul><ul><li>Netezza é SIMPLES </li></ul><ul><li>Netezza pode mudar seu negócio </li></ul>Faça um Test Drive!
  38. 39. Crie seu perfil no dW: ibm.co/registrodW Participe da comunidade: ibm.co/webcastsdw IBMdeveloperWorksBrasil @soudW
  39. 40. Obrigado! Christiano Hage [email_address] +55 11 5494-8889 CTS IBM Netezza http://solhub.isc.br.ibm.com/demo/netezza.html

×