Desafios da integração do software i3Geo com o Pentaho

1,120 views
1,017 views

Published on

0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
1,120
On SlideShare
0
From Embeds
0
Number of Embeds
7
Actions
Shares
0
Downloads
21
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

Desafios da integração do software i3Geo com o Pentaho

  1. 1. Desafios da integração do software i3Geo com oPentaho
  2. 2. ●A SAGE (Sala de Apoio à Gestão Estratégica) do Ministério da Saúdetem a responsabilidade pela qualificação e divulgação de dados doMinistério●Praticamente todos os dados possuem uma referência espacial,normalmente municípios, representados quase sempre na forma depolígonos●Em alguns casos utilizam-se referências que são representadaspontualmente, como os estabelecimentos de saúde
  3. 3. ●A SAGE utiliza gráficos, tabelas e mapas interativos para mostrar osdados●Esses mapas utilizam a API do Google Maps, o i3Geo ou a combinaçãode ambos. A escolha depende do tipo de dado e das características quese quer valorizar no resultado final●Quando a opção é pelo GM normalmente as informações são pontuais.Para inclusão nos mapas os dados passam pelo processo de conversãopara KML ou então são tratados diretamente em javascript, mas sempreas consultas são obtidas diretamente do banco de dados utilizando-sePHP.●Quando os mapas fazem parte de uma aplicação, com funcionalidadesmais complexas, ou quando é necessário representá-los na forma depolígonos, a opção é o i3Geo
  4. 4. ●Considerando-se apenas o i3Geo, atualmente existem mais decamadas configuradas e em condições de uso●Cada camada contém uma unidade de informação (variável) cujosdados estão em um banco Postgres+Postgis●A cada camada corresponde um arquivo de configuração que contém oSQL e a legenda (definição das classes e da simbologia)●Esses arquivos seguem a sintaxe utilizada pelo software Mapserver●Muitas das variáveis possuem dimensão tempo mas não estãorepresentadas dessa forma, mas isso vai mudar!!!●Espera-se um crescimento cada vez maior no número de camadasconsiderando-se o ritmo acelerado das demandas
  5. 5. Exemplo deum arquivoMapfile:
  6. 6. Afinal, o que é o i3Geo?●Software livre desenvolvido pelo Ministério do Meio Ambiente e“adotado” pelo Ministério da Saúde●Integrante do Portal do Software Público Brasileiro (quase que desde oinício do Portal)●Parceiro da Associação gvSIG (software desktop desenvolvido naEspanha e um dos mais usados no mundo)Para que serve:●Implementar mapas interativos na internet●Organizar o conjunto de camadas disponíveis●Oferecer serviços de acesso aos dados (download, “web services”...)
  7. 7. Quais os grandes desafios que temos no momento na SAGE:●Estamos em pleno movimento de implantação do Pentaho●Os processos de trabalho da SAGE estão sendo aprimorados●Os usuários estão cada vez mais ávidos pelos dados oferecidos(usuários da internet, técnicos, diretores, ministros e presidenta darepública...)●Novos softwares estão sendo testados e implementados (PDI, CCC2,SAIKU, D3JS...)●Os dados que manipulamos são cada vez mais importantes para osgestores, uma falha pode significar muita dor de cabeça●Mapas não são mais uma coisa “extra” ou “ilustrativa”●As pessoas adoram, precisam e querem mapas!!
  8. 8. Problemática (em relação aos mapas)●A grande quantidade de camadas (mapfiles) dificulta a manutenção dosmapas●O uso de SQL em cada camada exige muito cuidado pois alterações nobanco devem ser refletidas nos diversos arquivos de configuração●Dados com variações no tempo exigem tratamento especial nasaplicações (para evitar a proliferação de arquivos de configuração)●Não há um mecanismo adequado para documentar a origem dos dadosalém de outras características importantes que afetam seu uso(restrições, tipos de unidades de medida, qualidade, etc)●Os usuários querem softwares mais inteligentes e bacanas para aextração de informações e não apenas bons na visualização●Ao olhar um mapa o usuário quer também tabelas e gráficos, da mesmaforma, os gráficos e tabelas precisam dos mapas para que a análise sejacompleta
  9. 9. Solucionática●Aprimorar o i3Geo para que o tratamento de dados estatísticos sejapadronizado, facilitando a criação de cartogramas e permitindo arealização de processos analíticos mais avançados●Fazer com que o Pentaho e o i3Geo se falem para que um aproveite dooutro as funcionalidades que lhes são complementares
  10. 10. Nessa direção a SAGE está investindo em um novo produto chamadoGEOSAÚDE
  11. 11. Características:●Totalmente baseado no i3Geo●Não depende de uma estrutura específica do banco de dados●Baseia-se em metadados, que servem de ponte entre o banco de dadose a aplicação●Permite o tratamento de dados temporais●Realiza automaticamente as agregações dos dados(bairro->município->uf->região...)●O usuário utiliza um sistema de administração ou “ajudantes” para aconstrução dos metadados
  12. 12. Como o Geosaúde será oferecido aos municípios brasileiros, foi desenvolvido também um módulopara digitalização. Esse módulo permite a contrução dos limites políticos que serão utilizados para aespacialização dos dados
  13. 13. E o BI?Aliando a experiência com o uso do i3Geo e do Pentaho, mais opotencial do Geosaúde, queremos agora:●Visualizar mapas dentro do SAIKU utilizando o i3Geo●Utilizar o SAIKU para analisar os dados existentes em um mapa, ouseja, abrir o SAIKU a partir do i3Geo
  14. 14. Como fazer isso? Algumas ideias:●Utilizar a biblioteca GEOJSP e OGR para acessar dados via MDX. Issopermitiria a inclusão de uma query diretamente em um arquivo mapfile,substituindo o SQL●Utilizar os metadados do Geosaúde para gerar o arquivo XML deconfiguração de cubos. Isso permitiria que os dados utilizados em umaou mais camadas de um mapa pudessem ser “entendidos” peloMondrian
  15. 15. Exemplo de um mapfile com MDX:LAYERNAME geojs_ogr1TYPE pointSTATUS DEFAULTCONNECTIONTYPE OGRCONNECTION "http://127.0.0.1:8080/geojsp/GenerateGeoJSON?type=3&MDXQuery=SELECT [Age].[6-11] ON COLUMNS {Filter([GeospatialDimension.Geo].Children ([Age].[6-11]) > 40000)}ON ROWS FROM [Refugees]"DATA "OGRGeoJSON"TRANSPARENCY 100CLASSNAME " "STYLECOLOR 255 255 0OUTLINECOLOR 0 0 0SIZE 12SYMBOL pontoENDEND # CLASSEND # LAYER
  16. 16. Problemas●É necessário extrair os dados do banco, converter para GEOJSON edepois renderizar o mapa●Essa conversão e transporte pode ser bastante ineficiente nos casos depolígonos●É necessário um serviço que receba o MDX e gere o GEOJSONVantagem●Fácil integração com o BI e com o i3Geo, sem a necessidade dequalquer desenvolvimento adicional
  17. 17. ●A segunda opção (uso dos metadados) não foi testada, mas ofuncionamento seria mais ou menos dessa forma:● O usuário adiciona ao mapa uma ou mais camadas● O usuário escolhe camadas que possuem a mesma agregaçãogeográfica (municípios p.ex)● O usuário define as colunas desejadas● O sistema gera o XML no padrão que o Pentaho possa utilizar
  18. 18. Obrigado!Edmar MorettiSkype, gmail: edmar.moretti
  19. 19. Desafios da integração do software i3Geo com oPentaho
  20. 20. ●A SAGE (Sala de Apoio à Gestão Estratégica) do Ministério da Saúdetem a responsabilidade pela qualificação e divulgação de dados doMinistério●Praticamente todos os dados possuem uma referência espacial,normalmente municípios, representados quase sempre na forma depolígonos●Em alguns casos utilizam-se referências que são representadaspontualmente, como os estabelecimentos de saúdeOs municípios podem ser agregados em regiões desaúde, unidades da federação e outros tipos deregionalizações. Raramente utilizam-se dados emníveis menores, como setores censitários oubairros
  21. 21. ●A SAGE utiliza gráficos, tabelas e mapas interativos para mostrar osdados●Esses mapas utilizam a API do Google Maps, o i3Geo ou a combinaçãode ambos. A escolha depende do tipo de dado e das características quese quer valorizar no resultado final●Quando a opção é pelo GM normalmente as informações são pontuais.Para inclusão nos mapas os dados passam pelo processo de conversãopara KML ou então são tratados diretamente em javascript, mas sempreas consultas são obtidas diretamente do banco de dados utilizando-sePHP.●Quando os mapas fazem parte de uma aplicação, com funcionalidadesmais complexas, ou quando é necessário representá-los na forma depolígonos, a opção é o i3Geo
  22. 22. Exemplo de um painel composto de mapa e gráficosO mapa pode receber operações de zoom e panAs camadas do mapa podem ser ligadas oudesligadas
  23. 23. O usuário pode também interagir clicando em umponto no mapa para obter mais dados
  24. 24. Exemplo de uso do Google Maps
  25. 25. Exemplo de uso do Google Maps
  26. 26. Exemplo de uso do i3Geo no desenvolvimento de umaplicativo com diferentes funcionalidades
  27. 27. ●Considerando-se apenas o i3Geo, atualmente existem mais decamadas configuradas e em condições de uso●Cada camada contém uma unidade de informação (variável) cujosdados estão em um banco Postgres+Postgis●A cada camada corresponde um arquivo de configuração que contém oSQL e a legenda (definição das classes e da simbologia)●Esses arquivos seguem a sintaxe utilizada pelo software Mapserver●Muitas das variáveis possuem dimensão tempo mas não estãorepresentadas dessa forma, mas isso vai mudar!!!●Espera-se um crescimento cada vez maior no número de camadasconsiderando-se o ritmo acelerado das demandas
  28. 28. Exemplo deum arquivoMapfile:
  29. 29. Afinal, o que é o i3Geo?●Software livre desenvolvido pelo Ministério do Meio Ambiente e“adotado” pelo Ministério da Saúde●Integrante do Portal do Software Público Brasileiro (quase que desde oinício do Portal)●Parceiro da Associação gvSIG (software desktop desenvolvido naEspanha e um dos mais usados no mundo)Para que serve:●Implementar mapas interativos na internet●Organizar o conjunto de camadas disponíveis●Oferecer serviços de acesso aos dados (download, “web services”...)
  30. 30. Quais os grandes desafios que temos no momento na SAGE:●Estamos em pleno movimento de implantação do Pentaho●Os processos de trabalho da SAGE estão sendo aprimorados●Os usuários estão cada vez mais ávidos pelos dados oferecidos(usuários da internet, técnicos, diretores, ministros e presidenta darepública...)●Novos softwares estão sendo testados e implementados (PDI, CCC2,SAIKU, D3JS...)●Os dados que manipulamos são cada vez mais importantes para osgestores, uma falha pode significar muita dor de cabeça●Mapas não são mais uma coisa “extra” ou “ilustrativa”●As pessoas adoram, precisam e querem mapas!!
  31. 31. Problemática (em relação aos mapas)●A grande quantidade de camadas (mapfiles) dificulta a manutenção dosmapas●O uso de SQL em cada camada exige muito cuidado pois alterações nobanco devem ser refletidas nos diversos arquivos de configuração●Dados com variações no tempo exigem tratamento especial nasaplicações (para evitar a proliferação de arquivos de configuração)●Não há um mecanismo adequado para documentar a origem dos dadosalém de outras características importantes que afetam seu uso(restrições, tipos de unidades de medida, qualidade, etc)●Os usuários querem softwares mais inteligentes e bacanas para aextração de informações e não apenas bons na visualização●Ao olhar um mapa o usuário quer também tabelas e gráficos, da mesmaforma, os gráficos e tabelas precisam dos mapas para que a análise sejacompleta
  32. 32. Solucionática●Aprimorar o i3Geo para que o tratamento de dados estatísticos sejapadronizado, facilitando a criação de cartogramas e permitindo arealização de processos analíticos mais avançados●Fazer com que o Pentaho e o i3Geo se falem para que um aproveite dooutro as funcionalidades que lhes são complementares
  33. 33. Nessa direção a SAGE está investindo em um novo produto chamadoGEOSAÚDE
  34. 34. Características:●Totalmente baseado no i3Geo●Não depende de uma estrutura específica do banco de dados●Baseia-se em metadados, que servem de ponte entre o banco de dadose a aplicação●Permite o tratamento de dados temporais●Realiza automaticamente as agregações dos dados(bairro->município->uf->região...)●O usuário utiliza um sistema de administração ou “ajudantes” para aconstrução dos metadados
  35. 35. Como o Geosaúde será oferecido aos municípios brasileiros, foi desenvolvido também um módulopara digitalização. Esse módulo permite a contrução dos limites políticos que serão utilizados para aespacialização dos dados
  36. 36. E o BI?Aliando a experiência com o uso do i3Geo e do Pentaho, mais opotencial do Geosaúde, queremos agora:●Visualizar mapas dentro do SAIKU utilizando o i3Geo●Utilizar o SAIKU para analisar os dados existentes em um mapa, ouseja, abrir o SAIKU a partir do i3Geo
  37. 37. Como fazer isso? Algumas ideias:●Utilizar a biblioteca GEOJSP e OGR para acessar dados via MDX. Issopermitiria a inclusão de uma query diretamente em um arquivo mapfile,substituindo o SQL●Utilizar os metadados do Geosaúde para gerar o arquivo XML deconfiguração de cubos. Isso permitiria que os dados utilizados em umaou mais camadas de um mapa pudessem ser “entendidos” peloMondrian
  38. 38. Exemplo de um mapfile com MDX:LAYERNAME geojs_ogr1TYPE pointSTATUS DEFAULTCONNECTIONTYPE OGRCONNECTION "http://127.0.0.1:8080/geojsp/GenerateGeoJSON?type=3&MDXQuery=SELECT [Age].[6-11] ON COLUMNS {Filter([GeospatialDimension.Geo].Children ([Age].[6-11]) > 40000)}ON ROWS FROM [Refugees]"DATA "OGRGeoJSON"TRANSPARENCY 100CLASSNAME " "STYLECOLOR 255 255 0OUTLINECOLOR 0 0 0SIZE 12SYMBOL pontoENDEND # CLASSEND # LAYER
  39. 39. Problemas●É necessário extrair os dados do banco, converter para GEOJSON edepois renderizar o mapa●Essa conversão e transporte pode ser bastante ineficiente nos casos depolígonos●É necessário um serviço que receba o MDX e gere o GEOJSONVantagem●Fácil integração com o BI e com o i3Geo, sem a necessidade dequalquer desenvolvimento adicional
  40. 40. ●A segunda opção (uso dos metadados) não foi testada, mas ofuncionamento seria mais ou menos dessa forma:● O usuário adiciona ao mapa uma ou mais camadas● O usuário escolhe camadas que possuem a mesma agregaçãogeográfica (municípios p.ex)● O usuário define as colunas desejadas● O sistema gera o XML no padrão que o Pentaho possa utilizar
  41. 41. Obrigado!Edmar MorettiSkype, gmail: edmar.moretti

×