Intervento Pg Day

PostgreSQL & SpagoBI:

lo stack OpenSource per la BI

Andrea Gioia

[email_address]

First Italian PostgreSQL Day

PGDay 2007 – July 6,7 2007 – Prato, Italy

Obiettivo

Mostrare come grazie a SpagoBI e a PostgresSQL sia possibile costruire uno stack completo ed Open Source per la Business Intelligence a livello enterprise

SpagoBI + PostgreSql = Business Intelligence Open Source

Agenda

SpagoBI e la BI

Architettura di SpagoBI

Integrazione con PostgreSQL

Case Study

RoadMap

Agenda

SpagoBI e la BI

Case Study

RoadMap

Business Intelligence

” Business intelligence ( BI ) is a business management term, which refers to applications and technologies that are used to gather, provide access to, and analyze data and information about company operations.”

” Business intelligence systems can help companies have a more comprehensive knowledge of the factors affecting their business and they can help companies to make better business decisions.”

” In 1989 Howard Dresner, a Research Fellow at Gartner Group popularized "BI" as an umbrella term to describe a set of concepts and methods to improve business decision-making by using fact-based support systems.”

Ref. http://en.wikipedia.org/wiki/Business_intelligence

BI: focus sulle decisioni

Un qualunque sistema di supporto alle decisioni aziendali

SpagoBI

SpagoBI è ...

... una piattaforma di integrazione per soluzioni di BI a livello enterprise, sviluppata completamente secondo la filosofia FOSS

SpagoBI

SpagoBI è una piattaforma di integrazione per soluzioni di BI a livello enterprise, sviluppata completamente secondo la filosofia FOSS

...piattaforma?

Copre e soddisfa tutti i requisiti della BI:

Reporting, OLAP, Dashboard, DataMining, Free Inquiryng(QbE), Dossier, analisi georeferenziale

Gestione dei dati, profilatura e sicurezza

Supporto per l'amministratore(versionamento, schedulatore, iter di approvazione, import/export)

SpagoBI

SpagoBI è una piattaforma di integrazione per soluzioni di BI a livello enterprise, sviluppata completamente secondo la filosofia FOSS

...piattaforma di integrazione?

Non è una piattaforma prodotto con un set predefinito di tools

Aperto a molti prodotti per la stessa area analitica e per le varie aree, sia FOSS che proprietari

Permette di comporre volta per volta la propria piattaforma nel modo, migliore

Nessuna relazione vincolante o esclusiva con tool e prodotti

Assunzione di standard aperti

Permette di dare la risposta corretta alle domande analitiche utilizzando i punti di forza di più prodotti

SpagoBI

SpagoBI è una piattaforma di integrazione per soluzioni di BI a livello enterprise , sviluppata completamente secondo la filosofia FOSS

...a livello enterprise?

Architettura scalabile

Comportamento adattivo dei documenti in base ai ruoli dell'utente finale

SpagoBI

SpagoBI è una piattaforma di integrazione per soluzioni di BI a livello enterprise , sviluppata completamente secondo la filosofia FOSS

...sviluppata completamente secondo la filosofia FOSS?

Non è la versione ”lite” di un prodotto offerto commercialmente a livello enterprise

Rilasciato con licenza LGPL

SpagoBI Core & Engines

DEMO http://spagobi.eng.it/sbiportal

SpagoBI & Engineering Spa

L'azienda

37 sedi

4000 dipendenti

800 clienti

Linee di business

System and Business Integration

Prodotti

Consulenza direzionale

Sviluppo software

Formazione e outsourcing

Divisioni e mercati

Finanza

Industria

Pubblica amministrazione (centrale e locale)

Sanitò

Assicurazioni

Utilities

Ricerca ed Innovazione

http://www.eng.it/

SpagoBI & OW2

Mission

” Develop open source middleware (at large) and foster a vibrant community and business ecosystem ”

Internazionale

13 Strategic Members, 32 Corporate Members (al 30 giugno)

Ampia comunità di individui membri provenienti da più di 80 paesi

Università ed enti di ricerca

Costituzione di Local Chapters in Europa, Asia e Sud America

Aperto e neutrale

Consorzio no profit

Aperto a tutte le organizzazione e a tutti gli individui

http://www.ow2.org/

Agenda

SpagoBI e la BI

Integrazione con PostgreSql

Case Study

RoadMap

Architettura di una soluzione di BI

Delivery Layer

Analytical Layer

Data & Metadata Layer

Data access interfaces

Accesso ai metadati:

DAO Pattern + Hibernate

Accesso ai dati relazionali:

JNDI + JDBC

Accesso ai dati dimensionali:

MDX + XMLA

Accesso ai dati non strutturati:

JNDI + JSR170

Agenda

SpagoBI e la BI

Case Study

RoadMap

Database dei metadati

Dati utilizzati per il funzionameto dell'applicazione

Parametri di configurazione

Documenti analitici

Concetti di business

Utenti, ruoli e permessi

Parametri di processo

Accessi di tipo operazionale

Moli di dati contenute

Cuore dell'integrazione

Perchè PG come DB dei metadati?

Facile da far accettare al cliente

Facilita la configurazione e la manutenzione dell'applicazione

Open Source

Robusto

DWH

Contiene i dati di business utili all'analisi

Organizzato secondo una struttura dimensionale (StarSchema)

Contiene grossi volumi di dati

Periodicamente aggiornato con flussi ETL

Utilizzato per analisi di tipo OLAP

Perchè PG come DWH

OpenSource

Facile utilizzo

Robusto e affidabile

Performance paragonabili a quelle dei principali vendor

Problemi:

Il cliente ha già un altro db integrato nella struttura IT aziendale

Preconcetti sull' OpenSource in quanto ad affidabilità e performance

Agenda

SpagoBI e la BI

Case Study

RoadMap

Obiettivi del progetto

Sviluppo di un'applicazione, all'interno del sistema informativo della pubblica amministrazione in oggetto, per supportare il management della nelle politiche fiscali e di governo dei tributi

Specifiche di progetto

Acquisizione dei dati

Base dati consistente da cui poter estrarre con facilità le informazioni desiderate

Gestione delle variazioni nelle forniture

Infrastruttura solida, flessibile e parametrabilizzabile

Analisi OLAP e reportistica

Drill sui dati, confronti tra anni diversi, simulazioni (what-if)

Estensibilità

Distribuibilità

Stack SW tutto OpenSource

Hardware: 2 CPU Intel Xeon 3.6 Ghz - 3Gb di RAM

Sistema operativo: ReadHeat ES4 Update 3

ETL: custom Java (Talend)

DB: PostgreSQL 7.4.3

Application Server: JBoss (512MB di RAM allocati)

BI Platform: SpagoBI

Portal Container: ExoPortal

Tutto l'investimento in risorse

DataMart principale

Volumi di dati (anno 2001)

GESTIONALE

5.500.000 Dichiarazioni

2.500.000 Dichiarazioni 730

350.000 Dichiarazioni congiunte

2.700.000 Dichiarazioni CUD

2.000.000 Dichiarazioni UNICO

30.000.000 Quadri dichiarati

40.000.000 Quadri CUD

159.000.000 Quadri contabili

14.000.000 Quadri consuntivi

BI

3.500.000 Contribuenti/Anno

Performance OLAP

Server OLAP utilizzato:

Mondrian

Performance:

Caricamento del DM Contribuente aggregato per tipo di dichiarazione (5 tipi) e fascia di reddito (42 fasce): 30 sec.

Prima drill sulle fasce di reddito: 15 sec

Nessuna ulteriore ottimizzazione è stata richiesta dal cliente (db tuning, aggregate table, view o materialize view)

RoadMap di progetto REPORTISTICA ANALISI MULTIDIM ANALISI TERRITORIALI ENQUIRY GENERALIZZATA DASHBOARDS / CRUSCOTTERIA Fase 2 Fase 3 Fase 4 Fase 5 Fase 1 DATA MINING

Agenda

SpagoBI e la BI

Integrazine con PostgreSQL

Case Study

RoadMap

RoadMap 2007

SpagoBI 1.9.3 (rilasciato a fine Giugno 2007)

SpagoBI 2.0.0 (rilascio: inizio 2008)

Rich Client

Ambiente di sviluppo

Metadati

EII

SOA

Nuovi servizi e motori (es. GeoEngine)

GeoEngine & PostGIS

Riferimenti

http://www.spagobi.org (Home)

http://www.spagobi.org/sbiportal (OnLine Demo)

http://spagobi-info.eng.it/ (Sito di progetto, RoadMap)

http://forge.objectweb.org/project/showfiles.php?group_id=204 (Download)

http://www.eng.it (Engineering SpA)

http://www.ow2.org/ (OW2 Consortium)

Appendice: SpagoBI in azione

Licenza

Questa presentazione e distribuita con licenza CC by-nc-sa .

Il testo completo della licenza è reperibile presso il sito:

http://creativecommons.org/licenses/by-nc-sa/2.5/it/legalcode

Intervento Pg Day

0 comments

Notes on slide 1

1 Group