Dati distribuiti e rappresentazione centralizzata, ovvero come valorizzare il...Denodo
Watch full webinar here: https://bit.ly/3m9tIkF
I dati sono il carburante della conoscenza, ma la loro mole fa emergere nuove sfide:
- come integrare dati eterogenei;
- come metterli a disposizione a chi ne ha bisogno;
- come renderne esplicito il significato.
Il Cloud, inoltre, rende il dato ubiquo e distribuito, amplificando la complessità e costringendoci a semplificarla, adottando un approccio basato sulla Data Virtualization.
Dopo anni di dominio incontrastato da parte dei database relazionali assistiamo ad un'incredibile proliferazione di soluzioni alternative.
Questa presentazione fornirà una mappa per navigare nel vasto mare dei database non relazionali senza andare alla deriva.
The document discusses how the database world is changing with the rise of NoSQL databases. It provides an overview of different categories of NoSQL databases like key-value stores, column-oriented databases, document databases, and graph databases. It also discusses how these NoSQL databases are being used with cloud computing platforms and how they are relevant for .NET developers.
Business Intelligence e Business Analytics sono termini che ricorrono ormai quotidianemente. Cosa significano? Che valore portano in una azienda? Come si crea una soluzione di Business Intelligece e di Business Analytics? Che strumenti mette a disposizione la piattaforma Microsoft? In questa sessione andremo ad introdurre tutti gli attori, gli strumenti e le tecnologie che concorrono a realizzare tali soluzioni, vendendone alcune "dal vivo" per capire come si usano ed il grande valore aggiunto che, in una società sempre più affamata di informazioni, ma ricca solo di dati, possono portare.
Dati distribuiti e rappresentazione centralizzata, ovvero come valorizzare il...Denodo
Watch full webinar here: https://bit.ly/3m9tIkF
I dati sono il carburante della conoscenza, ma la loro mole fa emergere nuove sfide:
- come integrare dati eterogenei;
- come metterli a disposizione a chi ne ha bisogno;
- come renderne esplicito il significato.
Il Cloud, inoltre, rende il dato ubiquo e distribuito, amplificando la complessità e costringendoci a semplificarla, adottando un approccio basato sulla Data Virtualization.
Dopo anni di dominio incontrastato da parte dei database relazionali assistiamo ad un'incredibile proliferazione di soluzioni alternative.
Questa presentazione fornirà una mappa per navigare nel vasto mare dei database non relazionali senza andare alla deriva.
The document discusses how the database world is changing with the rise of NoSQL databases. It provides an overview of different categories of NoSQL databases like key-value stores, column-oriented databases, document databases, and graph databases. It also discusses how these NoSQL databases are being used with cloud computing platforms and how they are relevant for .NET developers.
Business Intelligence e Business Analytics sono termini che ricorrono ormai quotidianemente. Cosa significano? Che valore portano in una azienda? Come si crea una soluzione di Business Intelligece e di Business Analytics? Che strumenti mette a disposizione la piattaforma Microsoft? In questa sessione andremo ad introdurre tutti gli attori, gli strumenti e le tecnologie che concorrono a realizzare tali soluzioni, vendendone alcune "dal vivo" per capire come si usano ed il grande valore aggiunto che, in una società sempre più affamata di informazioni, ma ricca solo di dati, possono portare.
Descrizione delle principali tecnologie abilitanti alla gestione dei Big Data, con particolare attenzione all’ecosistema che gravita intorno al framework Hadoop di Apache.
Descrizione delle principali tecnologie abilitanti alla gestione dei Big Data, con particolare attenzione all’ecosistema che gravita intorno al framework Hadoop di Apache.
Come funzionano i Retrieval-Augmented Generators (RAG) e quanto i database vettoriali sono fondamentali per poter memorizzare e utilizzare le sorgenti dati aziendali e personali?
Migrazione da sistemi proprietari a sistemi open sourceClaudio Cardinali
Processi e Casi reali di migrazione da sistemi proprietari a sistemi open source, Linux Day 2011 Magione Perugia, Claudio Cardinali – Open Source Specialist
(claudio@csolution.it)
Paolo Giardini – Consulente per la sicurezza delle informazioni
(paolo.giardini@solution.it)
Java al servizio della data science - Java developers' meetingNicola Pedot
What is Java's role in the Data Science market? Why consider solutions based on Java (and other JVM frameworks) for Data Analytics? And what solutions are available?
During this Java Developers' Meeting Datatellers will pay attention to these questions, presenting the software H2O.ai and KNIME, two Open Source platforms that in recent years are seeing a wide use especially in the analysis of big data. Attention will also be given to the synergy of the two tools, in the generation of advanced and customized Business Intelligence tools.
Archiviazione e gestione-documentale per le PMI, integrata anche a Metodo Evo...Metodo spa
Introduzione alla gestione documentale e relativa archiviazione per le PMI, integrata al gestionale Metodo Evolus, ma anche integrabile a gestionali diversi. Il tema del secondo evento "Appuntamento con Metodo". La soluzione presentata è Knos Enterprise 2.0.
Settima giornata italiana della statistica
La statistica un valore per una città moderna ed europea
Genova, 26 ottobre 2017
Palazzo Tursi Ufficio Statistica Palazzo Galliera
via Garibaldi 9
Polyglot Persistence e Big Data: tra innovazione e difficoltà su casi reali -...Data Driven Innovation
Oggi il tema non è più SI o NO ai sistemi NoSQL. Il problema sta nella capacità di essere “poliglotti” nell’uso di tecnologie per la gestione di dati e informazioni. Le strategie di innovazione sui Big Data nelle aziende non può prescindere dalla Polyglot Persistence, ma le difficoltà sono tante, specie in ambienti complessi ed enterprise. Ma la necessità di fare innovazione non è forte solo nelle startup, anzi…
Trovare ciò che serve nella confusione: comprendere i Big Data con l'analisi AWSAmazon Web Services
Ai giorno nostri, le informazioni sono una risorsa che deve ancora essere esplorata. Con l’evoluzione dei social media e della tecnologia, la raccolta di dati sta crescendo costantemente, raddoppiando ogni due anni poiché viene creato un numero sempre maggiore di flussi di dati. L’utente di Internet medio nel 2017 generava 1,5 GB di dati al giorno, un numero che raddoppia ogni 18 mesi. Un veicolo autonomo può generare da solo 4 TB al giorno. Ogni stabilimento di produzione "smart" genera 1PB al giorno. Tuttavia, il potenziale di utilizzo di questa abbondanza di dati deve ancora concretizzarsi, poiché sempre più compagnie e tecnologie di intelligenza artificiale stanno usando questi dati per fare scoperte e influenzare decisioni chiave. In questa sessione esamineremo lo stato attuale dei Big Data all'interno di AWS e analizzeremo in profondità gli ultimi trend in materia di Big Data, oltre che alcuni casi d'uso industriale. Scopriremo la gamma di servizi AWS per i dati gestiti che permettono ai clienti di concentrarsi sul rendere utili i dati, tra cui Amazon Aurora, RDS, DynamoDB, Redshift, Spectrum, ElastiCache, Kinesis, EMR, Elasticsearch Service e Gluehow. In questa sessione parleremo di questi servizi, mostrando come vengono utilizzati oggi dai nostri clienti e condivideremo la nostra visione per l’innovazione.
Speaker: Giorgio Nobile, Solutions Architect, AWS
Introduzione al Domain Driven Design (DDD)DotNetMarche
In questa sessione si approfondirà il concetto di Domain Driven Design, un principio di progettazione che può essere visto come una “forma-mentis” per aiutare a concepire e modellare applicazioni enterprise che fanno un forte uso del Domain Model. Questa metodologia, introdotta da Eric Evans, mette in risalto il dominio applicativo di un progetto, costituendo quindi il collante tra il modello analitico e il modello implementativo e trovando la sua naturale applicazione in ambienti di sviluppo agili come Extreme Programming. Come completamento della sessione verranno esaminate alcune tecniche di Layering e pattern architetturali che ben si sposano con questa tecnica.
Descrizione delle principali tecnologie abilitanti alla gestione dei Big Data, con particolare attenzione all’ecosistema che gravita intorno al framework Hadoop di Apache.
Descrizione delle principali tecnologie abilitanti alla gestione dei Big Data, con particolare attenzione all’ecosistema che gravita intorno al framework Hadoop di Apache.
Come funzionano i Retrieval-Augmented Generators (RAG) e quanto i database vettoriali sono fondamentali per poter memorizzare e utilizzare le sorgenti dati aziendali e personali?
Migrazione da sistemi proprietari a sistemi open sourceClaudio Cardinali
Processi e Casi reali di migrazione da sistemi proprietari a sistemi open source, Linux Day 2011 Magione Perugia, Claudio Cardinali – Open Source Specialist
(claudio@csolution.it)
Paolo Giardini – Consulente per la sicurezza delle informazioni
(paolo.giardini@solution.it)
Java al servizio della data science - Java developers' meetingNicola Pedot
What is Java's role in the Data Science market? Why consider solutions based on Java (and other JVM frameworks) for Data Analytics? And what solutions are available?
During this Java Developers' Meeting Datatellers will pay attention to these questions, presenting the software H2O.ai and KNIME, two Open Source platforms that in recent years are seeing a wide use especially in the analysis of big data. Attention will also be given to the synergy of the two tools, in the generation of advanced and customized Business Intelligence tools.
Archiviazione e gestione-documentale per le PMI, integrata anche a Metodo Evo...Metodo spa
Introduzione alla gestione documentale e relativa archiviazione per le PMI, integrata al gestionale Metodo Evolus, ma anche integrabile a gestionali diversi. Il tema del secondo evento "Appuntamento con Metodo". La soluzione presentata è Knos Enterprise 2.0.
Settima giornata italiana della statistica
La statistica un valore per una città moderna ed europea
Genova, 26 ottobre 2017
Palazzo Tursi Ufficio Statistica Palazzo Galliera
via Garibaldi 9
Polyglot Persistence e Big Data: tra innovazione e difficoltà su casi reali -...Data Driven Innovation
Oggi il tema non è più SI o NO ai sistemi NoSQL. Il problema sta nella capacità di essere “poliglotti” nell’uso di tecnologie per la gestione di dati e informazioni. Le strategie di innovazione sui Big Data nelle aziende non può prescindere dalla Polyglot Persistence, ma le difficoltà sono tante, specie in ambienti complessi ed enterprise. Ma la necessità di fare innovazione non è forte solo nelle startup, anzi…
Trovare ciò che serve nella confusione: comprendere i Big Data con l'analisi AWSAmazon Web Services
Ai giorno nostri, le informazioni sono una risorsa che deve ancora essere esplorata. Con l’evoluzione dei social media e della tecnologia, la raccolta di dati sta crescendo costantemente, raddoppiando ogni due anni poiché viene creato un numero sempre maggiore di flussi di dati. L’utente di Internet medio nel 2017 generava 1,5 GB di dati al giorno, un numero che raddoppia ogni 18 mesi. Un veicolo autonomo può generare da solo 4 TB al giorno. Ogni stabilimento di produzione "smart" genera 1PB al giorno. Tuttavia, il potenziale di utilizzo di questa abbondanza di dati deve ancora concretizzarsi, poiché sempre più compagnie e tecnologie di intelligenza artificiale stanno usando questi dati per fare scoperte e influenzare decisioni chiave. In questa sessione esamineremo lo stato attuale dei Big Data all'interno di AWS e analizzeremo in profondità gli ultimi trend in materia di Big Data, oltre che alcuni casi d'uso industriale. Scopriremo la gamma di servizi AWS per i dati gestiti che permettono ai clienti di concentrarsi sul rendere utili i dati, tra cui Amazon Aurora, RDS, DynamoDB, Redshift, Spectrum, ElastiCache, Kinesis, EMR, Elasticsearch Service e Gluehow. In questa sessione parleremo di questi servizi, mostrando come vengono utilizzati oggi dai nostri clienti e condivideremo la nostra visione per l’innovazione.
Speaker: Giorgio Nobile, Solutions Architect, AWS
Introduzione al Domain Driven Design (DDD)DotNetMarche
In questa sessione si approfondirà il concetto di Domain Driven Design, un principio di progettazione che può essere visto come una “forma-mentis” per aiutare a concepire e modellare applicazioni enterprise che fanno un forte uso del Domain Model. Questa metodologia, introdotta da Eric Evans, mette in risalto il dominio applicativo di un progetto, costituendo quindi il collante tra il modello analitico e il modello implementativo e trovando la sua naturale applicazione in ambienti di sviluppo agili come Extreme Programming. Come completamento della sessione verranno esaminate alcune tecniche di Layering e pattern architetturali che ben si sposano con questa tecnica.
Big Data e la forza degli eventi - Intervento di Melen
1. Big data ed eventi:
quasi un tutorial
Prof. Riccardo Melen
melen@disco.unimib.it
2.
3.
4. Big Data
Monitoraggio di reti e infrastrutture IT
• performance: data center, SOA/ESB, infrastrutture virtuali,…
• configurazione dei client
• sicurezza: firewall, IDS, ACL, log,…
Comportamento degli utenti
• accesso ai servizi
• clickstreams
• chiamate telefoniche: accounting, marketing, fraud detection
Localizzazione e sensori
• smartphones
• smart cities infrastructures
• personal/assisted living
5. Il percorso dei dati
normalizzazione/
memorizzazione
filtraggio
raccolta
strumentazione
analisi
6. High performance DBMS
High performance SQL DBMS
• Solid state disks
• Column-oriented databases
Ma i dati sono spesso
• non strutturati
• non utilizzati come in un DBMS classico (write/update transactions +
analytics)
NoSQL Databases
7. MapReduce
Un recente (2004) modello di programmazione
• scalabile su architetture parallele (shared-nothing)
• estremamente flessibile e di enorme successo
• implementazioni open source: Hadoop
• offerte Cloud: Amazon Elastic MapReduce (basato su Hadoop)
worker worker
MAP REDUCE
merge/sort
worker worker
MAP REDUCE
calcola una chiave ed emette lavora su liste di dati
la coppia (chiave, dato) con la stessa chiave
8. Vantaggi e limiti di MR
Una implementazione di MapReduce come Hadoop è
facile da utilizzare ed estremamente flessibile
• il framework gestisce i problemi di parallelizzazione, partizionamento
e bilanciamento del carico, fault tolerance
• lo storage è implementato con un file system distribuito (HDFS)
• il modello di programmazione è molto generale (ad esempio è
semplice mappare gli operatori relazionali)
• vi sono svilupppi continui (ad esempio Hive/HiveQL)
Non risolve tutti i problemi in maniera ottimale
• ad esempio non è un modello efficiente per effettuare analisi in
maniera ripetitiva sui dati mantenuti in un DB relazionale
• e comunque non abbiamo affrontato il problema della
strumentazione, della raccolta e del filtraggio preliminare dei dati
9. Cosa è un evento
TééâÜÜt? DD Åtzz|É ECDE
Un lieto evento Una fotografia
La connotazione temporale è alla base del significato
di un evento
10. Elaborazione di eventi
Quando parliamo elaborazione di eventi:
• l’ordinamento temporale ha un significato fondamentale
• in molti casi la risposta in tempo reale è un requisito essenziale
Scenari applicativi presenti e futuri
• Network fault e performance management
• Security management
• Financial transactions
• Marketing (A/B testing)
• «Smart city» applications
• Assisted living
11. Il percorso degli eventi
normalizzazione/
memorizzazione
filtraggio
raccolta
strumentazione
decisioni/azioni automatiche analisi real time (sliding window)
12. Correlazione di eventi
Elaborare eventi significa (anche) effettuarne la
correlazione temporale
Correlazione di eventi omogenei su un singolo dominio
(ordinamento, distanza temporale fra due eventi)
• sequenza di eventi osservata da un IDS
• sequenza di accessi a pagine di un sito
Correlazione di eventi eterogenei (o correlazione fra
eventi e informazioni di stato/configurazione)
• accesso fisico ad un edificio, eventi di motion detection provenienti da
videocamere, accesso al sistema informativo
13. Un esempio: Splunk
Splunk è un esempio di piattaforma
commerciale per la raccolta, la
correlazione e l’analisi dei dati
È dotata di agenti in grado di interfacciarsi
efficacemente con varie sorgenti di dati
(ad esempio WMI)
Effettua la indicizzazione dei dati in
parallelo, in modo da scalare fino a
workload giornalieri molto grandi (terabyte)
Fornisce un linguaggio per la ricerca e la
correlazione degli eventi (Search
Processing Language)
14. Le soluzioni disponibili
Splunk non è ovviamente l’unica soluzione disponibile:
esistono varie alternative, anche open source
• piattaforme orientate al monitoraggio di infrastrutture IT (es.: Nagios)
• soluzioni di gestione dei log (Logstash, Sumologic ecc.)
In generale le piattaforme disponibili sono progettate
per il supporto delle decisioni umane
Molto più sfidante è il problema della comprensione e
reazione automatica ai flussi di eventi con le loro
correlazioni
15. Open Event «Tapping» ?
Un concetto di Smart City avanzato: accesso aperto ad
una infrastruttura di gestione di flussi di eventi in tempo
reale
16. Un modello generale di
event processing
coordinamento e interfaccia integrazione e
integrazione utente presentazione
analisi behavior anomaly security esperti di
video analysis detection alerts dominio
Routing, distribuzione e analisi routing e analisi
filtraggio dei dati traffico IP del traffico
presence/ sensori di controllo
video
location movimento accessi
device e sensori