Fly Together the TIM DIgital TransformationMarco Daccò
TIM ha avviato una trasformazione del dominio BSS (Programma FLY TOGETHER) per abilitare, in modo flessibile ed efficace, la trasformazione del proprio modello di business e operation in linea con i driver legati agli obiettivi di commercializzazione e gestione dei servizi Digitali. Per raggiungere tale obiettivo è stata identificata l’architettura target della Digital Service Delivery Platform (SDP) che ha lo scopo di:
• Massimizzare la Customer Experience verso i canali digitali (Portali Web e App)
• Ampliare il portafoglio di offerta con l’inserimento di nuovi servizi digitali con attenzione anche alla riduzione del time – to – market nell’introduzione di nuovi servizi/ prodotti sul mercato
• Supportare Modelli di Business nuovi: Full Digital Provider, API Economy, Platform economy
• Abilitare la Data Monetization attraverso l’interazione con un ecosistema di terze parti
AskQ Call Management System: uno strumento completo per la gestione delle chiamate e delle richieste di servizio.
Disegnato per una gestione remota e centralizzata, risponde perfettamente alla crescente richiesta di utilizzo di strumenti e servizi professionali senza acquisirne l’infrastruttura. Tutte le operazioni di mantenimento, backup e aggiornamento tecnologico sia hardware che software sono gestite centralmente dal team di supporto e sviluppo.
Presentazione per Smau. Le slide sono una sintesi del workshop presentato a Smau Milano 2016. n un mondo IT connesso con oggetti che
dialogano tra di loro, IoT, device sempre online,
un aspetto fondamentale è rappresentato dalla nuova generazione di gestionali in cloud.
Fly Together the TIM DIgital TransformationMarco Daccò
TIM ha avviato una trasformazione del dominio BSS (Programma FLY TOGETHER) per abilitare, in modo flessibile ed efficace, la trasformazione del proprio modello di business e operation in linea con i driver legati agli obiettivi di commercializzazione e gestione dei servizi Digitali. Per raggiungere tale obiettivo è stata identificata l’architettura target della Digital Service Delivery Platform (SDP) che ha lo scopo di:
• Massimizzare la Customer Experience verso i canali digitali (Portali Web e App)
• Ampliare il portafoglio di offerta con l’inserimento di nuovi servizi digitali con attenzione anche alla riduzione del time – to – market nell’introduzione di nuovi servizi/ prodotti sul mercato
• Supportare Modelli di Business nuovi: Full Digital Provider, API Economy, Platform economy
• Abilitare la Data Monetization attraverso l’interazione con un ecosistema di terze parti
AskQ Call Management System: uno strumento completo per la gestione delle chiamate e delle richieste di servizio.
Disegnato per una gestione remota e centralizzata, risponde perfettamente alla crescente richiesta di utilizzo di strumenti e servizi professionali senza acquisirne l’infrastruttura. Tutte le operazioni di mantenimento, backup e aggiornamento tecnologico sia hardware che software sono gestite centralmente dal team di supporto e sviluppo.
Presentazione per Smau. Le slide sono una sintesi del workshop presentato a Smau Milano 2016. n un mondo IT connesso con oggetti che
dialogano tra di loro, IoT, device sempre online,
un aspetto fondamentale è rappresentato dalla nuova generazione di gestionali in cloud.
Nell’intervento Stefano Olivotto di Crédit Agricole Italia ha illustrato la sua esperienza nell’adozione di uno strumento di API management e di un processo di gestione delle API, con una particolare focalizzazione su metodologia di adozione, sulle principali sfide indirizzate e un verticale sul livello di automazione raggiunto mediante l’adozione di tecniche di DevOps.
Per maggiori informazioni scrivi a sales@profesia.it
ICARO: soluzioni e strumenti smart per avere maggiore flessibilità sul Cloud; adattare soluzioni software alle nuove esigenze cloud-based; produrre e gestire servizi a consumo: Business Process as a Service.
ICARO: Tramite modelli, strumenti e algoritmi per la gestione della configurazione e del deploy dei servizi e processi cloud; Il middleware e l’astrazione dei servizi sul cloud; l’ottimizzazione dei costi per le PMI e per la gestione del cloud.
ICARO permette: automatizzare il processo di pubblicazione e vendita delle applicazioni a consumo su cloud; automatizzare il processo di monitoraggio di basso ed alto livello e l'impostazione di strategie di smart cloud; automatizzare il controllo sulle SLA (service level agreement) in modo da associare ad evetuali disfuzioni azioni di scaling, riconfigurazione, etc.
ICARO ha sviluppato: modello descrittivo per servizi e applicazioni;
sistema automatico di configurazione;
motore di intelligence per il cloud e reasoner che prendere decisioni su configurazioni: consistenza e completezza (sulla base din un ontologia Cloud per lo Smart Cloud);
soluzione di produzione del business, config automatica;
algoritmi per il monitoraggio del comportamento di servizi e applicazioni: IaaS, PaaS, SaaS,…;
soluzione PaaS di tipo evoluto; algoritmi per la valutazione di modelli di costo e di business;
adeguamento dell’architettura su alcune applicazioni; algoritmi di ottimizzazione della gestione del cloud.
Anno Accademico 2015
2015-2016
corso di Economia e Organizzazione Aziendale
Ingegneria Informatica (Laurea Mag.) 2o Anno (Secondo S.)
LEZIONE INTRODUTTIVA – VERSO L’ECONOMIA
DIGITALE – I TEMI DELLA TRASFORMAZIONE
07 Marzo 2016 – dalle ore 8.30 alle 10.30
AULA C2A – DIETI
Presentazione: La prima lezione del corso di Economia e Organizzazione Aziendale per
Ingegneria Informatica (Laurea Mag.) 2o Anno (Secondo S.) introduce i temi della trasformazione
in atto per effetto dei cambiamenti delle tecnologie della comunicazione e dell’informazione (ICT) e
presenta possibili scenari dell’economia digitale. La lezione è in forma di evento aperto ed ospita
ma
gli interventi di soggetti che operano nel mercato sul fronte della trasformazione.
PROGRAMMA
08,30
08,40
09,00
09,20
09,40
10,00
10,20
Carlo Sansone Coordinatore del CdL in Ingegneria Informatica
L’Università e la trasformazione digitale
Luigi Bianco – responsabile FEDERMANAGER per l’AGENDA DIGITALE
Le sfide del Management per la trasformazione digitale
Marco Lombardo – INDUSTRIA ITALIANA DEL SOFTWARE LIBERO – “Didotech”
Gli Agenti del mercato dopo la TRASFORMAZIONE DIGITALE
Fabio Cecaro, Presidente EUROCLOUD Italy
Il CLOUD per le Piccole e Medie Imprese
Francesco Castagna – Amministratore Delegato di SMS Engineering
Domanda e offerta di servizi per la trasformazione digitale – agenda digitale aziendale
Bruno Esposito – FORUM della RESPONSABILITÀ SOCIALE IN CAMPANIA
La responsabilità digitale per un’economia sostenibile
Valerio Teta docente incaricato del corso
Connext è un I/O Server in grado di gestire numerosi protocolli di comunicazione e interconnettere i diversi livelli di fabbrica IT e OT grazie alla tecnologia OPC UA. Connext è un OPC UA Server che supporta una grande quantità di protocolli, sia di tipo industriale che per infrastrutture ed edifici. Supporta funzionalità evolute come Gateway, Historian/Data Loggers, Ridondanza, OPC UA Server e Client, protocolli IIoT e molto altro ancora. E’ la soluzione ideale per ogni esigenza di connettività, sia M2M che tra i livelli di fabbrica IT e OT.
Finalmente la soluzione IoT che semplifica la connettività dei sistemi d’automazione, pensata per acquisire i tuoi dati e gestirli al meglio la Business Analytics. Progea Cloud.Databoom offre le migliori soluzioni per interconnettere i tuoi sistemi d’automazione, portando i dati dall’impianto al Cloud sfruttando la connettività dell’ Industrial Internet of Things (IIoT), per raccogliere le informazioni essenziali al tuo business, registrarle su DB NoSQL ed analizzarle in modo incredibilmente facile utilizzando Web Dashboard completamente personalizzabili.
Il progetto DeFacto è stato concepito a fronte delle manifeste difficoltà che le aziende hanno nel processo di trasformazione digitale, ovvero nell’adozione di pratiche agili e di DevOps, e a fronte della trasformazione dell’offerta da applicazioni monolitiche ad applicazioni cloud-native, basate su architetture a micro-servizi.
Herzum, come Software Factory, e il Dipartimento di Ingegneria Informatica, Modellistica, Elettronica e Sistemistica, come centro di ricerca dell’Università della Calabria, con la realizzazione di questo progetto, hanno implementato una soluzione innovativa per l’applicazione efficace e sicura di pratiche Agili e di DevSecOps nella gestione del ciclo di vita dei componenti software.
Open Source Day 2015 - DBaaS con Docker: un caso di studioPar-Tec S.p.A.
Il TechAdvisor Michelangelo Uberti spiega come realizzare un servizio di Database-as-a-Service basato su MySQL e Docker.
I punti trattati durante la presentazione sono:
- DB-as-a-Service: la semplicità del concept
- I possibili approcci
- Architettura di alto livello
- Focus sul Management Agent
- Orchestration at work
- Da cgroups a Docker
- Le sfide principali
- Quale futuro?
Per saperne di più, scaricate le slide e guardate il video della presentazione del nostro TechAdvisor su http://www.par-tec.it/dbaas-con-docker-un-caso-di-studio
Moving from Monolithic to Microservice Architecture: an OSS based stack deplo...Codemotion
Realizzare un’unica piattaforma che garantisce Omni-channel, Zero-downtime, Functional-decomposition e Auto-scaling è possibile? Vi raccontiamo un caso reale di come, utilizzando Zuul, Eureka, SpringBoot, Docker abbiamo realizzato i desideri del cliente e attuato questa trasformazione.
"Sistemi managed in alta affidabilità e in open source" by Andrea Di MarcoThinkOpen
13/02/2018
Il mondo del cloud computing: point of failure, sia a livello architetturale che fisico, dei servizi oggi presenti sul mercato, ma anche nuove possibili soluzioni per l'alta affidabilità.
Nell’intervento Stefano Olivotto di Crédit Agricole Italia ha illustrato la sua esperienza nell’adozione di uno strumento di API management e di un processo di gestione delle API, con una particolare focalizzazione su metodologia di adozione, sulle principali sfide indirizzate e un verticale sul livello di automazione raggiunto mediante l’adozione di tecniche di DevOps.
Per maggiori informazioni scrivi a sales@profesia.it
ICARO: soluzioni e strumenti smart per avere maggiore flessibilità sul Cloud; adattare soluzioni software alle nuove esigenze cloud-based; produrre e gestire servizi a consumo: Business Process as a Service.
ICARO: Tramite modelli, strumenti e algoritmi per la gestione della configurazione e del deploy dei servizi e processi cloud; Il middleware e l’astrazione dei servizi sul cloud; l’ottimizzazione dei costi per le PMI e per la gestione del cloud.
ICARO permette: automatizzare il processo di pubblicazione e vendita delle applicazioni a consumo su cloud; automatizzare il processo di monitoraggio di basso ed alto livello e l'impostazione di strategie di smart cloud; automatizzare il controllo sulle SLA (service level agreement) in modo da associare ad evetuali disfuzioni azioni di scaling, riconfigurazione, etc.
ICARO ha sviluppato: modello descrittivo per servizi e applicazioni;
sistema automatico di configurazione;
motore di intelligence per il cloud e reasoner che prendere decisioni su configurazioni: consistenza e completezza (sulla base din un ontologia Cloud per lo Smart Cloud);
soluzione di produzione del business, config automatica;
algoritmi per il monitoraggio del comportamento di servizi e applicazioni: IaaS, PaaS, SaaS,…;
soluzione PaaS di tipo evoluto; algoritmi per la valutazione di modelli di costo e di business;
adeguamento dell’architettura su alcune applicazioni; algoritmi di ottimizzazione della gestione del cloud.
Anno Accademico 2015
2015-2016
corso di Economia e Organizzazione Aziendale
Ingegneria Informatica (Laurea Mag.) 2o Anno (Secondo S.)
LEZIONE INTRODUTTIVA – VERSO L’ECONOMIA
DIGITALE – I TEMI DELLA TRASFORMAZIONE
07 Marzo 2016 – dalle ore 8.30 alle 10.30
AULA C2A – DIETI
Presentazione: La prima lezione del corso di Economia e Organizzazione Aziendale per
Ingegneria Informatica (Laurea Mag.) 2o Anno (Secondo S.) introduce i temi della trasformazione
in atto per effetto dei cambiamenti delle tecnologie della comunicazione e dell’informazione (ICT) e
presenta possibili scenari dell’economia digitale. La lezione è in forma di evento aperto ed ospita
ma
gli interventi di soggetti che operano nel mercato sul fronte della trasformazione.
PROGRAMMA
08,30
08,40
09,00
09,20
09,40
10,00
10,20
Carlo Sansone Coordinatore del CdL in Ingegneria Informatica
L’Università e la trasformazione digitale
Luigi Bianco – responsabile FEDERMANAGER per l’AGENDA DIGITALE
Le sfide del Management per la trasformazione digitale
Marco Lombardo – INDUSTRIA ITALIANA DEL SOFTWARE LIBERO – “Didotech”
Gli Agenti del mercato dopo la TRASFORMAZIONE DIGITALE
Fabio Cecaro, Presidente EUROCLOUD Italy
Il CLOUD per le Piccole e Medie Imprese
Francesco Castagna – Amministratore Delegato di SMS Engineering
Domanda e offerta di servizi per la trasformazione digitale – agenda digitale aziendale
Bruno Esposito – FORUM della RESPONSABILITÀ SOCIALE IN CAMPANIA
La responsabilità digitale per un’economia sostenibile
Valerio Teta docente incaricato del corso
Connext è un I/O Server in grado di gestire numerosi protocolli di comunicazione e interconnettere i diversi livelli di fabbrica IT e OT grazie alla tecnologia OPC UA. Connext è un OPC UA Server che supporta una grande quantità di protocolli, sia di tipo industriale che per infrastrutture ed edifici. Supporta funzionalità evolute come Gateway, Historian/Data Loggers, Ridondanza, OPC UA Server e Client, protocolli IIoT e molto altro ancora. E’ la soluzione ideale per ogni esigenza di connettività, sia M2M che tra i livelli di fabbrica IT e OT.
Finalmente la soluzione IoT che semplifica la connettività dei sistemi d’automazione, pensata per acquisire i tuoi dati e gestirli al meglio la Business Analytics. Progea Cloud.Databoom offre le migliori soluzioni per interconnettere i tuoi sistemi d’automazione, portando i dati dall’impianto al Cloud sfruttando la connettività dell’ Industrial Internet of Things (IIoT), per raccogliere le informazioni essenziali al tuo business, registrarle su DB NoSQL ed analizzarle in modo incredibilmente facile utilizzando Web Dashboard completamente personalizzabili.
Il progetto DeFacto è stato concepito a fronte delle manifeste difficoltà che le aziende hanno nel processo di trasformazione digitale, ovvero nell’adozione di pratiche agili e di DevOps, e a fronte della trasformazione dell’offerta da applicazioni monolitiche ad applicazioni cloud-native, basate su architetture a micro-servizi.
Herzum, come Software Factory, e il Dipartimento di Ingegneria Informatica, Modellistica, Elettronica e Sistemistica, come centro di ricerca dell’Università della Calabria, con la realizzazione di questo progetto, hanno implementato una soluzione innovativa per l’applicazione efficace e sicura di pratiche Agili e di DevSecOps nella gestione del ciclo di vita dei componenti software.
Open Source Day 2015 - DBaaS con Docker: un caso di studioPar-Tec S.p.A.
Il TechAdvisor Michelangelo Uberti spiega come realizzare un servizio di Database-as-a-Service basato su MySQL e Docker.
I punti trattati durante la presentazione sono:
- DB-as-a-Service: la semplicità del concept
- I possibili approcci
- Architettura di alto livello
- Focus sul Management Agent
- Orchestration at work
- Da cgroups a Docker
- Le sfide principali
- Quale futuro?
Per saperne di più, scaricate le slide e guardate il video della presentazione del nostro TechAdvisor su http://www.par-tec.it/dbaas-con-docker-un-caso-di-studio
Moving from Monolithic to Microservice Architecture: an OSS based stack deplo...Codemotion
Realizzare un’unica piattaforma che garantisce Omni-channel, Zero-downtime, Functional-decomposition e Auto-scaling è possibile? Vi raccontiamo un caso reale di come, utilizzando Zuul, Eureka, SpringBoot, Docker abbiamo realizzato i desideri del cliente e attuato questa trasformazione.
"Sistemi managed in alta affidabilità e in open source" by Andrea Di MarcoThinkOpen
13/02/2018
Il mondo del cloud computing: point of failure, sia a livello architetturale che fisico, dei servizi oggi presenti sul mercato, ma anche nuove possibili soluzioni per l'alta affidabilità.
Catch the Wave: SAP Event-Driven and Data Streaming for the Intelligence Ente...confluent
In our exclusive webinar, you'll learn why event-driven architecture is the key to unlocking cost efficiency, operational effectiveness, and profitability. Gain insights on how this approach differs from API-driven methods and why it's essential for your organization's success.
Unlocking the Power of IoT: A comprehensive approach to real-time insightsconfluent
In today's data-driven world, the Internet of Things (IoT) is revolutionizing industries and unlocking new possibilities. Join Data Reply, Confluent, and Imply as we unveil a comprehensive solution for IoT that harnesses the power of real-time insights.
Workshop híbrido: Stream Processing con Flinkconfluent
El Stream processing es un requisito previo de la pila de data streaming, que impulsa aplicaciones y pipelines en tiempo real.
Permite una mayor portabilidad de datos, una utilización optimizada de recursos y una mejor experiencia del cliente al procesar flujos de datos en tiempo real.
En nuestro taller práctico híbrido, aprenderás cómo filtrar, unir y enriquecer fácilmente datos en tiempo real dentro de Confluent Cloud utilizando nuestro servicio Flink sin servidor.
Industry 4.0: Building the Unified Namespace with Confluent, HiveMQ and Spark...confluent
Our talk will explore the transformative impact of integrating Confluent, HiveMQ, and SparkPlug in Industry 4.0, emphasizing the creation of a Unified Namespace.
In addition to the creation of a Unified Namespace, our webinar will also delve into Stream Governance and Scaling, highlighting how these aspects are crucial for managing complex data flows and ensuring robust, scalable IIoT-Platforms.
You will learn how to ensure data accuracy and reliability, expand your data processing capabilities, and optimize your data management processes.
Don't miss out on this opportunity to learn from industry experts and take your business to the next level.
La arquitectura impulsada por eventos (EDA) será el corazón del ecosistema de MAPFRE. Para seguir siendo competitivas, las empresas de hoy dependen cada vez más del análisis de datos en tiempo real, lo que les permite obtener información y tiempos de respuesta más rápidos. Los negocios con datos en tiempo real consisten en tomar conciencia de la situación, detectar y responder a lo que está sucediendo en el mundo ahora.
Eventos y Microservicios - Santander TechTalkconfluent
Durante esta sesión examinaremos cómo el mundo de los eventos y los microservicios se complementan y mejoran explorando cómo los patrones basados en eventos nos permiten descomponer monolitos de manera escalable, resiliente y desacoplada.
Purpose of the session is to have a dive into Apache, Kafka, Data Streaming and Kafka in the cloud
- Dive into Apache Kafka
- Data Streaming
- Kafka in the cloud
Build real-time streaming data pipelines to AWS with Confluentconfluent
Traditional data pipelines often face scalability issues and challenges related to cost, their monolithic design, and reliance on batch data processing. They also typically operate under the premise that all data needs to be stored in a single centralized data source before it's put to practical use. Confluent Cloud on Amazon Web Services (AWS) provides a fully managed cloud-native platform that helps you simplify the way you build real-time data flows using streaming data pipelines and Apache Kafka.
Q&A with Confluent Professional Services: Confluent Service Meshconfluent
No matter whether you are migrating your Kafka cluster to Confluent Cloud, running a cloud-hybrid environment or are in a different situation where data protection and encryption of sensitive information is required, Confluent Service Mesh allows you to transparently encrypt your data without the need to make code changes to you existing applications.
Citi Tech Talk: Event Driven Kafka Microservicesconfluent
Microservices have become a dominant architectural paradigm for building systems in the enterprise, but they are not without their tradeoffs. Learn how to build event-driven microservices with Apache Kafka
Confluent & GSI Webinars series - Session 3confluent
An in depth look at how Confluent is being used in the financial services industry. Gain an understanding of how organisations are utilising data in motion to solve common problems and gain benefits from their real time data capabilities.
It will look more deeply into some specific use cases and show how Confluent technology is used to manage costs and mitigate risks.
This session is aimed at Solutions Architects, Sales Engineers and Pre Sales, and also the more technically minded business aligned people. Whilst this is not a deeply technical session, a level of knowledge around Kafka would be helpful.
Transforming applications built with traditional messaging solutions such as TIBCO, MQ and Solace to be scalable, reliable and ready for the move to cloud
How can applications built with traditional messaging technologies like TIBCO, Solace and IBM MQ be modernised and be made cloud ready? What are the advantages to Event Streaming approaches to pub/sub vs traditional message queues? What are the strengeths and weaknesses of both approaches, and what use cases and requirements are actually a better fit for messaging than Kafka?
This session will show why the old paradigm does not work and that a new approach to the data strategy needs to be taken. It aims to show how a Data Streaming Platform is integral to the evolution of a company’s data strategy and how Confluent is not just an integration layer but the central nervous system for an organisation
Vous apprendrez également à :
• Créer plus rapidement des produits et fonctionnalités à l’aide d’une suite complète de connecteurs et d’outils de gestion des flux, et à connecter vos environnements à des pipelines de données
• Protéger vos données et charges de travail les plus critiques grâce à des garanties intégrées en matière de sécurité, de gouvernance et de résilience
• Déployer Kafka à grande échelle en quelques minutes tout en réduisant les coûts et la charge opérationnelle associés
Confluent Partner Tech Talk with Synthesisconfluent
A discussion on the arduous planning process, and deep dive into the design/architectural decisions.
Learn more about the networking, RBAC strategies, the automation, and the deployment plan.
2. Digital Integration Hub per il monitoraggio in near-real time della
logistica: il caso Arcese
CONFLUENT
Data In Motion Tour 2022
Milano
3.
4.
5. Confluent Kafka
● Investimento sia tattico che strategico.
● Strategico: nuova piattaforma di gruppo “A-Platform”.
● Tattico: possibilità di trasformare il nostro sistema legacy in un sistema “event-driven”.
Transport and Logistics Industry
● Mercato frammentato ed altamente competitivo.
● Bassi margini.
● Servizi visti dai clienti come una “commodity”.
Arcese
● Sviluppo di una piattaforma interna che permetta di rispondere alle sfide di business.
● Basata su un nuovo data model che possa rappresentare tutte le declinazioni di ordine di trasporto che ci
inviano i clienti, senza perdita di informazioni.
● Tra i suoi pillar c’è quello di Orchestration (Kafka).
6. Challenge
● Richiesta da parte del mercato di “real time visibility”.
● Tempi lunghi tra l’inserimento del dato e la sua disponibilità per successive elaborazioni.
Paradigm
● Il tempo tra l’inserimento del dato e la sua disponibilità deve essere di 5 minuti massimo.
Project Scope (Velocity)
● Trasformare un sistema legacy in un sistema “ad eventi”.
● Lavorando a livello di singola transazione sul database.
● Sfruttando tecnologie moderne di pub/sub (Kafka).
7. Arcese Track&Trace data pipeline
Actual: il “data journey” può arrivare
a 30’.
New Track&Trace: mediamente
passa 1 minuto dalla produzione
del dato alla sua pubblicazione sul
T&T.
8. Chi siamo?
Mauro Luchetti
Data Architect
mauro.luchetti@quantyca.it
Siamo un’azienda di consulenza tecnologica italiana specializzata
in data e metadata management.
Realizziamo data platform capaci di gestire l’intero ciclo di vita
del dato, dall'acquisizione fino ad arrivare all’utilizzo sia per finalità
analitiche (BI e AI) che operative (service integration), passando
per tutte le fasi intermedie di consolidamento.
La partnership con Confluent è sempre stata un punto di forza
nella realizzazione di architetture Event Driven.
quantyca.it
9. Update, Insert, Delete
Entità Coinvolte
TMS
Transportation
Management System
Ordine di
Trasporto
Viaggio
Unità di
Movimentazione
Note
Merci
Pericolose
…
Addebiti
Eventi
Attività
Fermate
Tratte
…
Track & Trace
Stato Ordine
Posizione
dell’Unità di
Movimentazione
Eventi di
Tracking
10. Problemi architettura AS-IS
Alta latenza verso gli applicativi consumatori del dato, siano essi a finalità
analitiche o operazionali. Per mantenere competitività nel mercato è necessario
pensare a soluzioni Real Time.
L’offloading del dato porta ad avere carico sul sistema sorgente.
Difficoltà nello sviluppo di nuove integrazioni, la messa in produzione di nuovi
servizi necessari al business richiede tempo ed è difficilmente scalabile.
Difficile gestione della Governance, l’accesso al database applicativo non è
univoco.
sistemi
gestionali
storage
operazionale
dati fruibili a
sistemi target
flussi batch
11. Digital Integration Hub
System of Engagement System Of Insight
System of Records
Legacy
Systems
Application
Layer
Digital
Integration
Hub
Data Gateway
Event-Based Integration Layer
Workload Specific Data Stores
Microservices
Metadata Management
● Layer di Integrazione basato su Eventi
● Storage ad alte performance, sia in ottica di
lettura che di ingestion del dato, con tecnologie
specifiche in base ai casi d’uso
● Insieme di Microservizi cooperanti tra loro per
ricostruire le viste necessarie agli applicativi
● Forte disaccoppiamento tra chi produce e chi
consuma il dato, grazie alla presenza di un Data
Gateway
● Raccolta dei Metadati utili ai fini di avere un
processo di Governance ben definito
12. Velocity
Legacy Confluent Cloud
Technical
Events
(Speed &
Fidelity)
Domain
Events
(Trusted
Views)
Business
Events
(Ease of
consumption)
Consumers
Data Science
Models
Microservices
Data Driven
Services
Reporting & SelfBI
Kafka
Stream
Kafka
Stream
Access Data Store
Governance
Data Quality Data Lineage Glossary Data Catalog
Analytical
Storage
Graph DB
Operational
Storage
Data Lake
13. Gestione della Consistenza: Sfide
CONSISTENZA TRANSAZIONALE: Sia il sistema sorgente che
quello target sono costituiti da RDBMS. La consistenza nelle
entità lette è garantita dalla transazionalità, ad è necessario
mantenerla pur avendo nel mezzo Kafka, un sistema non
transazionale.
CONSISTENZA DI ORDINAMENTO: Gli aggiornamenti al
modello devono necessariamente essere eseguiti in modo da
sovrascrivere solo gli stati più aggiornati. Nel caso di viste
aggregate complesse sul sistema sorgente è facile che gli
eventi vengano elaborati in modo non ordinato all’interno di
Kafka.
CONSISTENZA STORICA: Deve sempre essere possibile
ricreare le entità target in qualsiasi momento e senza perdita
di informazione. Kafka permette di avere retention infinita nei
topic ma non sempre questa soluzione è percorribile o
adeguata.
Topic Kafka
Target
Read
Model
Source
Aggregate
14. Gestione della Consistenza: Soluzioni
Technical
Events
(Speed &
Fidelity)
Domain
Events
(Trusted
Views)
Kafka Streams
Ecosystem
Buffering
Events
Closing
Transactions
Transactions
Metadata
Confluent Cloud
Unified Data Model
Buffering Layer
Business Events
(Ease of consumption)
Fast Storage
Integrità Transazione
Real Time Processing
Kafka Stream (Stateful)
Ordinamento /
Storicizzazione
Batch & near RT
processing
Spring Batch
✓ Soluzione Stateful che garantisce forte consistenza
✓ Fast Storage è un DB SQL compliant, facile integrazione
con le altre tecnologie e conoscenze aziendali
✓ Gli Eventi di Business possono essere arricchiti anche con
informazioni esterne
CDC
Governance
15. Governance
Data Product
Unified Data Model
Legacy Confluent Cloud
Technical
Events
(Speed &
Fidelity)
Domain
Events
(Trusted
Views)
Business
Events
(Ease of
consumption)
Consumers
Data Science
Models
Microservices
Data Driven
Services
Reporting & SelfBI
Kafka
Stream
Kafka
Stream
Access Data Store
Data Quality Data Lineage Glossary Data Catalog
Analytical
Storage
Graph DB
Operational
Storage
Data Lake
Source aligned Consumer aligned
TMS Trip
(LTL)
TMS
Transport Order
(LTL)
Trip Execution
Transport Order
Management &
Tracking
16. Open Data Mesh
Obiettivi
L’obiettivo del progetto Open Data Mesh è quello di
realizzare una piattaforma che permetta tramite una
serie di servizi implementati sia a livello di data product
experience plane che a livello di infrastructure utility
plane di gestire l’intero lifecycle di un data product a
partire dal deployment atomico fino ad arrivare alla
dismissione.
Principi
● Declarative
● Tech independent
● Standard agnostic
● Composable through templating
● Flexible in adoption
● Easily extensible
Componenti
● Data Product Descriptor Specification
● Open Data Mesh Platform (Core)
● Open Data Mesh Platform (Adapters)
In sintesi
Data Product Experience Plane
Data Product
Container
Data Product
Meta
App & Infra
Templates
Data Product Descriptor
/Create /Build /Deploy /Connect
Build
Descriptor
Deployment
Descriptor
/PolicyService /MetaService /BuildService /ProvisionService /IntegrationService
Infrastructure Utility Plane
Customer Infrastructure
Tech.
Independent
Adapters
Open Data
Mesh
Platform
17. Takeaway
Il monitoraggio dell’Ordine di Trasporto e la sua esecuzione nell’ambito LTL è passato da decine di minuti a pochi secondi.
I servizi consumatori non sono più costretti nella rappresentazione dei dati presente sul sistema sorgente, ma leggono da
uno Unified Data Model che rispecchia al meglio i concetti di business.
L’architettura introdotta gestisce alti volumi di dati in real time grazie all’estesa distribuzione di calcolo.
I sistemi sorgenti vengono totalmente scaricati da operazioni di elaborazione dei dati, si effettua offloading verso Confluent
e si collegano dunque i diversi consumatori del dato.
I costi di integrazione si riducono notevolmente, il dato prodotto al fine di essere condiviso è uniforme, non ambiguo e di
qualità certificata, rendendolo facilmente estendibile e scalabile.
A tutti i livelli dell’architettura è possibile raccogliere metadati sempre più necessari ai fini dei processi di governance.
Gestire la transazionalità all’interno di Kafka non è un’operazione semplice, soprattutto quando si
parte da sistemi relazionali e si hanno modifiche a più entità che costituiscono un unico evento di dominio.
18. Corso Milano, 45 / 20900 Monza (MB)
T. +39 039 9000 210 / F. +39 039 9000 211 / @ info@quantyca.it
www.quantyca.it