Copyright © 2012 NTT DATA Corporation
I N T R O D U C T I O N : C H I S I A M O
@simcellini
http://it.linkedin.com/pub/simone-cellini/61/574/313
@simone_gaddeo
https://it.linkedin.com/in/simone-gaddeo-8b5a22115
@CodemotionWorld @NTTDATA_IT #ce2016rtm
I N T R O D U C T I O N : TA L K
Come aiutiamo il Cliente a evolvere il proprio
Business da “Reactive” a “Proactive” ?
S U M M A R Y
Business Opportunity
Introduction
Architectural Solution
Tecnology Solution
Demo
Conclusions
Q & A
B U S I N E S S O P P O R T U N I T Y : C U S T O M E R O V E R V I E W
?
Il Cliente eroga
Business verso i
propri Utenti
Il Business è
erogato da uno
Stack Applicativo
complesso
La risoluzione dei
malfunzionamenti
avviene con alte
tempistiche
Monitoraggio
Stack Applicativo
assente
Difficoltà nella
valutazione della
User Experience /
Satisfation
B U S I N E S S O P P O R T U N I T Y : C U S T O M E R C O N S T R A I N T S
Software Hardware
Business
B U S I N E S S O P P O R T U N I T Y : P R O P O S A L
Customer Marketing
analisi statistiche sulla User Expirience
Creare una piattaforma per la :
• Raccolta
• Lavorazione
• Visualizzazione
di dati, con l’obiettivo di rendere semplici
le analisi statistiche ed applicative.
VISION
TARGET
Customer Production Maintenance
analisi applicativa sui comportamenti dello Stack
Customer Engineering
analisi statistiche sulle Performance
A R C H I T E C T U R A L S O L U T I O N : O V E R V I E W
BUSINESS
APPLICATION
MONITORING
APPLICATION
Users Web
Channel
Visualization
Application
Component
Data
Asynchrony
Control
CUSTOMER
EMPLOYEES
Marketing
Engineering
Production
Maintenance
A R C H I T E C T U R A L S O L U T I O N : B U S I N E S S A P P L I C AT I O N
Presentation
Business
Integration
Transversal
A R C H I T E C T U R A L S O L U T I O N : M O N I T O R I N G A P P L I C AT I O N
Agent
Producer
Controller Controller
Agent
Consumer
Master Controller
Control
Data
Application
Output
Asynchrony
Visualization
S C O U T I N G
SaaS
Open Source Closed Source
On Premise
T E C H N O L O G Y S O L U T I O N : J AVA T E C H N O L O G I E S
NIO
Non-blocking I/O è una collezione di Java API che offre delle nuove primitive per la
gestione del I/O
Java Concurrent API
Collezione di Java API che offre delle nuove primitive per la gestione della
programmazione concorrente
JMX
Java Management eXtensions è una tecnologia Java che fornisce strumenti per la
gestione del monitoraggio
T E C H N O L O G Y S O L U T I O N : A PA C H E K A F K A
Apache Kafka è sistema di publish-subscribe messaging.
Le caratteristiche principali sono :
• Velocità : gestione di centinaia di MB di letture e scritture al secondo
• Scalabilità : Kafka è progettato per consentire un singolo cluster principale
come spina dorsale dei flussi di dati. Può essere ampliato in maniera
trasparente
• Persistenza : I messaggi vengono memorizzati e replicati all'interno del cluster
per evitare la perdita di dati
• Fault-tolerance : L’utilizzo dei cluster garantisce la tolleranza ai guasti
T E C H N O L O G Y S O L U T I O N : E L A S T I C S E A R C H
ElasticSearch è un motore di ricerca scritto in Java, che si basa su strutture
NoSQL con logica documentale, utilizzato soprattutto in ambito di analisi su
BigData. I maggiori punti di forza di questo sistema distribuito sono:
• Open Source : Apache 2 Open Source License
• RESTful
• Analisi e ricerca real-time dei dati
• Alta affidabilità basata su cluster
• Alta scalabilità : possibilità di scalare orizzontalmente all’aumentare della mole
di dati da gestire
• Backup & Restore
T E C H N O L O G Y S O L U T I O N : K I B A N A
Kibana è una piattaforma di visualizzazione ed analisi dei dati molto flessibile.
Le caratteristiche principali sono :
• Sintesi in tempo reale
• Creazione intuitiva di varie tipologie di grafici (di dati in streaming)
• Utilizzo di Dashboard personalizzate
• Integrazione nativa con Elasticsearch
• Analisi sofisticate (trasformazioni matematiche complesse)
T E C H N O L O G Y S O L U T I O N : M O N I T O R I N G A P P L I C AT I O N
Agent
Producer
Controller Controller
Agent
Consumer
Master Controller
Control
Data
Application
Output
Asynchrony
Visualization
T E C H N O L O G Y S O L U T I O N : S I Z I N G & P E R F O R M A N C E
SIZING PERFORMANCEDATA SIZE
30
GB al giorno
900
GB al mese
11
TB all’anno
24
Core
48 GB
RAM
6 TB
HD
2
Kafka Nodes
4
ELS + Kibana
Nodes
[30 ms – 500 ms]
Elapsed for
Data Availability
[25 ms – 250 ms]
Elapsed for
Data Visualization
D E M O
E N H A N C E M E N T S
C O N C L U S I O N S
C O N C L U S I O N S
Non è la specie più intelligente a sopravvivere e
nemmeno quella più forte.
E’ quella più predisposta ai cambiamenti.
Charles Darwin
Q & A

Real Time Monitoring and Analitycs : Customer Experience in Production

  • 1.
    Copyright © 2012NTT DATA Corporation
  • 2.
    I N TR O D U C T I O N : C H I S I A M O @simcellini http://it.linkedin.com/pub/simone-cellini/61/574/313 @simone_gaddeo https://it.linkedin.com/in/simone-gaddeo-8b5a22115 @CodemotionWorld @NTTDATA_IT #ce2016rtm
  • 3.
    I N TR O D U C T I O N : TA L K Come aiutiamo il Cliente a evolvere il proprio Business da “Reactive” a “Proactive” ?
  • 4.
    S U MM A R Y Business Opportunity Introduction Architectural Solution Tecnology Solution Demo Conclusions Q & A
  • 5.
    B U SI N E S S O P P O R T U N I T Y : C U S T O M E R O V E R V I E W ? Il Cliente eroga Business verso i propri Utenti Il Business è erogato da uno Stack Applicativo complesso La risoluzione dei malfunzionamenti avviene con alte tempistiche Monitoraggio Stack Applicativo assente Difficoltà nella valutazione della User Experience / Satisfation
  • 6.
    B U SI N E S S O P P O R T U N I T Y : C U S T O M E R C O N S T R A I N T S Software Hardware Business
  • 7.
    B U SI N E S S O P P O R T U N I T Y : P R O P O S A L Customer Marketing analisi statistiche sulla User Expirience Creare una piattaforma per la : • Raccolta • Lavorazione • Visualizzazione di dati, con l’obiettivo di rendere semplici le analisi statistiche ed applicative. VISION TARGET Customer Production Maintenance analisi applicativa sui comportamenti dello Stack Customer Engineering analisi statistiche sulle Performance
  • 8.
    A R CH I T E C T U R A L S O L U T I O N : O V E R V I E W BUSINESS APPLICATION MONITORING APPLICATION Users Web Channel Visualization Application Component Data Asynchrony Control CUSTOMER EMPLOYEES Marketing Engineering Production Maintenance
  • 9.
    A R CH I T E C T U R A L S O L U T I O N : B U S I N E S S A P P L I C AT I O N Presentation Business Integration Transversal
  • 10.
    A R CH I T E C T U R A L S O L U T I O N : M O N I T O R I N G A P P L I C AT I O N Agent Producer Controller Controller Agent Consumer Master Controller Control Data Application Output Asynchrony Visualization
  • 11.
    S C OU T I N G SaaS Open Source Closed Source On Premise
  • 12.
    T E CH N O L O G Y S O L U T I O N : J AVA T E C H N O L O G I E S NIO Non-blocking I/O è una collezione di Java API che offre delle nuove primitive per la gestione del I/O Java Concurrent API Collezione di Java API che offre delle nuove primitive per la gestione della programmazione concorrente JMX Java Management eXtensions è una tecnologia Java che fornisce strumenti per la gestione del monitoraggio
  • 13.
    T E CH N O L O G Y S O L U T I O N : A PA C H E K A F K A Apache Kafka è sistema di publish-subscribe messaging. Le caratteristiche principali sono : • Velocità : gestione di centinaia di MB di letture e scritture al secondo • Scalabilità : Kafka è progettato per consentire un singolo cluster principale come spina dorsale dei flussi di dati. Può essere ampliato in maniera trasparente • Persistenza : I messaggi vengono memorizzati e replicati all'interno del cluster per evitare la perdita di dati • Fault-tolerance : L’utilizzo dei cluster garantisce la tolleranza ai guasti
  • 14.
    T E CH N O L O G Y S O L U T I O N : E L A S T I C S E A R C H ElasticSearch è un motore di ricerca scritto in Java, che si basa su strutture NoSQL con logica documentale, utilizzato soprattutto in ambito di analisi su BigData. I maggiori punti di forza di questo sistema distribuito sono: • Open Source : Apache 2 Open Source License • RESTful • Analisi e ricerca real-time dei dati • Alta affidabilità basata su cluster • Alta scalabilità : possibilità di scalare orizzontalmente all’aumentare della mole di dati da gestire • Backup & Restore
  • 15.
    T E CH N O L O G Y S O L U T I O N : K I B A N A Kibana è una piattaforma di visualizzazione ed analisi dei dati molto flessibile. Le caratteristiche principali sono : • Sintesi in tempo reale • Creazione intuitiva di varie tipologie di grafici (di dati in streaming) • Utilizzo di Dashboard personalizzate • Integrazione nativa con Elasticsearch • Analisi sofisticate (trasformazioni matematiche complesse)
  • 16.
    T E CH N O L O G Y S O L U T I O N : M O N I T O R I N G A P P L I C AT I O N Agent Producer Controller Controller Agent Consumer Master Controller Control Data Application Output Asynchrony Visualization
  • 17.
    T E CH N O L O G Y S O L U T I O N : S I Z I N G & P E R F O R M A N C E SIZING PERFORMANCEDATA SIZE 30 GB al giorno 900 GB al mese 11 TB all’anno 24 Core 48 GB RAM 6 TB HD 2 Kafka Nodes 4 ELS + Kibana Nodes [30 ms – 500 ms] Elapsed for Data Availability [25 ms – 250 ms] Elapsed for Data Visualization
  • 18.
  • 19.
    E N HA N C E M E N T S
  • 20.
    C O NC L U S I O N S
  • 21.
    C O NC L U S I O N S Non è la specie più intelligente a sopravvivere e nemmeno quella più forte. E’ quella più predisposta ai cambiamenti. Charles Darwin
  • 22.