Tecniche Di Troubleshooting Nei Sistemi Distribuiti

Troubleshooting Tecniche per i sistemi distribuiti

Mi presento
Giuseppe Galli
Breve CV
Partner in K-Tech, CTO
Esperto in APM da 4 anni
Lavoro su soluzioni Java
nel dominio Enterprise dal 1998
In K-Tech da 7 anni
[email_address]

Agenda
Presentazione docente – azienda - seminario
Troubleshooting - ITIL
Scenario di esempio
Strumenti
Conclusioni e Domande

K-Tech s.r.l. Siamo una società che opera a 360° sulla tecnologia Java in ambito Enterprise. Con forti competenze in:
Application Performance Management
Software Performance Engineering
Configuration Management
Project Management
System Administration
OOAD
Formazione
Oracle – IBM – CA|Wily - ..
Open Source
Servizi in EMEA: MCS, CRC, Business Continuity 24X7 – on site < 24h from call Certificati ISO 9001 in “Progettazione ed erogazione di corsi di formazione” Dove abbiamo portato il nostro know-how

La formazione in Azienda
Formazione continua interna ed esterna
Abilitante per il Business del cliente
Portali tecnici su Java e Oracle
Distribuzione della conoscenza
Approccio risoluzione problemi

K-Tech Educational Nel nostro catalogo Formazione abbiamo corsi su:
Performance
Analisi
Architettura
Programmazione
Amministrazione
JBoss Application Server
Sviluppo Enterprise

Tirocinio per Tesi di Laurea Specialistica Possibili argomenti:
Studio della stabilità di un sistema software distribuito
Integrazioni di sistemi esterni di Enterprise Information Systems (EIS)
Sviluppo di sistemi ibridi con framework RAD e Java Enterprise
Per informazioni scrivere a: k-tech@k-tech.it

I seminari a Roma3 su APM
APM: WWWWW (What, Why, Where, Who, When) – 12-02-2009
Troubleshooting - tecniche per i sistemi distribuiti
Una notte in ufficio: ore 08:00 a.m. Risolto!
APM: Metodologia e strumenti
Performance (anti)patterns in Enterprise Architectures
Agile APM, an heretic's approach to SPE

Obiettivi del seminario Presentare le tecniche di troubleshooting nei sistemi distribuiti all'interno della disciplina APM ( Application Performance Management) e dei processi secondo ITIL (Information Technology Infrastructure Library) attraverso esempi pratici e casi reali .

Raccomandazioni
Il seminario è a beneficio di tutti
Ponete le domande secondo le modalità determinate con il docente
Ascoltate le risposte a domande non poste da voi: potrebbero dipanare dubbi ai vostri colleghi se non a voi stessi!
Gli interessati a specifici
approfondimenti possono contattarmi via email [email_address]

Troubleshooting - Obiettivo
Ristabilire il normale servizio il più rapidamente possibile e minimizzare gli effetti sfavorevoli sulle attività dell’organizzazione

Gestione delle Performance Applicative... Ruolo IT : i dati ← WWW -> i processi Performance applicative = Performance ditta

...Gestione delle Performance Applicative Aumentare
Competitività
Time 2 market
Affidabilità
Brand
Diminuire
Costi IT
Tempi per riparare
Errori e fermi
Stress

Troubleshooting - Definizioni
APM:
Gestione delle performance applicative
ITIL – Service Management (SM)
Incident management
Problem management

APM
L’APM in pratica si declina su due filoni distinti e con esigenze parzialmente opposte
Monitoring
Controllo in real time delle applicazioni in produzione
Incident management
Gestione degli eventi e delle attività nel caso di situazioni problematiche

Incident (ITILv3):
un evento non previsto dalle normali operazioni del servizio e che causa, o può causare, una interruzione o comunque una riduzione della qualità del servizio.

Problem (ITILv3):
La causa di uno o più incident. La causa scatenante non è conosciuta nel momento della creazione di un problem. La sua identificazione rientra nel processo della sua gestione: problem management.

Incident Management
Incident
Avviene in produzione (!#?!)
Impatta il livello di servizio e la user experience
E' fondamentale la rapidità di reazione
Metriche di tempi di ripristino e di soluzione (ITIL)
La sua gestione è basilare per il rapporto tra l’IT e i clienti
Tecniche e processi per minimizzarne gli effetti
Il troubleshooting
Processo a carico dell’IT, lo specialista APM interviene con un metodo specifico

Esempio…
Portale on line di compagnia aerea nazionale
Caratteristiche funzionali
Ricerche voli (tratte, costi, orari)
Disponibilità posti
Acquisto biglietti
Help Desk
Programma fidelizzazione cliente
Integrazione con i partner di una ‘Alliance’
24/7

… Esempio…
Caratteristiche tecniche
Ambiente distribuito
Tecnologia
JEE per il FE
Legacy per il BE

… Esempio
Problema: pessime performance in orario di ufficio
Impatto sul business
Crollo del numero di biglietti venduti
Nuovi sviluppi bloccati
Interventi
Non sistematici: Try and Fix
Adottate configurazioni estreme
Tempi di risoluzione dell'ordine dei mesi (MTR)
Sfiducia negli strumenti
Stress del personale

Il metodo
Indica cosa fare, quando e da chi
Nasce 'sul campo'
Risponde all'esigenza di poter agire in nostra assenza
Formalizza un processo
E' lasciato 'in eredità' ai nostri clienti
Si ispira alla letteratura ma è basato sull'esperienza
Viene utilizzato con successo e soddisfazione

Le Fasi
5 passi (4 Fasi + 1 Azione)
Detect & Verify
Triage
Root Cause Identification & ‘Drill down’
Develop a theory & Document
Solve

Detect & Verify
Detect & Verify
Triage
Root Cause Identification
Solve
I fase :
Individuare il problema e verificarlo
Individuato tramite l’Help Desk
Avviso automatico
Lamentele utenti

Triage
Detect & Verify
Triage
Solve
II fase:
Riconoscere le priorità
Selezionare tra i diversi avvisi di incident
Filtrare e correlare i segnali/dati
Assegnare i(l) task agli esperti (SME)

Root Cause Identification...
Detect & Verify
Triage
Solve
III fase:
Separare gli effetti dalle cause
Drill down a livello di componente, classe o metodo
NB:
Non intervenire qui per risolvere!

...Root Cause Identification
Detect & Verify
Triage
Solve
III fase:
Separare gli effetti dalle cause
Drill down a livello di componente, classe o metodo
NB:
Non intervenire qui per risolvere!
Monitoraggio Analisi Interventi

Develop a theory & Document...
Detect & Verify
Triage
Solve
IV fase:
Sviluppare un modello
Semplice
Causa ed effetto
Comprensibile anche dai manager non tecnici
Utilizzare i dati
Il modello non deve contraddirsi
Presentare un confronto con valori normali

… Develop a theory & Document
Detect & Verify
Triage
Solve
IV fase:
Sviluppare un modello
Semplice
Causa ed effetto
Comprensibile anche dai manager non tecnici
Utilizzando i dati
Il modello non deve contraddirsi
Presentare confronto con valori normali

Documentazione...
La documentazione dovrebbe presentare:
Quando il problema si è presentato
L'impatto sul servizio
I dati rilevati nella verifica e nell'analisi
La causa principale ed il perché è accaduto
Fare un confronto con valori dello stato normale
Mostrare con i dati il comportamento dei componenti

… Documentazione… L'applicazione è stata testata Sul mio laptop funziona Il DB risponde veloce Il cluster va bene E' colpa della rete

...Documentazione L'applicazione è stata testata Sul mio laptop funziona Il DB risponde veloce Il cluster va bene E' colpa della rete
La documentazione corretta elimina il Fingerpointing

Solve...
Detect & Verify
Triage
Solve
L'intervento risolutivo :
La risoluzione del problema
E’ a carico di un gruppo specifico dell’IT
Non fa parte dei compiti dello specialista APM
Può far venire fuori altri problemi sommersi
E dopo ?

...Solve
Detect & Verify
Triage
Solve
L'intervento risolutivo :
La risoluzione del problema
E’ a carico di un gruppo specifico dell’IT
Non fa parte dei compiti dello specialista APM
Può far venire fuori altri problemi sommersi
E dopo?
Monitoraggio Analisi Interventi

Esercizio 1
Dove cominciare?

Esercizio 1
Dove cominciare?
Pessime performance in orario di ufficio Impatto sul business: crollo del fatturato

Detect & Verify
Triage
Solve
Esercizio 1
Dove cominciare?
Pessime performance in orario di ufficio Impatto sul business: crollo del fatturato

Tecniche
Interazioni nel sistema distribuito
Classificazione dei problemi
Utilizzo dei dati del monitoraggio
valore, evoluzione, correlazione, confronto
'Solution path' Vs 'workaround'

A) Interazioni
Tra i moduli:
Identificazione dell'architettura
Tra i componenti
Identificazione dei flussi dei dati
Sincrone e Asincrone

Interazioni moduli
Diagramma di sistema

Interazioni moduli
Diagramma di sistema
Diagramma di deploy

Interazione tra componenti userView hotelView carView logon itineraryView seatView JSPs ReservationControllerServlet Itinerary SeatAssignments BookedSegments SearchHistory Preferences UserData Session Beans Pricing Flights Reservations User Entity Beans promotionView Points Upgrades Loyalty LoyaltyControllerServlet upgradeView supportView accountView signup Servlets

Esercizio
Interazione applicazione JEE con BE
JDBC via EntityBeans
Mainframe via custom framework da SessionBeans
Problema:
Come può impattare la scalabilità del sistema questa scelta architetturale?

B) Classificazione dei problemi
Tipi di problemi
Consistent problems
Progressive problems
Sudden problems
Periodic problems
Sporadic errors

Consistent problems
Sempre presenti
Indipendenti dal traffico utente e dall’hardware
Non si risolvono con un restart

Progressive problems
La criticità aumenta nel tempo
Impossibile ripristinare la situazione iniziale
Il server deve essere riavviato

Sudden problems
Problemi improvvisi
Non sono annunciati
Comportamento binario, non lineare

Periodic problems
Avvengono periodicamente
Il sistema riprende a funzionare automaticamente

Sporadic errors
Si presentano irregolarmente
Riguardano specifici utenti o funzioni
Non risultano dalle misure medie

Esercizio
Che tipo di problemi?
Connection leak
Deadlocked threads
Una funzione applicativa lenta
Un apparato di rete che funziona a intermittenza

C) Utilizzo dei dati del monitoraggio
Valore
Evoluzione
Correlazione
Confronto

Dati di monitoraggio
Valore
Da solo non ha un significato
Costruire una baseline come riferimento
Campionamento, proprietà statistiche, orario

Evoluzione
Trend di crescita

Correlazione
Controllare i valori ed i trend tra componenti diversi
Produttori e consumatori di servizi

Confronto
Con la baseline
Con le soglie (massime, minime, di allarme...)
Con dati storici
Prima e dopo le variazioni

Esempi
Dopo un nuovo rilascio una query al DB impiega 10.000 volte il tempo precedente
L'invocazione di un EJB è ripetuta da un componente migliaia di volte
Singleton sincronizzato

D) 'Solution path' Vs 'workaround'
Il percorso per la soluzione può richiedere molto tempo
L'intervento immediato può prevedere una 'soluzione' temporanea

Esempio
Connettore JCA per JMS non funziona in una transazione XA:
javax.transaction.xa.XAException
Resolution path: cambiare il codice
Workaround: suddividere la transazione XA in due XA con ambiti minori

Strumenti
JVM
Log, JMX
API
Aspectj, JAMon
Open source
NAGIOS, JRat
Monitoring + Troubleshooting
CA Introscope ™ , IBM ITCAM ™ , Quest Foglight ™
Troubleshooting + Monitoring
Dynatrace ™ , JXInsight ™, YourKit ™

Conclusioni
L’ambito lavorativo dell’APM
È abilitante per i sistemi
Affronta situazioni problematiche per far tornare le persone a sorridere
Necessita delle 3 ‘P’ Prodotti - Procedure – Persone

Riferimenti
APM on wikipedia
http://en.wikipedia.org/wiki/Application_Performance_Management
ITIL on wikipedia (italiano)
http:// it.wikipedia.org / wiki /ITIL
Java Italian Portal
http://www.javaportal.it/
CAPAF
http://www.capaf.ch/
CA|Wily educational services
http://www.ca.com/ us /education/ content.aspx ?cid=176408

Domande

Contatti
Per Tirocini Tesi di laurea Triennali e Specialistici scrivere a:
k-tech@k-tech.it

Ringraziamenti
Grazie alla Facoltà di Ingegneria dell’Università Roma TRE
Mara Marzocchi
K-Tech people
/.*/@k-tech.it Ing. Giuseppe Galli K-Tech srl [email_address]

Tecniche Di Troubleshooting Nei Sistemi Distribuiti

by K-Tech Formazione on Mar 30, 2010

Accessibility

Categories

Upload Details

Usage Rights

2 Embeds 42

Statistics

Tecniche Di Troubleshooting Nei Sistemi Distribuiti Presentation Transcript

http://www.k-tech.it	36
http://www.slideshare.net	6