SlideShare a Scribd company logo
1 of 17
Download to read offline
qaware.de
Observability: Der Schlüssel für
Threat Detection, Mitigation und Analyse
Mario-Leander Reimer
mario-leander.reimer@qaware.de
@LeanderReimer
2
Mario-Leander Reimer
Principal Software Architect
@LeanderReimer
#cloudnativenerd #qaware
#gernperDude
Überwacht ihr eure IT Systeme oder Apps auf
ungewöhnliches Verhalten oder Security Alerts?
ⓘ Start presenting to display the poll results on this slide.
War in den letzten 12 Monaten ein Cyber-Angriff auf
eure IT-Systeme oder Apps erfolgreich?
ⓘ Start presenting to display the poll results on this slide.
QAware | 5
Bild von Gerd Altmann auf Pixabay
Observability
die Fähigkeit, die aktuellen Zustände eines Systems rein durch
Informationen aus Ausgabedaten, also Sensordaten, zu messen und
bewerten zu können
Observability ist nicht nur wichtig für den zuverlässigen und
effizienten Betrieb, sondern auch den sicheren Betrieb.
QAware | 7
Software Product
Quality
(ISO 25010)
● Modularity
● Reusability
● Analysability
● Modifiability
● Testability
Maintainability
● Confidentiality
● Integrity
● Non-repudiation
● Authenticity
● Accountability
Security
● Adaptability
● Installability
● Replaceability
Portability
● Co-existence
● Interoperability
Compatibility
● Maturity
● Availability
● Fault Tolerance
● Recoverability
Reliability
● Time Behaviour
● Resource Utilization
● Capacity
Efficiency
● Completeness
● Correctness
● Appropriateness
Functional Suitability
● Operability
● Learnability
● UI Aesthetics
● Accessibility
Usability
Die 3 Säulen guter Observability: Logs, Metriken, Traces.
QAware | 8
■ Logs: textuelle Aufzeichnung eines Events das zu einem Zeitpunkt stattgefunden hat
– Debug Logs, Access Logs, Audit Logs, Transaction Logs, …
– Beinhaltet einen Zeitstempel und eine Payload die zusätzlichen Kontext liefert
– Zahlreiche Formate: unstrukturiert, strukturiert, binär
■ Metriken: ein einfacher Zahlenwert der über ein Zeitintervall gemessen wird
– kann weitere Attribute wie einen Zeitstempel, Einheit, Name und KPIs enthalten
– Counter, Gauge, Meter, Histogram oder Timer
– Metriken sind strukturiert und häufig hierarchisch
■ Traces: zeigen den vollständigen Weg einer Anfrage durch ein verteiltes System
– jede Operation (ein "Span") hat eine ID, Namen, Dauer und zusätzliche relevante Attribute
Wichtig: Logs, Metriken und Traces müssen miteinander in Beziehung gesetzt werden um Probleme im
Betrieb ganzheitlich analysieren zu können.
Kernfunktionen moderner Observability Implementierungen
QAware | 9
■ Instrumentation: Messwerkzeuge die Telemetriedaten von Knoten, Containern, Services und
Anwendungen des Systems erfassen. Idealerweise Transparent innerhalb der Infrastruktur
■ Data Collection: sammeln, korrelieren, verarbeiten und speichern der Telemetriedaten. Ermöglicht
den schnellen Zugriff und die Suche für spätere Analysen
■ Reporting: Aufbereitung und Anzeige der verarbeiteten und korrelierten Telemetriedaten und
Zeitreihen auf Dashboards
■ Alerting: automatisches Alerting und triggern von Incident Responses (PagerDuty, ITSM, Slack)
basierend auf definierten Regeln.
■ Anomaly Detection: der Einsatz von Machine Learning Modellen ermöglicht die automatische
Priorisierung und Erkennung von (unbekannten) Problemen um das Alerting und den Incident
Response zu beschleunigen
CNCF Observability and Analysis - Logging
QAware | 10
https://landscape.cncf.io/card-mode?category=observability-and-analysis&grouping=category
Logging Collector /
Unified Logging Layer
Log Aggregation System
Das L im ELK Stack.
Erfassen, Parsen und
Anreichern von Logs
Structured Logging. Behandle deine Log Events als Daten
anstatt Plain Text.
QAware | 11
■ Was ist falsch an unstrukturierten Plain Text Logs?
– Viele unterschiedliche Formate. Parsen und Suchen ist mühsam, aufwändig und langsam.
– Wichtige Kontextinformationen sind Teil vom Text oder fehlen ganz.
■ Strukturierte Logs haben viele Vorteile.
– Easy Parsing. Damit einfache Weiterverarbeitung für BI und Analytics.
– Detailed Context. Unterstützung für zusätzliche Metadaten und Kontext Attribute
– Easy Search. Indizierung und Suche auf strukturierten Daten und Attributen.
– Easy Readability. Nicht nur für Maschinen, auch Admins und Devs können unter Einsatz der
richtigen Tools strukturierte Logs "lesen".
– Easy Transformation. Anonymisierung, Maskierung und Filterung von sensiblen Daten und
Attributen ist schnell und einfach umgesetzt (z.B. mit FluentD)
– Gute Unterstützung für Structured Logs in allen gängigen Frameworks und Technologien
– Üblicherweise als JSON (manchmal auch sowas wie Protobuf oder Avro)
CNCF Observability and Analysis - Monitoring
QAware | 12
Technische Metriken sind gut. Fachliche Metriken sind besser,
besonders zur Erkennung von Angriffen.
QAware | 13
■ Technische Metriken können ohne großen Aufwand von vielen Frameworks und Technologien
automatisch per Konfiguration exponiert werden.
■ Zur Bewertung ob ein Angriff oder eine abnormale Systemnutzung vorliegt braucht es jedoch häufig
zusätzliche fachliche Metriken, spezifisch für das jeweilige System.
■ Standard APIs ermöglichen solche fachlichen Metriken sehr einfach zusätzlich zu exponieren.
■ Der Fachbereich oder PO kennen die “normalen” Nutzer am besten. Fachlichen Metriken geben
zusätzlich Aufschluss über die Nutzung und Akzeptanz einer Anwendung.
– Fachliche Transaktionen pro Tag / Stunde
– Suchanfragen pro Nutzer pro Session
– Anzahl fehlgeschlagener Loginversuche
– ... et al.
CNCF Observability and Analysis - Tracing
QAware | 14
https://landscape.cncf.io/card-mode?category=observability-and-analysis&grouping=category
Wird ersetzt durch
OpenTelemetry
Easy-to-use
Distributed Tracing
Backend
Die Mutter aller Distributed
Tracing Systems
(created by Twitter)
Standard, APIs und SDKs
für Telemetry Daten
(Logs, Metriken, Traces)
Distributed
Tracing
Backend
Grafana based Observability Stack Architecture
QAware | 15
Ping Service
Pong Service
HTTP
GET
Traces
Traces
Metrics
lreimer/observability-devsec22
lreimer/observability-spring-boot
qaware.de
QAware GmbH
Aschauer Straße 32
81549 München
Tel. +49 89 232315-0
info@qaware.de
twitter.com/qaware
linkedin.com/company/qaware-gmbh
xing.com/companies/qawaregmbh
slideshare.net/qaware
github.com/qaware

More Related Content

Similar to Observability: Der Schlüssel für Threat Detection, Mitigation und Analyse

Security Scanner Design am Beispiel von httprecon
Security Scanner Design am Beispiel von httpreconSecurity Scanner Design am Beispiel von httprecon
Security Scanner Design am Beispiel von httpreconMarc Ruef
 
LineMetrics Data-as-a-Service - Monitoring für Bestandsgebäude
LineMetrics Data-as-a-Service - Monitoring für BestandsgebäudeLineMetrics Data-as-a-Service - Monitoring für Bestandsgebäude
LineMetrics Data-as-a-Service - Monitoring für BestandsgebäudeLeonieDelphineReschr
 
CryptionPro HDD Flyer deutsch
CryptionPro HDD Flyer deutschCryptionPro HDD Flyer deutsch
CryptionPro HDD Flyer deutschcynapspro GmbH
 
CryptionPro HDD Flyer deutsch
CryptionPro HDD Flyer deutschCryptionPro HDD Flyer deutsch
CryptionPro HDD Flyer deutschcynapspro GmbH
 
Steinzeit war gestern! Wege der Cloud-nativen Evolution.
Steinzeit war gestern! Wege der Cloud-nativen Evolution.Steinzeit war gestern! Wege der Cloud-nativen Evolution.
Steinzeit war gestern! Wege der Cloud-nativen Evolution.QAware GmbH
 
OSMC 2013 | Enterprise Platforms Monitoring at s IT Solutions AT by Johannes ...
OSMC 2013 | Enterprise Platforms Monitoring at s IT Solutions AT by Johannes ...OSMC 2013 | Enterprise Platforms Monitoring at s IT Solutions AT by Johannes ...
OSMC 2013 | Enterprise Platforms Monitoring at s IT Solutions AT by Johannes ...NETWAYS
 
Splunk Discovery Köln - 17-01-2020 - Security Operations mit Splunk
Splunk Discovery Köln - 17-01-2020 - Security Operations mit SplunkSplunk Discovery Köln - 17-01-2020 - Security Operations mit Splunk
Splunk Discovery Köln - 17-01-2020 - Security Operations mit SplunkSplunk
 
ABAP Qualitäts-Benchmark: Eine Analyse von über 200 SAP Installationen
ABAP Qualitäts-Benchmark: Eine Analyse von über 200 SAP InstallationenABAP Qualitäts-Benchmark: Eine Analyse von über 200 SAP Installationen
ABAP Qualitäts-Benchmark: Eine Analyse von über 200 SAP InstallationenVirtual Forge
 
Compliance und Governance in der DevOps-Acht
Compliance und Governance in der DevOps-AchtCompliance und Governance in der DevOps-Acht
Compliance und Governance in der DevOps-AchtBATbern
 
DevOps Prinzipien im Zusammenspiel mit Kubernetes
DevOps Prinzipien im Zusammenspiel mit Kubernetes DevOps Prinzipien im Zusammenspiel mit Kubernetes
DevOps Prinzipien im Zusammenspiel mit Kubernetes QAware GmbH
 
Digitale Datenerfassung an der Maschine | Digitale Zukunft Mittelstand Baden-...
Digitale Datenerfassung an der Maschine | Digitale Zukunft Mittelstand Baden-...Digitale Datenerfassung an der Maschine | Digitale Zukunft Mittelstand Baden-...
Digitale Datenerfassung an der Maschine | Digitale Zukunft Mittelstand Baden-...Bechtle
 
Technologieraum übergreifende Programmierung
Technologieraum übergreifende ProgrammierungTechnologieraum übergreifende Programmierung
Technologieraum übergreifende ProgrammierungFalk Hartmann
 
Karlsruher Entwicklertag 2016 - Monitoring 2.0: Alles im Lot?
Karlsruher Entwicklertag 2016 - Monitoring 2.0: Alles im Lot?Karlsruher Entwicklertag 2016 - Monitoring 2.0: Alles im Lot?
Karlsruher Entwicklertag 2016 - Monitoring 2.0: Alles im Lot?Marc Müller
 
Skalierung & Performance
Skalierung & PerformanceSkalierung & Performance
Skalierung & Performanceglembotzky
 
SysWatch
SysWatchSysWatch
SysWatchCamData
 
Safety Integrity Level | weyer spezial
Safety Integrity Level | weyer spezialSafety Integrity Level | weyer spezial
Safety Integrity Level | weyer spezialweyer gruppe
 
Migration von stark regulierten Anwendungen in die Cloud: Dem Teufel die See...
 Migration von stark regulierten Anwendungen in die Cloud: Dem Teufel die See... Migration von stark regulierten Anwendungen in die Cloud: Dem Teufel die See...
Migration von stark regulierten Anwendungen in die Cloud: Dem Teufel die See...QAware GmbH
 

Similar to Observability: Der Schlüssel für Threat Detection, Mitigation und Analyse (20)

Security Scanner Design am Beispiel von httprecon
Security Scanner Design am Beispiel von httpreconSecurity Scanner Design am Beispiel von httprecon
Security Scanner Design am Beispiel von httprecon
 
LineMetrics Data-as-a-Service - Monitoring für Bestandsgebäude
LineMetrics Data-as-a-Service - Monitoring für BestandsgebäudeLineMetrics Data-as-a-Service - Monitoring für Bestandsgebäude
LineMetrics Data-as-a-Service - Monitoring für Bestandsgebäude
 
CryptionPro HDD Flyer deutsch
CryptionPro HDD Flyer deutschCryptionPro HDD Flyer deutsch
CryptionPro HDD Flyer deutsch
 
CryptionPro HDD Flyer deutsch
CryptionPro HDD Flyer deutschCryptionPro HDD Flyer deutsch
CryptionPro HDD Flyer deutsch
 
Steinzeit war gestern! Wege der Cloud-nativen Evolution.
Steinzeit war gestern! Wege der Cloud-nativen Evolution.Steinzeit war gestern! Wege der Cloud-nativen Evolution.
Steinzeit war gestern! Wege der Cloud-nativen Evolution.
 
OSMC 2013 | Enterprise Platforms Monitoring at s IT Solutions AT by Johannes ...
OSMC 2013 | Enterprise Platforms Monitoring at s IT Solutions AT by Johannes ...OSMC 2013 | Enterprise Platforms Monitoring at s IT Solutions AT by Johannes ...
OSMC 2013 | Enterprise Platforms Monitoring at s IT Solutions AT by Johannes ...
 
Xidra 2016 DevOps
Xidra 2016 DevOpsXidra 2016 DevOps
Xidra 2016 DevOps
 
Splunk Discovery Köln - 17-01-2020 - Security Operations mit Splunk
Splunk Discovery Köln - 17-01-2020 - Security Operations mit SplunkSplunk Discovery Köln - 17-01-2020 - Security Operations mit Splunk
Splunk Discovery Köln - 17-01-2020 - Security Operations mit Splunk
 
JavaFX Real-World Apps
JavaFX Real-World AppsJavaFX Real-World Apps
JavaFX Real-World Apps
 
ABAP Qualitäts-Benchmark: Eine Analyse von über 200 SAP Installationen
ABAP Qualitäts-Benchmark: Eine Analyse von über 200 SAP InstallationenABAP Qualitäts-Benchmark: Eine Analyse von über 200 SAP Installationen
ABAP Qualitäts-Benchmark: Eine Analyse von über 200 SAP Installationen
 
Compliance und Governance in der DevOps-Acht
Compliance und Governance in der DevOps-AchtCompliance und Governance in der DevOps-Acht
Compliance und Governance in der DevOps-Acht
 
DevOps Prinzipien im Zusammenspiel mit Kubernetes
DevOps Prinzipien im Zusammenspiel mit Kubernetes DevOps Prinzipien im Zusammenspiel mit Kubernetes
DevOps Prinzipien im Zusammenspiel mit Kubernetes
 
Digitale Datenerfassung an der Maschine | Digitale Zukunft Mittelstand Baden-...
Digitale Datenerfassung an der Maschine | Digitale Zukunft Mittelstand Baden-...Digitale Datenerfassung an der Maschine | Digitale Zukunft Mittelstand Baden-...
Digitale Datenerfassung an der Maschine | Digitale Zukunft Mittelstand Baden-...
 
Technologieraum übergreifende Programmierung
Technologieraum übergreifende ProgrammierungTechnologieraum übergreifende Programmierung
Technologieraum übergreifende Programmierung
 
Karlsruher Entwicklertag 2016 - Monitoring 2.0: Alles im Lot?
Karlsruher Entwicklertag 2016 - Monitoring 2.0: Alles im Lot?Karlsruher Entwicklertag 2016 - Monitoring 2.0: Alles im Lot?
Karlsruher Entwicklertag 2016 - Monitoring 2.0: Alles im Lot?
 
Skalierung & Performance
Skalierung & PerformanceSkalierung & Performance
Skalierung & Performance
 
SysWatch
SysWatchSysWatch
SysWatch
 
Safety Integrity Level | weyer spezial
Safety Integrity Level | weyer spezialSafety Integrity Level | weyer spezial
Safety Integrity Level | weyer spezial
 
Softprom DACH 2018
Softprom DACH 2018 Softprom DACH 2018
Softprom DACH 2018
 
Migration von stark regulierten Anwendungen in die Cloud: Dem Teufel die See...
 Migration von stark regulierten Anwendungen in die Cloud: Dem Teufel die See... Migration von stark regulierten Anwendungen in die Cloud: Dem Teufel die See...
Migration von stark regulierten Anwendungen in die Cloud: Dem Teufel die See...
 

More from QAware GmbH

Make Agile Great - PM-Erfahrungen aus zwei virtuellen internationalen SAFe-Pr...
Make Agile Great - PM-Erfahrungen aus zwei virtuellen internationalen SAFe-Pr...Make Agile Great - PM-Erfahrungen aus zwei virtuellen internationalen SAFe-Pr...
Make Agile Great - PM-Erfahrungen aus zwei virtuellen internationalen SAFe-Pr...QAware GmbH
 
Fully-managed Cloud-native Databases: The path to indefinite scale @ CNN Mainz
Fully-managed Cloud-native Databases: The path to indefinite scale @ CNN MainzFully-managed Cloud-native Databases: The path to indefinite scale @ CNN Mainz
Fully-managed Cloud-native Databases: The path to indefinite scale @ CNN MainzQAware GmbH
 
Down the Ivory Tower towards Agile Architecture
Down the Ivory Tower towards Agile ArchitectureDown the Ivory Tower towards Agile Architecture
Down the Ivory Tower towards Agile ArchitectureQAware GmbH
 
"Mixed" Scrum-Teams – Die richtige Mischung macht's!
"Mixed" Scrum-Teams – Die richtige Mischung macht's!"Mixed" Scrum-Teams – Die richtige Mischung macht's!
"Mixed" Scrum-Teams – Die richtige Mischung macht's!QAware GmbH
 
Make Developers Fly: Principles for Platform Engineering
Make Developers Fly: Principles for Platform EngineeringMake Developers Fly: Principles for Platform Engineering
Make Developers Fly: Principles for Platform EngineeringQAware GmbH
 
Der Tod der Testpyramide? – Frontend-Testing mit Playwright
Der Tod der Testpyramide? – Frontend-Testing mit PlaywrightDer Tod der Testpyramide? – Frontend-Testing mit Playwright
Der Tod der Testpyramide? – Frontend-Testing mit PlaywrightQAware GmbH
 
Was kommt nach den SPAs
Was kommt nach den SPAsWas kommt nach den SPAs
Was kommt nach den SPAsQAware GmbH
 
Cloud Migration mit KI: der Turbo
Cloud Migration mit KI: der Turbo Cloud Migration mit KI: der Turbo
Cloud Migration mit KI: der Turbo QAware GmbH
 
Aus blau wird grün! Ansätze und Technologien für nachhaltige Kubernetes-Cluster
Aus blau wird grün! Ansätze und Technologien für nachhaltige Kubernetes-Cluster Aus blau wird grün! Ansätze und Technologien für nachhaltige Kubernetes-Cluster
Aus blau wird grün! Ansätze und Technologien für nachhaltige Kubernetes-Cluster QAware GmbH
 
Endlich gute API Tests. Boldly Testing APIs Where No One Has Tested Before.
Endlich gute API Tests. Boldly Testing APIs Where No One Has Tested Before.Endlich gute API Tests. Boldly Testing APIs Where No One Has Tested Before.
Endlich gute API Tests. Boldly Testing APIs Where No One Has Tested Before.QAware GmbH
 
Kubernetes with Cilium in AWS - Experience Report!
Kubernetes with Cilium in AWS - Experience Report!Kubernetes with Cilium in AWS - Experience Report!
Kubernetes with Cilium in AWS - Experience Report!QAware GmbH
 
50 Shades of K8s Autoscaling
50 Shades of K8s Autoscaling50 Shades of K8s Autoscaling
50 Shades of K8s AutoscalingQAware GmbH
 
Kontinuierliche Sicherheitstests für APIs mit Testkube und OWASP ZAP
Kontinuierliche Sicherheitstests für APIs mit Testkube und OWASP ZAPKontinuierliche Sicherheitstests für APIs mit Testkube und OWASP ZAP
Kontinuierliche Sicherheitstests für APIs mit Testkube und OWASP ZAPQAware GmbH
 
Service Mesh Pain & Gain. Experiences from a client project.
Service Mesh Pain & Gain. Experiences from a client project.Service Mesh Pain & Gain. Experiences from a client project.
Service Mesh Pain & Gain. Experiences from a client project.QAware GmbH
 
50 Shades of K8s Autoscaling
50 Shades of K8s Autoscaling50 Shades of K8s Autoscaling
50 Shades of K8s AutoscalingQAware GmbH
 
Blue turns green! Approaches and technologies for sustainable K8s clusters.
Blue turns green! Approaches and technologies for sustainable K8s clusters.Blue turns green! Approaches and technologies for sustainable K8s clusters.
Blue turns green! Approaches and technologies for sustainable K8s clusters.QAware GmbH
 
Per Anhalter zu Cloud Nativen API Gateways
Per Anhalter zu Cloud Nativen API GatewaysPer Anhalter zu Cloud Nativen API Gateways
Per Anhalter zu Cloud Nativen API GatewaysQAware GmbH
 
Aus blau wird grün! Ansätze und Technologien für nachhaltige Kubernetes-Cluster
Aus blau wird grün! Ansätze und Technologien für nachhaltige Kubernetes-Cluster Aus blau wird grün! Ansätze und Technologien für nachhaltige Kubernetes-Cluster
Aus blau wird grün! Ansätze und Technologien für nachhaltige Kubernetes-Cluster QAware GmbH
 
How to speed up Spring Integration Tests
How to speed up Spring Integration TestsHow to speed up Spring Integration Tests
How to speed up Spring Integration TestsQAware GmbH
 
Aus blau wird grün! Ansätze und Technologien für nachhaltige Kubernetes-Cluster
Aus blau wird grün! Ansätze und Technologien für nachhaltige Kubernetes-ClusterAus blau wird grün! Ansätze und Technologien für nachhaltige Kubernetes-Cluster
Aus blau wird grün! Ansätze und Technologien für nachhaltige Kubernetes-ClusterQAware GmbH
 

More from QAware GmbH (20)

Make Agile Great - PM-Erfahrungen aus zwei virtuellen internationalen SAFe-Pr...
Make Agile Great - PM-Erfahrungen aus zwei virtuellen internationalen SAFe-Pr...Make Agile Great - PM-Erfahrungen aus zwei virtuellen internationalen SAFe-Pr...
Make Agile Great - PM-Erfahrungen aus zwei virtuellen internationalen SAFe-Pr...
 
Fully-managed Cloud-native Databases: The path to indefinite scale @ CNN Mainz
Fully-managed Cloud-native Databases: The path to indefinite scale @ CNN MainzFully-managed Cloud-native Databases: The path to indefinite scale @ CNN Mainz
Fully-managed Cloud-native Databases: The path to indefinite scale @ CNN Mainz
 
Down the Ivory Tower towards Agile Architecture
Down the Ivory Tower towards Agile ArchitectureDown the Ivory Tower towards Agile Architecture
Down the Ivory Tower towards Agile Architecture
 
"Mixed" Scrum-Teams – Die richtige Mischung macht's!
"Mixed" Scrum-Teams – Die richtige Mischung macht's!"Mixed" Scrum-Teams – Die richtige Mischung macht's!
"Mixed" Scrum-Teams – Die richtige Mischung macht's!
 
Make Developers Fly: Principles for Platform Engineering
Make Developers Fly: Principles for Platform EngineeringMake Developers Fly: Principles for Platform Engineering
Make Developers Fly: Principles for Platform Engineering
 
Der Tod der Testpyramide? – Frontend-Testing mit Playwright
Der Tod der Testpyramide? – Frontend-Testing mit PlaywrightDer Tod der Testpyramide? – Frontend-Testing mit Playwright
Der Tod der Testpyramide? – Frontend-Testing mit Playwright
 
Was kommt nach den SPAs
Was kommt nach den SPAsWas kommt nach den SPAs
Was kommt nach den SPAs
 
Cloud Migration mit KI: der Turbo
Cloud Migration mit KI: der Turbo Cloud Migration mit KI: der Turbo
Cloud Migration mit KI: der Turbo
 
Aus blau wird grün! Ansätze und Technologien für nachhaltige Kubernetes-Cluster
Aus blau wird grün! Ansätze und Technologien für nachhaltige Kubernetes-Cluster Aus blau wird grün! Ansätze und Technologien für nachhaltige Kubernetes-Cluster
Aus blau wird grün! Ansätze und Technologien für nachhaltige Kubernetes-Cluster
 
Endlich gute API Tests. Boldly Testing APIs Where No One Has Tested Before.
Endlich gute API Tests. Boldly Testing APIs Where No One Has Tested Before.Endlich gute API Tests. Boldly Testing APIs Where No One Has Tested Before.
Endlich gute API Tests. Boldly Testing APIs Where No One Has Tested Before.
 
Kubernetes with Cilium in AWS - Experience Report!
Kubernetes with Cilium in AWS - Experience Report!Kubernetes with Cilium in AWS - Experience Report!
Kubernetes with Cilium in AWS - Experience Report!
 
50 Shades of K8s Autoscaling
50 Shades of K8s Autoscaling50 Shades of K8s Autoscaling
50 Shades of K8s Autoscaling
 
Kontinuierliche Sicherheitstests für APIs mit Testkube und OWASP ZAP
Kontinuierliche Sicherheitstests für APIs mit Testkube und OWASP ZAPKontinuierliche Sicherheitstests für APIs mit Testkube und OWASP ZAP
Kontinuierliche Sicherheitstests für APIs mit Testkube und OWASP ZAP
 
Service Mesh Pain & Gain. Experiences from a client project.
Service Mesh Pain & Gain. Experiences from a client project.Service Mesh Pain & Gain. Experiences from a client project.
Service Mesh Pain & Gain. Experiences from a client project.
 
50 Shades of K8s Autoscaling
50 Shades of K8s Autoscaling50 Shades of K8s Autoscaling
50 Shades of K8s Autoscaling
 
Blue turns green! Approaches and technologies for sustainable K8s clusters.
Blue turns green! Approaches and technologies for sustainable K8s clusters.Blue turns green! Approaches and technologies for sustainable K8s clusters.
Blue turns green! Approaches and technologies for sustainable K8s clusters.
 
Per Anhalter zu Cloud Nativen API Gateways
Per Anhalter zu Cloud Nativen API GatewaysPer Anhalter zu Cloud Nativen API Gateways
Per Anhalter zu Cloud Nativen API Gateways
 
Aus blau wird grün! Ansätze und Technologien für nachhaltige Kubernetes-Cluster
Aus blau wird grün! Ansätze und Technologien für nachhaltige Kubernetes-Cluster Aus blau wird grün! Ansätze und Technologien für nachhaltige Kubernetes-Cluster
Aus blau wird grün! Ansätze und Technologien für nachhaltige Kubernetes-Cluster
 
How to speed up Spring Integration Tests
How to speed up Spring Integration TestsHow to speed up Spring Integration Tests
How to speed up Spring Integration Tests
 
Aus blau wird grün! Ansätze und Technologien für nachhaltige Kubernetes-Cluster
Aus blau wird grün! Ansätze und Technologien für nachhaltige Kubernetes-ClusterAus blau wird grün! Ansätze und Technologien für nachhaltige Kubernetes-Cluster
Aus blau wird grün! Ansätze und Technologien für nachhaltige Kubernetes-Cluster
 

Observability: Der Schlüssel für Threat Detection, Mitigation und Analyse

  • 1. qaware.de Observability: Der Schlüssel für Threat Detection, Mitigation und Analyse Mario-Leander Reimer mario-leander.reimer@qaware.de @LeanderReimer
  • 2. 2 Mario-Leander Reimer Principal Software Architect @LeanderReimer #cloudnativenerd #qaware #gernperDude
  • 3. Überwacht ihr eure IT Systeme oder Apps auf ungewöhnliches Verhalten oder Security Alerts? ⓘ Start presenting to display the poll results on this slide.
  • 4. War in den letzten 12 Monaten ein Cyber-Angriff auf eure IT-Systeme oder Apps erfolgreich? ⓘ Start presenting to display the poll results on this slide.
  • 5. QAware | 5 Bild von Gerd Altmann auf Pixabay
  • 6. Observability die Fähigkeit, die aktuellen Zustände eines Systems rein durch Informationen aus Ausgabedaten, also Sensordaten, zu messen und bewerten zu können
  • 7. Observability ist nicht nur wichtig für den zuverlässigen und effizienten Betrieb, sondern auch den sicheren Betrieb. QAware | 7 Software Product Quality (ISO 25010) ● Modularity ● Reusability ● Analysability ● Modifiability ● Testability Maintainability ● Confidentiality ● Integrity ● Non-repudiation ● Authenticity ● Accountability Security ● Adaptability ● Installability ● Replaceability Portability ● Co-existence ● Interoperability Compatibility ● Maturity ● Availability ● Fault Tolerance ● Recoverability Reliability ● Time Behaviour ● Resource Utilization ● Capacity Efficiency ● Completeness ● Correctness ● Appropriateness Functional Suitability ● Operability ● Learnability ● UI Aesthetics ● Accessibility Usability
  • 8. Die 3 Säulen guter Observability: Logs, Metriken, Traces. QAware | 8 ■ Logs: textuelle Aufzeichnung eines Events das zu einem Zeitpunkt stattgefunden hat – Debug Logs, Access Logs, Audit Logs, Transaction Logs, … – Beinhaltet einen Zeitstempel und eine Payload die zusätzlichen Kontext liefert – Zahlreiche Formate: unstrukturiert, strukturiert, binär ■ Metriken: ein einfacher Zahlenwert der über ein Zeitintervall gemessen wird – kann weitere Attribute wie einen Zeitstempel, Einheit, Name und KPIs enthalten – Counter, Gauge, Meter, Histogram oder Timer – Metriken sind strukturiert und häufig hierarchisch ■ Traces: zeigen den vollständigen Weg einer Anfrage durch ein verteiltes System – jede Operation (ein "Span") hat eine ID, Namen, Dauer und zusätzliche relevante Attribute Wichtig: Logs, Metriken und Traces müssen miteinander in Beziehung gesetzt werden um Probleme im Betrieb ganzheitlich analysieren zu können.
  • 9. Kernfunktionen moderner Observability Implementierungen QAware | 9 ■ Instrumentation: Messwerkzeuge die Telemetriedaten von Knoten, Containern, Services und Anwendungen des Systems erfassen. Idealerweise Transparent innerhalb der Infrastruktur ■ Data Collection: sammeln, korrelieren, verarbeiten und speichern der Telemetriedaten. Ermöglicht den schnellen Zugriff und die Suche für spätere Analysen ■ Reporting: Aufbereitung und Anzeige der verarbeiteten und korrelierten Telemetriedaten und Zeitreihen auf Dashboards ■ Alerting: automatisches Alerting und triggern von Incident Responses (PagerDuty, ITSM, Slack) basierend auf definierten Regeln. ■ Anomaly Detection: der Einsatz von Machine Learning Modellen ermöglicht die automatische Priorisierung und Erkennung von (unbekannten) Problemen um das Alerting und den Incident Response zu beschleunigen
  • 10. CNCF Observability and Analysis - Logging QAware | 10 https://landscape.cncf.io/card-mode?category=observability-and-analysis&grouping=category Logging Collector / Unified Logging Layer Log Aggregation System Das L im ELK Stack. Erfassen, Parsen und Anreichern von Logs
  • 11. Structured Logging. Behandle deine Log Events als Daten anstatt Plain Text. QAware | 11 ■ Was ist falsch an unstrukturierten Plain Text Logs? – Viele unterschiedliche Formate. Parsen und Suchen ist mühsam, aufwändig und langsam. – Wichtige Kontextinformationen sind Teil vom Text oder fehlen ganz. ■ Strukturierte Logs haben viele Vorteile. – Easy Parsing. Damit einfache Weiterverarbeitung für BI und Analytics. – Detailed Context. Unterstützung für zusätzliche Metadaten und Kontext Attribute – Easy Search. Indizierung und Suche auf strukturierten Daten und Attributen. – Easy Readability. Nicht nur für Maschinen, auch Admins und Devs können unter Einsatz der richtigen Tools strukturierte Logs "lesen". – Easy Transformation. Anonymisierung, Maskierung und Filterung von sensiblen Daten und Attributen ist schnell und einfach umgesetzt (z.B. mit FluentD) – Gute Unterstützung für Structured Logs in allen gängigen Frameworks und Technologien – Üblicherweise als JSON (manchmal auch sowas wie Protobuf oder Avro)
  • 12. CNCF Observability and Analysis - Monitoring QAware | 12
  • 13. Technische Metriken sind gut. Fachliche Metriken sind besser, besonders zur Erkennung von Angriffen. QAware | 13 ■ Technische Metriken können ohne großen Aufwand von vielen Frameworks und Technologien automatisch per Konfiguration exponiert werden. ■ Zur Bewertung ob ein Angriff oder eine abnormale Systemnutzung vorliegt braucht es jedoch häufig zusätzliche fachliche Metriken, spezifisch für das jeweilige System. ■ Standard APIs ermöglichen solche fachlichen Metriken sehr einfach zusätzlich zu exponieren. ■ Der Fachbereich oder PO kennen die “normalen” Nutzer am besten. Fachlichen Metriken geben zusätzlich Aufschluss über die Nutzung und Akzeptanz einer Anwendung. – Fachliche Transaktionen pro Tag / Stunde – Suchanfragen pro Nutzer pro Session – Anzahl fehlgeschlagener Loginversuche – ... et al.
  • 14. CNCF Observability and Analysis - Tracing QAware | 14 https://landscape.cncf.io/card-mode?category=observability-and-analysis&grouping=category Wird ersetzt durch OpenTelemetry Easy-to-use Distributed Tracing Backend Die Mutter aller Distributed Tracing Systems (created by Twitter) Standard, APIs und SDKs für Telemetry Daten (Logs, Metriken, Traces) Distributed Tracing Backend
  • 15. Grafana based Observability Stack Architecture QAware | 15 Ping Service Pong Service HTTP GET Traces Traces Metrics
  • 17. qaware.de QAware GmbH Aschauer Straße 32 81549 München Tel. +49 89 232315-0 info@qaware.de twitter.com/qaware linkedin.com/company/qaware-gmbh xing.com/companies/qawaregmbh slideshare.net/qaware github.com/qaware