Splunk users connecting with like-minded people who are passionate about Splunk technology!

1. © 2017 SPLUNK INC.© 2017 SPLUNK INC.
User Group Splunk
26 septembre 2017 I Cité de l’Espace, Toulouse

2. © 2017 SPLUNK INC.
 17h00: Accueil
 17h30 : Début de la session
 Retour d’expérience Infomil
 Retour d’expérience Sopra Steria
 Le Machine Learning (Splunk)
 19h15 : Animation Planétarium
 19h30 : Cocktail
 20h30 : Fin
AGENDA

3. © 2017 SPLUNK INC.
Splunk
Guillaume LESEIGNEUR
Account Manager Splunk

4. © 2017 SPLUNK INC.
Splunk Company Overview
▶ Global HQs:
• San Francisco
• London
• Hong Kong
▶ 3,000+ employees
globally
▶ Annual Revenue:
$950M (YoY +42%)
▶ NASDAQ: SPLK
Company
▶ Free trial to
massive scale
▶ Splunk Products
• Splunk Enterprise
• Splunk Cloud
• Splunk Light
• Premium Solutions
Products
▶ 14,000+ customers
▶ Across 110+ countries
▶ Small to large
organizations
▶ More than 85 of the
Fortune 100
▶ Largest license:
• 1+ Petabytes/day
Customers

5. © 2017 SPLUNK INC.© 2017 SPLUNK INC.
Consultez régulièrement notre page France et assistez à l’un de nos
événements :
• Splunk 4 Rookies
• Splunk 4 Ninjas
• Webinars
• Table Ronde
• Petit-déjeuner thématique
• Etc…
DES EVENEMENTS REGULIERS EN FRANCE

6. © 2017 SPLUNK INC.© 2017 SPLUNK INC.
27 MARS 2018
MAISON DE LA MUTUALITÉ

7. © 2017 SPLUNK INC.
Infomil
Florian Cristina & Kevin Gandriau

8. CONFIDENTIEL - PROPRIETE INFOMIL
SPLUNK - INFOMIL
Florian CRISTINA
Kevin GANDRIAU
25 Septembre 2017
uxxxxxx vx.x - Initiales auteurJj/mm/aa

9. © 2017 SPLUNK INC.
CONFIDENTIEL – PROPRIÉTÉ INFOMIL
INFOMIL
▶ Créé en 1994
▶ 80 millions d'euros de chiffre d'affaires en 2016
▶ Plus de 500 collaborateurs sur sites dont près de la moitié
en prestation R&D
▶ 4 sites : Toulouse (siège social), Nantes, Paris et Île Maurice
▶ Plus de 600 magasins équipés (France, Espagne, Portugal,
Slovénie, Ile de la Réunion), 16 centrales d’achat et des entités
nationales
▶ 40 Millions d'utilisateurs
▶ 5 000 000 d'objets connectés (serveurs, réseaux, étiquettes)
9
Qui sommes nous ?

10. © 2017 SPLUNK INC.
CONFIDENTIEL – PROPRIÉTÉ INFOMIL
INFOMIL
▶ INFOMIL crée et développe de nouvelles solutions
informatiques (logicielles et matérielles) pour le compte de
ses clients du RETAIL.
▶ Activités principales :
• Développement de logiciels
• Fournisseur d’applications hébergées (e-commerce, carte de fidélité,
carte cadeau, recharge carte téléphonique)
• Centre d’appel & Service client
• Installation
• Formation
• Distribution
Activités
10

11. © 2017 SPLUNK INC.
CONFIDENTIEL – PROPRIÉTÉ INFOMIL
NOS MÉTIERS & SOLUTIONS
Expertise IT
11
Solution
Front Office
Solution
Back Office
Infrastructures
Réseaux
& télécoms

12. © 2017 SPLUNK INC.
CONFIDENTIEL – PROPRIÉTÉ INFOMIL
NOS MÉTIERS & SOLUTIONS
12
Solution
Data Warehouse
& Reporting
Solution
Digital Commerce
Solution
Digital Signage
Use case
drive
Expertise IT

13. © 2017 SPLUNK INC.
CONFIDENTIEL – PROPRIÉTÉ INFOMIL
POURQUOI SPLUNK ?
▶ Facilité de prise en main par tous les profils de la société
• Technicien, ingénieur, chef de projet, responsable de services
• développeur, concepteur, ingénieur système et réseau, exploitant
▶ Coopération entre les services à partir du même outil
• Etude et développement, intégration, exploitation
▶ Exemple de logparser
13

14. © 2017 SPLUNK INC.
CONFIDENTIEL – PROPRIÉTÉ INFOMIL
TIMELINE
14
2012
Analyse log reseau
(routeur, firewall, proxy,
etc)
2Go/jour
1 indexer/search head
5 utilisateurs
2016
Analyse log applicatif
(log IIS, SQL, etc)
100Go/jour
1 search head
3 indexers en cluster
15 utilisateurs
2014
Analyse log systeme
( event viewer windows)
20Go/jour
1 search head
1 indexer
10 utilisateurs
2017
Analyse métier
(requête SQL)
100Go/jour
1 search head
3 indexers en cluster
20 utilisateurs

15. © 2017 SPLUNK INC.
CONFIDENTIEL – PROPRIÉTÉ INFOMIL
ARCHITECTURE SPLUNK
15

16. © 2017 SPLUNK INC.
CONFIDENTIEL – PROPRIÉTÉ INFOMIL
USE CASE : LE DRIVE
▶ Quelques chiffres (2016) :
• 2.6 milliard d'euros de chiffre d'affaires
• 50% de part de marché
▶ Objectifs :
• Visibilité temps réel de l'activité du drive
• Réactivité
16

17. © 2017 SPLUNK INC.
CONFIDENTIEL – PROPRIÉTÉ INFOMIL
LE DRIVE : LA COMMANDE
17

18. © 2017 SPLUNK INC.
CONFIDENTIEL – PROPRIÉTÉ INFOMIL
LE DRIVE : LA COMMANDE
18

19. © 2017 SPLUNK INC.
CONFIDENTIEL – PROPRIÉTÉ INFOMIL
LE DRIVE : LA PRÉPARATION
1
9

20. © 2017 SPLUNK INC.
CONFIDENTIEL – PROPRIÉTÉ INFOMIL
LE DRIVE : ENTREPÔT
20

21. © 2017 SPLUNK INC.
CONFIDENTIEL – PROPRIÉTÉ INFOMIL
PERSPECTIVES D'ÉVOLUTION
▶ Passage de la réactivité à la proactivité
• Corrélation de sources de données hétérogènes (SNMP, LOG, SQL,
fichier, etc)
• Corrélation d'alertes mineures générant une alerte majeure
• Alerte sur courbe de tendance
▶ Machine learning
▶ Expérience client mobile
• Sur nos applications mobiles Android et IOS avec SPLUNK Mint.
• Wifi en magasin
21

22. © 2017 SPLUNK INC.
CONFIDENTIEL – PROPRIÉTÉ INFOMIL
PERSPECTIVES D'ÉVOLUTION : WIFI PROACTIF
22

23. © 2017 SPLUNK INC.
Merci de votre attention !
Vos interlocuteurs // Florian CRISTINA
Kevin GANDRIAU
Tél + 33 5 67 76 20 00 - fcristina@infomil.com
kgandriau@infomil.com

24. © 2017 SPLUNK INC.
Société Aéronotique
Toulousaine
Bashar KABBANI

25. © 2017 SPLUNK INC.
Delivering Transformation. Together.*
*Réussirlatransformation.Ensemble.
ADVANCED CYBERSECURITY MONITORING
Équipe SOC – Toulouse
Dr. Bashar KABBANI
1

26. © 2017 SPLUNK INC.
AGENDA
1. Presenter
2. Implementing Triple FireEye using Splunk
3. Questions
Dr. Bashar KABBANI2

27. © 2017 SPLUNK INC.
Bashar Kabbani, Dr. - bashar.kabbani@soprasteria.com3
BASHAR KABBANI
• Summary:
• Experienced with 10 years in Software Engineering & Information
Systems, 6 of them in Cybersecurity.
• Experience:
• Cybersecurity Consultant / SOC Expert – SSG
• Cybersecurity Consultant – ISSP – Freelance
• Security Engineer – R&D Project: IRIT
• Security Software Engineer – R&D Project: DERI
• Network Software Engineer – R&D Project: IRIT
• Test Software Engineer: AIRBUS
• Software Development Engineer – Freelance
• Education:
• PhD in Cybersecurity Management
• MSc 2Y in Information Systems Management
• BSc in Software Engineering & Information Systems

28. © 2017 SPLUNK INC.
KILL CHAIN
Dr. Bashar KABBANI4
OVERVIEW OF MALWARE ATTACK LIFECYCLE

29. © 2017 SPLUNK INC.
Investigation
Forensic
HTTP
POST
Spammed Email avec un ZBot/ZeuS
(T_SPY In formation Stealer)
arrive à l’Inbox de l’utilisateur
Par erreur, l’utilisateur a
téléchargé un fichier
malicieux
En cliquant sur le lien
joint, l’utilisateur sera
diriger vers un site de
Phishing
Le site demande des
informations personnels,
ensuite propos à télécharger
un fichier malicieux
L’utilisateur a cliqué sur le
fichier téléchargé et le
Malware a pu s’installer
EX
NX
HX
NX
Le Malware enregistre des
informations cible
(sensible/personnel) et les envoie vers
l’URL de C&C via HTTP Post
Dr. Bashar KABBANI5

30. © 2017 SPLUNK INC.
ADVANCED THREAT ATTACK (APT) DETECTION
Dr. Bashar KABBANI6
TRIPLE FIREEYE: CORRELATION POINTS
Signature (ex. Information Stealer/Zbot) + IP Source
EX
Email
NX
Web
HX
Hosts
Triple EyeFire

31. © 2017 SPLUNK INC.
Les 5 alertes FireEye :
Successful Callback Detection (FireEye NX/Bluecoat)
Successful Callback Detection on Infected Host (FireEye HX+NX/Bluecoat)
Email-Malware with Host-Infection Detected (EX+HX)
Email-Malware with Network-Activity Detected (EX+NX)
Infected Host-Machine by Malicious Network-Activity (HX+NX)
La phase du test a été un succès sur les « Bluecoat Denied »
TRIPLE FIREEYE IMPLEMENTATION
Dr. Bashar KABBANI7
SPLUNK ALERTS, DASHBOARD & REPORTS

32. © 2017 SPLUNK INC.
TRIPLE FIREEYE IMPLEMENTATION
Dr. Bashar KABBANI8
SPLUNK ALERTS, DASHBOARD & REPORTS

33. © 2017 SPLUNK INC.
TRIPLE FIREEYE
Dr. Bashar KABBANI9
DASHBOARD & REPORT

34. © 2017 SPLUNK INC.
TRIPLE FIREEYE
Dr. Bashar KABBANI10
DASHBOARD & REPORTDASHBOARD & REPORT

35. © 2017 SPLUNK INC.
Dr. Bashar KABBANI11
Questions ?

36. © 2017 SPLUNK INC.© 2017 SPLUNK INC.
Machine Learning
avec Splunk
Adrien Debosschere
Septembre 2017 | Splunk User Group Toulouse

37. © 2017 SPLUNK INC.
Machine Learning ?
Késako ?

38. © 2017 SPLUNK INC.
Wikipedia
“ L'apprentissage automatique […] concerne la
conception, l'analyse, le développement et
l'implémentation de méthodes permettant à une
machine d'évoluer par un processus systématique, et
ainsi de remplir des tâches difficiles ou
problématiques par des moyens algorithmiques plus
classiques.”

39. © 2017 SPLUNK INC.
A. Samuel, 1959
“ Le Machine Learning est le domaine d’étude qui
permet aux ordinateurs d’apprendre sans être
explicitement programmés.”

40. © 2017 SPLUNK INC.
▶ Détection de visages: identifier des visages dans des
images
▶ Filtre anti-spam: identifier et supprimer les emails de spam
▶ Recommandations d’achat: prédire ce que les clients
voudront acheter
▶ Lutte contre la fraude: identifier les transactions de cartes
bleues frauduleuses
▶ Prévisions météo: quel temps fera-t-il demain ?
Vous bénéficiez du Machine Learning au quotidien !

41. © 2017 SPLUNK INC.
Que faut-il pour faire du
Machine Learning ?

42. © 2017 SPLUNK INC.
Des données !

43. © 2017 SPLUNK INC.
Beaucoup de données !

44. © 2017 SPLUNK INC.
▶ Détection de visages - Facebook
• ~2 Milliards d’utilisateurs actifs par mois
• ~300 Millions de nouvelles photos par jour
• 200 Ko: taille moyenne d’une photo sur Facebook
La Donnée: le Nerf de la Guerre
300M * 200Ko =
60 To / jour
54Md * 5Ko =
270 To / jour
▶ Anti-spam - Gmail
• ~1,2 Milliards d’utilisateurs
• ~20% du trafic email global (~54 Milliards/jour)
• 5 Ko: taille moyenne d’un email
• ~0,05% de faux-positifs

45. © 2017 SPLUNK INC.
Le processus de Machine Learning
Problème: <Quelque chose> nous fait perdre du temps et de l’argent.
Solution: Construire un modèle de ML pour prévoir des <incidents potentiels>, agir
proactivement et apprendre

46. © 2017 SPLUNK INC.
Le processus de Machine LearningIndustrialisation
1. Collecter toutes les données relatives au problème; Explorer
ces données
2. Sélectionner et appliquer un algorithme sur ces données
pour créer un modèle
3. Tester & Valider les modèles pour arriver à un modèle fiable
répondant au problème
4. Transmettre le modèle aux équipes de production, pour que
les utilisateurs puissent bénéficier de ses prédictions
Problème: <Quelque chose> nous fait perdre du temps et de l’argent.
Solution: Construire un modèle de ML pour prévoir des <incidents potentiels>, agir
proactivement et apprendre

47. © 2017 SPLUNK INC.
▶ Améliorer la prise de décision
▶ Prévoir ou prédire des KPIs
▶ Etre alerté en cas de déviation
▶ Découvrir des relations ou des tendances non triviales
Les objectifs usuels du ML

48. © 2017 SPLUNK INC.
1 2 3 4 5
Collecte Nettoyage et
Préparation
Analyse et
Feature
Extraction
Construction
des Modèles
de validation
Affinage des
Modèles et
Algorithmes
Le Workflow du Data Scientist

49. © 2017 SPLUNK INC.
Collecte Nettoyage et
Préparation
Analyse et
Feature
Extraction
Construction
des modèles
de validation
Affinage des
Modèles et
Algorithmes
Le Workflow du Data Scientist
Quels sont les étapes à valeur ajoutée ?
Celles inhérentes à sa fonction ?
1 2 3 4 5

50. © 2017 SPLUNK INC.
Collecte Nettoyage et
Préparation
Analyse et
Feature
Extraction
Construction
des modèles
de validation
Affinage des
Modèles et
Algorithmes
Le Workflow du Data Scientist
Quels sont les étapes à valeur ajoutée ?
Celles inhérentes à sa fonction ?
1 2 3 4 5

51. © 2017 SPLUNK INC.
CrowdFlower DataScience Report 2016
“79% des Data Scientists passent
la majeure partie de leur temps à
collecter, nettoyer et transformer les
données.”

52. © 2017 SPLUNK INC.
Collecte Nettoyage et
Préparation
Analyse et
Feature
Extraction
Construction
et validation
des Modèles
Affinage des
Modèles et
Algorithmes
Quelle est l’étape la plus chronophage ?
19%
60%
9% 3% 4%
Autres: 5%

53. © 2017 SPLUNK INC.
Collecte Nettoyage et
Préparation
Analyse et
Feature
Extraction
Construction
et validation
des Modèles
Affinage des
Modèles et
Algorithmes
Quelle est l’étape la moins agréable ?
21%
57%
3% 10% 4%
Autres: 5%

54. © 2017 SPLUNK INC.
Comment accélérer le workflow
et le rendre moins pénible ?

55. © 2017 SPLUNK INC.
Quid de l’application du
modèle en production ?
Comment accélérer le workflow
et le rendre moins pénible ?

56. © 2017 SPLUNK INC.
Turning Machine Data Into Business Value
Index Untapped Data: Any Source, Type, Volume Ask Any Question
Application Delivery
Security, Compliance
and Fraud
IT Operations
Business Analytics
Industrial Data and
the Internet of Things
On-Premises
Private Cloud
Public
Cloud
Storage
Online
Shopping Cart
Telecoms
Desktops
Security
Web
Services
Networks
Containers
Web
Clickstreams
RFID
Smartphones
and Devices
Servers
Messaging
GPS
Location
Packaged
Applications
Custom
Applications
Online
Services
DatabasesCall Detail
Records
Energy Meters
Firewall
Intrusion
Prevention
Machine Learning

57. © 2017 SPLUNK INC.
Le Machine Learning avec Splunk
Collecte,
Préparation,
Analyse
Reactive
Proactive

58. © 2017 SPLUNK INC.
Le Machine Learning avec Splunk
Collecte,
Préparation,
Analyse
Reactive
Proactive
ML Intégré

59. © 2017 SPLUNK INC.
Le ML intégré à Splunk
Une dizaine de commandes SPL disponibles
▶ Cluster: groups events together based on how
similar they are to each other.
▶ Anomalies: finds events or field values that are
unusual or unexpected
▶ Predict: forecasts values for one or more sets of
time-series data
▶ Kmeans: Kmeans clustering on events.
▶ Anomalousvalues: anomaly score for each field
of each event, relative to the values of this field across
other events.
▶ Anomalydetection: identifies anomalous events
by computing a probability for each event and then
detecting unusually small probabilities.
▶ X11: exposes seasonal trend in your time series.
▶ Associate: Change in entropy between two fields.
▶ Findkeywords: Given a set of numbered groups
(from say cluster) calculates the common words found
in each cluster.
▶ Analyzefields: What is the ability of a set of fields
to predict a single field. Univariate analysis.

60. © 2017 SPLUNK INC.
Ex: la commande predict
▶ Prévision des futures valeurs d’une
série temporelle
▶ Implémentation des Filtres de Kalman
pour identifier des tendances
répétitives (saisonalité)
▶ Fournit des intervalles de confiance
configurables
▶ Cas d’usages:
• Prévision des ventes et d’autres KPIs
• Capacity & resources planning
• Seuils dynamiques
• …

61. © 2017 SPLUNK INC.
Le Machine Learning avec Splunk
Collecte,
Préparation,
Analyse
Reactive
Proactive
ML Intégré
ML Packagé

62. © 2017 SPLUNK INC.
Le ML Packagé
ML prêt à l’emploi grâce aux Solutions Premium

63. © 2017 SPLUNK INC.
Le ML Packagé
ML prêt à l’emploi grâce aux Solutions Premium

64. © 2017 SPLUNK INC.
Operational Intelligence
Proactive
Monitoring
Search and
Investigation
Operational
Visibility
Real-Time
Business
Insights
Enterprise
Scalability
Splunk IT Service Intelligence
▶ Visualize entire tech stack – bare metal through business layer
▶ View the entire ecosystem with customized views for execs
▶ Apply context to events to prioritize investigation based on impact
Dynamic Service Model
Machine Learning
▶ Adaptive threshold automation to minimize false alerts
▶ Behavior anomaly alerts to proactively address issues
▶ Automatic correlation of data into intelligence, mitigating SME dependency
▶ Accelerators minimize SPL coding
▶ Trend aggregation to enable rapid visualization
▶ Multi KPI Alerts for proactive irregularity identification
Search-Based KPIs
▶ Time Series Index
▶ Schema on Read
▶ Handle any and all data
Platform for Operational Intelligence

65. © 2017 SPLUNK INC.
Machine Learning Made Mainstream
Adaptive Thresholds Anomaly Detection Event Correlation
Manage and maintain KPI thresholds by dynamically adapting to changing operational patterns
Catch issues that thresholds can’t—baseline normal operations and alert on anomalous conditions
Reduce event clutter, false positives and rules maintenance by auto-grouping related events

66. © 2017 SPLUNK INC.
Le ML Packagé
ML prêt à l’emploi grâce aux Solutions Premium

67. © 2017 SPLUNK INC.
Splunk User Behavior Analytics
Anomalies
10,000
IOCs
100
Threats
10
• Baseline behavior of entities
• Determine anomalies by dynami
c activity
• Build network graph of activities,
relationships
• Detect key threat indicators
• Provide critical security analyti
cs
• Intermediate level between
Anomalies and Threats
• Stitch cyber-threat kill chain
• Assign threat score and prio
rity

68. © 2017 SPLUNK INC.
Le Machine Learning avec Splunk
Collecte,
Préparation,
Analyse
Reactive
Proactive
ML Intégré
ML Packagé
ML Avancé

69. © 2017 SPLUNK INC.
▶ Assistants: Guide model building, testing
and deploying for common objectives
▶ Showcases: Interactive examples for typical
IT, security, business and IoT use cases
▶ Algorithms: 25+ standard algorithms available
prepackaged with the toolkit
▶ SPL ML Commands: New commands to
fit, test and operationalize models
▶ Python for Scientific Computing Library:
300+ open source algorithms available for use
Splunk Machine Learning Toolkit
Extends Splunk platform functions and
provides a guided modeling environment
Build custom analytics for any use case

70. © 2017 SPLUNK INC.
Machine Learning Workflow with Splunk
Collect
Data
Explore/
Visualize
Clean/
Transform
Splunk

71. © 2017 SPLUNK INC.
Machine Learning Workflow with Splunk
Collect
Data
Explore/
Visualize
Model
Evaluate
Clean/
Transform
Publish/
Deploy
+ ML Toolkit
Splunk

72. © 2017 SPLUNK INC.
Machine Learning Workflow with Splunk
Collect
Data
Explore/
Visualize
Model
Evaluate
Clean/
Transform
Publish/
Deploy
+ ML Toolkit
ModelEvaluate
Export
Splunk
3rd Party
API, SDK,
Files (CSV, JSON, XML…)

73. © 2017 SPLUNK INC.
1 2 3 4 5 6
Collecte Nettoyage et
Préparation
Analyse et
Feature
Extraction
Construction des
Modèles de
validation
Affinage des
Modèles et
Algorithmes
Le Workflow du Data Scientist
Splunk
Splunk
Mise en
production
ML Toolkit
Third party

74. © 2017 SPLUNK INC.
Machine Learning Customer Success
Network Incident Detection
Service Degradation Detection
Security / Fraud Prevention
Machine Learning
Consulting Services
Analytics App Built
on ML Toolkit
Optimizing operations and business results
Predict Gaming Outages
Fraud Prevention
Entertainment
Company
Cell Tower Incident Detection
Optimize Repair Operations
Prioritize Website Issues
and Predict Root Cause

75. © 2017 SPLUNK INC.
Detect Network Outliers
Reduced downtime + increased service availability = better customer satisfaction
ML Use Case
Technical Overview
▶ A customized solution deployed in production based on outlier detection
▶ Leverage previous month data and voting algorithms
“The ability to model complex systems and alert on deviations is where IT and security
operations are headed … Splunk Machine Learning has given us a head start...”
▶ Monitor noise rise for 20,000+ cell towers to increase
service and device availability, reduce MTTR

76. © 2017 SPLUNK INC.
Reliable Website Updates
Proactive website monitoring leads to reduced downtime
▶ Custom outlier detection built using ML Toolkit Outlier assistant
▶ Built by Splunk Architect with no Data Science background
“Splunk ML helps us rapidly improve end-user experience by ranking issue severity which
helps us determine root causes faster thus reducing MTTR and improving SLA”
▶ Very frequent code and config updates (1000+ daily) can cause site issues
▶ Find errors in server pools, then prioritize actions and predict root cause
ML Use Case
Technical Overview

77. © 2017 SPLUNK INC.
Merci