Splunk User Group: Toulouse, France - 26 September 2017

2. © 2017 SPLUNK INC.  17h00: Accueil  17h30 : Début de la session  Retour d’expérience Infomil  Retour d’expérience Sopra Steria  Le Machine Learning (Splunk)  19h15 : Animation Planétarium  19h30 : Cocktail  20h30 : Fin AGENDA

4. © 2017 SPLUNK INC. Splunk Company Overview ▶ Global HQs: • San Francisco • London • Hong Kong ▶ 3,000+ employees globally ▶ Annual Revenue: $950M (YoY +42%) ▶ NASDAQ: SPLK Company ▶ Free trial to massive scale ▶ Splunk Products • Splunk Enterprise • Splunk Cloud • Splunk Light • Premium Solutions Products ▶ 14,000+ customers ▶ Across 110+ countries ▶ Small to large organizations ▶ More than 85 of the Fortune 100 ▶ Largest license: • 1+ Petabytes/day Customers

5. © 2017 SPLUNK INC.© 2017 SPLUNK INC. Consultez régulièrement notre page France et assistez à l’un de nos événements : • Splunk 4 Rookies • Splunk 4 Ninjas • Webinars • Table Ronde • Petit-déjeuner thématique • Etc… DES EVENEMENTS REGULIERS EN FRANCE

8. CONFIDENTIEL - PROPRIETE INFOMIL SPLUNK - INFOMIL Florian CRISTINA Kevin GANDRIAU 25 Septembre 2017 uxxxxxx vx.x - Initiales auteurJj/mm/aa

9. © 2017 SPLUNK INC. CONFIDENTIEL – PROPRIÉTÉ INFOMIL INFOMIL ▶ Créé en 1994 ▶ 80 millions d'euros de chiffre d'affaires en 2016 ▶ Plus de 500 collaborateurs sur sites dont près de la moitié en prestation R&D ▶ 4 sites : Toulouse (siège social), Nantes, Paris et Île Maurice ▶ Plus de 600 magasins équipés (France, Espagne, Portugal, Slovénie, Ile de la Réunion), 16 centrales d’achat et des entités nationales ▶ 40 Millions d'utilisateurs ▶ 5 000 000 d'objets connectés (serveurs, réseaux, étiquettes) 9 Qui sommes nous ?

10. © 2017 SPLUNK INC. CONFIDENTIEL – PROPRIÉTÉ INFOMIL INFOMIL ▶ INFOMIL crée et développe de nouvelles solutions informatiques (logicielles et matérielles) pour le compte de ses clients du RETAIL. ▶ Activités principales : • Développement de logiciels • Fournisseur d’applications hébergées (e-commerce, carte de fidélité, carte cadeau, recharge carte téléphonique) • Centre d’appel & Service client • Installation • Formation • Distribution Activités 10

13. © 2017 SPLUNK INC. CONFIDENTIEL – PROPRIÉTÉ INFOMIL POURQUOI SPLUNK ? ▶ Facilité de prise en main par tous les profils de la société • Technicien, ingénieur, chef de projet, responsable de services • développeur, concepteur, ingénieur système et réseau, exploitant ▶ Coopération entre les services à partir du même outil • Etude et développement, intégration, exploitation ▶ Exemple de logparser 13

14. © 2017 SPLUNK INC. CONFIDENTIEL – PROPRIÉTÉ INFOMIL TIMELINE 14 2012 Analyse log reseau (routeur, firewall, proxy, etc) 2Go/jour 1 indexer/search head 5 utilisateurs 2016 Analyse log applicatif (log IIS, SQL, etc) 100Go/jour 1 search head 3 indexers en cluster 15 utilisateurs 2014 Analyse log systeme ( event viewer windows) 20Go/jour 1 search head 1 indexer 10 utilisateurs 2017 Analyse métier (requête SQL) 100Go/jour 1 search head 3 indexers en cluster 20 utilisateurs

16. © 2017 SPLUNK INC. CONFIDENTIEL – PROPRIÉTÉ INFOMIL USE CASE : LE DRIVE ▶ Quelques chiffres (2016) : • 2.6 milliard d'euros de chiffre d'affaires • 50% de part de marché ▶ Objectifs : • Visibilité temps réel de l'activité du drive • Réactivité 16

21. © 2017 SPLUNK INC. CONFIDENTIEL – PROPRIÉTÉ INFOMIL PERSPECTIVES D'ÉVOLUTION ▶ Passage de la réactivité à la proactivité • Corrélation de sources de données hétérogènes (SNMP, LOG, SQL, fichier, etc) • Corrélation d'alertes mineures générant une alerte majeure • Alerte sur courbe de tendance ▶ Machine learning ▶ Expérience client mobile • Sur nos applications mobiles Android et IOS avec SPLUNK Mint. • Wifi en magasin 21

27. © 2017 SPLUNK INC. Bashar Kabbani, Dr. - bashar.kabbani@soprasteria.com3 BASHAR KABBANI • Summary: • Experienced with 10 years in Software Engineering & Information Systems, 6 of them in Cybersecurity. • Experience: • Cybersecurity Consultant / SOC Expert – SSG • Cybersecurity Consultant – ISSP – Freelance • Security Engineer – R&D Project: IRIT • Security Software Engineer – R&D Project: DERI • Network Software Engineer – R&D Project: IRIT • Test Software Engineer: AIRBUS • Software Development Engineer – Freelance • Education: • PhD in Cybersecurity Management • MSc 2Y in Information Systems Management • BSc in Software Engineering & Information Systems

29. © 2017 SPLUNK INC. Investigation Forensic HTTP POST Spammed Email avec un ZBot/ZeuS (T_SPY In formation Stealer) arrive à l’Inbox de l’utilisateur Par erreur, l’utilisateur a téléchargé un fichier malicieux En cliquant sur le lien joint, l’utilisateur sera diriger vers un site de Phishing Le site demande des informations personnels, ensuite propos à télécharger un fichier malicieux L’utilisateur a cliqué sur le fichier téléchargé et le Malware a pu s’installer EX NX HX NX Le Malware enregistre des informations cible (sensible/personnel) et les envoie vers l’URL de C&C via HTTP Post Dr. Bashar KABBANI5

30. © 2017 SPLUNK INC. ADVANCED THREAT ATTACK (APT) DETECTION Dr. Bashar KABBANI6 TRIPLE FIREEYE: CORRELATION POINTS Signature (ex. Information Stealer/Zbot) + IP Source EX Email NX Web HX Hosts Triple EyeFire

31. © 2017 SPLUNK INC. Les 5 alertes FireEye : Successful Callback Detection (FireEye NX/Bluecoat) Successful Callback Detection on Infected Host (FireEye HX+NX/Bluecoat) Email-Malware with Host-Infection Detected (EX+HX) Email-Malware with Network-Activity Detected (EX+NX) Infected Host-Machine by Malicious Network-Activity (HX+NX) La phase du test a été un succès sur les « Bluecoat Denied » TRIPLE FIREEYE IMPLEMENTATION Dr. Bashar KABBANI7 SPLUNK ALERTS, DASHBOARD & REPORTS

38. © 2017 SPLUNK INC. Wikipedia “ L'apprentissage automatique […] concerne la conception, l'analyse, le développement et l'implémentation de méthodes permettant à une machine d'évoluer par un processus systématique, et ainsi de remplir des tâches difficiles ou problématiques par des moyens algorithmiques plus classiques.”

40. © 2017 SPLUNK INC. ▶ Détection de visages: identifier des visages dans des images ▶ Filtre anti-spam: identifier et supprimer les emails de spam ▶ Recommandations d’achat: prédire ce que les clients voudront acheter ▶ Lutte contre la fraude: identifier les transactions de cartes bleues frauduleuses ▶ Prévisions météo: quel temps fera-t-il demain ? Vous bénéficiez du Machine Learning au quotidien !

44. © 2017 SPLUNK INC. ▶ Détection de visages - Facebook • ~2 Milliards d’utilisateurs actifs par mois • ~300 Millions de nouvelles photos par jour • 200 Ko: taille moyenne d’une photo sur Facebook La Donnée: le Nerf de la Guerre 300M * 200Ko = 60 To / jour 54Md * 5Ko = 270 To / jour ▶ Anti-spam - Gmail • ~1,2 Milliards d’utilisateurs • ~20% du trafic email global (~54 Milliards/jour) • 5 Ko: taille moyenne d’un email • ~0,05% de faux-positifs

45. © 2017 SPLUNK INC. Le processus de Machine Learning Problème: <Quelque chose> nous fait perdre du temps et de l’argent. Solution: Construire un modèle de ML pour prévoir des <incidents potentiels>, agir proactivement et apprendre

46. © 2017 SPLUNK INC. Le processus de Machine LearningIndustrialisation 1. Collecter toutes les données relatives au problème; Explorer ces données 2. Sélectionner et appliquer un algorithme sur ces données pour créer un modèle 3. Tester & Valider les modèles pour arriver à un modèle fiable répondant au problème 4. Transmettre le modèle aux équipes de production, pour que les utilisateurs puissent bénéficier de ses prédictions Problème: <Quelque chose> nous fait perdre du temps et de l’argent. Solution: Construire un modèle de ML pour prévoir des <incidents potentiels>, agir proactivement et apprendre

47. © 2017 SPLUNK INC. ▶ Améliorer la prise de décision ▶ Prévoir ou prédire des KPIs ▶ Etre alerté en cas de déviation ▶ Découvrir des relations ou des tendances non triviales Les objectifs usuels du ML

48. © 2017 SPLUNK INC. 1 2 3 4 5 Collecte Nettoyage et Préparation Analyse et Feature Extraction Construction des Modèles de validation Affinage des Modèles et Algorithmes Le Workflow du Data Scientist

49. © 2017 SPLUNK INC. Collecte Nettoyage et Préparation Analyse et Feature Extraction Construction des modèles de validation Affinage des Modèles et Algorithmes Le Workflow du Data Scientist Quels sont les étapes à valeur ajoutée ? Celles inhérentes à sa fonction ? 1 2 3 4 5

50. © 2017 SPLUNK INC. Collecte Nettoyage et Préparation Analyse et Feature Extraction Construction des modèles de validation Affinage des Modèles et Algorithmes Le Workflow du Data Scientist Quels sont les étapes à valeur ajoutée ? Celles inhérentes à sa fonction ? 1 2 3 4 5

52. © 2017 SPLUNK INC. Collecte Nettoyage et Préparation Analyse et Feature Extraction Construction et validation des Modèles Affinage des Modèles et Algorithmes Quelle est l’étape la plus chronophage ? 19% 60% 9% 3% 4% Autres: 5%

53. © 2017 SPLUNK INC. Collecte Nettoyage et Préparation Analyse et Feature Extraction Construction et validation des Modèles Affinage des Modèles et Algorithmes Quelle est l’étape la moins agréable ? 21% 57% 3% 10% 4% Autres: 5%

56. © 2017 SPLUNK INC. Turning Machine Data Into Business Value Index Untapped Data: Any Source, Type, Volume Ask Any Question Application Delivery Security, Compliance and Fraud IT Operations Business Analytics Industrial Data and the Internet of Things On-Premises Private Cloud Public Cloud Storage Online Shopping Cart Telecoms Desktops Security Web Services Networks Containers Web Clickstreams RFID Smartphones and Devices Servers Messaging GPS Location Packaged Applications Custom Applications Online Services DatabasesCall Detail Records Energy Meters Firewall Intrusion Prevention Machine Learning

59. © 2017 SPLUNK INC. Le ML intégré à Splunk Une dizaine de commandes SPL disponibles ▶ Cluster: groups events together based on how similar they are to each other. ▶ Anomalies: finds events or field values that are unusual or unexpected ▶ Predict: forecasts values for one or more sets of time-series data ▶ Kmeans: Kmeans clustering on events. ▶ Anomalousvalues: anomaly score for each field of each event, relative to the values of this field across other events. ▶ Anomalydetection: identifies anomalous events by computing a probability for each event and then detecting unusually small probabilities. ▶ X11: exposes seasonal trend in your time series. ▶ Associate: Change in entropy between two fields. ▶ Findkeywords: Given a set of numbered groups (from say cluster) calculates the common words found in each cluster. ▶ Analyzefields: What is the ability of a set of fields to predict a single field. Univariate analysis.

60. © 2017 SPLUNK INC. Ex: la commande predict ▶ Prévision des futures valeurs d’une série temporelle ▶ Implémentation des Filtres de Kalman pour identifier des tendances répétitives (saisonalité) ▶ Fournit des intervalles de confiance configurables ▶ Cas d’usages: • Prévision des ventes et d’autres KPIs • Capacity & resources planning • Seuils dynamiques • …

64. © 2017 SPLUNK INC. Operational Intelligence Proactive Monitoring Search and Investigation Operational Visibility Real-Time Business Insights Enterprise Scalability Splunk IT Service Intelligence ▶ Visualize entire tech stack – bare metal through business layer ▶ View the entire ecosystem with customized views for execs ▶ Apply context to events to prioritize investigation based on impact Dynamic Service Model Machine Learning ▶ Adaptive threshold automation to minimize false alerts ▶ Behavior anomaly alerts to proactively address issues ▶ Automatic correlation of data into intelligence, mitigating SME dependency ▶ Accelerators minimize SPL coding ▶ Trend aggregation to enable rapid visualization ▶ Multi KPI Alerts for proactive irregularity identification Search-Based KPIs ▶ Time Series Index ▶ Schema on Read ▶ Handle any and all data Platform for Operational Intelligence

65. © 2017 SPLUNK INC. Machine Learning Made Mainstream Adaptive Thresholds Anomaly Detection Event Correlation Manage and maintain KPI thresholds by dynamically adapting to changing operational patterns Catch issues that thresholds can’t—baseline normal operations and alert on anomalous conditions Reduce event clutter, false positives and rules maintenance by auto-grouping related events

67. © 2017 SPLUNK INC. Splunk User Behavior Analytics Anomalies 10,000 IOCs 100 Threats 10 • Baseline behavior of entities • Determine anomalies by dynami c activity • Build network graph of activities, relationships • Detect key threat indicators • Provide critical security analyti cs • Intermediate level between Anomalies and Threats • Stitch cyber-threat kill chain • Assign threat score and prio rity

69. © 2017 SPLUNK INC. ▶ Assistants: Guide model building, testing and deploying for common objectives ▶ Showcases: Interactive examples for typical IT, security, business and IoT use cases ▶ Algorithms: 25+ standard algorithms available prepackaged with the toolkit ▶ SPL ML Commands: New commands to fit, test and operationalize models ▶ Python for Scientific Computing Library: 300+ open source algorithms available for use Splunk Machine Learning Toolkit Extends Splunk platform functions and provides a guided modeling environment Build custom analytics for any use case

72. © 2017 SPLUNK INC. Machine Learning Workflow with Splunk Collect Data Explore/ Visualize Model Evaluate Clean/ Transform Publish/ Deploy + ML Toolkit ModelEvaluate Export Splunk 3rd Party API, SDK, Files (CSV, JSON, XML…)

73. © 2017 SPLUNK INC. 1 2 3 4 5 6 Collecte Nettoyage et Préparation Analyse et Feature Extraction Construction des Modèles de validation Affinage des Modèles et Algorithmes Le Workflow du Data Scientist Splunk Splunk Mise en production ML Toolkit Third party

74. © 2017 SPLUNK INC. Machine Learning Customer Success Network Incident Detection Service Degradation Detection Security / Fraud Prevention Machine Learning Consulting Services Analytics App Built on ML Toolkit Optimizing operations and business results Predict Gaming Outages Fraud Prevention Entertainment Company Cell Tower Incident Detection Optimize Repair Operations Prioritize Website Issues and Predict Root Cause

75. © 2017 SPLUNK INC. Detect Network Outliers Reduced downtime + increased service availability = better customer satisfaction ML Use Case Technical Overview ▶ A customized solution deployed in production based on outlier detection ▶ Leverage previous month data and voting algorithms “The ability to model complex systems and alert on deviations is where IT and security operations are headed … Splunk Machine Learning has given us a head start...” ▶ Monitor noise rise for 20,000+ cell towers to increase service and device availability, reduce MTTR

76. © 2017 SPLUNK INC. Reliable Website Updates Proactive website monitoring leads to reduced downtime ▶ Custom outlier detection built using ML Toolkit Outlier assistant ▶ Built by Splunk Architect with no Data Science background “Splunk ML helps us rapidly improve end-user experience by ranking issue severity which helps us determine root causes faster thus reducing MTTR and improving SLA” ▶ Very frequent code and config updates (1000+ daily) can cause site issues ▶ Find errors in server pools, then prioritize actions and predict root cause ML Use Case Technical Overview

Splunk User Group: Toulouse, France - 26 September 2017

Splunk User Group: Toulouse, France - 26 September 2017

Recommended

More Related Content

Viewers also liked

Viewers also liked(7)

Similar to Splunk User Group: Toulouse, France - 26 September 2017

Similar to Splunk User Group: Toulouse, France - 26 September 2017(20)

More from Splunk

More from Splunk(20)

Recently uploaded

Recently uploaded(6)

Splunk User Group: Toulouse, France - 26 September 2017