Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Kafka et Storm au service
de la lutte antiDDoS à OVH
Steven Le Roux
Infrastructure Engineer
OVH.com
FinistJUG
29 Oct 2014
OVH Anti-DDoS
VAC
10
3 Tbps 17 Datacenters
32 PoPs
20
Data Pipeline
Clients
Producers
Consumers
Brokers
Topics
Partitions
Replicas
/ kafka
/ kafka / topic
/ kafka / topic / replicas
/ kafka / topic / replicas / factor / 3
/ kafka / topics
/ kafka
/ kafka
/ kafka / producers
Stream Processing
Topology (DAG)
Spouts
Bolts
Tuples
Fields
Cluster
Nimbus
Supervisors
Workers
/ storm
/ storm / tuple
field
/ storm / tuple
{field1, field2,…,fieldn}
/ storm / tuple
{field1, field2,…,fieldn}Bolt Bolt
/ storm / topology
/ storm / topology / antiddos
Stream Grouping
Shuffle Grouping Field Grouping
Direct Grouping Other Grouping
/ storm
Attacks
Router Grouping
Scans
IP src Grouping
/ storm
Attacks
≈ 1s
Scoring
Filters
Burst
Scans
IP
Proto
/ storm
Indexing
Prooving
Producing
/ storm / event
#lifecycle
#dataviz
Nice speech…
… so what ?
False positives
Strange behaviours from customers
e.g. DB sync without connection pool
Application centric
i.e. UDP protoc...
Add other sources
Application Anti-DDoS
Game
Half Life/Source
CS:GO
TeamSpeak / Mumble
GTA
SA:MP
…
More to come (any speci...
#datalake
Nodes - Hardware
CPU 16c/32t
RAM 256GB
Disks :
OS : Raid 1
Data : 10 disks
per node
200 MB/s ~ 1,5-2 Gbps
#hardware
Kafka
I/O bound
Bench (1node)
1M+ msg/s
No compression
No ackers
80MB/s
Tuning
num.io.thread
num.network.thread
socket.*.b...
OpenSOC
Clément Sciascia - @csciasci
Magnus Edenhill - @edenhillm
https://github.com/edenhill/librdkafka
LinkedIn - Apache Kafka
N...
Thanks
Steven LE ROUX
@StevenLeRoux
steven.le-roux@ovh.net
Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG
Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG
Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG
Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG
Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG
Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG
Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG
Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG
Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG
Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG
Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG
Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG
Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG
Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG
Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG
Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG
Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG
Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG
Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG
Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG
Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG
Upcoming SlideShare
Loading in …5
×

Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG

3,448 views

Published on

Kafka et Storm au service de la lutte antiDDoS à OVH
Par Steven Le Roux

Présentation faite à la Soirée Big Data du FinistJUG le 28/10/2014

Published in: Technology
  • Be the first to comment

Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG

  1. 1. Kafka et Storm au service de la lutte antiDDoS à OVH Steven Le Roux Infrastructure Engineer OVH.com FinistJUG 29 Oct 2014
  2. 2. OVH Anti-DDoS
  3. 3. VAC
  4. 4. 10
  5. 5. 3 Tbps 17 Datacenters 32 PoPs
  6. 6. 20
  7. 7. Data Pipeline
  8. 8. Clients Producers Consumers Brokers Topics Partitions Replicas / kafka
  9. 9. / kafka / topic
  10. 10. / kafka / topic / replicas
  11. 11. / kafka / topic / replicas / factor / 3
  12. 12. / kafka / topics
  13. 13. / kafka
  14. 14. / kafka
  15. 15. / kafka / producers
  16. 16. Stream Processing
  17. 17. Topology (DAG) Spouts Bolts Tuples Fields Cluster Nimbus Supervisors Workers / storm
  18. 18. / storm / tuple field
  19. 19. / storm / tuple {field1, field2,…,fieldn}
  20. 20. / storm / tuple {field1, field2,…,fieldn}Bolt Bolt
  21. 21. / storm / topology
  22. 22. / storm / topology / antiddos
  23. 23. Stream Grouping
  24. 24. Shuffle Grouping Field Grouping Direct Grouping Other Grouping / storm
  25. 25. Attacks Router Grouping Scans IP src Grouping / storm
  26. 26. Attacks ≈ 1s Scoring Filters Burst Scans IP Proto / storm
  27. 27. Indexing Prooving Producing / storm / event
  28. 28. #lifecycle
  29. 29. #dataviz
  30. 30. Nice speech… … so what ?
  31. 31. False positives Strange behaviours from customers e.g. DB sync without connection pool Application centric i.e. UDP protocols #issues
  32. 32. Add other sources Application Anti-DDoS Game Half Life/Source CS:GO TeamSpeak / Mumble GTA SA:MP … More to come (any special need ?) #solutions
  33. 33. #datalake
  34. 34. Nodes - Hardware CPU 16c/32t RAM 256GB Disks : OS : Raid 1 Data : 10 disks per node 200 MB/s ~ 1,5-2 Gbps #hardware
  35. 35. Kafka I/O bound Bench (1node) 1M+ msg/s No compression No ackers 80MB/s Tuning num.io.thread num.network.thread socket.*.buffer.* Storm CPU/RAM bound M+ tuples/s No ackers Break SRP Minimal workers Avoid transfer buffer #config
  36. 36. OpenSOC
  37. 37. Clément Sciascia - @csciasci Magnus Edenhill - @edenhillm https://github.com/edenhill/librdkafka LinkedIn - Apache Kafka Nathan Marz - Apache Storm #Thanks #moreStorm basic training – Mickael G. Noll http://fr.slideshare.net/miguno/apache-storm-09-basic-training-verisign Kafka documentation
  38. 38. Thanks Steven LE ROUX @StevenLeRoux steven.le-roux@ovh.net

×