SlideShare a Scribd company logo
1 of 23
Download to read offline
RTFM: Real Time
Flow Monitoring
Netflow Do's & Don'ts


Onderzoek naar Netflow en impact op
          netwerknodes
           stefan.deelen@os3.nl
Netwerk Monitoring met Netflow
Typische toepassing in Large Scale omgevingen
               Om redenen van:

                   Security
               Accountability
                   Planning
             Traffic Engineering
                      ...
  of gewoon voor die extra "schwung" van je
           netwerkmanagement..
Is per slot van rekening in potentie
            pure kunst..!
Agenda
●   Netflow kenmerken en achtergronden
●   Varianten en standaardisering
●   Componenten binnen de Netflow architectuur
●   Netflow toevoegen in bestaand netwerk (?)
●   Praktijkonderzoek! Jazeker.., performed het?
●   Mijn performance-impact meet-methode
●   Meetresultaten en conclusies
●   Vragen en discussie
Kenmerken & Achtergronden
●   Netflow is geen SNMP based “interface-counter
    teller” zoals Cricket, Cacti, MRTG, etc.




                   =
Kenmerken & Achtergronden
●   Dataflow vs. Flow data (of flow records)
    –   IP adres afzender
    –   IP adres bestemming
    –   Poort afz.
    –   Poort best.
    –   Laag 3, prot. Type
    –   TOS byte
    –   Logisch inkomende interface
●   Flow data: De eigenschappen van de
    dataflow..Layer 2 en hoger, verpakt in records
Kenmerken & Achtergronden
●   Founded by Cisco Systems, Inc.
●   Als toevoeging op routers en switches
●   Huidige versie Netflow vs.9
●   Een rfc3954 open -, maar geen Internet
    standaard
●   Flow informatie wordt lokaal geadministreerd
●   Netflow voegt processing toe
●   Vs. 9 is template based, records kunnen
    gemakkelijk worden uitgebreid
Varianten en standaardisering
●   sFlow, Foundry Networks
●   Jflow, Juniper
●   Netstream, Huawei Technologies
●   .......
●   Voornamelijk Netflow afgeleiden
●   IPFIX: Open standaard! Rfc5101 (status: draft)
●   Internet Protocol Flow Information eXport
●   IPFIX is gebaseerd op Netflow v9.
Componenten
Componenten
    ●   Vaak UDP tussen Exporter en Collector
    ●   IPFIX adviseert: SCTP (en anders UDP of TCP)




Ref, IBM: “Better networking with SCTP”
Netflow toevoegen
●   Niet bepaald de eerste zorg, wordt als luxe, als
    extra beschouwd
●   Primaire zorg: Syslogging, SNMP, SSH,
    backuppen, NTP, AAA, continuiteit van
    connectiviteit (redundantie-optimalisatie)
●   Kandidaat Netflow Netwerkomgevingen zijn
    vaak al “volwassen”, en daarom soms al flink
    “loaded”
●   (Dure) dedicated hardware probes, of risico's
    nemen?
Netflow toevoegen




●   Info decentraal collecteren met dedicated (=
    kostbaar) hardware probes?
●   Geen totaaloverzicht van netwerkdomein!
       ●   --> Schaalt slecht..
Netflow toevoegen
●   Exporteer naar een centraal punt
●   “Exporting IP flows using IPFIX”, University of
    Oslo, Per Juvhaugen:
Netflow toevoegen
●   Meest efficient: Bestaande nodes uitbreiden
    met Netflow feature support
●   Onzekerheid over impact extra processing!
●   Netwerk-performance lastig te vatten:
    afhankelijk vh gebruik, van dimensionering of
    van toegepaste configuraties of..
●   Bestaand praktijkonderzoek toont aan:
    –   Uiteraard vendor-afhankelijk en van device internals
    –   Onderzoek CPU impact vs. aantal dataflows
●   Maar wat ervaren netwerkgebruikers?
Praktijkonderzoek
●   Verschilmetingen met Cisco3825
●   Traffic generators: Iperf, Mgen, Harpoon
Praktijkonderzoek Netflow
               performance
●   Moeilijkheid verschilmeting: Router wint het!
Oplossing: “dure” operaties toevoegen
Meetresultaat
root@Vigor159:~# iperf -c 100.0.0.158 -t 9000 -m -i 2

Client connecting to 100.0.0.158, TCP port 5001

TCP window size: 16.0 KByte (default)

[ 3] local 9.0.0.159 port 43875 connected with 100.0.0.158 port 5001

[ 3] 0.0- 2.0 sec 141 MBytes 593 Mbits/sec

[ 3] 2.0- 4.0 sec 141 MBytes 593 Mbits/sec

[ 3] 4.0- 6.0 sec 140 MBytes 587 Mbits/sec

[ 3] 6.0- 8.0 sec 128 MBytes 535 Mbits/sec

[ 3] 8.0-10.0 sec 123 MBytes 515 Mbits/sec

[ 3] 10.0-12.0 sec 123 MBytes 514 Mbits/sec

  -22% Troughput met vs. zonder Netflow
  16% extra pakketverlies (Iperf UDP meting)
Sampled Netflow
●   Voor high performance omgevingen
●   Of omgevingen die low performen..
●   Mijn verzadigde CPU geeft indicatie v effect:
Future work
●   Real-life testing met Harpoon
●   Router/routing performance is enorm
    dynamisch
Conclusies
●   Security-, Cap. Planning-, Accountability tooling
    nodig?
●   Netflow en IPFIX beiden flexibel en
    'multipurpose'
●   Performance Impact is te overzien, common
    sense
●   Exporten out-of-band toepassen
●   Pas op met NAT in core omgevingen ;-)
●   Praktijk-dynamiek simuleren blijft een uitdaging
Vragen en discussies
●   ?
●   !
●   ?
●   !
●   ?
●   !
●   Na LIA geen os3 onderzoek meer .. :-(

More Related Content

Similar to Netflow Performance

Nord Toelichting Techniek
Nord Toelichting TechniekNord Toelichting Techniek
Nord Toelichting Techniektjercus
 
Linux troubleshooting tips
Linux troubleshooting tipsLinux troubleshooting tips
Linux troubleshooting tipsBert Van Vreckem
 
Netwerkfunctievirtualisatie: proof-of-concept en demo
Netwerkfunctievirtualisatie: proof-of-concept en demoNetwerkfunctievirtualisatie: proof-of-concept en demo
Netwerkfunctievirtualisatie: proof-of-concept en demoSURFnet
 
Presentatie Proactieve Monitoring ( BA Monitoring )
Presentatie Proactieve Monitoring ( BA Monitoring )Presentatie Proactieve Monitoring ( BA Monitoring )
Presentatie Proactieve Monitoring ( BA Monitoring )B.A.
 
Techdays System Center 2012 Operations Manager end-to-end management walter ...
Techdays  System Center 2012 Operations Manager end-to-end management walter ...Techdays  System Center 2012 Operations Manager end-to-end management walter ...
Techdays System Center 2012 Operations Manager end-to-end management walter ...wwwally
 
ICT & Gezond verstand
ICT & Gezond verstandICT & Gezond verstand
ICT & Gezond verstandB.A.
 
Van brandweerman tot brandpreventieadviseur
Van brandweerman tot brandpreventieadviseurVan brandweerman tot brandpreventieadviseur
Van brandweerman tot brandpreventieadviseurB.A.
 
Nagios Open Source Monitoring
Nagios Open Source MonitoringNagios Open Source Monitoring
Nagios Open Source Monitoring247 Invest
 
SURF-dienstenportfolio: vaste netwerk
SURF-dienstenportfolio: vaste netwerk SURF-dienstenportfolio: vaste netwerk
SURF-dienstenportfolio: vaste netwerk SURFnet
 
Neoview - Fundament Voor Datacenter Rabobank - André Van Der Griend
Neoview - Fundament Voor Datacenter Rabobank - André Van Der GriendNeoview - Fundament Voor Datacenter Rabobank - André Van Der Griend
Neoview - Fundament Voor Datacenter Rabobank - André Van Der GriendHPDutchWorld
 
Grid Technologie
Grid TechnologieGrid Technologie
Grid TechnologieLeo Plugge
 
PhD presentation
PhD presentationPhD presentation
PhD presentationWim Heirman
 
Open Source ECM Alternatief Alfresco
Open Source ECM Alternatief AlfrescoOpen Source ECM Alternatief Alfresco
Open Source ECM Alternatief AlfrescoEdwin van der Geest
 
SURF Lego - SURFwired - Edwin Verheul - NWD23
SURF Lego - SURFwired - Edwin Verheul - NWD23SURF Lego - SURFwired - Edwin Verheul - NWD23
SURF Lego - SURFwired - Edwin Verheul - NWD23SURFevents
 
BA Netapp Event - Always there IT Infrastructuur
BA Netapp Event - Always there IT InfrastructuurBA Netapp Event - Always there IT Infrastructuur
BA Netapp Event - Always there IT InfrastructuurB.A.
 
Pres Ip Label Newtest Octobre 2008 Nl (2)
Pres Ip Label Newtest Octobre 2008 Nl (2)Pres Ip Label Newtest Octobre 2008 Nl (2)
Pres Ip Label Newtest Octobre 2008 Nl (2)runderkamp
 

Similar to Netflow Performance (20)

Nord Toelichting Techniek
Nord Toelichting TechniekNord Toelichting Techniek
Nord Toelichting Techniek
 
Linux troubleshooting tips
Linux troubleshooting tipsLinux troubleshooting tips
Linux troubleshooting tips
 
Netwerkfunctievirtualisatie: proof-of-concept en demo
Netwerkfunctievirtualisatie: proof-of-concept en demoNetwerkfunctievirtualisatie: proof-of-concept en demo
Netwerkfunctievirtualisatie: proof-of-concept en demo
 
Presentatie Proactieve Monitoring ( BA Monitoring )
Presentatie Proactieve Monitoring ( BA Monitoring )Presentatie Proactieve Monitoring ( BA Monitoring )
Presentatie Proactieve Monitoring ( BA Monitoring )
 
Techdays System Center 2012 Operations Manager end-to-end management walter ...
Techdays  System Center 2012 Operations Manager end-to-end management walter ...Techdays  System Center 2012 Operations Manager end-to-end management walter ...
Techdays System Center 2012 Operations Manager end-to-end management walter ...
 
ICT & Gezond verstand
ICT & Gezond verstandICT & Gezond verstand
ICT & Gezond verstand
 
Van brandweerman tot brandpreventieadviseur
Van brandweerman tot brandpreventieadviseurVan brandweerman tot brandpreventieadviseur
Van brandweerman tot brandpreventieadviseur
 
Nagios Open Source Monitoring
Nagios Open Source MonitoringNagios Open Source Monitoring
Nagios Open Source Monitoring
 
SURF-dienstenportfolio: vaste netwerk
SURF-dienstenportfolio: vaste netwerk SURF-dienstenportfolio: vaste netwerk
SURF-dienstenportfolio: vaste netwerk
 
Neoview - Fundament Voor Datacenter Rabobank - André Van Der Griend
Neoview - Fundament Voor Datacenter Rabobank - André Van Der GriendNeoview - Fundament Voor Datacenter Rabobank - André Van Der Griend
Neoview - Fundament Voor Datacenter Rabobank - André Van Der Griend
 
Grid Technologie
Grid TechnologieGrid Technologie
Grid Technologie
 
Thesis Demo Hls 09
Thesis Demo Hls 09Thesis Demo Hls 09
Thesis Demo Hls 09
 
PC WorX en PROFINET
PC WorX en PROFINETPC WorX en PROFINET
PC WorX en PROFINET
 
Meetup ASP.NET 5 19/11/2015
Meetup ASP.NET 5 19/11/2015Meetup ASP.NET 5 19/11/2015
Meetup ASP.NET 5 19/11/2015
 
PhD presentation
PhD presentationPhD presentation
PhD presentation
 
Open Source ECM Alternatief Alfresco
Open Source ECM Alternatief AlfrescoOpen Source ECM Alternatief Alfresco
Open Source ECM Alternatief Alfresco
 
SURF Lego - SURFwired - Edwin Verheul - NWD23
SURF Lego - SURFwired - Edwin Verheul - NWD23SURF Lego - SURFwired - Edwin Verheul - NWD23
SURF Lego - SURFwired - Edwin Verheul - NWD23
 
BA Netapp Event - Always there IT Infrastructuur
BA Netapp Event - Always there IT InfrastructuurBA Netapp Event - Always there IT Infrastructuur
BA Netapp Event - Always there IT Infrastructuur
 
Enterprise GIS bij Delta
Enterprise GIS bij DeltaEnterprise GIS bij Delta
Enterprise GIS bij Delta
 
Pres Ip Label Newtest Octobre 2008 Nl (2)
Pres Ip Label Newtest Octobre 2008 Nl (2)Pres Ip Label Newtest Octobre 2008 Nl (2)
Pres Ip Label Newtest Octobre 2008 Nl (2)
 

Netflow Performance

  • 1. RTFM: Real Time Flow Monitoring
  • 2. Netflow Do's & Don'ts Onderzoek naar Netflow en impact op netwerknodes stefan.deelen@os3.nl
  • 3. Netwerk Monitoring met Netflow Typische toepassing in Large Scale omgevingen Om redenen van: Security Accountability Planning Traffic Engineering ... of gewoon voor die extra "schwung" van je netwerkmanagement..
  • 4. Is per slot van rekening in potentie pure kunst..!
  • 5. Agenda ● Netflow kenmerken en achtergronden ● Varianten en standaardisering ● Componenten binnen de Netflow architectuur ● Netflow toevoegen in bestaand netwerk (?) ● Praktijkonderzoek! Jazeker.., performed het? ● Mijn performance-impact meet-methode ● Meetresultaten en conclusies ● Vragen en discussie
  • 6. Kenmerken & Achtergronden ● Netflow is geen SNMP based “interface-counter teller” zoals Cricket, Cacti, MRTG, etc. =
  • 7. Kenmerken & Achtergronden ● Dataflow vs. Flow data (of flow records) – IP adres afzender – IP adres bestemming – Poort afz. – Poort best. – Laag 3, prot. Type – TOS byte – Logisch inkomende interface ● Flow data: De eigenschappen van de dataflow..Layer 2 en hoger, verpakt in records
  • 8. Kenmerken & Achtergronden ● Founded by Cisco Systems, Inc. ● Als toevoeging op routers en switches ● Huidige versie Netflow vs.9 ● Een rfc3954 open -, maar geen Internet standaard ● Flow informatie wordt lokaal geadministreerd ● Netflow voegt processing toe ● Vs. 9 is template based, records kunnen gemakkelijk worden uitgebreid
  • 9. Varianten en standaardisering ● sFlow, Foundry Networks ● Jflow, Juniper ● Netstream, Huawei Technologies ● ....... ● Voornamelijk Netflow afgeleiden ● IPFIX: Open standaard! Rfc5101 (status: draft) ● Internet Protocol Flow Information eXport ● IPFIX is gebaseerd op Netflow v9.
  • 11. Componenten ● Vaak UDP tussen Exporter en Collector ● IPFIX adviseert: SCTP (en anders UDP of TCP) Ref, IBM: “Better networking with SCTP”
  • 12. Netflow toevoegen ● Niet bepaald de eerste zorg, wordt als luxe, als extra beschouwd ● Primaire zorg: Syslogging, SNMP, SSH, backuppen, NTP, AAA, continuiteit van connectiviteit (redundantie-optimalisatie) ● Kandidaat Netflow Netwerkomgevingen zijn vaak al “volwassen”, en daarom soms al flink “loaded” ● (Dure) dedicated hardware probes, of risico's nemen?
  • 13. Netflow toevoegen ● Info decentraal collecteren met dedicated (= kostbaar) hardware probes? ● Geen totaaloverzicht van netwerkdomein! ● --> Schaalt slecht..
  • 14. Netflow toevoegen ● Exporteer naar een centraal punt ● “Exporting IP flows using IPFIX”, University of Oslo, Per Juvhaugen:
  • 15. Netflow toevoegen ● Meest efficient: Bestaande nodes uitbreiden met Netflow feature support ● Onzekerheid over impact extra processing! ● Netwerk-performance lastig te vatten: afhankelijk vh gebruik, van dimensionering of van toegepaste configuraties of.. ● Bestaand praktijkonderzoek toont aan: – Uiteraard vendor-afhankelijk en van device internals – Onderzoek CPU impact vs. aantal dataflows ● Maar wat ervaren netwerkgebruikers?
  • 16. Praktijkonderzoek ● Verschilmetingen met Cisco3825 ● Traffic generators: Iperf, Mgen, Harpoon
  • 17. Praktijkonderzoek Netflow performance ● Moeilijkheid verschilmeting: Router wint het!
  • 19. Meetresultaat root@Vigor159:~# iperf -c 100.0.0.158 -t 9000 -m -i 2 Client connecting to 100.0.0.158, TCP port 5001 TCP window size: 16.0 KByte (default) [ 3] local 9.0.0.159 port 43875 connected with 100.0.0.158 port 5001 [ 3] 0.0- 2.0 sec 141 MBytes 593 Mbits/sec [ 3] 2.0- 4.0 sec 141 MBytes 593 Mbits/sec [ 3] 4.0- 6.0 sec 140 MBytes 587 Mbits/sec [ 3] 6.0- 8.0 sec 128 MBytes 535 Mbits/sec [ 3] 8.0-10.0 sec 123 MBytes 515 Mbits/sec [ 3] 10.0-12.0 sec 123 MBytes 514 Mbits/sec -22% Troughput met vs. zonder Netflow 16% extra pakketverlies (Iperf UDP meting)
  • 20. Sampled Netflow ● Voor high performance omgevingen ● Of omgevingen die low performen.. ● Mijn verzadigde CPU geeft indicatie v effect:
  • 21. Future work ● Real-life testing met Harpoon ● Router/routing performance is enorm dynamisch
  • 22. Conclusies ● Security-, Cap. Planning-, Accountability tooling nodig? ● Netflow en IPFIX beiden flexibel en 'multipurpose' ● Performance Impact is te overzien, common sense ● Exporten out-of-band toepassen ● Pas op met NAT in core omgevingen ;-) ● Praktijk-dynamiek simuleren blijft een uitdaging
  • 23. Vragen en discussies ● ? ● ! ● ? ● ! ● ? ● ! ● Na LIA geen os3 onderzoek meer .. :-(