SlideShare a Scribd company logo
1 of 26
基于机器学习的 P2P 网流识别




       Jun.Liang.Jiang

         2010.3.28
主要内容



1       什么是 P2P?


2   为什么要进行 P2P 流量识别
          ?

3   用哪些方法识别 P2P 流量?



4   这些方法中的要点是什么?




                      2/23
目录



            识别技术
                     研究背景



机器学习
                   P2P 定义


       总结




                        3/23
P2P 的定义


P2P ( peer-to-peer )是一种对等网络计算
技术,它利用客户端的处理能力,实现客户端
的点到点通信。在 P2P 网络环境中,成千上
万台彼此连接的计算机都处于对等地位,整个
网络一般不依赖于专用的集中服务器。网络中
的每一台计算机既能充当网络服务的请求者,
又能对其他计算机的请求做出响应,提供资源
与服务。



                      4/23
P2P 的特点

P2P 网络是一个分布式、具有互操作性的自组织系统。与其他网络模型
相比, P2P 网络具有以下特点:




  非中心化                    隐私保护

  可扩展性        P2P 特点      负载均衡

  健壮性                    高性能 / 价格比




                          5/23
P2P 的发展


第一代 P2P :集中目录式网络体系结构




                6/23
P2P 的发展


第二代 P2P :分散分布网络体系结构




                7/23
P2P 的发展


第三代 P2P :混合网络体系结构




               8/23
P2P 的应用



文件共享   数据存储       实时通讯   协同工作




       P2P 技术允许           可以用于基
       数据分散存              因数据库检
       放在多个节              索和密码破
       点上,而不              解等需要大
       是存放于专              规模计算能
       用服务器。              力的应用。




                         9/23
目录



         关键技术
                   识别技术分类



总结
                   研究背景


     P2P 定义




                          10/23
P2P 流量识别技术研究背景


P2P 技术的大量使用使得整个互联网的网络流
 量急剧增加

据国际互联网流量监控公司最新统计发现 BT
  等 P2P 软件所占用的带宽已经超过传统的
 HTTP 80 端口

根据一些高校校园网的流量统计结果分
 析, P2P 流量已经占到了整个校园网出口的
 60%
                  11/23
P2P 流量识别技术研究背景
 以下是我们对某综合科研楼的网络
  进行监测分析得到的流量分布:

                    迅雷
                    智能识别的P        2P
                    FTP
                    HTTP 文件传输
                    HTTP 网页浏览
                    其它P   2P
                    Q 消息
                     Q
                    B t Tor r ent
                     i
                    2425
                    24576
                    27411
                    HTTP 1
                    电驴
                    2283
                    2583
                    53453
                    2245
                    4384
                    4353
                    S L( H
                     S    TTP  )
                    12/23
P2P 流量识别技术研究背景

在测试期间,各种业务的峰值下所示:




可以看出, P2P 的泛滥存在很多问题:



                       13/23
P2P 流量识别技术研究背景


       1          2           3
   引起链路阻塞       影响正常业务     导致安全问题




 由于 P2P 业务存在以上诸多问题,从网络中有效的识别出 P2P 的数据流量,
对其进行流量控制,流量管理以及安全机制的研究变得尤为重要。随着 P2P 程
序不断出现以及许多新技术的应用,原有的一些识别方法已不再满足需要。基
于这一现状,针对校园网环境下的 P2P 流量识别技术展开研究,具有重要意义
                                       。
                               14/23
目录



               总结
                      关键技术



P2P 定
  义                 识别技术分类


        研究背景




                         15/23
P2P 流量特征
相对于传统 Internet 业务而言, P2P 流量表现出以下特征:


    高速传输                 超大容量




穿透性          P2P 流量           上下行流量对称
                                持续时间长




安全性机制缺乏                 业务点分布广泛




                                16/23
P2P 流量识别技术分类

通过对 P2P 流量识别技术的研究发现, P2P 流量识别技术大致分为以下三类:

             P2P 流量识别技术
             P2P 流量识别技术



                 分类




    基于端口         深层数据       基于流量特
    的识别技         包识别技       征的识别技
      术            术          术



                              17/23
P2P 流量识别技术分类
基于流量行为特征进行 P2P 流量识别的技术目前主要是基于机器学习、数据挖
掘领域的统计模式识别等分类思想,其类别如下:

            P2P 流量行为特征
            P2P 流量行为特征



                分类




    贝叶斯学        支持向量        聚类
      派           机




                            18/23
目录



          P2P 定义
                     总结



研究背
 景                 关键技术


      识别技术分类




                      19/23
基于机器学习的流量识别




对于 P2P 网络的流量识别来说,属性选择和
分类算法的选择是关键


                   20/23
基于流量特征的识别技术




P2P 应用作为一种充分利用客户端资源的
新型应用,它在传输层表现出来的流量特
征相对于其它应用,如
HTTP , FTP , DNS 等,有许多不同的
地方。基于 P2P 在传输层表现出来的特征
,有如下的方法检测 P2P 流量:




                   21/23
基于流量特征的识别技术



一   TCP/UDP 协议对分析技术




二   (IP , PORT) 分析技术




三   双向识别分析技术




                       22/23
基于流量特征的识别技术



                              缺点

                         虽然基于流量特
                优点 2     征的检测技术扩
             适用于对安全和     展性及检测能力
    优点 1
             网络性能要求较     比较好,但这种
             高的网络。在大     方法也存在一些
由于 P2P 业务具               问题,主要缺点
有普遍适用的流      规模流量环境或
量特征,新的       安全网络中,基     是:识别方法较
             于流量特征的      为复杂,识别精
P2P 应用也符合                度相对于基于
这一特征,所以      P2P 识别方法一
这种技术有发现      般都只需要对所     payload 的方法有
             关注的流量特征     些低,并且很难
新的 P2P 应用的               对 P2P 流量进行
能力。有检测加      的统计信息不需
             对每个包进行净     准确地实时的分
密 P2P 业务的能               类。
力。           荷匹配,所以效
             率很高,不会成
             为网络的瓶颈。

                             23/23
目录



           研究背景
                    P2P 定义



识别技术分
  类                 总结


        关键技术




                         24/23
总结


P2P 技术是近年来迅猛发展的一项
Internet 技术,它的出现改变了互联网的
网络结构,对网络带宽的要求越来越高。
如何更好的控制和使用 P2P ,本文首先通
过介绍 P2P 技术的定义、结构以及特点,
建立 P2P 的初步认识。然后客观分析了
P2P 网络流量的相关问题,最后介绍了
P2P 流量识别的三种关键技术。



                  25/23
Slide 3 24_p2_p_idtify

More Related Content

Viewers also liked

Aula 3 foucault
Aula 3   foucaultAula 3   foucault
Aula 3 foucaultJose Uchoa
 
Apresentação em power point do texto: Movimentos sociais - Andreia Galvão
Apresentação em power point do texto: Movimentos sociais - Andreia GalvãoApresentação em power point do texto: Movimentos sociais - Andreia Galvão
Apresentação em power point do texto: Movimentos sociais - Andreia Galvãorennata kelly muniz alves
 
A sociedade em rede vol. I - Manuel Castells
A sociedade em rede   vol. I - Manuel CastellsA sociedade em rede   vol. I - Manuel Castells
A sociedade em rede vol. I - Manuel CastellsElizabeth Fantauzzi
 
Aula 05 escola de frankfurt e teoria crítica 01
Aula 05   escola de frankfurt e teoria crítica 01Aula 05   escola de frankfurt e teoria crítica 01
Aula 05 escola de frankfurt e teoria crítica 01Elizeu Nascimento Silva
 
Aula 2 - Formas de organização social
Aula 2 - Formas de organização socialAula 2 - Formas de organização social
Aula 2 - Formas de organização socialFábio Nogueira, PhD
 
Foucault: Ordem do Discurso e Arqueologia do Saber
Foucault: Ordem do Discurso e Arqueologia do SaberFoucault: Ordem do Discurso e Arqueologia do Saber
Foucault: Ordem do Discurso e Arqueologia do SaberTatiana Couto
 
Definição de sociedade em rede
Definição de sociedade em redeDefinição de sociedade em rede
Definição de sociedade em redeAdelaide Dias
 
Os Movimentos Sociais no Brasil
Os Movimentos Sociais no BrasilOs Movimentos Sociais no Brasil
Os Movimentos Sociais no BrasilEstude Mais
 
Reflexao=O Poder De Foucault
Reflexao=O Poder De FoucaultReflexao=O Poder De Foucault
Reflexao=O Poder De FoucaultJaciara Souza
 
Os três domínios na obra de michel foucault 1
Os três domínios na obra de michel foucault 1Os três domínios na obra de michel foucault 1
Os três domínios na obra de michel foucault 1Karla Saraiva
 
Democracia & cidadania
Democracia & cidadaniaDemocracia & cidadania
Democracia & cidadaniaAlberto Rocha
 

Viewers also liked (14)

Aula 3 foucault
Aula 3   foucaultAula 3   foucault
Aula 3 foucault
 
Apresentação em power point do texto: Movimentos sociais - Andreia Galvão
Apresentação em power point do texto: Movimentos sociais - Andreia GalvãoApresentação em power point do texto: Movimentos sociais - Andreia Galvão
Apresentação em power point do texto: Movimentos sociais - Andreia Galvão
 
A Sociedade em Rede
A Sociedade em RedeA Sociedade em Rede
A Sociedade em Rede
 
A sociedade em rede vol. I - Manuel Castells
A sociedade em rede   vol. I - Manuel CastellsA sociedade em rede   vol. I - Manuel Castells
A sociedade em rede vol. I - Manuel Castells
 
Democracia, Cidadania e Ética
Democracia, Cidadania e ÉticaDemocracia, Cidadania e Ética
Democracia, Cidadania e Ética
 
Aula 05 escola de frankfurt e teoria crítica 01
Aula 05   escola de frankfurt e teoria crítica 01Aula 05   escola de frankfurt e teoria crítica 01
Aula 05 escola de frankfurt e teoria crítica 01
 
Aula 2 - Formas de organização social
Aula 2 - Formas de organização socialAula 2 - Formas de organização social
Aula 2 - Formas de organização social
 
Foucault: Ordem do Discurso e Arqueologia do Saber
Foucault: Ordem do Discurso e Arqueologia do SaberFoucault: Ordem do Discurso e Arqueologia do Saber
Foucault: Ordem do Discurso e Arqueologia do Saber
 
Definição de sociedade em rede
Definição de sociedade em redeDefinição de sociedade em rede
Definição de sociedade em rede
 
Os Movimentos Sociais no Brasil
Os Movimentos Sociais no BrasilOs Movimentos Sociais no Brasil
Os Movimentos Sociais no Brasil
 
Reflexao=O Poder De Foucault
Reflexao=O Poder De FoucaultReflexao=O Poder De Foucault
Reflexao=O Poder De Foucault
 
Os três domínios na obra de michel foucault 1
Os três domínios na obra de michel foucault 1Os três domínios na obra de michel foucault 1
Os três domínios na obra de michel foucault 1
 
Democracia & cidadania
Democracia & cidadaniaDemocracia & cidadania
Democracia & cidadania
 
Louis Althusser
Louis AlthusserLouis Althusser
Louis Althusser
 

Similar to Slide 3 24_p2_p_idtify

點對點分散式網路架構 P2 p
點對點分散式網路架構 P2 p點對點分散式網路架構 P2 p
點對點分散式網路架構 P2 p忠雄 吳
 
互联网视频发展和演进 网络新媒体-侯自强
互联网视频发展和演进 网络新媒体-侯自强互联网视频发展和演进 网络新媒体-侯自强
互联网视频发展和演进 网络新媒体-侯自强xobo
 
Minderin p2 p系统文档
Minderin p2 p系统文档Minderin p2 p系统文档
Minderin p2 p系统文档fubenbo
 
Big Data : The Missing Puzzle of Mobile Computing
Big Data : The Missing Puzzle of Mobile ComputingBig Data : The Missing Puzzle of Mobile Computing
Big Data : The Missing Puzzle of Mobile ComputingJazz Yao-Tsung Wang
 
20170315 探討區塊鏈技術在能源領域的應用
20170315 探討區塊鏈技術在能源領域的應用20170315 探討區塊鏈技術在能源領域的應用
20170315 探討區塊鏈技術在能源領域的應用懂能源團隊
 
P2 p加速分析与设计
P2 p加速分析与设计P2 p加速分析与设计
P2 p加速分析与设计tigerxu
 
组网实践
组网实践组网实践
组网实践telab
 
防火墙产品原理介绍20080407
防火墙产品原理介绍20080407防火墙产品原理介绍20080407
防火墙产品原理介绍20080407paulqi
 
05 zhao huiling
05 zhao huiling05 zhao huiling
05 zhao huilingMason Mei
 
AppEx 云加速
AppEx 云加速AppEx 云加速
AppEx 云加速txpeng
 
2006-11-16 RFID and OSS for Agriculture
2006-11-16 RFID and OSS for Agriculture2006-11-16 RFID and OSS for Agriculture
2006-11-16 RFID and OSS for AgricultureJazz Yao-Tsung Wang
 
Alibaba server-zhangxuseng-qcon
Alibaba server-zhangxuseng-qconAlibaba server-zhangxuseng-qcon
Alibaba server-zhangxuseng-qconYiwei Ma
 
99 botnet期末簡報
99 botnet期末簡報99 botnet期末簡報
99 botnet期末簡報Shi-Hwao Wang
 
Python与抓包
Python与抓包Python与抓包
Python与抓包Leo Zhou
 
Some things before network attack
Some things before network attackSome things before network attack
Some things before network attackCanaan Kao
 
Network security reesjohnson
Network security reesjohnsonNetwork security reesjohnson
Network security reesjohnsonITband
 
電腦鑑識程序之研究
電腦鑑識程序之研究電腦鑑識程序之研究
電腦鑑識程序之研究guestce8b9
 
App+protocol+analysis
App+protocol+analysisApp+protocol+analysis
App+protocol+analysisSunny Summer
 
App+protocol+analysis (1)
App+protocol+analysis (1)App+protocol+analysis (1)
App+protocol+analysis (1)Sunny Summer
 
提高扩展能力的常用模式——黄东
提高扩展能力的常用模式——黄东提高扩展能力的常用模式——黄东
提高扩展能力的常用模式——黄东programmermag
 

Similar to Slide 3 24_p2_p_idtify (20)

點對點分散式網路架構 P2 p
點對點分散式網路架構 P2 p點對點分散式網路架構 P2 p
點對點分散式網路架構 P2 p
 
互联网视频发展和演进 网络新媒体-侯自强
互联网视频发展和演进 网络新媒体-侯自强互联网视频发展和演进 网络新媒体-侯自强
互联网视频发展和演进 网络新媒体-侯自强
 
Minderin p2 p系统文档
Minderin p2 p系统文档Minderin p2 p系统文档
Minderin p2 p系统文档
 
Big Data : The Missing Puzzle of Mobile Computing
Big Data : The Missing Puzzle of Mobile ComputingBig Data : The Missing Puzzle of Mobile Computing
Big Data : The Missing Puzzle of Mobile Computing
 
20170315 探討區塊鏈技術在能源領域的應用
20170315 探討區塊鏈技術在能源領域的應用20170315 探討區塊鏈技術在能源領域的應用
20170315 探討區塊鏈技術在能源領域的應用
 
P2 p加速分析与设计
P2 p加速分析与设计P2 p加速分析与设计
P2 p加速分析与设计
 
组网实践
组网实践组网实践
组网实践
 
防火墙产品原理介绍20080407
防火墙产品原理介绍20080407防火墙产品原理介绍20080407
防火墙产品原理介绍20080407
 
05 zhao huiling
05 zhao huiling05 zhao huiling
05 zhao huiling
 
AppEx 云加速
AppEx 云加速AppEx 云加速
AppEx 云加速
 
2006-11-16 RFID and OSS for Agriculture
2006-11-16 RFID and OSS for Agriculture2006-11-16 RFID and OSS for Agriculture
2006-11-16 RFID and OSS for Agriculture
 
Alibaba server-zhangxuseng-qcon
Alibaba server-zhangxuseng-qconAlibaba server-zhangxuseng-qcon
Alibaba server-zhangxuseng-qcon
 
99 botnet期末簡報
99 botnet期末簡報99 botnet期末簡報
99 botnet期末簡報
 
Python与抓包
Python与抓包Python与抓包
Python与抓包
 
Some things before network attack
Some things before network attackSome things before network attack
Some things before network attack
 
Network security reesjohnson
Network security reesjohnsonNetwork security reesjohnson
Network security reesjohnson
 
電腦鑑識程序之研究
電腦鑑識程序之研究電腦鑑識程序之研究
電腦鑑識程序之研究
 
App+protocol+analysis
App+protocol+analysisApp+protocol+analysis
App+protocol+analysis
 
App+protocol+analysis (1)
App+protocol+analysis (1)App+protocol+analysis (1)
App+protocol+analysis (1)
 
提高扩展能力的常用模式——黄东
提高扩展能力的常用模式——黄东提高扩展能力的常用模式——黄东
提高扩展能力的常用模式——黄东
 

Slide 3 24_p2_p_idtify