SlideShare a Scribd company logo
1 of 48
李晗
honeypot@sina.com
   2012 年 11 月
网络如同江河湖海
假如流量并不清洁
泼掉脏水的同时孩子怎么办
流量清洗产品的定义和核心问题

• 定义:用于准确识别网络中的异常流量,
  丢弃其中的异常流量,保证正常流量通行
  的网络安全设备。
• 核心问题:如何准确区分网络中的异常流
  量和正常流量?
流量清洗培训三部曲

• 《流量清洗产品概述和关键技术介绍》
• 《抗攻击原理和算法介绍》
• 《 DNS 安全》
目录
 1   流量清洗产品的前世今生

 2   流量清洗产品的部署特点

 3   流量清洗产品与防火墙的区别

 4   如何设计一个好的流量清洗产品

 5   黑客常用攻击手法简析

 6
流量清洗的主要对象 DDOS
•   最早的 DOS : 1988 年 11 月 2 日,一个叫 RobertMorris 的美国大学
    生写了一个蠕虫程序,导致当时因特网上约 15% 的电脑受感染停止
    运行。巧合的是,这个人的父亲老 Morris 是 UNIX 的创始人之一,专
    门帮助政府对抗电脑犯罪。

•   DDOS 经历了三个发展阶段:
    1 、技术发展阶段。从上世纪 90 年代起,因特网开始普及,涌现了
    大量的 DOS 技术,很多现在仍然很有效,包括 synflood , smurf 等
    。
    2 、从实验室向“产业化”过渡阶段。 2000 年前后, DDOS 出现,雅
    虎、亚马逊等多个著名网站遭受攻击并瘫痪。
    3 、商业时代。近些年,网络快速发展,接入带宽快速增长,个人电
    脑性能大幅提高, DDOS 攻击越来越频繁,出现了很多专业出
    租“ botnet” 网络的 DDOS 攻击产业。
DDOS 攻击的本质

• 利用木桶原理,寻找并利用系统资源的瓶
  颈
• 阻塞和耗尽
DDOS 攻击分类

• 连接耗尽型,包括 SYN flood ,连接数攻
  击等;
• 带宽耗尽型,包括 Ack flood , UDP
  flood , ICMP flood ,分片攻击等;
• 针对特定应用,包括 HTTP Get
  flood , CC , HTTP POST 慢速攻
  击, DNS flood ,以及针对各种游戏和数
  据库的攻击方式。
DDOS 举例— SYN flood
                                       为何还
SYN Flood 攻击原理                         没回应       攻击表象


           伪造地址进行 SYN 请求                     •    SYN_RECV 状态
           SYN (我可以连接                        •    半开连接队列
           吗?)
就是让        不能建立正常的连接!
你白等                                                – 遍历,消耗 CPU 和
                                                     内存
                                       受害者




                                   )
                                                   – SYN|ACK 重试


                                   !
                                   认
                                                   – SYN Timeout : 30
                                  确
                               请
                                                     秒 ~2 分钟
                              (
                             YN



                                             •    无暇理睬正常的连接
                         /S




                                                  请求—拒绝服务
                         )
                        以




攻击者
                    可
                   (
                    K
                 AC
请发我
求过没
DDOS 举例—连接数攻击
Connection Flood 攻击原理                    攻击表象


            大量 tcp connect           •     利用真 实 IP 地址(代
                                          理服务器、广告 页面)在
             正常 tcp connect   这么多?
             正常 tcp connect               服务器上建立大量连接
             正常 tcp connect
             正常 tcp connect          •      服务器上残余连接
攻击者          正常 tcp connect               (WAIT 状态 ) 过 多,效率
                                          降低,甚至资源耗尽,无
                                          法响应

            正常 tcp                   •     蠕虫 传 播 过 程中会出 现
            connect           受害者         大量源 IP 地址相同的包
           不能建立正常的连接
                                          ,对于 TCP 蠕虫则表现
正常用户
                                          为大范围扫描行为

                                     •     消耗骨干 设备 的 资 源 ,
                                          如防火墙的连接数
DDOS 举例— UDP flood          网卡 出口
                                       堵塞,收
UDP Flood 攻击 原                         不了数据           攻击 表象
       理                                包了

                                               •   大量 UDP 冲击服务器

             UDP (非业务 数据)                      •   受害者带宽消耗
 占用              UDP (大包 / 负载 )
 带宽                                            •   UDP Flood 流量不仅仅影
                                      受害者          响服务器,还会对整个传
                                                   输链路造成阻塞



                                  弃
                                  丢

 攻击 者




04/19/13                                              13
分片攻击

• 有些系统会对分片报文重组。为此,系统
  必须保持所有未完成的数据包的分片(直
  到超时或满足其他条件)。
• 攻击者伪造并发送大量的分片,但却不让
  这些分片构成完整的数据包,以此占用系
  统 CPU 和内存,构成拒绝服务攻击。
• 攻击者还可以发送偏移量有重叠的分片消
  耗系统资源。
DDOS 举例— Teardrop
      Teardrop 攻击
       Teardrop 攻击                    服务器           攻击表现
                                                    攻击表现
                                      系统崩溃
  发送大量 UDP 病态分片数据包
                                                 发送大量的 UDP 病态分
      UDP Fragments                               片数据包
       UDP Fragments
                                                 早期操作系统收到含有
         UDP Fragments
           UDP Fragments                          重叠偏移的伪造分片数
             UDP Fragments                        据包时将会出现系统崩
                                          受害者
                                                  溃、重启等现象
攻击者                                              现在的操作系统虽不至
                                 吗   ?)
                              连接                  于崩溃、重启,但是处
                         可以          应
                    (我           响
               S YN           停止                  理分片的性能并不高,
          正常        机     ,
                 器宕                               疲于应付
            服务
                                                 无暇理睬正常的连接请
                                                  求—拒绝服务
DDOS 举例— CC/HTTPGet
       flood
流量清洗前世

在流量清洗产品问世前,会采用以下办法
• 黑洞技术:将路由指向不存在的地址
• 路由器上: ACL ,反向地址查询,限速
• 防火墙:状态检查,访问控制
• IPS :特征过滤
为应对 DDOS 产生的清洗技术

• SYN Cookie
• 基于流量特征聚类的攻击特征提取
• 基于网络中各种标志位 TCP 报文的比例关
  系检测攻击
• 基于流量自相似性的检测
• 基于服务器的认证机制
• 基于拥塞控制的防范机制
• Trackback
流量清洗产品的特点

•   适合串联和旁路部署
•   经常和检测设备搭配使用
•   支持多种路由和 VPN 相关的协议
•   转发不受新建连接数限制
•   可以抵御大规模的 DDOS 攻击
•   存在很多相对复杂的阈值配置
•   经常需要抓包分析攻击报文
回顾与提问

1 、 DDOS 都有哪些常见种类?主要的攻击
  原理是什么?
2 、为什么流量清洗产品面世之前的很多
  DDOS 防范技术无法很好的防御 DDOS 攻
  击?
目录
 1   流量清洗产品的前世今生

 2   流量清洗产品的部署特点

 3   流量清洗产品与防火墙的区别

 4   如何设计一个好的流量清洗产品

 5   黑客常用攻击手法简析

 6
流量清洗产品的部署方案分类

• 串联线模式
• 思科提出的 flow 检测 + 动态牵引 + 清洗方
  案
• 华为提出的 DPI 检测 +TOS 标记牵引 + 清
  洗方案
串联线模式

192.178.0.0
     Trust 区域                                      联通



                  Channel 3G

192.168.0.0
      Trust 区域                       Guard         电信
                               10G           10G
                 1G

                  1G
192.158.0.0
      服务器群组                                        Cernet
Flow 检测 + 动态牵引 + 清洗方
           案
旁路部署的环路问题
                                 旁路部署的环路问题




Ip route 10.1.2.0 255.255.255.0 10.1.2.2         Ip route 10.1.2.2 255.255.255.255 10.1.3.1



                                                                                10.1.3.1


      Leadsec-Detector                                         leadsec-Guard
                               10.1.1.2




                                 目标主机 10.1.2.2
规避环路: PBR 注入
                                            旁路部署的环路问题




         Ip rout 10.1.2.0 255.255.255.0 10.1.2.2
         Ip rout 10.1.2.2 255.255.255.255 10.1.3.1
                                                          10.1.3.1
Leadsec-Detector

     interface Guard
        ip address 10.1.3.2 255.255.255.0                       leadsec-Guard
        ip policy route-map pbr             10.1.1.2
     !
     ip access-list extended guard
       permit ip any any
     !
     route-map pbr permit 10
       match ip address guard                 目标主机 10.1.2.2
       set ip next-hop 10.1.1.2
规避环路的方法


                Guard                     Guard

      二层回注                      PBR 回注


                   环路问题
                   解决方案

                 Guard
                                          Guard
          GRE
                          VRF
      GRE 回注
                                MPLS 回注

GRE
旁路的优势和劣势
优势:
• 部署简单,不需要改变原有网络拓扑
• 性价比高, 100G 的网络第一期可以先部署
  10G 的清洗
• 不会引起单点故障
• 方便扩容,集群更容易部署
劣势:
• 针对应用层的攻击,尤其是慢速攻
  击, flow 检查无法检测到
• 清洗设备不能实时学习正常数据
针对应用层防护的旁路改进部署
DPI 检测 +TOS 标记牵引 + 清洗
          待检测流量




                   任务目标
丢弃流量    DPI                        管理设备




                            任务目标          清洗结果
                            清洗策略




       分流路由器      标记流量             清洗设备          丢弃流量



                  正常无标记流量
回顾与提问

•   流量清洗产品都有哪些常见的部署方式?
•   旁路部署的关键技术问题是什么?
•   旁路部署有哪些优势?
•   思科和华为的方案孰优孰劣?
目录
 1   流量清洗产品的前世今生

 2   流量清洗产品的部署特点

 3   流量清洗产品与防火墙的区别

 4   如何设计一个好的流量清洗产品

 5   黑客常用攻击手法简析

 6
流量清洗产品与防火墙的区别

• 部署方式:支持旁路,串联时一般采用线
  模式。
• 功能:防火墙的主要功能是地址转换和访
  问控制等;流量清洗的主要功能是抗攻击
  ,而且相对防火墙而言功能数量比较少。
• 关键指标:防火墙的关键指标是稳定性和
  功能全面,其次是性能;流量清洗产品的
  关键指标是抗攻击能力和性能,其次是稳
  定性。
不同的表现形态
• 流量清洗产品往往采用线模式或接口转发
  等比较古怪的转发行为来优化转发性能,
  而且流量清洗产品不需要会话和连接跟踪
  ,因此转发性能也不依赖于新建连接数和
  并发连接数。
• 流量清洗产品的配置项相对较少,主要是
  抗攻击相关的功能和统计配置,以及部署
  相关的配置。
• 由于上述原因,流量清洗产品容易做到比
  较稳定,主要 PK 项是抗攻击算法和性能。
目录
 1   流量清洗产品的前世今生

 2   流量清洗产品的部署特点

 3   流量清洗产品与防火墙的区别

 4   如何设计一个好的流量清洗产品

 5   黑客常用攻击手法简析
评价标准

• 高性能,包括小包抗攻击性能和转发性能
  ,性能计量不用 bps ,而是用 pps
• 抗攻击算法可以抵御尽量多的 DDOS 攻击
  种类和手法
• 支持方便的抓包分析和攻击取证
• 配置简单方便
• 支持各类串联和旁路部署
• 方便集群和扩容
高性能设计思路

• 摒弃防火墙的设计思路,转发不需要会话
  和连接跟踪。
• 根据流量清洗产品的网络部署方式比较少
  的特点,对转发进行优化。线模式,接口
  转发等。
• 需要抗攻击模块分析的大部分报文可以不
  走协议栈,以提高性能。
• 对抗攻击功能中的过滤报文部分进行性能
  优化,比如采用 ASIC 加速等方式。
配置设计思路

• 抗攻击算法比较复杂,初次接触的工程师
  不容易搞懂,因此相关的阈值和算法配置
  需要尽量简化,并提供配置模板。
• 提供流量自学习功能实现自动或半自动配
  置。
• 在菜单上分列流量牵引、流量清洗和流量
  统计等项,方便用户配置。大部分抗攻击
  功能都是针对目的进行防护,因此采用保
  护 IP 来配置抗攻击策略比较合适。
目录
 1   流量清洗产品的前世今生

 2   流量清洗产品的部署特点

 3   流量清洗产品与防火墙的区别

 4   如何设计一个好的流量清洗产品

 5   黑客常用攻击手法简析

 6
黑客惯用的 DDOS 三十六计
浑水摸鱼
• 伪造大量有效的源地址,消耗网络带宽或
  用数据包淹没受害者,从中渔
  利。 Udpflood , icmpflood 等。          网卡 出口
                                      堵塞,收
                                      不了数据
                                       包了


       不管三
       七二十     UDP (非业务 数据)
       一,多
       发报      ICMP (大包 / 负载 )
        文占
       带宽                            受害者




                                 弃
                                 丢
       攻击 者
瞒天过海
• 通过代理或僵尸网络建立大量正常连接,
  消耗服务资源。连接数攻击, http get
  flood 等。
借刀杀人
• 采用受害者的 IP 作为源 IP ,向正常网络发
  送大量报文,利用这些正常 PC 的回应报文
  达到攻击受害者的目的。 Smurf,fraggle 等
  。         放大网络
                        DoS 攻击


   ICMP 请求
                                 被攻击 者

攻击 者
         源 IP= 被攻击
           者的 IP
        目的 IP= 指向
        网络 或子网的广
暗渡陈仓
• 利用很多攻击防范设备会将正常访问加入
  白名单的特性,利用正常访问的 IP 发动攻
  击。改良后的 synflood , dns query flood
  等。
                            通过白名单
                            检查,绕过
      源 IP 伪造成已经加入白名单的正常 IP DDOS 检查

               大量攻击报文
               大量攻击报文
               大量攻击报文
   攻击者
               大量攻击报文




                                  受害者
             正常访问 IP 加入白名单
                   正常 tcp
                   connect
控制一些 PC 进行
正常访问和应用
笑里藏刀
• 利用一些协议的缺陷,发动看似很慢速的
  攻击,由于流量很小不易被检测到,达到
  拒绝服务的攻击目的。 http post 慢速攻击
  , SSL 慢速攻击等。
                                                每个连接
         HTTP 连接,指定 POST 内容长度为                  都在发报
         1000                                   文,不能
       HTTP POST 请求连接 1 ,每 10 秒发送 1 个字节         中断

       HTTP POST 请求连接 2 ,每 10 秒发送 1 个字节

 攻击者   HTTP POST 请求连接 3 ,每 10 秒发送 1 个字节

       HTTP POST 请求连接 4 ,每 10 秒发送 1 个字节

                                          受害者
           正常 tcp HTTP 请求
               正常
           connect
             不能建立正常的连接
正常用户
偷梁换柱
   • DNS 投毒,将一个合法域名的 IP 更换为自
     己指定的 IP ,达到不可告人的目的。
             NS 请求 hhh.baidu.com                                                       DNS 请求: hhh.baidu.com

                                                                                                                攻击者
             2.NS 请求 www.baidu.com
                                                   大量 DNS 响应:随机匹配 ID
               3. 返回 202.108.22.5                  附加域改为 www.baidu.com
权威 DNS 服务器                              一级 DNS 服务器      70.35.29.162




                                                    www.baidu.com
                                                                                                               伪造 DNS 服务器
                                     202.108.22.5




                                                                    70.35.29.162
                                       4.


                                                      1.
                                           返                                       返
                                                           查                       回
                                           回               询




                  5.HTTP 访问                                                              HTTP 访问



  百度服务器                                             用户
黑网欲且
客
  络  听
兵硝知
     下
临烟退
城    次
  四敌
下   之分
  起
    策解
谢谢

More Related Content

Similar to 流量清洗产品概述和关键技术介绍

数据中心网络架构与全球化服务-Qcon2011
数据中心网络架构与全球化服务-Qcon2011数据中心网络架构与全球化服务-Qcon2011
数据中心网络架构与全球化服务-Qcon2011Yiwei Ma
 
腾讯 马志强 虚拟化环境下 网络 朋务器 平台的协作经验
腾讯 马志强 虚拟化环境下 网络 朋务器 平台的协作经验腾讯 马志强 虚拟化环境下 网络 朋务器 平台的协作经验
腾讯 马志强 虚拟化环境下 网络 朋务器 平台的协作经验colderboy17
 
分布式索引系统调研
分布式索引系统调研分布式索引系统调研
分布式索引系统调研zijingyeshao
 
弹性计算云中的DDOS攻击(DDOS in Elastic Compute Cloud)
弹性计算云中的DDOS攻击(DDOS in Elastic Compute Cloud)弹性计算云中的DDOS攻击(DDOS in Elastic Compute Cloud)
弹性计算云中的DDOS攻击(DDOS in Elastic Compute Cloud)im_yunshu
 
Discovering botnets from dns traffic using map reduce 5.pptx
Discovering botnets from dns traffic using map reduce 5.pptxDiscovering botnets from dns traffic using map reduce 5.pptx
Discovering botnets from dns traffic using map reduce 5.pptxAlan Lee
 
Linux Network Monitoring
Linux Network MonitoringLinux Network Monitoring
Linux Network MonitoringKenny (netman)
 
SACC2015 ”互联网+“任重而道远-白金&高春辉
SACC2015 ”互联网+“任重而道远-白金&高春辉SACC2015 ”互联网+“任重而道远-白金&高春辉
SACC2015 ”互联网+“任重而道远-白金&高春辉ptcracker
 
淘宝软件基础设施构建实践
淘宝软件基础设施构建实践淘宝软件基础设施构建实践
淘宝软件基础设施构建实践lovingprince58
 
Alibaba server-zhangxuseng-qcon
Alibaba server-zhangxuseng-qconAlibaba server-zhangxuseng-qcon
Alibaba server-zhangxuseng-qconYiwei Ma
 
探索 ISTIO 新型 DATA PLANE 架構 AMBIENT MESH - GOLANG TAIWAN GATHERING #77 X CNTUG
探索 ISTIO 新型 DATA PLANE 架構 AMBIENT MESH - GOLANG TAIWAN GATHERING #77 X CNTUG探索 ISTIO 新型 DATA PLANE 架構 AMBIENT MESH - GOLANG TAIWAN GATHERING #77 X CNTUG
探索 ISTIO 新型 DATA PLANE 架構 AMBIENT MESH - GOLANG TAIWAN GATHERING #77 X CNTUGYingSiang Geng
 
弹性计算云安全(Elastic Compute Cloud Security)
弹性计算云安全(Elastic Compute Cloud Security)弹性计算云安全(Elastic Compute Cloud Security)
弹性计算云安全(Elastic Compute Cloud Security)im_yunshu
 
开源+自主开发 - 淘宝软件基础设施构建实践
开源+自主开发  - 淘宝软件基础设施构建实践开源+自主开发  - 淘宝软件基础设施构建实践
开源+自主开发 - 淘宝软件基础设施构建实践Wensong Zhang
 
PyCon China 2012 孙毅
PyCon China 2012 孙毅PyCon China 2012 孙毅
PyCon China 2012 孙毅Yi Sun
 
张松国 腾讯微博架构介绍08
张松国 腾讯微博架构介绍08张松国 腾讯微博架构介绍08
张松国 腾讯微博架构介绍08drewz lin
 
徐晓 Qq空间技术架构之峥嵘岁月
徐晓 Qq空间技术架构之峥嵘岁月徐晓 Qq空间技术架构之峥嵘岁月
徐晓 Qq空间技术架构之峥嵘岁月drewz lin
 
淘宝对象存储与Cdn系统到服务
淘宝对象存储与Cdn系统到服务淘宝对象存储与Cdn系统到服务
淘宝对象存储与Cdn系统到服务drewz lin
 
Taobao图片存储与cdn系统到服务
Taobao图片存储与cdn系统到服务Taobao图片存储与cdn系统到服务
Taobao图片存储与cdn系统到服务Wensong Zhang
 
OpenStack Quantum项目介绍和演示
OpenStack Quantum项目介绍和演示OpenStack Quantum项目介绍和演示
OpenStack Quantum项目介绍和演示OpenCity Community
 
企业系统和网络管理员的日常工作-丫美D-www.yamed.cn
企业系统和网络管理员的日常工作-丫美D-www.yamed.cn企业系统和网络管理员的日常工作-丫美D-www.yamed.cn
企业系统和网络管理员的日常工作-丫美D-www.yamed.cnsese101
 

Similar to 流量清洗产品概述和关键技术介绍 (20)

数据中心网络架构与全球化服务-Qcon2011
数据中心网络架构与全球化服务-Qcon2011数据中心网络架构与全球化服务-Qcon2011
数据中心网络架构与全球化服务-Qcon2011
 
腾讯 马志强 虚拟化环境下 网络 朋务器 平台的协作经验
腾讯 马志强 虚拟化环境下 网络 朋务器 平台的协作经验腾讯 马志强 虚拟化环境下 网络 朋务器 平台的协作经验
腾讯 马志强 虚拟化环境下 网络 朋务器 平台的协作经验
 
分布式索引系统调研
分布式索引系统调研分布式索引系统调研
分布式索引系统调研
 
弹性计算云中的DDOS攻击(DDOS in Elastic Compute Cloud)
弹性计算云中的DDOS攻击(DDOS in Elastic Compute Cloud)弹性计算云中的DDOS攻击(DDOS in Elastic Compute Cloud)
弹性计算云中的DDOS攻击(DDOS in Elastic Compute Cloud)
 
Discovering botnets from dns traffic using map reduce 5.pptx
Discovering botnets from dns traffic using map reduce 5.pptxDiscovering botnets from dns traffic using map reduce 5.pptx
Discovering botnets from dns traffic using map reduce 5.pptx
 
Linux Network Monitoring
Linux Network MonitoringLinux Network Monitoring
Linux Network Monitoring
 
SACC2015 ”互联网+“任重而道远-白金&高春辉
SACC2015 ”互联网+“任重而道远-白金&高春辉SACC2015 ”互联网+“任重而道远-白金&高春辉
SACC2015 ”互联网+“任重而道远-白金&高春辉
 
Taobao base
Taobao baseTaobao base
Taobao base
 
淘宝软件基础设施构建实践
淘宝软件基础设施构建实践淘宝软件基础设施构建实践
淘宝软件基础设施构建实践
 
Alibaba server-zhangxuseng-qcon
Alibaba server-zhangxuseng-qconAlibaba server-zhangxuseng-qcon
Alibaba server-zhangxuseng-qcon
 
探索 ISTIO 新型 DATA PLANE 架構 AMBIENT MESH - GOLANG TAIWAN GATHERING #77 X CNTUG
探索 ISTIO 新型 DATA PLANE 架構 AMBIENT MESH - GOLANG TAIWAN GATHERING #77 X CNTUG探索 ISTIO 新型 DATA PLANE 架構 AMBIENT MESH - GOLANG TAIWAN GATHERING #77 X CNTUG
探索 ISTIO 新型 DATA PLANE 架構 AMBIENT MESH - GOLANG TAIWAN GATHERING #77 X CNTUG
 
弹性计算云安全(Elastic Compute Cloud Security)
弹性计算云安全(Elastic Compute Cloud Security)弹性计算云安全(Elastic Compute Cloud Security)
弹性计算云安全(Elastic Compute Cloud Security)
 
开源+自主开发 - 淘宝软件基础设施构建实践
开源+自主开发  - 淘宝软件基础设施构建实践开源+自主开发  - 淘宝软件基础设施构建实践
开源+自主开发 - 淘宝软件基础设施构建实践
 
PyCon China 2012 孙毅
PyCon China 2012 孙毅PyCon China 2012 孙毅
PyCon China 2012 孙毅
 
张松国 腾讯微博架构介绍08
张松国 腾讯微博架构介绍08张松国 腾讯微博架构介绍08
张松国 腾讯微博架构介绍08
 
徐晓 Qq空间技术架构之峥嵘岁月
徐晓 Qq空间技术架构之峥嵘岁月徐晓 Qq空间技术架构之峥嵘岁月
徐晓 Qq空间技术架构之峥嵘岁月
 
淘宝对象存储与Cdn系统到服务
淘宝对象存储与Cdn系统到服务淘宝对象存储与Cdn系统到服务
淘宝对象存储与Cdn系统到服务
 
Taobao图片存储与cdn系统到服务
Taobao图片存储与cdn系统到服务Taobao图片存储与cdn系统到服务
Taobao图片存储与cdn系统到服务
 
OpenStack Quantum项目介绍和演示
OpenStack Quantum项目介绍和演示OpenStack Quantum项目介绍和演示
OpenStack Quantum项目介绍和演示
 
企业系统和网络管理员的日常工作-丫美D-www.yamed.cn
企业系统和网络管理员的日常工作-丫美D-www.yamed.cn企业系统和网络管理员的日常工作-丫美D-www.yamed.cn
企业系统和网络管理员的日常工作-丫美D-www.yamed.cn
 

More from drewz lin

Web security-–-everything-we-know-is-wrong-eoin-keary
Web security-–-everything-we-know-is-wrong-eoin-kearyWeb security-–-everything-we-know-is-wrong-eoin-keary
Web security-–-everything-we-know-is-wrong-eoin-kearydrewz lin
 
Via forensics appsecusa-nov-2013
Via forensics appsecusa-nov-2013Via forensics appsecusa-nov-2013
Via forensics appsecusa-nov-2013drewz lin
 
Phu appsec13
Phu appsec13Phu appsec13
Phu appsec13drewz lin
 
Owasp2013 johannesullrich
Owasp2013 johannesullrichOwasp2013 johannesullrich
Owasp2013 johannesullrichdrewz lin
 
Owasp advanced mobile-application-code-review-techniques-v0.2
Owasp advanced mobile-application-code-review-techniques-v0.2Owasp advanced mobile-application-code-review-techniques-v0.2
Owasp advanced mobile-application-code-review-techniques-v0.2drewz lin
 
I mas appsecusa-nov13-v2
I mas appsecusa-nov13-v2I mas appsecusa-nov13-v2
I mas appsecusa-nov13-v2drewz lin
 
Defeating xss-and-xsrf-with-my faces-frameworks-steve-wolf
Defeating xss-and-xsrf-with-my faces-frameworks-steve-wolfDefeating xss-and-xsrf-with-my faces-frameworks-steve-wolf
Defeating xss-and-xsrf-with-my faces-frameworks-steve-wolfdrewz lin
 
Csrf not-all-defenses-are-created-equal
Csrf not-all-defenses-are-created-equalCsrf not-all-defenses-are-created-equal
Csrf not-all-defenses-are-created-equaldrewz lin
 
Chuck willis-owaspbwa-beyond-1.0-app secusa-2013-11-21
Chuck willis-owaspbwa-beyond-1.0-app secusa-2013-11-21Chuck willis-owaspbwa-beyond-1.0-app secusa-2013-11-21
Chuck willis-owaspbwa-beyond-1.0-app secusa-2013-11-21drewz lin
 
Appsec usa roberthansen
Appsec usa roberthansenAppsec usa roberthansen
Appsec usa roberthansendrewz lin
 
Appsec usa2013 js_libinsecurity_stefanodipaola
Appsec usa2013 js_libinsecurity_stefanodipaolaAppsec usa2013 js_libinsecurity_stefanodipaola
Appsec usa2013 js_libinsecurity_stefanodipaoladrewz lin
 
Appsec2013 presentation-dickson final-with_all_final_edits
Appsec2013 presentation-dickson final-with_all_final_editsAppsec2013 presentation-dickson final-with_all_final_edits
Appsec2013 presentation-dickson final-with_all_final_editsdrewz lin
 
Appsec2013 presentation
Appsec2013 presentationAppsec2013 presentation
Appsec2013 presentationdrewz lin
 
Appsec 2013-krehel-ondrej-forensic-investigations-of-web-exploitations
Appsec 2013-krehel-ondrej-forensic-investigations-of-web-exploitationsAppsec 2013-krehel-ondrej-forensic-investigations-of-web-exploitations
Appsec 2013-krehel-ondrej-forensic-investigations-of-web-exploitationsdrewz lin
 
Appsec2013 assurance tagging-robert martin
Appsec2013 assurance tagging-robert martinAppsec2013 assurance tagging-robert martin
Appsec2013 assurance tagging-robert martindrewz lin
 
Amol scadaowasp
Amol scadaowaspAmol scadaowasp
Amol scadaowaspdrewz lin
 
Agile sdlc-v1.1-owasp-app sec-usa
Agile sdlc-v1.1-owasp-app sec-usaAgile sdlc-v1.1-owasp-app sec-usa
Agile sdlc-v1.1-owasp-app sec-usadrewz lin
 
Vulnex app secusa2013
Vulnex app secusa2013Vulnex app secusa2013
Vulnex app secusa2013drewz lin
 
基于虚拟化技术的分布式软件测试框架
基于虚拟化技术的分布式软件测试框架基于虚拟化技术的分布式软件测试框架
基于虚拟化技术的分布式软件测试框架drewz lin
 
新浪微博稳定性经验谈
新浪微博稳定性经验谈新浪微博稳定性经验谈
新浪微博稳定性经验谈drewz lin
 

More from drewz lin (20)

Web security-–-everything-we-know-is-wrong-eoin-keary
Web security-–-everything-we-know-is-wrong-eoin-kearyWeb security-–-everything-we-know-is-wrong-eoin-keary
Web security-–-everything-we-know-is-wrong-eoin-keary
 
Via forensics appsecusa-nov-2013
Via forensics appsecusa-nov-2013Via forensics appsecusa-nov-2013
Via forensics appsecusa-nov-2013
 
Phu appsec13
Phu appsec13Phu appsec13
Phu appsec13
 
Owasp2013 johannesullrich
Owasp2013 johannesullrichOwasp2013 johannesullrich
Owasp2013 johannesullrich
 
Owasp advanced mobile-application-code-review-techniques-v0.2
Owasp advanced mobile-application-code-review-techniques-v0.2Owasp advanced mobile-application-code-review-techniques-v0.2
Owasp advanced mobile-application-code-review-techniques-v0.2
 
I mas appsecusa-nov13-v2
I mas appsecusa-nov13-v2I mas appsecusa-nov13-v2
I mas appsecusa-nov13-v2
 
Defeating xss-and-xsrf-with-my faces-frameworks-steve-wolf
Defeating xss-and-xsrf-with-my faces-frameworks-steve-wolfDefeating xss-and-xsrf-with-my faces-frameworks-steve-wolf
Defeating xss-and-xsrf-with-my faces-frameworks-steve-wolf
 
Csrf not-all-defenses-are-created-equal
Csrf not-all-defenses-are-created-equalCsrf not-all-defenses-are-created-equal
Csrf not-all-defenses-are-created-equal
 
Chuck willis-owaspbwa-beyond-1.0-app secusa-2013-11-21
Chuck willis-owaspbwa-beyond-1.0-app secusa-2013-11-21Chuck willis-owaspbwa-beyond-1.0-app secusa-2013-11-21
Chuck willis-owaspbwa-beyond-1.0-app secusa-2013-11-21
 
Appsec usa roberthansen
Appsec usa roberthansenAppsec usa roberthansen
Appsec usa roberthansen
 
Appsec usa2013 js_libinsecurity_stefanodipaola
Appsec usa2013 js_libinsecurity_stefanodipaolaAppsec usa2013 js_libinsecurity_stefanodipaola
Appsec usa2013 js_libinsecurity_stefanodipaola
 
Appsec2013 presentation-dickson final-with_all_final_edits
Appsec2013 presentation-dickson final-with_all_final_editsAppsec2013 presentation-dickson final-with_all_final_edits
Appsec2013 presentation-dickson final-with_all_final_edits
 
Appsec2013 presentation
Appsec2013 presentationAppsec2013 presentation
Appsec2013 presentation
 
Appsec 2013-krehel-ondrej-forensic-investigations-of-web-exploitations
Appsec 2013-krehel-ondrej-forensic-investigations-of-web-exploitationsAppsec 2013-krehel-ondrej-forensic-investigations-of-web-exploitations
Appsec 2013-krehel-ondrej-forensic-investigations-of-web-exploitations
 
Appsec2013 assurance tagging-robert martin
Appsec2013 assurance tagging-robert martinAppsec2013 assurance tagging-robert martin
Appsec2013 assurance tagging-robert martin
 
Amol scadaowasp
Amol scadaowaspAmol scadaowasp
Amol scadaowasp
 
Agile sdlc-v1.1-owasp-app sec-usa
Agile sdlc-v1.1-owasp-app sec-usaAgile sdlc-v1.1-owasp-app sec-usa
Agile sdlc-v1.1-owasp-app sec-usa
 
Vulnex app secusa2013
Vulnex app secusa2013Vulnex app secusa2013
Vulnex app secusa2013
 
基于虚拟化技术的分布式软件测试框架
基于虚拟化技术的分布式软件测试框架基于虚拟化技术的分布式软件测试框架
基于虚拟化技术的分布式软件测试框架
 
新浪微博稳定性经验谈
新浪微博稳定性经验谈新浪微博稳定性经验谈
新浪微博稳定性经验谈
 

流量清洗产品概述和关键技术介绍

  • 1. 李晗 honeypot@sina.com 2012 年 11 月
  • 5. 流量清洗产品的定义和核心问题 • 定义:用于准确识别网络中的异常流量, 丢弃其中的异常流量,保证正常流量通行 的网络安全设备。 • 核心问题:如何准确区分网络中的异常流 量和正常流量?
  • 7. 目录 1 流量清洗产品的前世今生 2 流量清洗产品的部署特点 3 流量清洗产品与防火墙的区别 4 如何设计一个好的流量清洗产品 5 黑客常用攻击手法简析 6
  • 8. 流量清洗的主要对象 DDOS • 最早的 DOS : 1988 年 11 月 2 日,一个叫 RobertMorris 的美国大学 生写了一个蠕虫程序,导致当时因特网上约 15% 的电脑受感染停止 运行。巧合的是,这个人的父亲老 Morris 是 UNIX 的创始人之一,专 门帮助政府对抗电脑犯罪。 • DDOS 经历了三个发展阶段: 1 、技术发展阶段。从上世纪 90 年代起,因特网开始普及,涌现了 大量的 DOS 技术,很多现在仍然很有效,包括 synflood , smurf 等 。 2 、从实验室向“产业化”过渡阶段。 2000 年前后, DDOS 出现,雅 虎、亚马逊等多个著名网站遭受攻击并瘫痪。 3 、商业时代。近些年,网络快速发展,接入带宽快速增长,个人电 脑性能大幅提高, DDOS 攻击越来越频繁,出现了很多专业出 租“ botnet” 网络的 DDOS 攻击产业。
  • 10. DDOS 攻击分类 • 连接耗尽型,包括 SYN flood ,连接数攻 击等; • 带宽耗尽型,包括 Ack flood , UDP flood , ICMP flood ,分片攻击等; • 针对特定应用,包括 HTTP Get flood , CC , HTTP POST 慢速攻 击, DNS flood ,以及针对各种游戏和数 据库的攻击方式。
  • 11. DDOS 举例— SYN flood 为何还 SYN Flood 攻击原理 没回应 攻击表象 伪造地址进行 SYN 请求 • SYN_RECV 状态 SYN (我可以连接 • 半开连接队列 吗?) 就是让 不能建立正常的连接! 你白等 – 遍历,消耗 CPU 和 内存 受害者 ) – SYN|ACK 重试 ! 认 – SYN Timeout : 30 确 请 秒 ~2 分钟 ( YN • 无暇理睬正常的连接 /S 请求—拒绝服务 ) 以 攻击者 可 ( K AC 请发我 求过没
  • 12. DDOS 举例—连接数攻击 Connection Flood 攻击原理 攻击表象 大量 tcp connect • 利用真 实 IP 地址(代 理服务器、广告 页面)在 正常 tcp connect 这么多? 正常 tcp connect 服务器上建立大量连接 正常 tcp connect 正常 tcp connect • 服务器上残余连接 攻击者 正常 tcp connect (WAIT 状态 ) 过 多,效率 降低,甚至资源耗尽,无 法响应 正常 tcp • 蠕虫 传 播 过 程中会出 现 connect 受害者 大量源 IP 地址相同的包 不能建立正常的连接 ,对于 TCP 蠕虫则表现 正常用户 为大范围扫描行为 • 消耗骨干 设备 的 资 源 , 如防火墙的连接数
  • 13. DDOS 举例— UDP flood 网卡 出口 堵塞,收 UDP Flood 攻击 原 不了数据 攻击 表象 理 包了 • 大量 UDP 冲击服务器 UDP (非业务 数据) • 受害者带宽消耗 占用 UDP (大包 / 负载 ) 带宽 • UDP Flood 流量不仅仅影 受害者 响服务器,还会对整个传 输链路造成阻塞 弃 丢 攻击 者 04/19/13 13
  • 14. 分片攻击 • 有些系统会对分片报文重组。为此,系统 必须保持所有未完成的数据包的分片(直 到超时或满足其他条件)。 • 攻击者伪造并发送大量的分片,但却不让 这些分片构成完整的数据包,以此占用系 统 CPU 和内存,构成拒绝服务攻击。 • 攻击者还可以发送偏移量有重叠的分片消 耗系统资源。
  • 15. DDOS 举例— Teardrop Teardrop 攻击 Teardrop 攻击 服务器 攻击表现 攻击表现 系统崩溃 发送大量 UDP 病态分片数据包  发送大量的 UDP 病态分 UDP Fragments 片数据包 UDP Fragments  早期操作系统收到含有 UDP Fragments UDP Fragments 重叠偏移的伪造分片数 UDP Fragments 据包时将会出现系统崩 受害者 溃、重启等现象 攻击者  现在的操作系统虽不至 吗 ?) 连接 于崩溃、重启,但是处 可以 应 (我 响 S YN 停止 理分片的性能并不高, 正常 机 , 器宕 疲于应付 服务  无暇理睬正常的连接请 求—拒绝服务
  • 17. 流量清洗前世 在流量清洗产品问世前,会采用以下办法 • 黑洞技术:将路由指向不存在的地址 • 路由器上: ACL ,反向地址查询,限速 • 防火墙:状态检查,访问控制 • IPS :特征过滤
  • 18. 为应对 DDOS 产生的清洗技术 • SYN Cookie • 基于流量特征聚类的攻击特征提取 • 基于网络中各种标志位 TCP 报文的比例关 系检测攻击 • 基于流量自相似性的检测 • 基于服务器的认证机制 • 基于拥塞控制的防范机制 • Trackback
  • 19. 流量清洗产品的特点 • 适合串联和旁路部署 • 经常和检测设备搭配使用 • 支持多种路由和 VPN 相关的协议 • 转发不受新建连接数限制 • 可以抵御大规模的 DDOS 攻击 • 存在很多相对复杂的阈值配置 • 经常需要抓包分析攻击报文
  • 20. 回顾与提问 1 、 DDOS 都有哪些常见种类?主要的攻击 原理是什么? 2 、为什么流量清洗产品面世之前的很多 DDOS 防范技术无法很好的防御 DDOS 攻 击?
  • 21. 目录 1 流量清洗产品的前世今生 2 流量清洗产品的部署特点 3 流量清洗产品与防火墙的区别 4 如何设计一个好的流量清洗产品 5 黑客常用攻击手法简析 6
  • 22. 流量清洗产品的部署方案分类 • 串联线模式 • 思科提出的 flow 检测 + 动态牵引 + 清洗方 案 • 华为提出的 DPI 检测 +TOS 标记牵引 + 清 洗方案
  • 23. 串联线模式 192.178.0.0 Trust 区域 联通 Channel 3G 192.168.0.0 Trust 区域 Guard 电信 10G 10G 1G 1G 192.158.0.0 服务器群组 Cernet
  • 24. Flow 检测 + 动态牵引 + 清洗方 案
  • 25. 旁路部署的环路问题 旁路部署的环路问题 Ip route 10.1.2.0 255.255.255.0 10.1.2.2 Ip route 10.1.2.2 255.255.255.255 10.1.3.1 10.1.3.1 Leadsec-Detector leadsec-Guard 10.1.1.2 目标主机 10.1.2.2
  • 26. 规避环路: PBR 注入 旁路部署的环路问题 Ip rout 10.1.2.0 255.255.255.0 10.1.2.2 Ip rout 10.1.2.2 255.255.255.255 10.1.3.1 10.1.3.1 Leadsec-Detector interface Guard ip address 10.1.3.2 255.255.255.0 leadsec-Guard ip policy route-map pbr 10.1.1.2 ! ip access-list extended guard permit ip any any ! route-map pbr permit 10 match ip address guard 目标主机 10.1.2.2 set ip next-hop 10.1.1.2
  • 27. 规避环路的方法 Guard Guard 二层回注 PBR 回注 环路问题 解决方案 Guard Guard GRE VRF GRE 回注 MPLS 回注 GRE
  • 28. 旁路的优势和劣势 优势: • 部署简单,不需要改变原有网络拓扑 • 性价比高, 100G 的网络第一期可以先部署 10G 的清洗 • 不会引起单点故障 • 方便扩容,集群更容易部署 劣势: • 针对应用层的攻击,尤其是慢速攻 击, flow 检查无法检测到 • 清洗设备不能实时学习正常数据
  • 30. DPI 检测 +TOS 标记牵引 + 清洗 待检测流量 任务目标 丢弃流量 DPI 管理设备 任务目标 清洗结果 清洗策略 分流路由器 标记流量 清洗设备 丢弃流量 正常无标记流量
  • 31. 回顾与提问 • 流量清洗产品都有哪些常见的部署方式? • 旁路部署的关键技术问题是什么? • 旁路部署有哪些优势? • 思科和华为的方案孰优孰劣?
  • 32. 目录 1 流量清洗产品的前世今生 2 流量清洗产品的部署特点 3 流量清洗产品与防火墙的区别 4 如何设计一个好的流量清洗产品 5 黑客常用攻击手法简析 6
  • 33. 流量清洗产品与防火墙的区别 • 部署方式:支持旁路,串联时一般采用线 模式。 • 功能:防火墙的主要功能是地址转换和访 问控制等;流量清洗的主要功能是抗攻击 ,而且相对防火墙而言功能数量比较少。 • 关键指标:防火墙的关键指标是稳定性和 功能全面,其次是性能;流量清洗产品的 关键指标是抗攻击能力和性能,其次是稳 定性。
  • 34. 不同的表现形态 • 流量清洗产品往往采用线模式或接口转发 等比较古怪的转发行为来优化转发性能, 而且流量清洗产品不需要会话和连接跟踪 ,因此转发性能也不依赖于新建连接数和 并发连接数。 • 流量清洗产品的配置项相对较少,主要是 抗攻击相关的功能和统计配置,以及部署 相关的配置。 • 由于上述原因,流量清洗产品容易做到比 较稳定,主要 PK 项是抗攻击算法和性能。
  • 35. 目录 1 流量清洗产品的前世今生 2 流量清洗产品的部署特点 3 流量清洗产品与防火墙的区别 4 如何设计一个好的流量清洗产品 5 黑客常用攻击手法简析
  • 36. 评价标准 • 高性能,包括小包抗攻击性能和转发性能 ,性能计量不用 bps ,而是用 pps • 抗攻击算法可以抵御尽量多的 DDOS 攻击 种类和手法 • 支持方便的抓包分析和攻击取证 • 配置简单方便 • 支持各类串联和旁路部署 • 方便集群和扩容
  • 37. 高性能设计思路 • 摒弃防火墙的设计思路,转发不需要会话 和连接跟踪。 • 根据流量清洗产品的网络部署方式比较少 的特点,对转发进行优化。线模式,接口 转发等。 • 需要抗攻击模块分析的大部分报文可以不 走协议栈,以提高性能。 • 对抗攻击功能中的过滤报文部分进行性能 优化,比如采用 ASIC 加速等方式。
  • 38. 配置设计思路 • 抗攻击算法比较复杂,初次接触的工程师 不容易搞懂,因此相关的阈值和算法配置 需要尽量简化,并提供配置模板。 • 提供流量自学习功能实现自动或半自动配 置。 • 在菜单上分列流量牵引、流量清洗和流量 统计等项,方便用户配置。大部分抗攻击 功能都是针对目的进行防护,因此采用保 护 IP 来配置抗攻击策略比较合适。
  • 39. 目录 1 流量清洗产品的前世今生 2 流量清洗产品的部署特点 3 流量清洗产品与防火墙的区别 4 如何设计一个好的流量清洗产品 5 黑客常用攻击手法简析 6
  • 41. 浑水摸鱼 • 伪造大量有效的源地址,消耗网络带宽或 用数据包淹没受害者,从中渔 利。 Udpflood , icmpflood 等。 网卡 出口 堵塞,收 不了数据 包了 不管三 七二十 UDP (非业务 数据) 一,多 发报 ICMP (大包 / 负载 ) 文占 带宽 受害者 弃 丢 攻击 者
  • 42. 瞒天过海 • 通过代理或僵尸网络建立大量正常连接, 消耗服务资源。连接数攻击, http get flood 等。
  • 43. 借刀杀人 • 采用受害者的 IP 作为源 IP ,向正常网络发 送大量报文,利用这些正常 PC 的回应报文 达到攻击受害者的目的。 Smurf,fraggle 等 。 放大网络 DoS 攻击 ICMP 请求 被攻击 者 攻击 者  源 IP= 被攻击 者的 IP 目的 IP= 指向 网络 或子网的广
  • 44. 暗渡陈仓 • 利用很多攻击防范设备会将正常访问加入 白名单的特性,利用正常访问的 IP 发动攻 击。改良后的 synflood , dns query flood 等。 通过白名单 检查,绕过 源 IP 伪造成已经加入白名单的正常 IP DDOS 检查 大量攻击报文 大量攻击报文 大量攻击报文 攻击者 大量攻击报文 受害者 正常访问 IP 加入白名单 正常 tcp connect 控制一些 PC 进行 正常访问和应用
  • 45. 笑里藏刀 • 利用一些协议的缺陷,发动看似很慢速的 攻击,由于流量很小不易被检测到,达到 拒绝服务的攻击目的。 http post 慢速攻击 , SSL 慢速攻击等。 每个连接 HTTP 连接,指定 POST 内容长度为 都在发报 1000 文,不能 HTTP POST 请求连接 1 ,每 10 秒发送 1 个字节 中断 HTTP POST 请求连接 2 ,每 10 秒发送 1 个字节 攻击者 HTTP POST 请求连接 3 ,每 10 秒发送 1 个字节 HTTP POST 请求连接 4 ,每 10 秒发送 1 个字节 受害者 正常 tcp HTTP 请求 正常 connect 不能建立正常的连接 正常用户
  • 46. 偷梁换柱 • DNS 投毒,将一个合法域名的 IP 更换为自 己指定的 IP ,达到不可告人的目的。 NS 请求 hhh.baidu.com DNS 请求: hhh.baidu.com 攻击者 2.NS 请求 www.baidu.com 大量 DNS 响应:随机匹配 ID 3. 返回 202.108.22.5 附加域改为 www.baidu.com 权威 DNS 服务器 一级 DNS 服务器 70.35.29.162 www.baidu.com 伪造 DNS 服务器 202.108.22.5 70.35.29.162 4. 1. 返 返 查 回 回 询 5.HTTP 访问 HTTP 访问 百度服务器 用户
  • 47. 黑网欲且 客 络 听 兵硝知 下 临烟退 城 次 四敌 下 之分 起 策解

Editor's Notes

  1. 我们再来回顾一下 5.19 断网事件 网络故障始于 2009 年 5 月 18 日著名 DNS 服务提供商 DNSPod 受到的 DDoS 攻击,到 5 月 19 日晚上, DNSPod 服务完全中断。由于 DNSPod 是暴风影音的 DNS 服务提供商,进而导致域名 baofeng.com 不能被解析。 随后发生的事情出乎所有人的预料,因为暴风影音客户端无法解析出服务器 IP ,开始转向网络服务提供商的 DNS 服务器发送解析请求,造成当地运营商的 DNS 服务器堵塞。暴风影音的数以千万计用户成为了此次攻击的帮凶,大量的 NDS 请求导致浙江、山西、江苏、天津等多个省份的 DNS 服务中断,无法正常访问互联网。 仔细分析这次事件的原因,可以发现攻击者并没有料到会引起这样大的波澜。就像蝴蝶效应一样,如果我们将中国互联网比作一片汪洋大海, DNSPod 就像是一只蝴蝶。, DNSPod 因遭受攻击瘫痪后,轻轻扇动了一下翅膀。蝴蝶翅膀这次小小地振动让包括暴风影音用户在内的数千万台电脑向互联网大海挂起了一股 DNS 请求飓风,直接导致多个省份的电信用户不能正常使用网络。 “ 暴风门”事件虽然已经结束,但对于异常流量的发展及防范等很多问题值得我们思考。
  2. 提问