搜狐随身看-净化系统

827 views

Published on

搜狐武汉,by 周陵

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
827
On SlideShare
0
From Embeds
0
Number of Embeds
4
Actions
Shares
0
Downloads
0
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

搜狐随身看-净化系统

  1. 1. Leon2012-06-06
  2. 2. 行为: 负责建立连接,净化行为管理接口异常: 分布多台,并且客户端通过内置和数据库查询的方式得到所有中控机 器ip ◦ 如果部分异常,可保证不影响服务, ◦ 如果全部异常(目前虚拟机形式极度可能分布在一台真是机器上), 换机器,速度换ip重启。
  3. 3. 行为: 主要用于hot-config,在线修改权重,净化中间状态保存异常: ◦ 程序启动后,异常对状态保存有影响,但不影响服务 ◦ 程序启动前异常,程序配置有上次保存版本的权重信息,可用作启 动 ◦ 数据库在设计上是不受到依赖的。
  4. 4. 行为: 错误与异常通知、离线数据分析、问题原因排查异常: 在设计上是不受到依赖的,syslogd的日志单机保存,sentry是数据库 集中保存。改进: 单机保存数据日志的缺陷,显而易见,需要知道具体api调用被转发到哪台机器,所以需要一个定 位器;其次,不方便统计某段时间内汇总信息。
  5. 5. 行为: 集中式 js 与 css下载服务加速异常: 在设计上是不受到依赖的
  6. 6.  协议 ◦ Magic定位 ◦ TLV (type – length -value) 网络 ◦ 多路复用的wrapper(可选用 select, poll, epoll, kevent)  可选的很多,很先进  需要的很少,很简单 ◦ 协议为中心的思想,对于要实现的网络对话,只需要定义协议组的 行为,即可通过框架达成通信对话
  7. 7.  Rule 1:简单、可信赖 Rule 2:钱能解决的问题都不是问题 GIL 导致进程更适合Python 进程能有效防止崩溃的蔓延 进程极大降低了编程难度 …… 多线程越来越像是给客户端的晚餐 更便于在单个进程内分离io与cpu操作,或者说分离物理器件。
  8. 8. 责任链模式,可以建立多条链,通过url进行适配 DropNoisyRul BestCandidat DecodeRuler SanitizeRuler SessionRuler er eRuler DecodeRuler XPathRuler SessionRuler
  9. 9.  Python-chardet库 从各种未知编码的网页文本转换为utf-8格式。 Why utf-8? ◦ 规范编码,兼容性高 ◦ 大多数正规网页使用该编码,降低转码损耗 注意: ◦ 众所周知,utf-8格式编码的网页在互联网中更多,为了提高效率, 可以先探测utf-8编码,优化性能。 ◦ 结合content-type来进行编码判断,不要判断jpg等格式的编码
  10. 10. Python-lxml库(基础降噪)
  11. 11.  语义降噪 ◦ 根据class 与 id 命名的语义 ◦ 诸如<div class = “rss” > … </div> 标签修正 ◦ 对于使用不准确的标签,做出修正 ◦ 诸如段落文本内容未使用p标签…
  12. 12. 扫描网页dom树,对所有p标签,td标签等得到起点Tag• 1. Tag得分= 初始得分 + 文本长度得分 + 文本段落得分;• 2. 父结点得分 = 所有儿子求和( Tag得分 + css语义得分 + 标签得分);• 3. 祖父结点得分 = all child(得分) + grandson / 2
  13. 13. 文本长度很少,li标签个数大于p 尽管文本很大, 但是图片过多, 链接密度太大,标签,并且父标 但是链接密度超 或者完全没有图 而文本长度过少 签不是ol,ul. 高 片的短句
  14. 14. 文本散列的网页处理办法xPath help工具 + lxml xpath功能网页内容须js加载PhantomJS headless webkit的方式渲染
  15. 15. •Xpath 盖楼式 •混淆 Js及css •隐藏真实链接 效果 •关键字使用图片代替 登录等权 •客户端push内容 限页面Html5支 持

×