• Share
  • Email
  • Embed
  • Like
  • Save
  • Private Content
揭秘全球最大网站Facebook背后的那些软件
 

揭秘全球最大网站Facebook背后的那些软件

on

  • 637 views

 

Statistics

Views

Total Views
637
Views on SlideShare
637
Embed Views
0

Actions

Likes
1
Downloads
20
Comments
0

0 Embeds 0

No embeds

Accessibility

Categories

Upload Details

Uploaded via as Microsoft Word

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

    揭秘全球最大网站Facebook背后的那些软件 揭秘全球最大网站Facebook背后的那些软件 Document Transcript

    • 揭秘全球最大网站 Facebook 背后的那些软件 为这篇文章评分 0 评论 [发表时间]:2010-07-09 07:13 PM (2969 查看)       2010 年 6 月,Google 公布全球 Top 1000 网站。Facebook 独占鳌头。    以 Facebook 现在的经营规模,诸多传统服务器的技术均将崩溃或根本无法支撑。那么面对 5 亿的活跃用 户,Facebook 的工程师们又将如何让网站平稳运转呢?伯乐在线 - 职场博客的这篇文章将展示 Facebook 的工程 师完成这个艰巨任务所用到的一系列软件。 Facebook 级别规模的挑战 在我们深入细节之前,先了解一组 Facebook 不得不面对数据,你就可以想象这种规模。 • Facebook 每月的 PV 量:630,000,000,000 (6 千 3 百亿) • Facebook 上的图片数量超过其他图片网站的总和(包括诸如 Flickr 这样的图片网站) • 每个月有超过 30 亿的图片上传到 Facebook • Facebook 系统每秒可以处理 120 万张图片。这还不包括 Facebook 的 CDN 处理的图片。 • 每月处理超过 250 亿的信息内容(包括用户状态更新,评论等) • Facebook 的服务器数量超过 3 万台(此数据为 2009 年的数据)    Facebook 所用的软件 从某些方面来说,Facebook 还是属于 LAMP 类型网站,但是,为了配合其他大量的组件和服务,Facebook 对已有 的方法,已经做了必要的改变、拓展和修改。
    • 比如: • Facebook 依然使用 PHP,但 Facebook 已重建新的编译器,以满足在其 Web 服务器上加载本地代码,从而提升性 能; • Facebook 使用 Linux 系统,但为了自身目的,也已做了必要的优化。(尤其是在网络吞吐量方面); • Facebook 使用 MySQL,但也对其做优化。    还有定制的系统,比如, Haystack -- 高度可扩展的对象存储,用来处理 Facebook 的庞大的图片;Scribe -- Facebook 的日志系统。 下面展现给大家的是,全球最大的社交网站 Facebook 所使用到的软件。 Memcached Memcached 是一款相当有名的软件。它是分布式内存缓存系统。Facebook(还有大量的网站)用它作为 Web 服务器 和 MySQL 服务器之间的缓存层。经过多年,Facebook 已在 Memcached 和其相关软件(比如,网络栈)上做了大 量优化工作。 Facebook 运行着成千上万的 Memcached 服务器,借以及时处理 TB 级的缓存数据。可以这样说,Facebook 拥有 全球最大的 Memcached 设备。 HipHop for PHP 和运行在本地服务器上代码相比,PHP 的运行速度相对较慢。HipHop 把 PHP 代码转换成 C++代码,提高编译时的 性能。因为 Facebook 很依赖 PHP 来处理信息,有了 HipHop,Facebook 在 Web 服务器方面更是如虎添翼。 HipHop 诞生过程:在 Facebook,一小组工程师(最初是 3 位)用了 18 个月研发而成。 Haystack Haystack 是 Facebook 高性能的图片存储/检索系统。(严格来说,Haystack 是一对象存储,所以它不一定要存储 图片。)Haystack 的工作量超大。Facebook 上有超过 2 百亿张图片,每张图片以四种不同分辨率保存,所 以,Facebook 有超过 8 百亿张图片。 Haystack 的作用不单是处理大量的图片,它的性能才是亮点。我们在前面已提到,Facebook 每秒大概处理 120 万
    • 张图片,这个数据并不包括其 CDN 处理的图片数。这可是个惊人的数据!!! BigPipe BigPipe 是 Facebook 开发的动态网页处理系统。为了达到最优,Facebook 用它来处理每个网页的分块(也 称“Pagelets”)。 比如,聊天窗口是独立检索的,新闻源也是独立检索的。这些 Pagelets 是可以并发检索,性能也随之提高。如 此,即使网站的某部分停用或崩溃后,用户依然可以使用。 Cassandra Cassandra 是一个没有单点故障的分布式存储系统。它是前 NoSQL 运动的成员之一,现已开源(已加入 Apache 工 程)。Facebook 用它来做邮箱搜索。 除了 Facebook 之外,Cassandra 也适用于很多其他服务,比如 Digg。 Scribe Scribe 是个灵活多变的日志系统,Facebook 把它用于多种内部用途。Scribe 用途:处理 Facebook 级别日志,一旦 有新的日志分类生成,Scribe 将自动处理。(Facebook 有上百个日志分类)。 Hadoop and Hive Hadoop 是款开源 Map/Reduce 框架,它可以轻松处理海量数据。Facebook 用它来做数据分析。(前面就说到 了,Facebook 的数据量是超海量的。)Hive 起源于 Facebook,Hive 可以使用 SQL 查询,让非程序员比较容易使 用 Hadoop。(注 1: Hive 是是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库 表,并提供完整的 sql 查询功能,可以将 sql 语句转换为 MapReduce 任务进行运行。 ) Thrift Facebook 在其不同的服务中,使用了不同的语言。比如: PHP 用在前端,Erlang 用于聊天系统,Java 和 C++用于 其它地方,等等。Thrift 是内部开发的跨语言的框架,把不同的语言绑定在一起,使之可以相互“交流”。这就让 Facebook 的跨语言开发,变得比较轻松。 Facebook 已把 Thrift 开源,Thrift 支持的语言种类将更多。 Varnish Varnish 是一个 HTTP 加速器,担当负载均衡角色,同时也用于快速处理缓存内容。 Facebook 用 Varnish 处理图片和用户照片,每天都要处理十亿级的请求。和 Facebook 其他的应用应用一 样,Varnish 也是开源的。
    • Facebook 可以平稳运行,还得利于其他方面 虽然上面已经提到了一些构成 Facebook 系统的软件,但是处理如此庞大的系统,本身就是一项复杂的任务。所 以,下面还将列出使 Facebook 能平稳运行的一些东西。 逐步发布&暗启动 Facebook 有一个系统,他们称之为“门卫”。该系统可以针对不同种类的用户运行不同的代码。(它简单介绍了代 码库中的不同条件。)该系统让 Facebook 逐步发布新特性、A/B 测试、激活仅针对 Facebook 员工的特性 等等。 门卫系统也让 Facebook 做些“暗启动”的事情。比如,在某一特性上线之前,可以激活该特性背后的元件。另外, 它还可以做模拟压力测试,发现瓶颈和潜在的问题。默默启动一般都是在正式启动之前的 2 周完成。 实时系统的简介 Facebook 会仔细监控自身系统,有趣的是,它还监控每个 PHP 函数在实时生产环境下的性能。这一实时 PHP 环境 监控是通过一个叫 XHProf 的开源工具完成的。 逐步禁用某些特性,借以提高性能 如果 Facebook 遇到性能问题,Facebook 有大量的途径来逐步禁用不很重要的特性,以提高其核心特性性能。 尚未提到的东西 虽然这里无法过多深入硬件方面,但硬件绝对是 Facebook 能达到空前规模的重要因素。比如,和其他大型网站一 样,Facebook 也用 CDN 来处理静态内容。Facebook 还在美国西部的俄勒冈州建有一超大的数据中心,可以随时 增加服务器。 当然了,除了前面已经提到的,还有其他大量的软件没有说到。但是,希望能突出其中非常有特色的。 Facebook 和开源之间的 “恋情 ” Facebook 和开源之间联系,此文不能不提,虽不能说 Facebook 是多么地钟爱开源,但至少可以这样 说,Facebook 是“爱”着开源的。 Facebook 不仅使用(也捐赠)开源软件,比如,Linux、Memcached、MySQL、Hadoop 等等,它还内部开发不少 软件,并且也将之开源。 Facebook 开发的开源工程,包括 HipHop、Cassandra、Thrift 和 Scribe。另外,Facebook 也把 Tornado 开源 了。Tornado 是一个高性能的 Web 服务器框架,由 FriendFeed 幕后团队开发而成。(2009 年 8 月,Facebook 收 购 FriendFeed。) (Facebook 所用到的开源软件,可以在 Facebook 的开源页面找到。) 面临更多的大规模挑战 Facebook 以一种令人难以置信的速度成长。它的用户群几乎是成倍增加,活跃用户数量现已接近 5 亿。而且,谁 都无法预测今年底,活跃用户量会到多少。 Facebook 甚至成立了一个专门的“成长小组”,该小组不断思考如何让人们使用 facebook 并融入到 facebook 中。 这一快速成长,意味着 Facebook 将遇到不同的性能瓶颈。Facebook 会面临来这如下方面的挑战:PV、搜索、上 传的图片和状态消息,用户之间的交互和用户和 Facebook 之间的交互带来的挑战。
    • 这也是 Facebook 面对的事实。Facebook 的工程师们将继续寻求新方法来扩展(这不只是增加服务器的问题 了)。比如,随着网站成长,其图片存储系统已经多次完全重写。 所以,我们将看到 Facebook 的工程师们奔向下一个“山头”。我们相信他们不会辜负众望。毕竟,他们正跨越山 头,那个我们大多数人仅能向往的山头;他们正扩展网站,那个用户来自全球各地的网站。当你实现那个里程碑 时,你将彪炳史册。