PaaS        PaaS 简介@Aut : 刘堃     hor @E mail s        : nakebbf@gmail om                       .c@B l www.t    og:       o...
PaaS目录     1         PaaS 和云服务     2         PaaS 服务特点     3         PaaS 主要技术     4         PaaS 案例
PaaS 和云服务 云服务层次目前云服务,以提供用户基于云的各种服务为主,共包含三个层次    【 SaaS 】1          Software as a Service 软件即服务,应用服务主要以基           于 Web 的方...
PaaS 和云服务 云服务层次目前云服务,以提供用户基于云的各种服务为主,共包含三个层次    【 SaaS 】1          Software as a Service 软件即服务,应用服务主要以基           于 Web 的方...
PaaS 和云服务云服务层次关系1    【用户角度】       从用户角度而言,这三层服务,它们之间关系是独立       的,因为它们提供的服务是完全不同的,而且面对的       用户也不尽相同。    【技术角度】2      从技术...
PaaS 和云服务 云服务中的 PaaS 服务  一个典型的云服务层次关系:          SaaS 服务 1        SaaS 服务 2                 PaaS 服务                        ...
PaaS 研究介绍目录     1         PaaS 和云服务     2         PaaS 服务特点     3         PaaS 主要技术     4         PaaS 案例
PaaS 服务特点 PaaS 服务主要具备三项特 点【平台即服务】   PaaS 提供的是一个基础平台,而不是某种应用。   传统做法由应用系统服务提供商搭建和维护系统基础平台。   PaaS 颠覆了这种概念,由专门的平台服务提供商搭建和运营该...
PaaS 研究介绍目录     1         PaaS 和云服务     2         PaaS 服务特点     3         PaaS 主要技术     4         PaaS 案例
PaaS 主要技术 PaaS 五大基础技术1    【分布式文件存储】        以分布式存储技术来提供高吞吐率和高传输率存储能        力,主要技术代表有 GFS   (Google   File   System)        ...
PaaS 主要技术 PaaS 五大基础技术4    【云应用服务器 集群管理技术】       在原有的应用服务器的基础上为云计算做了一定程度       的优化,如用于 Google App Engine 的 Jetty 应用服务      ...
PaaS 主要技术 分布式文件存储( GFS 为例)Google 文件系统的假设与目标 – 硬件出错是正常而非异常   • 系统应当由大量廉价、易损的硬件组成   • 必须保持文件系统整体的可靠性 – 主要负载是流数据读写   • 主要用于程序...
PaaS 主要技术 分布式文件存储( GFS 为例)架 构-Master :管理节点,逻辑上唯一(物理上多个),保存系统元数据。负责整个文件系统的管理,是 GFS 的“大脑”。-Chunk Server :负责具体的存储工作, GFS 可以包含...
PaaS 主要技术 分布式文件存储( GFS 为例)GFS 的架构的特点 – 访问流程实现了控制流和信息流的分离   • Client 与 Master 仅有控制流,使 Master 不成为瓶颈   • Client 与 Chunk Serve...
PaaS 主要技术 分布式文件存储( GFS 为例)• GFS 的架构的特点 – 在用户态下实现   • 直接利用 Chunk Server 的文件系统存取 Chunk ,实现简单   • 用户态应用调试较为简单,利于开发   • 用户态的 G...
PaaS 主要技术 并行处理 -MapReduce 流程MapReduceGoogle 提出的一个软件架构,是一种处理海量数据的并行编程模式用于大规模数据集(通常大于 1TB )的并行运算。
PaaS 主要技术 并行处理 -MapReduce MapReduce 实现了 Map 和 Reduce 两个功能   -Map 把一个函数应用于集合中的所有成员,然后返回一个基于   这个处理的结果集   -Reduce 对结果集进行分类和归...
PaaS 主要技术 并行处理 -MapReduce  -案例:单词记数问题 (Word Count) – 给定一个巨大的文本(如 1TB ),如何计算单词出   现的数目?
PaaS 主要技术 并行处理 -MapReduce使用- MapReduce 求解该问题 – Step 1: 自动对文本进行分割
PaaS 主要技术 并行处理 -MapReduce使用- MapReduce 求解该问题 – Step 2: 在分割之后的每一对 <key,value> 进行用户定   义的 Map 进行处理,再生成新的 <key,value> 对
PaaS 主要技术 并行处理 -MapReduce使用- MapReduce 求解该问题 – Step 3: 对输出的结果集归拢、排序 ( 系统自动完成   )
PaaS 主要技术 并行处理 -MapReduce使用- MapReduce 求解该问题 – Step 4: 通过 Reduce 操作生成最后结果
PaaS 主要技术 分布式资源管理( Chubby 为例)Chubby 是 Google 为解决分布式一致性问题而设计的提供粗粒度锁服务的文件系统分布式一致性问题–一个分布式系统中,一组 Process 需要确定一个 Value 。一致性就是指...
PaaS 主要技术 分布式资源管理( Chubby 为例)Chubby 是一个文件系统,如何提供“锁”服务? – Chubby 中的锁就是文件。 – 在 GFS 的例子中,创建文件就是进行“加锁”操作,   创建文件成功的那个 server 其...
PaaS 主要技术 分布式数据管理( BigTable 为例)Bigtable 是什么?- 由于在 Google 的数据中心存储 PB 级以上的非关系型数据时候,比如网页和地理数据等,为了更好地存储和利用这些数据, Google 开发了一套数据...
PaaS 主要技术 分布式数据管理( BigTable 为例)  Bigtable 数据模型  - 多级映射的数据结构就是一个稀疏的,多维的,排序的 Map 。  - 每个 Cell 由行关键字,列关键字和时间戳三维定位。内容不解释  的字符串...
PaaS 主要技术 分布式数据管理 -BigTable 架构BigTable 架构在结构上,首先, BigTable 基于 GFS 分布式文件系统和 Chubby 分布式锁服务。其次 BigTable 也分为两部分:其一是 Master 节点,...
PaaS目录     1         PaaS 和云服务     2         PaaS 服务特点     3         PaaS 主要技术     4         PaaS 案例
PaaS 案例 GA E 和 S A E 研究介绍               【 Google app engine 】               【 Sina app engine 】
PaaS 案例 GA E 和 S A E 比较【平台技术】   GAE 平台是基于 Google GFS,Bigtable,MapReduce,Chubby 等基础技   术的整合之上的,四项技术均有论文文章发表。   SAE 则是基于 Sin...
PaaS 案例 GA E 和 S A E 比较                   Sina App Engine   Google App Engine     云计算模型         PaaS              PaaS    ...
Upcoming SlideShare
Loading in...5
×

Paas研究介绍

2,266

Published on

给其他部门同事做的PaaS介绍,主要简单比较了SAE和GAE,介绍了GAE背后的一些技术思想

Published in: Technology
0 Comments
4 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
2,266
On Slideshare
0
From Embeds
0
Number of Embeds
2
Actions
Shares
0
Downloads
46
Comments
0
Likes
4
Embeds 0
No embeds

No notes for slide

Paas研究介绍

  1. 1. PaaS PaaS 简介@Aut : 刘堃 hor @E mail s : nakebbf@gmail om .c@B l www.t og: opdigger.t k
  2. 2. PaaS目录 1 PaaS 和云服务 2 PaaS 服务特点 3 PaaS 主要技术 4 PaaS 案例
  3. 3. PaaS 和云服务 云服务层次目前云服务,以提供用户基于云的各种服务为主,共包含三个层次 【 SaaS 】1 Software as a Service 软件即服务,应用服务主要以基 于 Web 的方式提供给客户 , 代表: Salesforce CRM 【 PaaS 】2 Platform as a Service 平台即服务,应用的开发和部署 平台作为服务提供给用户 ,代表 :Google App Engine ,Sina App Engine 【 IaaS 】3 Infrastructure as a Service 基础设施即服务,各种底层 的计算(比如虚拟机)和存储等资源作为服务提供给 用户 ,代表: Amazon EC2
  4. 4. PaaS 和云服务 云服务层次目前云服务,以提供用户基于云的各种服务为主,共包含三个层次 【 SaaS 】1 Software as a Service 软件即服务,应用服务主要以基 于 Web 的方式提供给客户 ,代表: Salesforce CRM 【 PaaS 】2 Platform as a Service 平台即服务,应用的开发和部署 平台作为服务提供给用户 ,代表 :Google App Engine ,Sina App Engine 【 IaaS 】3 Infrastructure as a Service 基础设施即服务,各种底层 的计算(比如虚拟机)和存储等资源作为服务提供给 用户 ,代表: Amazon EC2
  5. 5. PaaS 和云服务云服务层次关系1 【用户角度】 从用户角度而言,这三层服务,它们之间关系是独立 的,因为它们提供的服务是完全不同的,而且面对的 用户也不尽相同。 【技术角度】2 从技术角度而言,云服务这三层之间的关系有一定依 赖关系的。 一个 SaaS 层的产品和服务不仅需要使用到 SaaS 层本 身的技术,而且还依赖 PaaS 层所提供的开发和部署平 台或者直接部署于 IaaS 层所提供的计算资源上。 PaaS 层的产品和服务也很有可能构建于 IaaS 层服务之 上。
  6. 6. PaaS 和云服务 云服务中的 PaaS 服务 一个典型的云服务层次关系: SaaS 服务 1 SaaS 服务 2 PaaS 服务 同步计算云 IaaS 服务【 PaaS 服务】: PaaS 能将现有各种业务能力进行整合。 向下根据业务能力需要测算基础服务能力,通过 IaaS 提供的 API 非同步计算云 调用硬件资源。 向上提供业务调度中心服务,实时监控平台的各种资源,并将这 些资源通过 API 开放给 SaaS 用户
  7. 7. PaaS 研究介绍目录 1 PaaS 和云服务 2 PaaS 服务特点 3 PaaS 主要技术 4 PaaS 案例
  8. 8. PaaS 服务特点 PaaS 服务主要具备三项特 点【平台即服务】 PaaS 提供的是一个基础平台,而不是某种应用。 传统做法由应用系统服务提供商搭建和维护系统基础平台。 PaaS 颠覆了这种概念,由专门的平台服务提供商搭建和运营该基 础平台,并将该平台以服务的方式提供给应用系统运营商。【平台及服务】 PaaS 运营商所需提供的服务,不仅仅是单纯的基础平台,而且包 括针对该平台的技术支持服务,甚至针对该平台而进行的应用系 统开发、优化等服务。【平台级服务】 Paas 服务实质是将资源服务化为可编程接口,为第三方开发者提 供有商业价值的资源和服务平台,以提高开发效率,还节约开发 成本。 PaaS 服务提供强大而稳定的基础运营平台及技术支持队伍,支撑 SaaS 或其他软件服务提供商各种应用系统长时间、稳定的运行。
  9. 9. PaaS 研究介绍目录 1 PaaS 和云服务 2 PaaS 服务特点 3 PaaS 主要技术 4 PaaS 案例
  10. 10. PaaS 主要技术 PaaS 五大基础技术1 【分布式文件存储】 以分布式存储技术来提供高吞吐率和高传输率存储能 力,主要技术代表有 GFS   (Google   File   System) 和开源的 HDFS(Hadoop   Distributed   File   System) 【分布式数据管理】2 采用列存储数据管理模式,保证海量数据的存储和分 析性能。主要技术代表有 GoogleBigTable 和 Hadoop 的 HBase 模块。 【并行处理】3 采用 MapReduce 编程模式,将任务自动分成多个子任 务,通过 Map 和 Reduce 两步实现任务在大规模计算 节点中的调度和分配。如 Google 的 MapReduce 是这 方面的代表之作。     
  11. 11. PaaS 主要技术 PaaS 五大基础技术4 【云应用服务器 集群管理技术】 在原有的应用服务器的基础上为云计算做了一定程度 的优化,如用于 Google App Engine 的 Jetty 应用服务 器。并通过集群管理技术运营和管理大量的服务器的 协同工作,方便业务部署和开通,快速发现和恢复系 统故障。如 Google 其集群管理技术视为企业核心机密 ,未公布任何技术资料。 【分布式资源管理 】5 分布式资源管理技术通过锁机制协调多任务对资源的 使用,保证数据操作的一致性。 Google 的 Chubby 是 最著名的分布式资源管理系统。
  12. 12. PaaS 主要技术 分布式文件存储( GFS 为例)Google 文件系统的假设与目标 – 硬件出错是正常而非异常 • 系统应当由大量廉价、易损的硬件组成 • 必须保持文件系统整体的可靠性 – 主要负载是流数据读写 • 主要用于程序处理批量数据,而非与用户的交互或随机读写 • 数据写主要是“追加写”,“插入写”非常少 – 需要存储大尺寸的文件 • 存储的文件尺寸可能是 GB 或 TB 量级,而且应当能支持存储 成千上万的大尺寸文件
  13. 13. PaaS 主要技术 分布式文件存储( GFS 为例)架 构-Master :管理节点,逻辑上唯一(物理上多个),保存系统元数据。负责整个文件系统的管理,是 GFS 的“大脑”。-Chunk Server :负责具体的存储工作, GFS 可以包含多个 Chunk Server ,其数目决定了 GFS 的存储规模,将文件分块存储,块大小默认为 64M ,每隔块均具有唯一索引号( index )。
  14. 14. PaaS 主要技术 分布式文件存储( GFS 为例)GFS 的架构的特点 – 访问流程实现了控制流和信息流的分离 • Client 与 Master 仅有控制流,使 Master 不成为瓶颈 • Client 与 Chunk Server 直接存储数据,实现高速的数据并发读 取 – 采用中心服务器模式 • 可以方便地增加 Chunk Server ,方便进行负载均衡。 • 不存在元数据的一致性问题 – 不缓冲数据 • GFS 的文件操作大部分是流式读写,不存在大量的重复读写, 使用 Cache 对性能提高不大,本地文件系统具有 Cache • 从可行性看, Cache 与实际数据的一致性维护也极其复杂
  15. 15. PaaS 主要技术 分布式文件存储( GFS 为例)• GFS 的架构的特点 – 在用户态下实现 • 直接利用 Chunk Server 的文件系统存取 Chunk ,实现简单 • 用户态应用调试较为简单,利于开发 • 用户态的 GFS 不会影响 Chunk Server 的稳定性 – 只提供专用的访问接口 • 降低 GFS 的实现复杂度
  16. 16. PaaS 主要技术 并行处理 -MapReduce 流程MapReduceGoogle 提出的一个软件架构,是一种处理海量数据的并行编程模式用于大规模数据集(通常大于 1TB )的并行运算。
  17. 17. PaaS 主要技术 并行处理 -MapReduce MapReduce 实现了 Map 和 Reduce 两个功能 -Map 把一个函数应用于集合中的所有成员,然后返回一个基于 这个处理的结果集 -Reduce 对结果集进行分类和归纳 -Map() 和 Reduce() 两个函数可能会并行运行,即使不是在同一 的系统的同一时刻
  18. 18. PaaS 主要技术 并行处理 -MapReduce -案例:单词记数问题 (Word Count) – 给定一个巨大的文本(如 1TB ),如何计算单词出 现的数目?
  19. 19. PaaS 主要技术 并行处理 -MapReduce使用- MapReduce 求解该问题 – Step 1: 自动对文本进行分割
  20. 20. PaaS 主要技术 并行处理 -MapReduce使用- MapReduce 求解该问题 – Step 2: 在分割之后的每一对 <key,value> 进行用户定 义的 Map 进行处理,再生成新的 <key,value> 对
  21. 21. PaaS 主要技术 并行处理 -MapReduce使用- MapReduce 求解该问题 – Step 3: 对输出的结果集归拢、排序 ( 系统自动完成 )
  22. 22. PaaS 主要技术 并行处理 -MapReduce使用- MapReduce 求解该问题 – Step 4: 通过 Reduce 操作生成最后结果
  23. 23. PaaS 主要技术 分布式资源管理( Chubby 为例)Chubby 是 Google 为解决分布式一致性问题而设计的提供粗粒度锁服务的文件系统分布式一致性问题–一个分布式系统中,一组 Process 需要确定一个 Value 。一致性就是指只有其中的一个 Value 能够被选中作为最后确定的值,这个值被选出来以后,需要通知所有的 Process 。Google 云计算中的分布式一致性问题–GFS 在物理上包含多个 Master ,需要在逻辑上确定唯一的Master 。如何确定?这是一个分布式一致性问题
  24. 24. PaaS 主要技术 分布式资源管理( Chubby 为例)Chubby 是一个文件系统,如何提供“锁”服务? – Chubby 中的锁就是文件。 – 在 GFS 的例子中,创建文件就是进行“加锁”操作, 创建文件成功的那个 server 其实就是抢占到了“锁” 。 – 用户通过打开、关闭和读取文件,获取共享锁或者独 占锁;并且通过通信机制,向用户发送更新信息。 – 因此,通过 Chubby 可以解决 Google 云计算中的分布式 一致性问题。
  25. 25. PaaS 主要技术 分布式数据管理( BigTable 为例)Bigtable 是什么?- 由于在 Google 的数据中心存储 PB 级以上的非关系型数据时候,比如网页和地理数据等,为了更好地存储和利用这些数据, Google 开发了一套数据库系统,名为 "BigTable" 。-BigTable 不是一个关系型的数据库,它也不支持关联( Join )等高级 SQL 操作,取而代之的是多级映射的数据结构,并是一种面向大规模处理、容错性强的自我管理系统,拥有 TB 级的内存和 PB 级的存储能力,使用结构化的文件来存储数据,并每秒可以处理数百万的读写操作
  26. 26. PaaS 主要技术 分布式数据管理( BigTable 为例) Bigtable 数据模型 - 多级映射的数据结构就是一个稀疏的,多维的,排序的 Map 。 - 每个 Cell 由行关键字,列关键字和时间戳三维定位。内容不解释 的字符串,如下表存储网站内容与被其他网站反向连接文本。 - 反向的 URL com.cnn.www 是这行的关键字。 -contents 列存储网页内容,每个内容有一个时间戳,因为有两个反 向连接,所以 archor 的 Column Family 有两列: anchor: cnnsi.com 和 anchhor:my.look.ca 。 Column Family 这个概念,使得表可以轻松 地横向扩展。
  27. 27. PaaS 主要技术 分布式数据管理 -BigTable 架构BigTable 架构在结构上,首先, BigTable 基于 GFS 分布式文件系统和 Chubby 分布式锁服务。其次 BigTable 也分为两部分:其一是 Master 节点,用来处理元数据相关的操作并支持负载均衡。其二是 tablet 节点,主要用于存储数据库的分片 tablet ,并提供相应的数据访问,同时 Tablet 是基于名为 SSTable 的格式,对压缩有很好的支持。
  28. 28. PaaS目录 1 PaaS 和云服务 2 PaaS 服务特点 3 PaaS 主要技术 4 PaaS 案例
  29. 29. PaaS 案例 GA E 和 S A E 研究介绍 【 Google app engine 】 【 Sina app engine 】
  30. 30. PaaS 案例 GA E 和 S A E 比较【平台技术】 GAE 平台是基于 Google GFS,Bigtable,MapReduce,Chubby 等基础技 术的整合之上的,四项技术均有论文文章发表。 SAE 则是基于 Sina 私有云技术重新研发的公有云平台,目前未公 开其使用具体技术。【平台支持语言】 GAE 以 Java 和 Python 为首选支持语言。 SAE 以 php 为首选支持语言,并支持 MySql 数据库。【平台服务】 SAE 提供了大部分 GAE 支持的功能 。 GAE 平台可使用大量如 gmail , Google docs 等现有服务。 SAE 平台提供了大量如 Xweibo 等 Web 应用服务。
  31. 31. PaaS 案例 GA E 和 S A E 比较 Sina App Engine Google App Engine 云计算模型 PaaS PaaS 支持语言 PHP Java 、 Python 、 Go 数据库支持 MySQL 最大 5GB 暂不支持 每个帐号可拥有 app 10 个 10 个 数量 单 app 存储限额 最多 10GB ,单文件不大 1GB 免费,无最大上限 于 4M 代码大小 每帐户不超过 100M ,单 单 app 不超过 150MB app 总代码不超过 50M 绑定域名 需另行申请,备案 支持 免费额度 各项服务通过扣除虚拟货 每日 6.5 CPU-hours ,流 币“云豆”实现限额。 入流出带宽各 1GB ,存 每日免费发放 200 云豆 储 1GB 。 (实名认证后 1000 云豆 ) 超过免费限额的收费 1 元 =100 云豆,暂未支 流入带宽: 0.1 美元 /GB 标准 持支付 流出带宽: 0.12 美元 /GB CPU 时间: 0.1 美 元 /CPU 小时 存储: 0.15 美元 /GB 每 月
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×