Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Hello openstack 2014

5,392 views

Published on

Published in: Technology

Hello openstack 2014

  1. 1. OpenStack企业应用之路 2014华东云计算⾼高峰会议 Date: 南京, 2014年8⽉月 Author: 杜⽟玉杰
  2. 2. 杜玉杰(Ben) ! TryStack执行董事 OpenStack基金会独立董事 中国企业级云计算联盟(ECA)副秘书长 @ben_杜玉杰 duyujie.dyj@gmail.com http://www.linkedin.com/in/duyujie/ Date: 南京, 2014年8⽉月 Author: 杜⽟玉杰
  3. 3. PAGE: www.trystack.cn ⼀一点思考 3
  4. 4. PAGE: www.trystack.cn 云计算带来的挑战 KK,互联⺴⽹网思维,《失控》,云计算 ! ! ! ! ! ! 4 内容简介 1994年在美国出版,这本关于机器、系 统、⽣生物和社会的“⼤大部头”,揭⽰示了社会进 化、特别是互联⺴⽹网发展的“先知预⾔言”。作者 凯⽂文·凯利(Kevin Kelly,1952〜~,⼈人们昵称 他为 KK)
  5. 5. IBM/HP/Dell Oracle 私有云公有云 失控 x86虚拟化 (VMWare) 杂牌服务器 去中⼼心化 去权威化 去⾼高富帅 去层级化(简化) 去⾼高富帅 去⾼高富帅EMC NetApp HDS 去⾼高富帅ZFS 去⾼高富帅 去中⼼心化 私有云⽅方案 (IBM/HP/Dell/ Cisco/Microsoft) 去⾼高富帅 Openstack 失控 GlusterFS(Block) Ceph(Block) Swift(Object) HDFS(Bigdata) 去⾼高富帅 去中⼼心化 Cisco OVS Openflow 失控 PAGE: 5 www.trystack.cn 失控 服务器 存储 ⺴⽹网络 数据库Oracle MySQL Hadoop 去⾼高富帅 去权威化 去中⼼心化 KVM 失控 失控 扩张 萎缩扩张 失控 失控 IBM放弃 X86业务 失控 加⼊入Openstack基⾦金会 AWS公有云技术 Microsoft Azure IBM Smart Cloud IBM收购SoftLayer HP Public Cloud VMWare + Carpathia 建⽴立公有云 Cisco Public Cloud Oracle Public Cloud 失控 IaaS失控(≠失败)
  6. 6. 2~5年之后? 私有云如果被厂商锁定, KVM 加⼊入Openstack基⾦金会 ZFS Openstack ? GlusterFS(Block) Software-Ceph(Block) Swift(Object) Define HDFS(Bigdata) Data Center OVS Openflow MySQL Hadoop PAGE: 6 www.trystack.cn AWS公有云技术 Microsoft Azure IBM Smart Cloud IBM收购SoftLayer HP Public Cloud VMWare + Carpathia 建⽴立公有云 Cisco Public Cloud Oracle Public Cloud 如何降低成本? 公有云没有Google的高技术团队, 如何拥有Google式数据中心? OpenStack or Non-OpenStack
  7. 7. 公有云&私有云之争 PAGE: 7 www.trystack.cn
  8. 8. Is OpenStack a Product? OpenStack will never be ready for the enterprise! PAGE: 8 www.trystack.cn Yes ! No It's a technology framework
  9. 9. Linux & OpenStack PAGE: www.trystack.cn
  10. 10. ⽩白⾦金赞助商 OpenStack⽣生态 社区成员⻩黄⾦金赞助商 APR 150 2012 Contributors 2600 个成员 APR 1202 2014 Contributors 15970个成员 Exponential growth in 2 YR OpenStack项目的首要任务是简化云的部署过程并为其带来良好的可扩展性。 PAGE: 10 www.trystack.cn
  11. 11. OpenStack为何如此成功? • 平台成功的三个要素 • 技术 • ⽣生态 • ⽤用户 PAGE: 11 www.trystack.cn
  12. 12. OpenStack基⾦金会强⼤大的推动⼒力 8 8 8 13 143个国家! 社区成员 PAGE: 12 www.trystack.cn 基⾦金会董事会! 代表商业利益! ⼀一年选举⼀一次 技术委员会! 代表开发者! 半年选举⼀一次 ⽤用户委员会! 代表⽤用户! 由董事会和TC提名 8个! ⽩白⾦金会员 18个! 黄⾦金会员 18912位! 个⼈人会员 83家! 企业赞助商 293家! ⽀支持机构 3 https://wiki.openstack.org/wiki/Governance
  13. 13. 逐步完善的社区治理模式 孵化-集成-核⼼心 https://wiki.openstack.org/wiki/Governance/NewProjects PAGE: 13 www.trystack.cn
  14. 14. OpenStack 创新模型 OpenStack⽣生态系统 PAGE: www.trystack.cn 集成发布 Graduation 每六个⽉月发布⼀一个新版本 ! 技术委员会 + 版本发布 经理& PTLs ⽀支持系统 孵化项⺫⽬目 Works with projects in greater Ecosystem OpenStack项⺫⽬目共享基础设施和资源 Applied & Accepted by TC 版本集成之路 ! ⼀一般需要18-24 个⽉月才能完 成孵化毕业! 由技术委员会决定是否通过 孵化阶段 来⾃自 TC更迫切的孵化需求 14 ⼤大量相关开源项⺫⽬目! 某些可能会申请成 为孵化项⺫⽬目! ⼤大多数或许不会申 请
  15. 15. OpenStack⽣生态系统 开源⽣生态系统 Staccato Libra Turbo-hipster Mistral Climate Entropy Designate Pecan Kite Milk Graffiti Rubick Packstack Murano Manila Docker Solum Rally Barbican Sitori PAGE: www.trystack.cn 集成发布 Graduation 每六个⽉月发布⼀一个新版本 ! 技术委员会 + 版本发布 经理& PTLs ⼤大量相关开源项⺫⽬目! 某些可能会申请成 为孵化项⺫⽬目! ⼤大多数或许不会申 请 ⽀支持系统 孵化项⺫⽬目 Works with projects in greater Ecosystem OpenStack项⺫⽬目共享基础设施和资源 Applied & Accepted by TC OpenStack 创新模型 15 Fuel 版本集成之路 ! ⼀一般需要18-24 个⽉月才能完 成孵化毕业! 由技术委员会决定是否通过 孵化阶段 来⾃自 TC更迫切的孵化需求
  16. 16. Steady Growth Grizzly Release (April 2013) Mettering & Monitoring! (Ceilometer) Orchestration(Heat) PAGE: www.trystack.cn 集成发布 ⽀支持系统 孵化项⺫⽬目 Compute(Nova) Object Storage(Swift) Block Storage(Cinder) Networking(Neutron) Dashboard(Horizon) Image Service(Glance) Identity(Keystone) Infrastructure | Docs | Common Libraries | QA | Release Mgmt 16
  17. 17. Steady Growth Havana Release (Oct 2013) Hadoop(Savannah) New PAGE: www.trystack.cn 集成发布 Telemetry(Ceilometer) Bare Metal(Ironic) Orchestration(Heat) Messaging(Marconi) Deployment(TripleO) New Relational DB(Trove) Compute(Nova) Object Storage(Swift) Block Storage(Cinder) Networking(Neutron) Dashboard(Horizon) Image Service(Glance) Identity(Keystone) ⽀支持系统 孵化项⺫⽬目 Infrastructure | Docs | Common Libraries | QA | Release Mgmt 17
  18. 18. Steady Growth Icehouse Release (April 2014) 集成发布 Compute(Nova) Object Storage(Swift) Block Storage(Cinder) Networking(Neutron) Dashboard(Horizon) Image Service(Glance) Identity(Keystone) Bare Metal(Ironic) Database Service(Trove) Queue Service(Marconi) Data Processing(Sahara) New PAGE: www.trystack.cn Telemetry(Ceilometer) Orchestration(Heat) ⽀支持系统 孵化项⺫⽬目 Infrastructure | Docs | Common Libraries | QA | Release Mgmt 18
  19. 19. PAGE: www.trystack.cn 从Cactus开始 19
  20. 20. Neutron Common UI PAGE: www.trystack.cn 最新的Icehouse 20 Cinder Nova Horizon Glance Swift Keystone Access Control 不是OpenStack项⺫⽬目,但是 有助于理解OpenStack组件 间的关系 不是OpenStack项⺫⽬目,但是 有助于理解OpenStack组件 间的关系 Heat Ceilometer
  21. 21. PAGE: www.trystack.cn 发展趋势 • 功能解耦(如:把Nova-Volume 独⽴立成Cinder) • 模块之间通过API通信 • 抽象出通⽤用性的API/Infrastucture (如:Olso项⺫⽬目,原 名openstack-common) • 模块化后端服务(Backends) & 和可适配的外延 (drivers , everything’s pluggable) • IaaS 到PaaS的衍⽣生: Heat/Savana/Trove • 分久必合:Oslo 21
  22. 22. PAGE: www.trystack.cn 国内领先⽤用户 22
  23. 23. 总排名 企业名次Reviews Huawei 19 2373 UnitedStack 21 1994 EasyStack 54 240 Netease 59 169 99cloud 73 92 Kylin Cloud 74 85 PAGE: www.trystack.cn 国内代码贡献统计 23 Juno排名 企业名次Reviews Huawei 15 1020 UnitedStack 23 368 EasyStack 41 132 99cloud 53 69 Netease 71 29 Kylin Cloud 93 9 Icehouse排名 企业名次Reviews Huawei 15 1104 UnitedStack 21 598 EasyStack 33 108 Netease 60 38 Kylin Cloud 63 33 99cloud 75 13 以上统计数据均来⾃自(截⽌止2014年8⽉月):http://stackalytics.com/
  24. 24. 版本Filed PAGE: www.trystack.cn 以华为为例 24 Bugs Resolved Bugs Total commits Change Requests Completed Blueprints Draft Bluepr 说明 Havana 110 58 104 143 2 7 完成了两个Cinder的BP Icehouse 368 201 362 540 4 42 Nova相关4个BP Juno 625 361 673 1,079 27 145 主要涵盖四个模块:Heat、 Nova、Cinder、Ceilometer 以上统计数据均来⾃自(截⽌止2014年8⽉月):http://stackalytics.com/
  25. 25. 企业应⽤用OpenStack的挑战 PAGE: 25 www.trystack.cn
  26. 26. OVS OVS PAGE: www.trystack.cn 部署拓扑变幻⽆无穷 26 Public Switch 10.10.0.0/24 ! CONTROLLER! ! KEYSTONE! NOVA-COMPONENTS! GLANCE! NEUTRON-SERVER! CINDER ! NETWORK NODE! ! OVS-AGENT! DHCP-AGENT! L3-AGENT! METADATA-AGENT! ! COMPUTE NODE! ! NOVA-COMPUTE! OVS-AGENT Private Switch 172.16.0.0/24
  27. 27. ⾼高可⽤用看似简单确要经历⻛风⾬雨 Compute Node Nova Hypervisor Network Node DHCP/IPAM Heat API Queue Block Storage Node Plugin /Agent Neutron Neutron API Ceilometer Ceilometer API PAGE: 27 www.trystack.cn HTTP AMQP SQL 第三⽅方 Nova API Scheduler Conductor Nova Cell Queue Nova DB Nova Nova Nova-Compute VM Network Router/GW Storage Keystone Glance Glance DB Swift Proxy Server Object Store Plugin /Agent Neutron DB Keystone API Keystone DB Queue Scheduler Queue Heat DB Queue DB Cinder API Cinder DB Scheduler Cinder Vol Cinder Backup UI: Horizon / CLI Cinder Glance API Glance Registry Agent Collector
  28. 28. ⺴⽹网络是奔向SDN还是等待 VM compute node network node VLAN TAG PAGE: 28 www.trystack.cn Network br-int eth1 br-eth1(veth) qr-c0bfa11f-ce(tag=1) qr-c0bfa11f-a1(tag=1) qr-c0bfa11f-e2(tag=1) eth1 br-int br-eth1(veth) qr-c0bfa11f-ae(tag=1) qr-c0bfa11f-fe(tag=1) br-ex qr-c0bfa11f-ca eth2 Router VLAN GRE VXLAN FLAT
  29. 29. ! COMPUTE NODE ! COMPUTE NODE ! COMPUTE NODE br-int br-int br-int OVS OVS OVS phyne t gre phyne t gre phyne t gre PAGE: www.trystack.cn VM Traffic Path 29
  30. 30. ! eth1 10.0.0.3 10.0.0.4 PAGE: www.trystack.cn VLAN Bridges 30 Router br-int br-ex br-eth1 qr-c0bfa11f-ce(tag=1) tapcfbfc01f-a1(tag=1) 10.0.0.1 10.0.0.2 qg-9c24ade1c0-c1 eth2 ! br-int br-eth1 (veth) tap99c710cc-ce(tag=1) tapa98bfce2c-11(tag=1) eth1 vlan100 74.125.31.101 74.125.31.1 74.125.31.254 veth
  31. 31. ! eth1 1.1.1.1 10.0.0.3 10.0.0.4 PAGE: www.trystack.cn GRE Bridges 31 br-tun Router br-int br-ex gre-2(remote_ip=“1.1.1.2”) patch-int (peer=patch-patch- tun (peer=patch-qr- c0bfa11f-ce(tag=1) tapcfbfc01f-a1(tag=1) ★ 10.0.0.1 ★ 10.0.0.2 qg-9c24ade1c0-c1 eth2 ! br-tun br-int gre-2(remote_ip=“1.1.1.1”) patch-int (peer=patch-patch- tun (peer=patch-tap99c710cc- ce(tag=1) tapa98bfce2c-11(tag=1) eth1 1.1.1.2 ★ 74.125.31.101 ★ 74.125.31.1 74.125.31.254
  32. 32. What’s the best choice? compute1 compute2 controller1 PAGE: 32 www.trystack.cn VLAN or GRE or other? switch internet test1 test2 test3 Neutron L3 GRE tunnel VLAN tag VLAN tag+physical GW
  33. 33. 950Mbits/sec 945Mbits/sec 940Mbits/sec 935Mbits/sec 930Mbits/sec 946 VLAN GRE VLAN+ph_gw 943 941 942 943 940 942 947 940 941 941 941 941 940 937 950Mbits/sec 932.5Mbits/sec 915Mbits/sec 897.5Mbits/sec 9Gbits/sec 6.75Gbits/sec 4.5Gbits/sec 2.25Gbits/sec VLAN GRE VLAN+ph_gw 7.69 8.67 8.09 7.79 7.78 7.88 6.85 8.12 8.20 8.20 6.05 6.90 6.42 6.06 7.13 6.63 7.13 6.89 910Mbits/sec 900Mbits/sec 890Mbits/sec 880Mbits/sec PAGE: www.trystack.cn 部分测试结果 33 5s 10s 15s 20s 25s 30s 880Mbits/sec VLAN GRE VLAN+ph_gw 946 943 941 942 940 942 939 939 938 939 939 939 885 882 884 884 884 884 5s 10s 15s 20s 25s 30s 0Gbits/sec 5s 10s 15s 20s 25s 30s 870Mbits/sec VLAN GRE VLAN+ph_gw 897 900 893 905 903 905 905 894 882 878 897 899 901 902 874 882 876 882 5s 10s 15s 20s 25s 30s
  34. 34. PAGE: www.trystack.cn 存储千差万别 34 ! CONTROLLER! ! CINDER-API! CINDER-SCHEDULER! CINDER-VOLUME ! STORAGE01! ! SOLARIS(ZFS)! ! STORAGE02! ! SOLARIS(ZFS)! ! COMPUTE NODE! ! Send/Receive zfs volume zfs driver ssh shell VM iscsi VM LVM GlusterFS ZFS CEPH Other Storage
  35. 35. ⽤用ZFS挂载⼀一个云硬盘给虚拟机 PAGE: 35 www.trystack.cn ! CONTROLLER ! CINDER-API CINDER-SCHEDULER CINDER-VOLUME ! STORAGE01 ! SOLARIS(ZFS) ! STORAGE02 ! SOLARIS(ZFS) ! COMPUTE NODE Send/Receive zfs volume zfs driver ssh shell VM iscsi VM 1.nova通过api调⽤用cinder 例如:主机名、iSCSI inititor名字、FC WWPNS 2.cinder-api发送消息给cinder-volume 3.manager检查合法性并调⽤用存储driver 4.volume driver配置客户端调⽤用 例如:计算节点允许访问云盘 5.volume driver返回接⼊入信息 例如:iSCSI iqn and portal, FC WWPN 6.计算节点根据返回信息连接存储 7.计算节点把设备和⽂文件映射给VM
  36. 36. 安全,下⼀一个热点? 172.16.x.253/24 203.166.x.x 203.166.x.x 172.16.x.6/24 172.16.x.252/24 172.16.x.2/24 172.16.x.3/24 172.16.x.4/24 172.16.x.8/24 172.16.x.10/24 172.16.x.5/24 172.16.x.9/24 PAGE: 36 www.trystack.cn 203.166.x.x 203.166.x.x sw-outside controller1 controller2 sw-inside 172.16.x.7/24 compute1 compute2 compute3 compute4 compute5 storage1 stroage2
  37. 37. 如何控制多个节点的内部和外部⺴⽹网络? VM VM VM Vswitch VM VM VM Vswitch PAGE: 37 www.trystack.cn L3#agent# DHCP# agent Vswitch Network#node Neutron# Server# DB#driver# DB Nova Service#node #### #######Hypervisor #### Hypervisor# Opendaylight## Controller port port port port port port OVSA agent OVSA agent ipmgr# driver ipmgr# driver Compute#node Compute#node FWaaS##agent# ipmgr# driver
  38. 38. OpenStack企业应⽤用之路 PAGE: 38 www.trystack.cn
  39. 39. 企业实施Openstack的意义 商业实践总结 PAGE: www.trystack.cn • 成本降低: – ⽤用开源私有云产品替换商业产品 – ⽤用低成本分布式存储替代商业存储 – ⾃自动化运维降低⼈人⼯工成本 • 效率提升: – 通过虚拟化提⾼高服务器使⽤用效率 – 通过按需⽽而⽤用提升资源使⽤用⽅方式 – 通过⾃自动化提升运维⽔水平 • 技术沉淀 – 传递最佳实践, – 掌握开源技术,理解内在原理 – 提升团队技术深度,提⾼高服务质量 • ⾃自主可控 – 开源技术,代码公开 – 灵活的 定制化开发 39 私有 云 开源 技术 成 本 降 低 效 率 提 升 技 术 沉 淀 最佳 实践 社区实践总结 ⾃自 主 可 控
  40. 40. Openstack 控制节点 X86资源池 Zone A 统⼀一存储管理设备 X86资源池 Zone B 数据库 PAGE: www.trystack.cn ⼀一般性架构设计 设计要点: ! 其他企业系统 40 ⽆无法纳⼊入统⼀一存储 可被管理的异构存储设备的设备 认证服务器 NTP服务器 块存储服务 镜像存储后端 认证服务 集成 虚拟机镜像 分布式块存储Ceph/ GlusterFS 分布式对象存储Swift HA 备份/⽂文件服务 UNIX资源池 通信 ⾮非X86应⽤用 2 1 6 7 9 3 5 集成 4 8 控制节点实现⾼高可⽤用冗余,未来可根据扩展需要, 升级⾄至硬件加速控制节点 根据应⽤用(Web/App/DB)或者根据业务等级 (Dev/Pre-Prod/PROD)需求,差异化资源池, 挖据不同应⽤用特性,在性能、数据安全、容量损耗 寻求平衡,根据应⽤用特点提供映像存储模式! 计算存储松耦合,⼲⼴广泛企业应⽤用! 计算存储紧耦合,⾼高吞吐,如数据应⽤用服务器 整合的异构存储,保护企业投资; 应⽤用⾃自扩展,⾼高可⽤用和⾃自迁移 和企业其他既有系统整合 和企业其他既有系统整合可根据业务需要,选择 扩展⾄至分布式块存储(Block Storeage),利⽤用 Ceph/GlusterFS等技术,实现存储开销的降低 可根据业务需要,选择扩展是分布式对象存储 (Object Storage),利⽤用Openstack的Swift模块 实现对象存储,实现存储开销的降低 可根据业务需要,扩展Openstack的⺴⽹网络服务⾄至 三层管理,或者配合硬件加速,实现更灵活的软 件定义⺴⽹网络(SDN)架构 针对某些⽆无法迁移的的应⽤用(如PowerPC系统),实 现Openstack X86的业务环境和它们的融合,实 现应⽤用层通信
  41. 41. TryStack.cn 参考架构 Users PAGE: 41 www.trystack.cn Nginx/ HA Proxdy Nova API Keystone API Neutron API Cinder API Glance API Swift Proxy Compute Manager Volume Manager ZFS Host KVM Guest images Swift Storage
  42. 42. CSP云资源管理平台 PAGE: 42 www.trystack.cn
  43. 43. 桌⾯面云的最佳实践—移动阅览室 PAGE: 43 www.trystack.cn
  44. 44. 企业内部测试开发私有云 评审委员会 PAGE: 44 www.trystack.cn 源码版本管 理仓库 7.冒烟测试10.组件测试 18.部署 13.系统测试 16.手工测试 4.构建 制品管理仓库 15.性能测试 1.提交 2.复查 3.检出 5.预发布6.部署 9.部署12.部署 15.部署 8.晋升 11.晋升 14.晋升 17.晋升 19.发布 收集测试覆盖率 收集流水线状态拉取测试用例列表 代码质量面板 CI 仪表盘 测试用例库 开发人员 配置仓库
  45. 45. 基于OpenStack技术的公有云 PAGE: www.trystack.cn • 构建基于X86服务器 的公有云平台,提供 公有云服务! • 提供⼀一整套基于 OpenStack公有云解 决⽅方案,并上线运营! • 提供⼀一整套符合公有 云服务的⽤用户管理、 虚拟机管理、存储管 理、⺴⽹网络管理、按需 计费的管理系统! • ⺫⽬目前已对外提供公有 云服务,并稳定运 ⾏行, SLA达到99.9% 45
  46. 46. 我们为您提供更多的选择 托管私有云虚拟IDC/公有云 一体化的交付方案 – 集网络/计算存储,拥有自主可控核心技术 SDN交换机 计算节点 存储节点 计算存储融合 “软件”方案 Cloud-In-a-Box (CIB) Solution PAGE: www.trystack.cn … 私有云方案 其他X86服务器供应商 Web UI OpenStack MySQL RabbitMQ Web UI OpenStack MySQL RabbitMQ HA OpenFLow 隧道处理 三层网关 安全策略 Nova-compute VM 1 VM 2 … VM n iSCSI/ISER target RDMA Raid 控制节点 SDN 交换机 计算节点 存储节点 …… OpenFLow 隧道处理 三层网关 安全策略 Nova-compute VM 1 VM 2 … VM n iSCSI/ISER target RDMA Raid 46
  47. 47. OpenStack企业应⽤用之路 Thanks ⽂文档更新地址:! http://www.slideshare.net/ben_duyujie/hello-open-stack2014 PAGE: 47 www.trystack.cn
  48. 48. PAGE: 48 www.trystack.cn 地点、时间(拟定) 09⽉月上旬-北部:北京 09⽉月下旬-东部:上海、南京; 10⽉月上旬-西部:成都、西安; 10⽉月下旬-南部:⼴广州、深圳; 国内企业在应⽤用OpenStack时遇到了哪些问题? 企业应⽤用OpenStack最佳实践; OpenStack创业团队; 其他您想和⼤大家分享的OpenStack相关内容 OpenStack企业应⽤用之路 2014年中国OpenStack企业⾏行 联系⼈人:duyujie.dyj@gmail.com

×