本文讨论了云计算机房网络环境的构建重点，包括外部和内部带宽、信息安全以及私有云的特征。还探讨了Hadoop集群的网络环境及其对带宽和延迟的要求，强调了无过度订阅网络的重要性。最后，文章介绍了云计算网络趋势，包括统一和集成的互连方式。

1. 14th TWNIC OPM & TWNOG Seminar 2010/7/1, Taipei 雲端運算機房網路環境建置探討 智匯亞洲有限公司 許至凱 CCIE/JNCIE kaeatforum [at] gmail.com

2. Agenda 這裡討論的雲端運算分類為何？ 雲端運算機房網路建置要點 外部頻寬 內部頻寬 資訊安全 Private Cloud Hadoop cluster 網路環境 雲端運算網路趨勢 Higher bandwidth Lower latency Unified and converged interconnection 參考資料

3. 這裡討論的雲端運算分類為何？ “ S-P-I” model Software-as-a-Service Platform-as-a-Service Infrastructure-as-a-Service Storage-as-a-Service Database-as-a-Service Communication-as-a-Service Information-as-a-Service Process-as-a-Service Monitoring-as-a-Service Platform-as-a-Service Service-as-a-Service Security-as-a-Service Infrastructure-as-a-Service

4. 這裡討論的雲端運算分類為何？ Cloud computing “S-P-I” stack From “Cloud Computing Explained” by John Rhoton Colocation Hardware Virtualization Platform Application Real Estate Power Cooling Bandwidth Memory Computation Storage Provisioning Virtualization Billing APIs Development Environment Programming Language CRM Email UC … IaaS PaaS SaaS

5. 雲端運算機房網路建置要點 頻寬：外部頻寬 雲端服務用戶皆利用 Internet 連至雲端機房 間隔過多的 ISP 將難以掌握網路連線狀況 足夠且直接的連線頻寬是維護雲端服務品質的基本要求

6. 雲端運算機房網路建置要點 頻寬：內部頻寬 Virtualization User-to-VM; VM-to-VM, server-to-server VM 流量行為難以掌握，充足的頻寬是必要條件 使用 Non-blocking, Non-oversubscription 網路環境 Cross-datacenter Business continuity; Disaster recovery 為考慮 BC/DR ，跨資料中心的 VM 連線扮演重要角色 也需一併考慮 Internet 連線設計如 GSLB GE GE 10GE GE GE 10GE Internet Internet

7. 雲端運算機房網路建置要點 資訊安全 Face to Internet 阻卻所有惡意的流量 Scalable Firewall/IPS/DDoS mitigation/Web Application Firewall Face to cloud customers 提供安全快速的存取方式 SSLVPN, Dedicated connection WAN acceleration Cloud Service SSL VPN

8. Private cloud 企業若希望享有 cloud computing 的優勢，但又不希望把企業資訊儲存在他人的平台上 建立自有的 cloud – private cloud Private cloud 特色 規模較小 可採取更扁平的網路架構，而非傳統三層式架構 降低複雜度 增進整體網路效能 效能要求較高 High bandwidth Low latency 更豐富的虛擬化整合 除了 server virtualization ，還可以進行 desktop virtualization 提昇虛擬化效益 網路必需能夠分辨重要性高的流量與一般流量 (QoS)

9. Hadoop cluster 網路環境 在 over-subscription 網路環境中， Hadoop 可優先使用同一 rack 的 node 進行 MapReduce ，以獲取較佳的效能。 跨 rack 傳輸將使得延遲增加與可能造成 uplink 壅塞 讓 Hadoop 了解 node 的網路架構 修改 DNSToSwitchMapping Sufficient bandwidth, less latency In-sufficient bandwidth, more latency N:1 over-subscription N:1 over-subscription Hadoop Cluster

10. Hadoop cluster 網路環境 區分 data traffic 與 client communication 所使用網路卡 獨立之 HDFS segment 可進行 Ethernet jumbo frame 調整以增進傳輸效能 修改 dfs.datanode.dns.interface HDFS segment; MTU>9000 (jumbp frame) IP segment; MTU=1500

11. 雲端運算網路趨勢 Higher bandwidth Over-subscription 網路造成潛在效能瓶頸 虛擬化將造成網路流量需求大增 將 Cloud computing LAN 昇級至 non-oversubscription 網路 避免任何壅塞發生 4:1 over-subscription GE GE GE GE GE Non-oversubscription GE GE GE GE 10GE UPGRADE

12. 雲端運算網路趨勢 Lower latency Wire latency (1500 bytes) GigabitEthernet: ~12μs 10GigabitEthernet: ~2μs 在 SOA (Service-Oriented Architecture) 環境下，一個交易 (transaction) 需要跨多個 SOA 元件與網段才能完成 與單純的 standalone server solution 比起來，延遲時間增加 由於這是 GigabitEthernet 電氣規範造成的限制，更換 GE 交換器或網卡無法有效解決 SOA 環境延遲增加的狀況 昇級 Cloud LAN 自 GE 至 10GE 降低延遲時間 增加有效頻寬 Internet Network latency = A A Internet Network latency = A + B + C + D A C B D

13. 雲端運算網路趨勢 Unified and converged interconnection 目前 server 上主要 I/O 種類 : GigabitEthernet - LAN IBA – InfiniBand Network FC - SAN SAS/SATA – Local storage Cloud datacenter approaches 使用 Enhance Ethernet or IBA 來進行實體連線整合 VM 使用虛擬化 / 模擬裝置存取 I/O 資源 vFC, vFCoE, vGbE etc… 更有效使用高頻寬、低延遲網路 GbE IBA FC SAS/SATA Enhance Ethernet; IBA Virtualization

14. 參考資料 Books Cloud & Virtualization Cloud Computing and SOA Convergence in Your Enterprise; A Step-by-Step Guide by David S. Linthicum Cloud Computing Explained by John Rhoton Cloud Computing; Implementation, Management, and Security by John W. Rittinghouse and James F. Ransome The Green and Virtual Data Center by Greg Schulz Hadoop Hadoop: The Definitive Guide by Tom White Pro Hadoop; Build scalable, distributed applications in the cloud by Jason Venner

15. Q & A