Ia20120118 sekiya

1,046 views

Published on

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
1,046
On SlideShare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
10
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Ia20120118 sekiya

  1. 1. IEICE IA Workshop @ WAKAYAMA 12/01/18広域分散クラウドへの挑戦と課題関⾕谷  勇司東京⼤大学  情報基盤センター / WIDE Projectsekiya@nc.u-tokyo.ac.jp / sekiya@wide.ad.jp 1
  2. 2. IEICE IA Workshop @ WAKAYAMA 12/01/18背景と概要  クラウドコンピューティング   キーワード   アーキテクチャ   サービス  今までと違ったクラウドならではの構築・運⽤用の問題点   個々の技術のインテグレーション   「クラウド」ならではの運⽤用技術が必要となるはず  広域分散クラウドによって実現できるサービスとは   ⼤大学間クラウド  (WIDE クラウド) 2
  3. 3. IEICE IA Workshop @ WAKAYAMA 12/01/18クラウドの定義とは  ?  Above the Clouds: A Berkeley View of Cloud Computing   Electrical Engineering and Computer Sciences University of California at Berkeley, Technical Report No. UCB/EECS-2009-28  規模性   あたかも無限であるかのようにリソースを利利⽤用することができる  即時性   必要なとき必要なだけ時間単位で利用することができる  可⽤用性   単⼀一障害に影響されずサービスを継続することができる 3
  4. 4. IEICE IA Workshop @ WAKAYAMA 12/01/18クラウドの特⾊色  Availability of Service   Use Multiple Cloud Providers; Use Elasticity to Prevent DDOS  Data Lock-In   Standardize APIs; Compatible SW to enable Surge Computing  Data Confidentiality and Auditability   Deploy Encryption, VLANs, Firewalls; Geographical Data Storage  Data Transfer Bottlenecks   FedExing Disks; Data Backup/Archival; Higher BW Switches  Performance Unpredictability   mproved VM Support; Flash Memory; Gang Schedule VMs 4
  5. 5. IEICE IA Workshop @ WAKAYAMA 12/01/18クラウドの特⾊色 (cont.)  Scalable Storage   Invent Scalable Store  Bugs in Large Distributed Systems   Invent Debugger that relies on Distributed VMs  Scaling Quickly   Invent Auto-Scaler that relies on ML; Snapshots for Conservation  Reputation Fate Sharing   Offer reputation-guarding services like those for email  Software Licensing   Pay-for-use licenses; Bulk use sales 5
  6. 6. IEICE IA Workshop @ WAKAYAMA 12/01/18クラウドにして⼤大丈夫なのか  ?  信頼できるものなのか Module(n+3)   障害は数多く発⽣生している Module(n+2,m0) Module(n +2,m1)  従来のホスティングや VPS に ⽐比べて Module(n,m0) Module(n,m1) Module(n,m2)   冗⻑⾧長性   可⽤用性   秘匿匿性 Module(n,m Module(n,m) +1)  障害発⽣生時   アーキテクチャの依存関係 が⼤大きいため障害が広範囲 になりがち Module(n +1,m) Module(n +1,m+1) 6
  7. 7. IEICE IA Workshop @ WAKAYAMA 12/01/18クラウドとしての運⽤用  クラウド  ?   本当にクラウドとしての運⽤用がなされているのか  障害の影響   機器故障   拠点レベルの障害  パブリッククラウドサービスとしての  IaaS   広域分散  IaaS クラウドへの挑戦   ⼤大学間にて構築されるインタークラウド 7
  8. 8. IEICE IA Workshop @ WAKAYAMA 12/01/18広域分散  IaaS の冗⻑⾧長性 Storage� Storage� HA HA Server� Server� HA HA HA Network� Network� HA HA HA 8
  9. 9. IEICE IA Workshop @ WAKAYAMA 12/01/18⼤大学におけるクラウド利利⽤用  事務系端末   シンクライアント (IaaS)  事務系アプリケーション   財務会計・学事 (PaaS, SaaS)  研究者   計算資源・実験・サービス提供 (IaaS, PaaS)  授業   授業端末 (IaaS, SaaS) 9
  10. 10. IEICE IA Workshop @ WAKAYAMA 12/01/18⼤大学間クラウドの利利点  リソースの融通   ⼤大学が持つリソースを融通し合いサービスを提供  耐障害性   ハードウェア障害によるデータ喪失やサービス断への対応   ネットワーク障害によるサービス継続不不能への対応  運⽤用コストの削減   法定点検による停電対応   重複したリソースの共通化 10
  11. 11. IEICE IA Workshop @ WAKAYAMA 12/01/18⼤大学間クラウドのテストベッド  WIDE / JGN バックボーンを利利⽤用した広域  IaaS クラウド   慶応⼤大学   東京⼤大学   NAIST   JAIST  接続形態   専⽤用線   JGN   Tunneling 11
  12. 12. IEICE IA Workshop @ WAKAYAMA 12/01/18 WIDE クラウド Inter-University Cloud Sharing the resources on each private cloud JAIST NAIST WIDE Cloud の挑戦 Univ. of 1.  仮想計算機の資源を広域に分散 Tokyo •  広域環境でのVM構築 2.  インターネット回線を⽤用いて仮想計算Tokyo 機環境を構築DC 広域分散環境で •  セキュリティ確保とネットワーク Keio 障害を回避するための諸技術実証 リソースを融通しあい Univ. IaaS を構成 (KMD) 実験 •  次世代ネットワーク環境(IPv6)にOsaka 対応した連携プロトコル設計DC Keio 3.  企業間の連携とは異異なる、⼤大学間特有 Univ. の共通サービス提供への挑戦 (SFC) •  資源を融通し合うためのポリシー SFO CNU DC とメカニズム (Korea) •  広域仮想計算機資源のユーザへの 提供実験 12
  13. 13. IEICE IA Workshop @ WAKAYAMA 12/01/18 WIDE クラウドの要素技術Application Layer� SQL NoSQLMiddleware Layer� Federated Cloud Controller RESTful API VM ImageControl Layer� libvirtVirtual Resource Layer� NEMO kvm NFS iSCSI Sheepdog map646Facility Layer� VLAN Network Server Storage Application 13
  14. 14. IEICE IA Workshop @ WAKAYAMA 12/01/18必要とされる技術  ネットワーク移動透過性   VM が利利⽤用するネットワークを拠点間にて透過的に提供  ストレージ可⽤用性   単⼀一ハードウェアや単⼀一拠点に頼らないストレージの提供  計算資源冗⻑⾧長性   単⼀一ハードウェアや単⼀一拠点に頼らない計算資源   cold standby vs. hot standby 14
  15. 15. IEICE IA Workshop @ WAKAYAMA 12/01/18ネットワーク移動透過性  VLAN の取り回し   VLAN 数の制限と MAC address 数の制限   VPLS + PBB ?   Ether Fabric 技術 (trill) ?   OpenFlow ?  ユーザ単位でネットワークを切切り出す   仮想ネットワークの持ち運び   トンネリング技術  組織単位のネットワーク移動透過性であれば   LISP in Cloud 15
  16. 16. IEICE IA Workshop @ WAKAYAMA 12/01/18NEMO を利利⽤用した移動透過性 IPv6 Internet! IPv4 Internet! NAT64 Boxes! Datacenter 2! Datacenter1! Hypervisors! Hypervisors! Datacenter 3! Datacenter 4! VMs! Hypervisors! Hypervisors! 16
  17. 17. IEICE IA Workshop @ WAKAYAMA 12/01/18 計算資源とストレージVM Replication� 17
  18. 18. IEICE IA Workshop @ WAKAYAMA 12/01/18ストレージ可⽤用性  分散ストレージの利利⽤用   Gluster FS   Ceph   Sheepdog   Gfarm  計算資源とストレージとの距離離   I/O としてそのまま性能に跳ね返ってくる   特に書き込み   分散ストレージの場合は  iSCSI より速くなる場合もある   2⽉月に  StarBED を⽤用いて実験予定 18
  19. 19. IEICE IA Workshop @ WAKAYAMA 12/01/18 VM とストレージの距離離 iSCSI 書き込み iSCSI 読み込み 60000 800000 700000 50000 600000 40000 500000 KByte 400000 Fujisawa FujisawaKByte 30000 300000 Nezu 200000 Nezu 20000 JAIST 100000 JAIST 10000 0 0 write rewirte random fwrite frewrite write 書き込み 読み込み VM �: 慶應義塾大学� ストレージ�:�慶應義塾大学, 東京大学, 北陸先端科学技術大学院大学� 19
  20. 20. IEICE IA Workshop @ WAKAYAMA 12/01/18 読み込み性能⽐比較 (cache off) Iozone performance Iozone performance Read performance Read performance 1.2e+06 600000 1e+06 500000 800000 400000Kbytes/sec Kbytes/sec 600000 300000 400000 200000 200000 100000 0 0 16384 16384 4096 4096 1024 1024 64 256 1024 256 64 256 1024 256 409616384 64 Record size in 2^n Kbytes 409616384 64 Record size in 2^n Kbytes 65536 262144 16 65536 262144 16 File size in 2^n KBytes 1.04858e+06 4.1943e+06 4 File size in 2^n KBytes 1.04858e+06 4.1943e+06 4 1.67772e+07 1.67772e+07 LOCAL DISK SHEEPDOG 20
  21. 21. IEICE IA Workshop @ WAKAYAMA 12/01/18 書き込み性能⽐比較 (cache off) Iozone performance Iozone performance Write performance Write performance 4500 4000 500000 3500 450000 3000 400000Kbytes/sec 350000 2500 Kbytes/sec 300000 2000 1500 250000 200000 1000 150000 500 100000 0 50000 0 16384 4096 16384 1024 4096 64 256 1024 256 Record size in 2^n Kbytes 1024 409616384 64 64 65536 256 1024 256 262144 16 File size in 2^n KBytes 1.04858e+06 4.1943e+06 4 4096 16384 64 Record size in 2^n Kbytes 1.67772e+07 65536 16 262144 1.04858e+06 File size in 2^n KBytes 4.1943e+06 4 1.67772e+07 LOCAL DISK SHEEPDOG 21
  22. 22. IEICE IA Workshop @ WAKAYAMA 12/01/18 読み込み性能 (cache on) Iozone performance Iozone performance Fread performance Fread performance 8e+06 5.5e+06 7e+06 5e+06 6e+06 4.5e+06 4e+06 Kbytes/sec5e+06Kbytes/sec 3.5e+06 4e+06 3e+06 2.5e+06 3e+06 2e+06 2e+06 1.5e+06 1e+06 1e+06 500000 0 16384 16384 4096 4096 1024 1024 64 256 1024 256 64 256 409616384 64 Record size in 2^n Kbytes 256 1024 65536 409616384 64 Record size in 2^n Kbytes 262144 16 65536 File size in 2^n KBytes 1.04858e+06 4.1943e+06 4 262144 16 1.67772e+07 File size in 2^n KBytes 1.04858e+06 4.1943e+06 4 1.67772e+07 LOCAL DISK SHEEPDOG 22
  23. 23. IEICE IA Workshop @ WAKAYAMA 12/01/18 書き込み性能 (cache on) Iozone performance Iozone performance Fwrite performance Fwrite performance 1.2e+06 1.2e+06 1e+06 1.1e+06 1e+06 800000 900000 Kbytes/secKbytes/sec 800000 600000 700000 600000 400000 500000 200000 400000 300000 0 200000 16384 16384 4096 4096 1024 1024 64 256 1024 256 64 256 256 1024 409616384 64 Record size in 2^n Kbytes 409616384 64 Record size in 2^n Kbytes 65536 65536 16 262144 16 262144 1.04858e+06 File size in 2^n KBytes 1.04858e+06 4.1943e+06 4 File size in 2^n KBytes 4.1943e+06 4 1.67772e+07 1.67772e+07 LOCAL DISK SHEEPDOG 23
  24. 24. IEICE IA Workshop @ WAKAYAMA 12/01/18挑戦と課題  広域分散  IaaS への挑戦   課題   「クラウド」としての利利点を⽣生   計算資源 かした運⽤用   拠点をまたがったマイグ   リソースの融通 レーション   サービスの耐障害性   冗⻑⾧長化のためのスタンバイ   拠点単位の障害に対応できる   ネットワーク 技術   I/O としてのネットワーク   サービスとしてのネット ワーク   光の速度度は超えられない   ストレージ   閉域 (SAN) vs. 広域分散   運⽤用コストと耐障害性のト レードオフ 24

×