Seize The Cloud

3,551 views

Published on

クラウドを掴むような話
amazon ec2とかs3とかxenとかhadoopとか

Published in: Technology
0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
3,551
On SlideShare
0
From Embeds
0
Number of Embeds
97
Actions
Shares
0
Downloads
38
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

Seize The Cloud

  1. 1. クラウドを掴むような話 Amazon EC2, S3, Xen, Hadoop とか
  2. 2. 目次 最近の話題 Amazon Web Services Amazon Elastic Compute Cloud Amazon Simple Storage Service Xen Hadoop ほとんどリンク集です
  3. 3. 最近の話題
  4. 4. http://www.kddi.com/corporate/news_release/2009/0324/index.html 2009/6/5からKDDIもサービス開始
  5. 5. Amazon Web Services 沢山種類がある
  6. 6. Amazon web services (1/2) Infrastructure Services Amazon Elastic Compute Cloud (Amazon EC2) Amazon SimpleDB Amazon Simple Storage Service(Amazon S3) Amazon CloudFront Amazon Simple Queue Service(Amazon SQS) AWS Premium Support Payments & Billing Services Amazon Flexible Payments Sercie(Amazon FPS) Amazon DevPay On-Demand Workforce Amazon Mechanical Turk
  7. 7. Amzaon web services (2/2) Web search & Information Service Alexa Web Search Alexa Web Information Service Alexa Top Sites Alexa Site Thumbnail http://aws.amazon.com/products/ Amazon Web Services LLCが提供するサービス
  8. 8. Elastic Compute Cloud クラウドコンピューティング
  9. 9. Amazon Elastic Computer Cloud(EC2) ネイティブに近いサーバ環境を提供するサービス xenベースのディスクイメージ(AMI) ユーザがOSを自由に選択することができる SLA提供 Annual Uptime Percentage of at least 99.95% during the Service Year. http://aws.amazon.com/ec2-sla/ Windowsサーバ,ms sql serverサポート(βサービス) Amamzon Elastic Block Store for Amazon EC2 (βサービス) データを永続化 データベースとしての利用が一般的
  10. 10. 99.95%の信頼性ってどれぐらい? 年:4.38時間,停止可 99.95%  2重障害だとアウト 年:26.28分,停止可 99.995% 年:2.628分,停止可 99.9995% 年:15.768秒,停止可 99.99995%  キャリアグレード
  11. 11. EC2 Instance Type Standard Instances Small Instance (default) Large Instance Extra Large Instance High-CPU Instances High-CPU Medium Instance High-CPU Extra Large Instance http://aws.amazon.com/ec2/instance-types/
  12. 12. Standard Instances (1/2) Small Instance Large Instance 1.7GB mem 7.5GB mem 1 EC2 Compute Unit 4 EC2 Compute Units 1 virtual core 2 virtual cores x 2 10+150GB storage 2x420+10GB storage 32bit platform 64bit platform $0.10/h $0.40/h $0.125/h (windows) $0.50/h(windows)
  13. 13. Standards Instances (2/2) Extra Large Instance 15GB mem 8 EC2 Compute Units 4 virtual cores x 2 4x420+10GB storage 64bit platform $0.80/h $1.00/h (windows)
  14. 14. High-CPU Instances High-CPU Medium Instance High-CPU Extra Large 1.7GB mem Instance 5 EC2 Compute Unites 7GB mem 2 virtual cores x 2.5 20 EC2 Compute Unites 350GB storage 8 virtural cores x 2.5 32bit platform 1690GB storage $0.20/h $0.80/h $0.30/h(windows) $1.20/h(windows)
  15. 15. トラフィックも課金対象
  16. 16. http://calculator.s3.amazonaws.com/calc5.html 詳細な料金はこちらで把握
  17. 17. 申込方法 面倒なのでここでは説明しません 日本語での説明は以下が秀逸です ってか,元々そこを読んでもらえばいいんだけど http://d.hatena.ne.jp/rx7/20080528/p1
  18. 18. 制御方法 提供されたjavaベースのCUIで制御 ブラウザのアドオンで制御 AWSが提供するwebサービスで制御 サードパーティのwebサービスで制御
  19. 19. http://docs.amazonwebservices. com/AWSEC2/latest/DeveloperGuide/ 提供されたコマンドラインツール
  20. 20. Elasticfox ブラウザ addon EC2用
  21. 21. http://console.aws.amazon.com AWSが提供するwebサービス
  22. 22. サードパーティのwebサービス利用
  23. 23. Amazon Simple Storage Service
  24. 24. Amazon Simple Storage Service 1Bから5GBまでのデータの固まりを読み書き消去 保存できるデータ群は無制限 米国と欧州に保存可能 Amazon S3 Service Level Agreementで保証 http://aws.amazon.com/s3-sla/
  25. 25. 料金体系
  26. 26. S3 Organizer ブラウザのaddon S3用
  27. 27. http://jeremy.zawodny.com/blog/archives/007641.html 利用例:S3を利用したバックアップツールとか
  28. 28. http://code.google.com/p/s3fs/wiki/FuseOverAmazon 利用例:S3FS
  29. 29. http://wiki.apache.org/hadoop/AmazonS3 利用例:S3FS for Hadoop
  30. 30. http://github.com/why/parkplace/tree/master 開発中はParkPlaceで (S3 Clone)
  31. 31. EC2/S3以外のサービス ざっと紹介
  32. 32. Amazon SimpleDB Amazon謹製 Dynamo http://www.allthingsdistributed. com/2007/10/amazons_dynamo.html CTO Werner Vogels らが開発 key-valueストア(ハッシュテーブル) スケールアウト(数百台とか) 障害に強い(マシン障害のみならずラック障害にも) my %hash = ( key1 => quot;value1quot;, key2 => quot;value2quot; );
  33. 33. Amazon CloudFront CDNサービス 米国8箇所,ロンドン,ダブリン、アムステルダム,フランクフル ト,香港,東京 1000Mbps, 1000req/sのピーク負荷に耐える
  34. 34. Amazon Simple Queue Service 信頼性が高く,高度にスケーラブルなキュー環境 分散アプリケーションのコンポーネント同士のメッセージバッファ キューに関しては以下の説明を読んでください http://japan.cnet. com/blog/kenn/2004/11/05/entry_amazon_simple_q/
  35. 35. Payments & Billing Services Amazon Flexible Payments Service (Amazon FPS) PaypalとGoogle Checkoutに対抗する決裁サービス クレジット/デビットカード,Amazon Payments Amazonでつかっている情報を利用 Amazon DevPay EC2上で動かすサービスに対して開発者が課金 Amazon EC2 Machine Image (AMI) 販売
  36. 36. On-Demand Workforce Amazon Mechanical Turk 沢山の人にタスクをこなしてもらうためのマーケット Q&Aだけではない 例えば...
  37. 37. http://www.allthingsdistributed.com/2007/02/help_find_jim_gray.html 利用例:Help Find Jim Gray
  38. 38. http://www.tenthousandcents.com/index.html 利用例:Ten Thousand Cents
  39. 39. サービスが止まってないか? 簡単な死活監視
  40. 40. http://status.aws.amazon.com/ AWS Service Health Dashboard
  41. 41. http://itpro.nikkeibp.co.jp/article/EVENTS/20090309/326164/ 何げにでかいこと書いてる日経BP
  42. 42. Xen EC2はXenベース
  43. 43. 最近の話題 Xenネタで
  44. 44. プライベートクラウド 普段はローカルな環境のXenでゲストを動かしておき,必要な時 にはEC2にそのゲストを投げる OpenNebula http://www.opennebula.org/doku.php
  45. 45. パブリッククラウド Amazon EC2/S2互換インタフェース Eucalyptus http://eucalyptus.cs.ucsb.edu/wiki/EucalyptusOverview
  46. 46. XenServer無料ダウンロード開始 http://deliver.citrix.com/go/citrix/wbFreeXenServer
  47. 47. 概要 ドキュメントが実体に おいついてない
  48. 48. http://tinyurl.com/dbkul7
  49. 49. Xenのネットワーク周り 二つの仮想スイッチ
  50. 50. 仮想ネットワーク(Xenbr)
  51. 51. 仮想ネットワーク(Virbr)
  52. 52. こういうのもでてきた http://www.linode.com/
  53. 53. Hadoop 試しにインストールはしてみたけど まだよくわかってない
  54. 54. 使っているところ A9.com(Amazon) 1-100 Adknowledge 50-200 Baidu 10-500 Cornell University Web Lab 100 Facebook 600 Neptune 200 NetSeer <1000 Powerset/Microsoft <400 Search Wikia 125 The Lydia News Analysis Project 17+103 Visible Technologies 150 Yahoo! 20,000 http://wiki.apache.org/hadoop/PoweredBy
  55. 55. http://oreilly.com/catalog/9780596521998/index.html#top 年内に本が出る
  56. 56. 日本語解説 Hadoop, hBaseで構築する大規模分散データ処理システム http://codezine.jp/article/detail/2448 複数マシンへHadoopをインストールする http://codezine.jp/article/detail/2699 Hadoopのインストールとサンプルプログラムの実行 http://codezine.jp/article/detail/2485 blogeyeの実装に学ぶ、Amazon EC2/S3でのHadoop活用術 https://codezine.jp/article/detail/2841 mapreduceに対するnaoya氏の解説 http://d.hatena.ne.jp/naoya/20080511/1210506301 Hadoop Streamingに対するnaoya氏の解説 http://d.hatena.ne.jp/naoya/20080513/1210684438
  57. 57. おまけ Googleファンの方向け
  58. 58. http://code.google.com/p/appscale/ Google AppEngine クローン

×