MongoDB on AWSクラウドという選択

18,145 views

Published on

10gen主催 MongoDBセミナーでの発表資料

Published in: Technology
0 Comments
52 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
18,145
On SlideShare
0
From Embeds
0
Number of Embeds
1,951
Actions
Shares
0
Downloads
1
Comments
0
Likes
52
Embeds 0
No embeds

No notes for slide

MongoDB on AWSクラウドという選択

  1. 1. MongoDB on AWSという選択 ~より柔軟なインフラへ~ 2012/8/24
  2. 2. 自己紹介名前:松尾康博 ( @understeer )所属:アマゾンデータサービスジャパン職種:ソリューションアーキテクト好きなサービス: HPCインスタンス EC2 (+ 分散ミドルウェア)MongoDB-JP 専属Ustreamer Copyright © 2012 Amazon Web Services
  3. 3. 本日のアジェンダAWS(Amazon Web Services)のご紹介MongoDBによく合うAWSTipsまとめ Copyright © 2012 Amazon Web Services
  4. 4. AWSのご紹介
  5. 5. アマゾンの3つのビジネス一般消費者様 Eコマース向けサービス (Amazon.co.jp)セラー様向け マーケットプレイス サービス 物流サービス提供 (Amazon Services) クラウド企業様向け コンピューティングサービス (Amazon Web Services)
  6. 6. なぜアマゾンは…About AmazonWeb Services Deep experience in building and ?operating global web scale systems …クラウドに参入したのか?
  7. 7. クラウドコンピューティングとは?初期投資が不要 低額な利用価格 実際の使用分 のみ支払いセルフサービスな スケールアップ、 ビジネススピード インフラ ダウンが容易 の改善 Deploy
  8. 8. 必要なときにすぐに調達可能 オンプレミス クラウド新しいインフラの構築は複雑 ワンクリックで新しい かつ遅くなりがち インフラを用意 必要 調査 評価 新しいデプロイ環境を構築 新しいテスト環境を構築 計画 設計 エンジニア 新しい環境を海外に構築 調達 契約 コミッション 1,000 サーバ追加デプロイ 1,000 サーバ削除
  9. 9. 世界中からデータセンターを選択可能 GovCloud 米国西部 米国東部 南米 EU西部 アジア アジア (Dublin)(US ITAR Region) (Northern (Northern (Sao paulo) パシフィック パシフィック California) Virginia) (Singapore) (東京) AWS リージョン AWS エッジロケ―ション: コンテンツデリバリーネットワーク
  10. 10. リージョンとアベイラビリティゾーン1リージョン内にAZ(データセンター群)が複数拠点存在AZはお互いに地理的・電源的・ネットワーク的に分離されているAZ間は高速専用線で接続(リージョン間はインターネット経由)
  11. 11. 成長を続けるアマゾンクラウド 米国で、クラウドストレージ=Amazon S3 2006年 1 クラウド仮想サーバ=Amazon EC2のサービスを開始 仮想プライベートクラウドサービス=Amazon VPC 2009年 1 RDBサービス=Amazon RDSを開始 世界で5番目のリージョンとして、 2011年3月 1 日本に東京リージョン(データセンタ群)を開設 世界8か所のデータセンター群と、 現在 1 33拠点のエッジロケーション網で、 20を超えるサービスを提供中 13
  12. 12. AWSの拡張のペース アマゾン ドット コムが2000年当時に 年商27.6億ドルの企業であった時 に必要なキャパシティと同等のものを AWSは毎日追加しています (circa 2000) Copyright © 2012 Amazon Web Services
  13. 13. AWSの様々なサービス お客様のアプリケーション IDE プラグイン Tools to ライブラリ & SDKs Web インターフェース デプロイと自動化 Access Java, PHP, .NET, Eclipse AWS Elastic Beanstalk Services Python, Ruby Management Console AWS CloudFormation Visual Studio ネットワーク&ルーティング 認証 & 請求 Amazon VPC Cross- AWS IAM モニタリング スケーリング Amazon Elastic LB ServiceIdentity Federation Amazon CloudWatch Auto Scale Amazon Route 53 FeaturesConsolidated Billing AWS Direct Connect コンテンツ配信 メッセージAmazon オンデマンド High-Level 分散処理 メール配信 Amazon SNS ワークホース Building Elastic MapReduce Amazon SES CloudFront Amazon SQS Amazon Mechanical Turk Blocks データベース ストレージ Amazon RDS コンピュータ処理 Amazon S3/Glacier Low-Level Amazon DynamoDB Amazon EC2 Amazon EBS Amazon SimpleDB Building AWS StorageGateway Amazon Elasticache Blocks AWS のグローバルなインフラ Geographical Regions, Availability Zones, Points of Presence
  14. 14. AWSの様々なサービスAmazon EC2・台数やスペックを柔軟に変更可能な仮想サーバ 1・必要な時に、必要な台数を時間課金でご利用可能Amazon S3 1・容量無制限のオンラインストレージ・自動的に日本国内の複数DCに保存し、高い耐久性を実現Amazon Elastic MapReduce・HW購入不要の分散処理(Hadoop)サービス 1・ご利用時間×ご利用台数だけのお支払いAmazon Virtual Private Cloud・初期費用不要なプライベートクラウドサービス 1・社内ネットワークからAWSにVPN/専用線で接続 17
  15. 15. AWSの様々なサービスAmazon Relational Database Service(RDS) 1・マネージドRDBサービス(MySQL/Oracleが利用可能)・マスタ/スレーブ構成や自動バックアップなどご利用可能Amazon DynamoDB 1・スループット性能指定可能な高速NoSQLサービス・3カ所のデータセンターでSSDにデータを保持Amazon Simple Queue Service(SQS)・メッセージをキューイングするサービス 1・メッセージは冗長化されたストレージに保存Amazon ElasticCache 1・Memached互換のキャッシングサービス・ご利用時間×ご利用台数だけのお支払い
  16. 16. EC2 Amazon EC2(Elastic Compute Cloud) リージョン アベイラビリティ アベイラビリティ ゾーン A 任意のゾーンに ゾーン B 分散配置可能 EC2 1 EC2 数分で起動可能な仮想サーバ 1時間ごとの従量課金で利用可能 14種類の仮想サーバを選択可能 Windows, Linuxなどx86-64アーキテクチャのOSが利用可能 OS以上は自由に触れる  MongoDBでもそれ以外のNoSQLでもインストール可能 Copyright © 2012 Amazon Web Services
  17. 17. EC2インスタンスタイプ• EC2起動時に任意のインスタンスタイプ(スペック)を選択可能 – http://aws.amazon.com/jp/ec2/instance-types/ Hi-Mem 4XL 68.4 GB 128 26 EC2 Compute Units 8 virtual cores $2.072/$2.280 Cluster Compute 8XL 60.5 GB 88 EC2 Compute Units 64 Hi-Mem 2XL 34.2 GB 13 EC2 Compute Units $2.40/2.97 4 virtual cores $1.036/$1.140 32 Cluster Compute 4XL 23 GB 33.5 EC2 Compute Units $1.60/1.98 Hi-Mem XL 17.1 GB Cluster GPU 4XL 22 GB 6.5 EC2 Compute Units 16 Memory (GB) 33.5 EC2 Compute Units, 2 virtual cores 2 x NVIDIA Tesla “Fermi” $0.518/$0.570 Extra Large 15 GB M2050 GPUs 8 EC2 Compute Units $2.10/2.60 4 virtual cores $0.736/$0.920 8 Medium 3.75 GB 2 EC2 Compute Unit Large 7.5 GB 4 EC2 Compute Units 1 virtual core 2 virtual cores $0.184/0.230 $0.368/0.460 4 High-CPU XL 7 GB 20 EC2 Compute Units 8 virtual cores High-CPU Med 1.7 GB $0.760/$1.140 5 EC2 Compute Units 2 virtual cores 2 Micro 613 MB $0.190/$0.285 Up to 2 ECUs (for short bursts) Small 1.7 GB $0.027/0.035 1 1 EC2 Compute Unit 1 virtual core $0.092/0.115 1 2 4 8 16 32 64 128 EC2 Compute Units (ECU)
  18. 18. EBS Amazon EBS(Elastic Block Store) /dev/xvdf EBS EC2 S3 /dev/xvdg EBS EC2にマウント可能なストレージ 1EBSの容量 最小1GB-最大1TB 複数のEBSを1つのEC2インスタンスにアタッチ可能  EBSを別のEC2にマウントしなおす事も可能  ただし複数のEC2から1つのEBSをマウントすることは出来ない 任意のファイルシステムでフォーマット スナップショット機能  任意の時点の全データをS3へ保管 Copyright © 2012 Amazon Web Services
  19. 19. AWSの高い汎用性 フロントUI 開発言語 ミドルウェア × × HTML5OS
  20. 20. セキュリティへの対応グローバル規模でセキュリティ対策を実施 ご利用者様に代わって、 認証専門機関が 専門家の観点でチェック取得済の第三者認証/認定 SOC 1/SSAE 16/ISAE 3402 ISO 27001 (2010年取得) PCI DSS プロバイダー認証 (2010年取得) FISMA Moderateレベル認定 (2011年取得)セキュリティホワイトペーパーの提供 AWSセキュリティセンター http://aws.amazon.com/jp/security/
  21. 21. お客様のご利用分野全社 & 部門 Oracle, SAP, Microsoft, Dassaultアプリケーション 顧客の業務アプリケーション E-コマースコンシューマー & ウェブサイトウェブアプリケーション ゲーム ファイル同期 & 共有サービス コンシューマー向けWebサイトのログ解析HPC & ビッグデータ ゲノム配列解析 大規模バッチプロセス オンプレミスデータのバックアップバックアップ & テープの代わりにアーカイブに利用ディザスタリカバリー ディザスタリカバリー
  22. 22. 190ヶ国以上の数十万社を超す企業にて採用
  23. 23. AWS User Group Japan(JAWS-UG)現在24支部 札 ハッシュタグ 幌 #jawsug 盛 福 金 神 京 井 沢 岡 岡 仙 佐 福 山 山戸 都 台 長 賀 岡口 東 クラウド女子会 崎 熊 大 名 浜 静京 本 大 古 松 岡湘 阪 南 鹿 宮 分 屋 沖 児 崎 縄 島 Copyright © 2012 Amazon Web Services
  24. 24. AWSクラウドのメリット まとめ 今までできていたことを、改善 より早く、簡単に、安く実現できる 今までできなかったことを革新 実現できる
  25. 25. AWSではじめるMongoDB
  26. 26. MongoDBをAWSで実行すると・・ 簡単に試せる  しかも安く試せる グローバルなシステムを構築可能  世界中のデータセンターがすぐに使える  複数データセンター間・遠隔レプリカを簡単に実現 AWSの機能を活用して、運用を楽に!  データの可用性、耐久性対策  ノード故障時の対応  ビッグデータ処理 Copyright © 2012 Amazon Web Services
  27. 27. 簡単に試せる Linuxインスタンス起動 5分 EBS設定 5分 MongoDBインストール 数分 MongoDBセットアップ 数分 MongoDB起動 数分http://www.mongodb.org/display/DOCS/Amazon+EC2 Copyright © 2012 Amazon Web Services
  28. 28. 良いものアリます!AWS マーケットプレイス ミドルウェアがプリインストールされたOSイメージを多数提供 10genもMongoDB入りイメージを無償提供中 • https://aws.amazon.com/marketplace/pp/B007IBMJPI/ 手順も公開 • http://www.mongodb.org/display/DOCS/AWS+Marketplace Copyright © 2012 Amazon Web Services
  29. 29. AWS 無料使用枠(12ヵ月) Amazon EC2 750時間/月のLinux マイクロインスタンス  複数インスタンスの場合も、合計750時間/月であれば無料利用枠に該当 Amazon EC2 750時間/月のWindows Server マイクロインスタンス  複数インスタンスの場合も、合計750時間/月であれば無料利用枠に該当 Amazon EBS  30 GB に加え、200万 I/O、スナップショット ストレージ 1 GB Elastic Load Balancing  750時間に加え 15 GB 分のデータ処理 帯域幅「送信(アウト)」15 GB Amazon S3 ストレージ  5 GBの容量、20,000 Get リクエスト、2,000 Put リクエスト DynamoDB、SimpleDB、SWF、SQS、SNS、CloudWatch 十分MongoDB試せます! Copyright © 2012 Amazon Web Services
  30. 30. AWSでMongoDBを堅牢に
  31. 31. Replica sets on AWS一方のゾーンにMongoDB + Arbiterインスタンス他方のゾーンにMongoDB
  32. 32. Sharded Replica sets on AWS両ゾーンにConfig Server (t1.microでOK)両ゾーンにShardを配置
  33. 33. 複数のゾーンを活用すると 片方のゾーンで何かあっても データが残る そのまま使い続けられるアーキテクチャーセンター http://aws.amazon.com/jp/architecture/
  34. 34. 全世界20カ所にMongoDBを設置可能 リージョン オレゴン 東京 ダブリン バージニアカリフォルニア シンガポール サンパウロ Copyright © 2012 Amazon Web Services
  35. 35. グローバルなシステムもAWSで可能複数のリージョンをまたいだレプリカ  例えば日本とシンガポールをまたいだDR・レプリカ構成  Data Center Awarenessを簡単に使える・試せる Copyright © 2012 Amazon Web Services
  36. 36. 3-Node Replica SetグローバルなシステムもAWSで可能 http://www.slideshare.net/spf13/multi-data-center-awareness Copyright © 2012 Amazon Web Services
  37. 37. 運用・性能のTips
  38. 38. EBSのチューニング通常のEBSは1本 100 IOPS程度が目安例) 400GiBを1本 で約100 IOPS
  39. 39. EBSのチューニングEBSを複数使って RAID例) /Data は200GiBを4本 RAID10で約200+ IOPS例) Log, Journal, Config Serverは RAID1にしておく
  40. 40. EBSのチューニングインスタンスを大きくするとEBSの性能も上がるのでディスク本数を増やしてもサチらない(m1.xlarge, c1.xlarge, m2.4xlarge)例) 100GiBを8本 RAID10で400+ IOPS
  41. 41. EBSのチューニングさらに性能が欲しいときは・・・・・EBSプロビジョンドIOPSと EBS-Optimizedインスタンス・SSD搭載の ハイI/O インスタンスEBS プロビジョンド IOPS を最大限活用するためのリソースのご紹介http://aws.typepad.com/aws_japan/2012/08/ebs-provisioned-iops-some-interesting-resources.htmlベンチマークガイドhttp://docs.amazonwebservices.com/AWSEC2/latest/UserGuide/EBSPerformance.html#benchmark_piops【AWS発表】 2TBのSSDを持つ、ハイ I/O EC2 インスタンスの登場http://aws.typepad.com/aws_japan/2012/07/aws%E7%99%BA%E8%A1%A8-new-high-io-ec2-instance-type-hi14xlarge-2-tb-of-ssd-backed-storage.html
  42. 42. EBSのチューニングそれでもWriteの性能を稼ぎたいときは最終手段のShard!
  43. 43. EBSとスナップショット Region 事前にEBSスナップショット取得 Availability Zone - a スナップショットからボリューム作成。その際に、アベイ ラビリティゾーンを指定。 複製したボリュームは任意のインスタンスにアタッチして 利用可能 アベイラビリティゾーンを指定することで、別アベイラビ リティゾーンに複製を作成することも可能 EBS EB EBS EBS スナップショット元のボリュームに問題があった場合、ス ナップショットからボリュームを復元することで、バックSnapshot アップからのリカバリとなる Amazon Simple Storage Service (S3)
  44. 44. スナップショットで簡単高速バックアップ mongodをFlush& Lock > db.fsyncLock(); (必要なら)Filesystemをfreeze $ xfs_freeze –f /path/to/mongo 各ボリュームのスナップショット取得 $ ec2-create-snapshot –d xxx vol-xxxxxx $ ec2-create-snapshot –d xxx vol-yyyyy ・・・・ FilesystemのunfreezeとMongodのunlock $ xfs_freeze –u /path/to/mongo > db.fsyncUnlock();
  45. 45. スナップショットから簡単高速リストア 各スナップショットからボリューム作成 $ ec2-create-volume –snapshot snap-xxx $ ec2-create-volume –snapshot snap-yyy $ ec2-create-volume –snapshot snap-zzz 各ボリュームをアタッチ $ ec2-attach-volume –device /dev/sdf vol-xxxxxx $ ec2-attach-volume –device /dev/sdg vol-yyyyy RAID,LVM復旧、MongoDB起動
  46. 46. http://www.mongodb.org/pages/viewpage.action?pageId=19562846 Copyright © 2012 Amazon Web Services
  47. 47. その他のTips ネットワークおよびEBSのIOパフォーマンスが欲しい場合  大きいインスタンス、大きいEBSボリュームを使用して下さい  EBSの場合、ストライピングも可能 使用前のウォームアップ  EBS全領域へ一度書き込む事をお勧めします エフェメラルディスクでもMongoDB  料金無料の内蔵ディスクもMongoDBなら便利に利用可能  ログの保存などに  2TBのSSDを内蔵したEC2インスタンスもリリース Copyright © 2012 Amazon Web Services
  48. 48. 続きはこちら• Amazon EC2 – MongoDB • http://www.mongodb.org/display/DOCS/Amazon+EC2• MongoDB on AWS White paper • http://d36cz9buwru1tt.cloudfront.net/AWS_NoSQL_MongoD B.pdf
  49. 49. ビッグデータの扱いが簡単に!
  50. 50. AWSを使うとシンプルに! Hadoop Clusters Amazon S3 MongoDB Amazon EMRAWSにデータを データ解析 結果のビジュ 蓄積 アライズ 1 2 3
  51. 51. Foursquareでのデータ処理http://www.scribd.com/doc/97692109/Hadoop-Foursquare
  52. 52. Next Step
  53. 53. すぐに始められます。http://aws.amazon.com/jp/aws-first-step/
  54. 54. 「はじめてのアマゾンクラウド」シリーズの資料 「はじめてのアマゾンクラウド」シリーズ の資料が参考になります ①AWSアカウント開設 http://slidesha.re/aws-open ②EC2でWebサーバー立ち上げ(当資料) http://slidesha.re/ec2-open ③S3にwebコンテンツ保存 http://www.slideshare.net/kentamaga wa/s3web ④EC2でWindowsサーバ立ち上げ http://www.slideshare.net/kentamaga wa/ec2windows
  55. 55. イベント・セミナーを多数実施http://aws.amazon.com/jp/event_schedule/
  56. 56. クラウドデザインパターン(CDP)http://aws.clouddesignpattern.org/ http://www.amazon.co.jp/dp/4822211967/
  57. 57. まとめ Copyright © 2012 Amazon Web Services
  58. 58. まとめMongoDBをすぐに安く試すならAWS!  無料枠でも十分試せます!AWSの多くの機能で運用を楽に!  WhitepaperありますAWSでMongoDBの機能をフル活用!  本番利用は10genサポートを! Copyright © 2012 Amazon Web Services

×