AWSが誕生するまでの秘話

  • 1,552 views
Uploaded on

 

More in: Technology
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
No Downloads

Views

Total Views
1,552
On Slideshare
0
From Embeds
0
Number of Embeds
4

Actions

Shares
Downloads
12
Comments
0
Likes
22

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. AWSが誕生するまでの秘話 2014年7月3日 アマゾンデータサービスジャパン株式会社 テクニカルエバンジェリスト 堀内康弘
  • 2. Who am I ? • 堀内 康弘 (ほりうち やすひろ) • 1978年生まれ 山梨県出身 • AWS テクニカルエバンジェリスト • 140回以上の講演 • 60回以上のハンズオン • 250本以上のブログ記事
 Amazon Web Services ブログ
 http://aws.typepad.com/aws_japan/ • 10+ years web engineer in startups • Director of V-cube (perl), 2001 - 2006 • CTO of FlipClip (perl), 2006 - 2009 • CTO of gumi (python), 2009 - 2012 @horiuchi horiyasu フォロー歓迎!
  • 3. Amazon.com
  • 4. amazon.com, 1995 Copyright  ©  2012  Amazon  Web  Services
  • 5. 世界最大のEコマースサイトに アメリカ カナダ 中国 フランス ドイツ イタリア 日本 スペイン イギリス 数十億の商品 1週間で5000万品の更新 amazon.com, today
  • 6. なぜアマゾンがクラウドを?
  • 7. AWSクラウドの起源は、   Amazon社内の   ビジネス課題を解決するために   ⽣生まれた API
  • 8. 地球上で最もお客様を大切にする企業であること
  • 9. Amazonのビジネスモデル 創業者ジェフ・ベゾスが起業時にレストランのナプキンに書いたオリジナルのコンセプト図 品 えと低価格を徹底的に追求
  • 10. しかし、規模が大きくなるに従い、 ビジネス課題が生まれてきました。
  • 11. Amazonのビジネス課題 No. 1 過去の注文履歴は全て保管したい
  • 12. Amazonは過去の注文データを全て保管
  • 13. 全て保管で、商品を以前に購入していたら、 メッセージでお知らせ、確認が可能に
  • 14. 全て保管で、リコメンドの精度が高くなり、 お客様が本当に欲しいものを推薦できるように
  • 15. Amazon S3 - 容量無制限で耐久性の高いストレージ • データがなくならない • いくらでも保存できる • ストレージ用サーバやディスク の運用をやらなくてよい • 料金は使った分だけの従量課金 • セキュリティ機能も万全 クラウドストレージ
  • 16. Amazonのビジネス課題 No. 2 アフィリエイトの支払い計算
  • 17. Amazon アソシエイト (アフィリエイト) • サイトに貼ったリンクを経由して Amazon.co.jp でお買い物をした場合、
 購入金額に対して3.5-8%の報酬をお支払い 購入金額に対してのみの広告費の支払い = 低コスト構造
  • 18. Amazonアソシエイトの課題 • アフィリエイトプログラムの成長に伴い、
 支払計算システムの処理所要時間の遅延が課題に Order  DB Payments   Service 隔時間集計
 フラットファイル ⽇日次集計
 ファイル 隔時間 ⽇日次 ⽉月末 C++  App C++  App C++  App 遅延 増加 Amazon.com∼ 2010 大量データの分散処理化の検討が急務に
  • 19. Amazon Elastic MapReduce - 大規模バッチ処理環境 • 必要なときに必要なだけ
 サーバを立ち上げて
 バッチ処理可能 • 料金は1時間単位の従量課金 • 使い終わったら課金は停止 並列バッチ処理
  • 20. ! AWSはAmazonのビジネス課題を解決するために 作り上げたITを 誰でもサービスとして利用できるようにしたものです。 一般的にはクラウドコンピューティングと呼ばれています。
  • 21. 仮想サーバーだけではないAWSのサービス お客様のアプリケーション ストレージ   EBS,  S3,  Glacier,  Storage  Gateway コンテンツ配信   CloudFront ネットワーク   VPC,  Route  53,  Direct  Connect 認証とログ   IAM,  CloudTrail,   CloudHSM 監視   Cloud  Watch   Web管理理画⾯面
 Management   Console デプロイと⾃自動化
 Elastic  Beanstalk,
 Cloud  Formation,   OpsWorks コマンドライン
 インターフェース   CLI ライブラリ  &  SDKs
          Java,  PHP,  .NET,  
            Python,  Ruby グローバルインフラ   リージョン、アベイラビリティゾーン、エッジロケーション AZRegion コンピュート処理理    EC2,  Auto  Scaling,  Elastic  Load  Balancing,   Workspaces データベース   RDS,  DynamoDB,  Redshift,  ElastiCache 分析   Elastic  MapReduce,  Kinesis,  Data  Pipeline アプリケーションサービス   AppStream,  Cloud  Search,  SWF,  SQS,  SES,  SNS,  Elastic  Transcoder
  • 22. お客様のフィードバックに基づくイノベーション 新サービス・機能追加の数
  • 23. AWSを使えば、サービスを活用し、 ブロックを組み立てるようにインフラを構築・運用 可能に
  • 24. Start Simple • Write Events File on Device • Periodically Upload to S3 • Process into Redshift • Point GUI Tool to Redshift 2014-­‐01-­‐24,nateware,e4df,login   2014-­‐01-­‐24,nateware,e4df,gamestart   2014-­‐01-­‐24,nateware,e4df,gameend   2014-­‐01-­‐25,nateware,a88c,login   2014-­‐01-­‐25,nateware,a88c,friendlist   2014-­‐01-­‐25,nateware,a88c,gamestart Profit!
  • 25. Amazon Redshift 10 GigE (HPC) Ingestion Backup Restore SQL Clients/BI Tools 128GB RAM 16TB disk 16 cores Amazon S3/DynamoDB JDBC/ODBC 128GB RAM 16TB disk 16 coresCompute Node 128GB RAM 16TB disk 16 coresCompute Node 128GB RAM 16TB disk 16 coresCompute Node Leader
 Node • リーダーノード - SQLエンドポイント - メタデータの保存 - クエリ実行のコーディネート ! • コンピュートノード - カラムナ型のストレージ - Amazon S3を介したデータの
 ロード、バックアップ、リストア - Amazon DynamoDBからの並列ロード ! • シングルノードでも利用可能
  • 26. Tableau + Redshift
  • 27. More Data Sources • Also Collect Server Logs • Periodically Upload to S3 • Stuff into Redshift • External Analytics Data Too External Analytics EC2
  • 28. Dealing With Messy Data • Different File Formats • Device vs Apache vs CDN • Cleanup with EMR Job • Output to Clean Bucket • Load into Redshift EC2
  • 29. Direct From DynamoDB • Integrate Game DB • Load Directly into Redshift • Redshift does Intelligent Merge • Tracks Hash Keys, Columns EC2
  • 30. Direct From DynamoDB • Integrate Game DB • Load Directly into Redshift • Redshift does Intelligent Merge • Tracks Hash Keys, Columns • Or Stream into EMR EC2
  • 31. リアルタイム分析もできます
  • 32. Back To Basics 2014-­‐01-­‐24,nateware,e4df,login   2014-­‐01-­‐24,nateware,e4df,gamestart   2014-­‐01-­‐24,nateware,e4df,gameend   2014-­‐01-­‐25,nateware,a88c,login   2014-­‐01-­‐25,nateware,a88c,friendlist   2014-­‐01-­‐25,nateware,a88c,gamestart
  • 33. Back To Basics [Dubstep Remix] • Always Batch Due to S3 EC2
  • 34. Need Data Faster! • Stream Data With Kinesis • Multiple Writers and Readers • Still Output to Redshift EC2
  • 35. Lots of Ins and Outs • Stream Data With Kinesis • Multiple Writers and Readers • Still Output to Redshift • Stream to Spark on EMR • Storm via Kinesis Spout • Custom EC2 Workers EC2 EC2
  • 36. Amazon Kinesis リアルタイムでビッグデータを取り込むためのサービス  Data   Sources App.4   ! [Machine   Learning]                               ! ! ! A WS   En dp oin t App.1   ! [Aggregate  &   De-­‐Duplicate]  Data   Sources Data   Sources  Data   Sources App.2   ! [Metric   Extraction] S3 DynamoDB Redshift App.3   [Sliding   Window   Analysis]  Data   Sources Availability Zone Shard 1 Shard 2 Shard N Availability Zone Availability Zone
  • 37. 例えばこんなことも・・・ リアルタイムヒートマップ
  • 38. Clash of Clans Amazon Kinesis Redshift Clickstream archive EC2: In-game engagement trends dashboard Real-time clickstream processing app Kinesis: Real-time data stream of in-game activity Multiple Kinesis applications: Dashboards, analytics and storage Redshift: Business intelligence reporting and interactive queries S3 and Glacier: Data storage and long term archival In-game activity S3 Aggregate statistics Business-intelligence user Kinesis-enabled apps on EC2
  • 39. 【参考】S3、EMR、Redshiftでデータ解析の実例 • データ分析が支えるスマホゲーム開発 ~ユーザー動向から見えてくるアプリ ケーションの姿~ • 越智 修司 (著), 高田 敦史 (著), 丸山 弘 詩 (編集) http://amzn.to/1ih9n9M
  • 40. AWS最新情報
  • 41. 最新のCPUを搭載したサーバーをご利用いただけます
  • 42. 多種多様なインスタンスタイプ GPU一般用途 バランス型 メモリ 最適化 ストレージとIO 最適化 コンピュート 最適化 CR1M2CC2C1 HI1 HS1 CG1M1
  • 43. 多種多様なインスタンスタイプ GPU一般用途 バランス型 メモリ 最適化 ストレージとIO 最適化 コンピュート 最適化 CR1M2CC2C1 HI1 CG1M1 G2M3 R3C3 I2 HS1
  • 44. M3インスタンス - 汎用タイプ • Intel Xeon E5-2670 (Sandy Bridge) • SSDのインスタンス ストレージ CPU性能、メモリー、ネットワークのバランスがとれたタイプ 特徴 モデル vCPU メモリ (GiB) SSD ストレージ (GB) オンデマン ド料金 (東京) m3.medium 1 3.75 1 x 4 $0.101 m3.large 2 7.5 1 x 32 $0.203 m3.xlarge 4 15 2 x 40 $0.405 m3.2xlarge 8 30 2 x 80 $0.810
  • 45. C3インスタンス - CPU最適化 • Intel Xeon E5-2670 v2 
 (Ivy Bridge) • SSDインスタンスストレージ • 低レイテンシー、低ジッタ、高い 秒間あたりのパケット性能を持つ 拡張されたネットワーク
 (SR-IOV, VPCのみ) • クラスタリングサポート CPU性能に特化したタイプ。CPUあたりの料金が最も安い 特徴 モデル vCPU メモリ (GiB) SSD ストレージ (GB) オンデマン ド料金 (東京) c3.large 2 7 2 x 16 $0.128 c3.xlarge 4 14 2 x 40 $0.255 c3.2xlarge 8 28 2 x 80 $0.511 c3.4xlarge 16 55 2 x 160 $1.021 c3.8xlarge 32 108 2 x 320 $2.043
  • 46. R3インスタンス - メモリ最適化 • Intel Xeon E5-2670 v2 
 (Ivy Bridge) • SSDインスタンスストレージ • 低レイテンシー、低ジッタ、 高い秒間あたりのパケット性 能を持つ拡張されたネットワー ク (SR-IOV, VPCのみ) メモリに特化したタイプ。メモリGiBあたりの料金が最も安い 特徴 モデル vCPU メモリ (GiB) SSD ストレージ (GB) オンデマン ド料金 (東京) r3.large 2 15 1 x 32 $0.210 r3.xlarge 4 30.05 1 x 80 $0.420 r3.2xlarge 8 61 1 x 160 $0.840 r3.4xlarge 16 122 1 x 320 $1.680 r3.8xlarge 32 244 2 x 320 $3.360
  • 47. I2インスタンス - ストレージ最適化 • Intel Xeon E5-2670 v2 
 (Ivy Bridge) • SSDインスタンスストレージ • TRIMサポート • 低レイテンシー、低ジッタ、高い 秒間あたりのパケット性能を持つ 拡張されたネットワーク
 (SR-IOV, VPCのみ) ストレージに最適化されており、高いランダムI/O性能、IOPSを提供
 i2.8xlargeで秒間365,000超のランダムリードと秒間315,000超のランダムライト 特徴 モデル vCPU メモリ (GiB) SSD ストレージ (GB) オンデマン ド料金 (東京) i2.xlarge 4 30.05 1 x 800 $1.051 i2.2xlarge 8 61 2 x 800 $2.101 i2.4xlarge 16 122 4 x 800 $4.202 i2.8xlarge 32 244 8 x 800 $8.404
  • 48. NEW!! T2インスタンス 1時間あたり
 6CPUクレジット
 貯まる 最大144CPUクレジット プールされる 1CPUクレジット=1分間CPUをフル活用可能 t2.microの場合 ベースライン(10%) を超える場合 クレジットを利用し てブースト
  • 49. 発電機所有が差別化要因だった時代の終焉
  • 50. 「発電機を持つ」ことは   差別化要因ではなくなった   ! 「電気を利用してて何を創造するか」が 大きな差別化要因に。
  • 51. 「ITを持つ」ことは   差別化要因ではなくなった   ! 「ITを利用してて何を創造するか」が 大きな差別化要因に。
  • 52. AWS Summit Tokyo 2014 • 2014年7月17日(木) ∼ 18日(金) • グランドプリンス新高輪 (東京・品川) • 来場無料 (要事前登録) • http://www.awssummittokyo.com/ • クルーズ様、ソニー様、グラニ様、クックパッド様など多 数の企業が登壇 「あなた」のクラウドがここに