Download as PDF, PPTX
![[要約] Building a Real-Time Bidding Platform on AWS #AWSAdTechJP](https://cdn.slidesharecdn.com/ss_thumbnails/2016rtbwhitepaper-160310091325-thumbnail.jpg?width=640&height=640&fit=bounds)
![[CTO Night & Day 2019] AWS で構築するデータレイク基盤と amazon.com での導入事例 #ctonight](https://cdn.slidesharecdn.com/ss_thumbnails/ctond2019morningsessiondatalake-191027185852-thumbnail.jpg?width=640&height=640&fit=bounds)
![[CTC Forum 2019/10/25] 事例から学ぶ！AWS 移行でデータベースの管理・コストを削減する方法](https://cdn.slidesharecdn.com/ss_thumbnails/ctcforum20191025learnfromexamplesawsmigrationmethodtoreducedatabasemanagementandcost-191107204532-thumbnail.jpg?width=640&height=640&fit=bounds)
![[CTO Night & Day 2019] AWS Database Overview -データベースの選択指針- #ctonight](https://cdn.slidesharecdn.com/ss_thumbnails/ctond2019morningsessiondb-191027185856-thumbnail.jpg?width=640&height=640&fit=bounds)
Data discoveryを支えるawsのbig data技術と最新事例
- 1.
- 2. ⾃⼰紹介 ⼩梁川 貴史(こやながわ たかし） •パートナーソリューションアーキテクト – APNさまへの技術⽀援 • アーキテクチャの検討⽀援やレビューなど • 経歴 – ソフトハウスにて、開発とSI業務を経験 – 電機メーカーにて、⾃社Webサービスの設計から運⽤まで経験 • AWSのユーザとして4年半、1000台を超えるインスタンス環境での開発・運⽤ • 好きなサービス – Cloudwatch events – AWS WAF
- 3.
- 4.
- 5. Amazonのクラウドの考え⽅ 初期投資不要 完全従量課⾦ 柔軟なキャパシティ 市場投⼊スピードセキュア グローバル展開 柔軟なインフラリソースを、 いつでも、誰でも、安く、⼿に⼊れることができる
- 6. AWS グローバルネットワーク 12のリージョン 1. USEAST (Virginia) 2. US WEST (N. California) 3. US WEST 2 (Oregon) 4. EU WEST (Ireland) 5. JAPAN (Tokyo) 6. South America (Sao Paulo) 7. ASP 1 (Singapore) 8. ASP 2 (Sydney) 9. GovCloud 10.BJS 1 (Beijing China) limited 11.EU (Frankfurt) 12.Seoul(korea) 12 Regions (地域) | 30 Availability Zones(データセンター群) 54か所のエッジロケーション
- 7. Enterprise Applications Virtual Desktop Sharing& Collaboration Platform Services Analytics Hadoop Real-time Streaming Data Data Warehouse Data Pipelines App Services Queuing & Notifications Workflow App streaming Transcoding Email Search Deployment & Management One-click web app deployment Dev/ops resource management Resource Templates Mobile Services Identity Sync Mobile Analytics Push Notifications Administration & Security Identity Management Access Control Usage Auditing Key Storage Monitoring And Logs Core Services Compute (VMs, Auto-scaling and Load Balancing) Storage (Object, Block and Archival) CDN Databases (Relational, NoSQL, Caching) Networking (VPC, DX, DNS) Infrastructure Regions Availability Zones Points of Presence サーバー、ストレージ、DBから、アプリケーションまで 50を超えるクラウドサービスを提供
- 8. Amazon Elastic ComputeCloud (EC2) • 特徴 (http://aws.amazon.com/jp/ec2/) – 必要な時に必要なだけ1時間単位の従量課⾦で 利⽤できる仮想サーバリソース – 世界12箇所のリージョンで利⽤可能 – 様々なスペック・OSを選択可能 • 価格体系 (http://aws.amazon.com/jp/ec2/pricing/) – インスタンス利⽤料($0.02/hour 〜) – データ転送量(OUT $0.14/GB ) 仮想クラウドサーバ
- 9.
- 10.
- 11. AWS の基盤サービス コンピュー ティング ストレージ データベース ネットワー キング AWSグローバ ルインフラスト ラクチャ リージョン アベイラビリ ティーゾーン エッジロケー ション クライアント側で のデータ暗号化 サーバー側での データ暗号化 ネットワークトラ フィックの保護 プラットフォーム、アプリケーション、アイデンティティ ＆アクセス管理 オペレーティングシステム、ネットワーク、ファイア ウォール構成 お客様のアプリケーションとコンテンツ お客様 共有責任モデル 〜AWSのセキュリティに関する考え⽅ 顧客はクラウ ド内のセキュ リティに責任 を持ちます。 AWS はクラウド のセキュリティに 責任を持ちます。
- 12. 専⾨の監査⼈は、コンプライアンスに関して偏⾒のない⾒解を提供します プロセスが終わることはなく、常に尽⼒し続けています これまでにご覧になったことがないようなモニタリングを継続しています 専⾨家の監査: 透明性と正確性 https://aws.amazon.com/jp/compliance/compliance-latest-news/ PCI DSS：PaymentCard Industry Data Security Standard クレジットカード情報および 取引情報を取り扱うための セキュリティ基準
- 13.
- 14.
- 15. すべての IT をon AWSで 1000台以上のサーバーを ほぼ全てをクラウドへ移⾏ 5年間で40%のコスト削減 500台規模のプライベート クラウドを丸ごとAWSへ 業務システムの全インフラを 数年かけてAWSに移⾏ 基幹システムをAWSに移⾏ その他の業務システムも 順次AWSに移⾏
- 16. 数字で⾒るAWSクラウド • 世界に先駆け2006年より、クラウドサービスを提供 • 世界に12か所のデータセンター群 •世界で190か国の100万を超えるお客様が利⽤ • 年間で合計500を超える(14年度実績)、イノベーション機能拡張/改善 • 世界に10,000を超えるパートナー・エコシステム • 累計で51回以上値下げをして利益をお客様へ還元
- 17.
- 18. クラウドを活⽤したCyber-Physical Systems 参考出展：ネットコマース 斎藤様資料より 「モノ」の数の予想 •2009年 25億個 • 2015年 180億個 • 2020年 500億個 IoTから⽣みだされ、増え続け るデータが、「ビッグデータ」 「ビックデータ」から統計⼿法 などを使い、現実世界の分析と 将来の予測を⾏う 分析や予測結果を「モノ」への フィードバックとしてより良い 改善をしていく クラウドで実現
- 19.
- 20. 収集 分析 活⽤ •環境データ（温湿度など） • 位置情報 • ⾞載データ • 装置データ • 機器ログ • 機器ステータス • ⽣体データ • 監視動画・画像 • 機器稼働実績 • 機器交換予測 • 異常検知 • ハザードマップ • 運送計画 • ドライバ運転実績 • 歩留まり管理 • 在庫管理 • 資産管理 • 配送管理 • 社員教育 データ活⽤例
- 21.
- 22. データフローとAWSサービスのマッピング 収集 処理 分析 保存 S3 Kinesis DynamoDB DataCollection and Storage AWS Lambda KCL Apps Event Processing EMR Redshift Machine Learning Data Processing Data Analysis
- 23. データの収集 ファイル: media, logfiles (sets of records) ストリーム: records (eg: device stats) トランザクション: DBへのRead/Write
- 24. データの収集 – AWSサービス S3 Kinesisstream DynamoDB
- 25. Amazon Simple StorageService • 特徴 (http://aws.amazon.com/jp/s3/) – ⾼い堅牢性(99.999999999%) – 格納容量無制限 – 様々なAWSサービスと連携するセンター ストレージ • 価格体系 (http://aws.amazon.com/jp/s3/pricing/) – 1GByteあたり⽉額 $0.033 – データ転送量(OUT) – APIリクエスト数 マネージドオンラインストレージサービス Amazon S3
- 26. Amazon Kinesis stream •特徴 (http://aws.amazon.com/jp/kinesis/) – ⽣成されるデータをリアルタイムに近 い状況でデータ処理部に伝送 – 預かったデータは、3AZに24時間保存 (最⼤7⽇まで延⻑可能) – AWSのサービスとの簡単インテグレー ション – ⽬的に応じた処理を並列処理すること が可能 • 価格体系 (http://aws.amazon.com/jp/kinesis/pricing/) – シャード数 – Put APIコール数 フルマネージド型リアルタイム⼤規模ストリーミング処理 ⼤量トランザク ション処理 複数データ処理の 容易なインテグ レーション
- 27. Amazon DynamoDB • 特徴(http://aws.amazon.com/jp/dynamodb/) – 複数のデータセンターにデータをレプリケーションする ことにより、⾼い耐久性と可⽤性を提供。 – ユーザーは必要なスループットを決めるだけで利⽤可能。 ストレージ容量は事前に決める必要がなく、必要に応じ てプロビジョンされる。 – データ容量やスループットが増えてきても低いレイテン シで安定した性能を発揮する • 価格体系 (http://aws.amazon.com/jp/dynamodb/pricing/) – スループットキャパシティ • 書き込み: $0.00742/10ユニット/時間 • 読み込み: $0.00742/50ユニット/時間 – ストレージ: $0.285/GB Amazonが提供する⾼い信頼性、スケーラビリティ、低レイテンシで安定した 性能を兼ね備えたNoSQLデータベースサービス DynamoDBの使いドコロ • ゲーム • 広告配信 • DMP • センサーデータ • モバイルアプリケーションの バックエンド いずれも、⾼いスループットと低 いレイテンシが求められ、更に扱 うデータ量が⼤きくなりやすいと いう共通の特徴を持つ
- 28. データフローとAWSサービスのマッピング 収集 処理 分析 保存 S3 Kinesis DynamoDB DataCollection and Storage AWS Lambda KCL Apps Event Processing EMR Redshift Machine Learning Data Processing Data Analysis
- 29. AWS Lambda • 特徴(http://aws.amazon.com/jp/lambda/) – OS、キャパシティ等インフラの管理不要 – S3、Kinesis、SNS等でのイベント発⽣を元に ユーザが⽤意したコードを実⾏ – ユーザアプリからの同期/⾮同期呼び出し • 価格体系 (http://aws.amazon.com/jp/lambda/pricing/) – コード実⾏時間（100ms単位） – Lambdaファンクションへのリクエスト回数 – 1⽉あたり100万リクエスト、400,000GB/秒 が無料で利⽤可能 イベントをトリガーにコードを実⾏するコンピュートサービス AWS LambdaAmazon S3 Bucket イベント 元画像 サムネイル画像 1 2 3 AWS LambdaAmazon DynamoDB Table and Stream プッシュ通知 別テーブルを更 新 ■イメージのリサイズやサムネイルの作成 ■値チェックや別テーブルへのコピー
- 30. データフローとAWSサービスのマッピング 収集 処理 分析 保存 S3 Kinesis DynamoDB DataCollection and Storage AWS Lambda KCL Apps Event Processing EMR Redshift Machine Learning Data Processing Data Analysis
- 31. Amazon Redshift • 特徴(http://aws.amazon.com/jp/redshift/) – 160GBから最⼤1.6PBまで拡張可能 – 超並列(MPP)、カラムナ型DBエンジンによ る⾼速処理 – 他のAWSサービスとの⾼い親和性 – 従来のデータウェアハウスの1/10のコスト • 価格体系 (http://aws.amazon.com/jp/redshift/pricing/) – インスタンスタイプに応じ、1時間単位（イ ンスタンスにはストレージを内蔵） – バックアップストレージは利⽤量に応じて フルマネージドのデータウェアハウスサービス 10Gb Ether SQLクライアント/BIツール 128GB RAM 16TB disk 16 cores JDBC/ODBC 128GB RAM 16TB disk 16 coresCompute Node 128GB RAM 16TB disk 16 coresCompute Node 128GB RAM 16TB disk 16 coresCompute Node Leader Node Redshift ⼤規模分散処理 で分析SQLを ⾼速実⾏
- 32. Amazon Elastic MapReduce(AmazonEMR) • 特徴 (http://aws.amazon.com/jp/elasticmapreduce/) – フルマネージド：クラスタの構築から構成変更、破棄ま ですべてマネージしてくれる – ⾃動化：Amazon EMRのAPIを利⽤するとジョブに合わ せてクラスタを起動し、実⾏させ、終了したらクラスタ を破棄、というような⾃動化が容易 – AWS：Amazon S3やAmazon DynamoDBからデータ の⼊出⼒が可能 • 価格体系 (http://aws.amazon.com/jp/elasticmapreduce/pricing/) – EMRを使った全体費⽤考え⽅ • 時間あたりのEMR費⽤ + 時間あたりのEC2（EMRによって起動され るHadoopクラスタを構成するEC2）費⽤ – 例えば東京リージョンでc3.xlarge * 8のクラスタ • (EMR $0.053 + EC2 $0.255) * 8 / hour フルマネージドなHadoopを提供。利⽤者は運⽤を気にせずHadoop アプリケーションの開発や利⽤ができる。 Hadoop Hadoop Amazon EMRクラスタ AWSサービスとの連携 スマートインサイトスマートインサイト
- 33. Amazon CloudSearch • 特徴(http://aws.amazon.com/jp/cloudsearch/) – 検索ソリューションが容易に導⼊可能 – 2015年4⽉現在 34 の⾔語をサポート – 豊富な検索機能 – ⾼度な⽇本語解析処理機能 • 形態素解析、Bi-gramでのIndexing • 読み仮名でのサジェスト(AutoComplete) • 価格体系 (http://aws.amazon.com/jp/cloudsearch/pricing/) – 検索インスタンス数 – ドキュメントバッチのアップロード回数 – INDEX再作成リクエスト回数 フルマネージドなクラウド型検索エンジン Amazon CloudSearch データ増加に ⾃動対応 トラフィック増加に ⾃動対応
- 34. Amazon Elasticsearch Service •特徴 ( https://aws.amazon.com/jp/elasticsearch-service/ ) – ElasticsearchのAPIをそのまま利⽤可能 – AWSのサービスと連携した構成を簡単に構築 例) • CloudWatch Logs -> Lambda -> Amazon ES • DynamoDB Streams -> Logstash -> Amazon ES – 検索ドメインを作成すると同時にKibanaが利⽤可能 – ⽇本語解析に対応 • Elasticsearch ICUプラグイン • Elasticsearch Kuromojiプラグイン • 価格体系 ( https://aws.amazon.com/jp/elasticsearch-service/pricing/ ) – Elasticsearchインスタンス時間 – Amazon EBSストレージ ELK(Elasticsearch, Logstash, Kibana)スタックをサポートした マネージドAnalyticsサービス Logstash Amazon ESData Source
- 35.
- 36.
- 37.
- 38.
- 40. Risk Technology様 The CHALLENGE 数百万の⾃動⾞からほぼリアルタイムに送付される ⼤量のデータを、リアルタイムで分析し、運転⼿の スコアリングや、⾃動⾞事故などを検出する RISKTechnology は、保険と⾃動⾞テレマティクスの グローバルなソリューションプロバイダー
- 41.
- 42.
- 43.
- 44.
- 45.
- 46.
- 47.
- 48.
- 49.
- 50.
- 51.
- 52.
- 53.