Recommended
Recommended
More Related Content
What's hot
What's hot (16)
Similar to re:Growth ビッグデータ観点で見た AWS re:Invent 2015
Similar to re:Growth ビッグデータ観点で見た AWS re:Invent 2015 (20)
More from Satoru Ishikawa
More from Satoru Ishikawa (14)
re:Growth ビッグデータ観点で見た AWS re:Invent 2015
- 1. 石川 覚 ソリューションアーキテクト クラスメソッド株式会社 Ⓒ Classmethod, Inc. 2015年10月26日 ビッグデータ観点で見た AWS re:Invent 2015 1 #cmdevio
- 2. 石川 覚（いしかわ さとる） 2Ⓒ Classmethod, Inc. メーカー系SE、VoIP関連ベンチャー企業を経て CMに2014/06 join 札幌出身、東京に８年 Linux, Java, MySQL, Redshift マイブームは EMR クラスメソッド株式会社 ソリューションアーキテクト
- 3. 3Ⓒ Classmethod, Inc. ブログ ブログ： http://dev.classmethod.jp/
- 4. 4Ⓒ Classmethod, Inc. アジェンダ 新サービス・アップデートの紹介 Amazon QuickSight Amazon Kinesis Stream/Firehose/Analytics データベース関連の新サービス RDS for MariaDB AWS Database Migration Service 最後に
- 5. 5Ⓒ Classmethod, Inc. 新サービス・アップデートの紹介 1. AWS IoT 2. Amazon QuickSight 3. Amazon Kinesis Stream 4. Amazon Kinesis Firehose 5. Amazon Kinesis Analytics 6. Amazon Inspector 7. AWS Import/Export Snowball 8. AWS Database Migration Service 9. AWS Mobile Hub 10.Amazon EC2 Container Registory 11.RDS for MariaDB 12.AWS Config Rules 13.CloudWatch Dashboard 14.Lambda Update 15.Amazon ECS 機能追加 16.EC2 Instance Update 17.Auroraが東京リージョンに 18.API Gatewayが東京リージョンに 19.CGWのIPアドレスが再利用可能に 20.新規EBSのPre-warmが不要に ビックデータ データベース re:Invent前に発表されたビックデータ Amazon ElasticSearch Amazon EMR 4.1 Amazon Redshift UDFをサポート
- 7. Ⓒ Classmethod, Inc. Amazon QuickSight
- 8. 8Ⓒ Classmethod, Inc. Amazon QuickSight AWSが提供するクラウドベースのBIサービス 容易で直感的な可視化 “QuickSight UI” 高速な演算処理 “SPICE” 多彩なデータソース選択可能 従来型ソリューションの1/10という低価格 • Connectors • Data Prep • Meta Data • SPICE • Suggestions • QuickSight UI QuickSight API 来年１月開始予定
- 9. 9Ⓒ Classmethod, Inc. 容易で直感的な可視化 QuickSight UI アカウント取得後60秒で分析環境を利用可能 AWS内部のデータソースを自動探索し簡単に始められる 直感的なビジュアル化機能(Auto Graph)を搭載 ネイティブモバイル対応の予定(iOS, Android)
- 10. 10Ⓒ Classmethod, Inc. 高速な演算処理 SPICE SUPER-FAST PARALLEL IN-MEMORY COMPUTATION ENGINE • カラムナデータを1/2∼4に圧縮 • マシンコード生成とコンパイルクエリ • 豊富な演算方法 • SQLライクな文法 • クエリの応答が非常に速い
- 11. セキュリティを担保したAWSデータ接続 迅速なAWSデータソースの探索 RDB(RDS, Redshift) NoSQL(DynamoDB) EMR, S3, files (CSV, Excel, TSV, XLF, CLF) ストリーミングデータソース (DynamoDB, Kinesis) テーブルやファイルから簡単にデータをインポート データタイプを自動認識 11Ⓒ Classmethod, Inc. 多彩なデータソース選択可能
- 12. 12Ⓒ Classmethod, Inc. 従来型ソリューションの1/10という低価格 Standard Edition: $12/ユーザ/月 もしくは$9/ユーザ/月(1年間契約の場合) $0.25/GB/月 - SPICEストレージ(10GBを超えた分) Enterprise Edition: Standard Editionの機能に加えて、最大2倍のスループッ トや詳細なアクセスコントロール、暗号化、AD連携等を 提供予定 $24/ユーザ/月 もしくは$18/ユーザ/月(1年間契約の場合) 0.38/GB/月 - SPICEストレージ(10GBを超えた分) ※コストは米国リージョンの予価
- 13. Ⓒ Classmethod, Inc. Amazon Kinesis Stream Amazon Kinesis Firehose Amazon Kinesis Analytics
- 14. 14Ⓒ Classmethod, Inc. Amazon Kinesis ファミリー Amazon Kinesisの新サービス追加とサービス名変更 変更：Amazon Kinesis → Amazon Kinesis Stream 追加：Amazon Kinesis Firehose 追加：Amazon Kinesis Analytics Amazon Kinesis StreamとAmazon Kinesis Firehoseは、AWS のデー タのストリーミング、ストリーミングデータのロードするサービス で、Amazon Kinesis Analyticsは、分析を簡易化するサービスです。 ※ API としては Kinesis Stream は kinesis、新 Kinesis は firehose と名前空間が切られています。
- 15. 15Ⓒ Classmethod, Inc. Amazon Kinesis Stream Amazon Kinesisの名称がAmazon Kinesis Streamに変更 データの保持期間が24時間から最大７日間まで延長可能 延長分の費用は別途必要となる
- 16. 16Ⓒ Classmethod, Inc. Amazon Kinesis Firehose スループットに応じて自動的にスケーリング データを取り出すのに最小1分の時間を要する 圧縮や暗号化も設定だけで実現 ストリーミングデータをダイレクトにS3やRedshfitに格 納する Kinesis Streamからのデータ取得やS3/Redshiftへの格納 をアプリなしで実現 現在、US EAST, US WEST, EUのみ
- 18. 18Ⓒ Classmethod, Inc. Amazon Kinesis Analytics Amazon Kinesis AnalyticsはKinesisのストリームデータをタイムウィ ンドウでSQL使って分析できる 1. Kinesis Analyticsからデータストリームに接続 2. データストリームに対して標準のSQLクエリを実行 3. Kinesis Analyticsはツールで分析処理をするためのデータ送信（ア ラートを作成したりリアルタイムで応答） 速報性の求められる分析はKinesis Analyticsを用いて、事後の詳細解析はS3 やRedshiftに格納したデータと、使い分けを図る。
- 20. 20Ⓒ Classmethod, Inc. RDS for MariaDB Redhat, Fedora, openSUSE, Slackwareなど主要な Linux デストリビューションの多くが採用している MariaDBをついに開始 XtraDB や Ariaを利用可能 parallel replication / thread poolingも利用可能 バージョン 10.0.17のみ MariaDBのJDBCドライバはAmazon RDS for Auroraのドライバも兼ねてお り、MariaDBとAuroraのシナジーも期待できます。
- 21. 21Ⓒ Classmethod, Inc. AWS Database Migration Service 最小のダウンタイムでオンプレにあるDBをAWS上に移行するためのサービスで、 オンプレミスからAmazonクラウドの同じ種類のデータベースへ、継続的にデータ のレプリケーションを行うことでマイグレーションする方式。 • MySQL • MariaDB • (Aurora) • Postgres SQL • Oracle • SQL Server 違うエンジンの場合は、AWS Scheme Conversion toolを使い、変換して マイグレーションする。テーブルデータだけではなくスキーマ、パーティ ション、ストアドプロシージャ、ストアドファンクション等が変換され て移行される。 もし変換できないものはその旨が通知される。
- 22. 22Ⓒ Classmethod, Inc. 最後に QuickSightがリリースされても、AWS BI Partnaer 製 品 (Tableau等) とは連携して動作する 今後は Amazon Kinesis StreamよりもAmazon Kinesis Firehoseが第一候補となる Database Migration Serviceが開始になり、Auroraの 東京リージョンのサービスをご検討ください RDS for MariaDBの独自プラグインも今後期待したい