Downloaded 33 times
Uploaded byYuta Imai
クラウドネイティブなアーキテクチャでサクサク解析
発表資料@ 第27回 データマイニング+WEB＠東京( #TokyoWebmining 27th) －WEB解析・オープンデータ・クラウド 祭り－
More Related Content
クラウドネイティブなアーキテクチャでサクサク解析
- 1. クラウドネイティブな アーキテクチャでサクサク解析 @imai_factory 第27回 データマイニング+WEB ＠東京( #TokyoWebmining 27th)
- 2. 自己紹介 • 名前 – 今井雄太(@imai_factory ) • 仕事 – ソリューションアーキテクトという仕事をし ていて、主にアド、デジタルマーケティン グ、スタートアップのお客様のアーキテク ティングのお手伝いをしています。 2
- 3. 今日のアジェンダ • Amazon流のAWSの使い方 • クラウドネイティブなアーキテク チャとは？ •AWS上でデータ解析を行うために理 解しておくべきコンセプト 3
- 4.
- 5. 5 Werner Vogels CTO ofAmazon.com
- 6.
- 7.
- 8.
- 9.
- 10.
- 11.
- 12.
- 13.
- 14. 14 Controllable - 柔軟なコントロール Resilient- 高い耐障害性 Adaptive - 状況の変化への追従性 Data Driven - フィードバックループを回す
- 15.
- 16.
- 17. コントロールしにくいアーキテク チャ • WebサーバーがCPUを食う？ • DBがメモリを食う？ •画像がトラフィックを食う？ • バッチが夜間にCPUを食う？ EC2 インスタンス 本番 環境 Amazon Route 53 EIP 特性の違うアプリが同一リ ソース上で動いているので 扱いにくい
- 18.
- 19. USD0/ hr USD17/ hr USD35/hr USD52/ hr 5AM 12PM 7PM 2AM USD0/ hr USD17/ hr USD35/ hr USD52/ hr 5AM 12PM 7PM 2AM リザーブド オンデマンド スポッ 事例：Pinterest 19 5AM 12PM 7PM 2AM Provisioned Busy AWS利用 リザーブド& スポット オンプレミス
- 20.
- 21.
- 22.
- 23.
- 24.
- 25.
- 26.
- 27. EC2 4/12/2008 Facebook ( 5000 ) 4/14/20084/16/2008 4/18/2008 4/20/2008 ソーシャルアプリは爆発力を秘めてい る
- 28.
- 29.
- 30. フィードバックループを回す • すべての事象をロギングする • データはリアルタイム性が高 いほど価値が高くなる •フィードバックループは小さ く 30
- 31. 31 Controllable - 柔軟なコントロール Resilient- 高い耐障害性 Adaptive - 状況の変化への追従性 Data Driven - フィードバックループを回す
- 32.
- 33. AWSで解析や計算を行う際に メリットを最大限にレバ レッジするための３つのコ ンセプト 1. Data First 2.AWS is software 3. Workflow driven 33
- 34.
- 35. S3: Simple StorageService • AWSの最初のサービスのひと つ。（もうひとつはSQS) • データの堅牢性が高く、格納 容量に制限がないのが大きな 特徴。 • 様々な他のAWSサービスから も利用されている。 35 Storage
- 36. 36 S3 S3 as aorigin data store Amazon RDS SnapshotAmazon EBS Amazon EC2 DynamoDB Amazon EMR Amazon Redshift backupt Data CloudFront Contents
- 37. 37 S3 S3上のデータ以外はステートレスにできる Amazon RDS SnapshotAmazon EBS AmazonEC2 DynamoDB Amazon EMR Amazon Redshift backupt Data CloudFront Contents
- 38.
- 39. Glacier RDS EMR EMR RedShift DynamoDB Data Pipeline S3 Data ETL Sum WebApp BI Dashboard データ解析まわりのエコシステム Store Archive •まずはS3にデータを入れてお く • 容量無制限なのでディスク追 加などを考慮しなくてすむ • 耐久性が高いのでデータ損失 の心配をせずにすむ • そして、後の解析・計算工程 も柔軟に構築可能
- 40.
- 41.
- 42.
- 43.
- 44. 44 ex. EC2を任意の台数起動して特 定の仕事をさせる $ awsec2 run-instances --image-id ami-39b23d38 --instance-type t1.micro --min-count 10 --max-count 10 --user-data IyEvYmluL3NoCndoaWxlIHRydWU7IGRvIGN1cmwgaHR0cDovL2lwLTEwLTEyMC00Ni0xODAuYXAtbm9ydGhlYXN0LTEu Y29tcHV0ZS5pbnRlcm5hbDsgZG9uZQ== #!/bin/sh while true; do curl http://ip-10-120-46-180.ap-northeast-1.compute.internal; done user-dataを使うとEC2起動時にシェルスクリプトを渡して、起動後実行させ ることができる 上記は10台のEC2を起動して、下記のシェルスクリプトを実行させているサン プル。（user-dataはBase64にエンコードする必要がある)
- 45. 45 ex. Hadoopクラスタを立ちあげて特定の仕 事をさせて終わったらクラスタを捨てる $ elastic-mapreduce --create --stream --num-instances 4 --slave-instance-type m1.large --master-instance-type m2.4xlarge --input s3://YOUR_INPUT_BUCKET --output s3://YOUR_OUTPUT_BUCKET --mapper s3://YOUR_MAPPER_PROGRAM_FILE --reducer s3://YOUR_REDUCER_PROGRAM_FILE Elastic MapReduceでは下記のように仕事の内容(streamingのmapperと reducerを指定）と、データのin/outを指定してクラスタを起動することによ り、クラスタ起動->ジョブを処理->クラスタを破棄 というパイプラインを 自動化できる 上記はElastic MapReduceのコマンドラインクライアントから実施している が、APIやSDK経由でも実行可能。
- 46.
- 47.
- 48.
- 49.
- 50.
- 51.
- 52.
- 53. フィードバックループを回す • クラウド外のアーキテクチャをそ のままクラウド上で再現してもあ まりメリットがない • Hadoop、SQL等使われる技術のコ ンセプトは変わらない。 • 変わるのはインフラに対しての考 え方。より柔軟に。 53