Your SlideShare is downloading. ×
AWSで快適データ分析環境
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×
Saving this for later? Get the SlideShare app to save on your phone or tablet. Read anywhere, anytime – even offline.
Text the download link to your phone
Standard text messaging rates apply

AWSで快適データ分析環境

622
views

Published on

Published in: Technology

0 Comments
3 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
622
On Slideshare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
9
Comments
0
Likes
3
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. AWSで快適データ分析環境 2014.02.09 @iktakahiro 1
  • 2. 自己紹介 • 株式会社ALBERT – http://albert2005.co.jp • 池内 孝啓 - http://librabuch.jp • システム開発・コンサルティング部 執行役員 部長 • @iktakahiro 2
  • 3. これまでの課題 システム導入後の分析業務において、実データの受渡に コストが発生します。 1. 分析部門がデータを要求。 2. 開発部門が要求されたデータを取得。 3. 開発部門が取得したデータを分析部門に引き渡す。 4. 分析部門が開発部門から引き渡されたデータを 利用。 3
  • 4. 従来型のデータの引き渡し Legacy Pattern Data Center Office Database 分析利用 Database システム利用 (商用環境) File Server Upload Engineer Download Communication Analyst 4
  • 5. 従来型のデータの引き渡し Replication Pattern Data Center Office Replication Database 分析用 Database システム用 (商用環境) Configuration Communication Engineer Analyst 設定が必要だし、Replicationとまったらコワイ 最新のデータに同期されていることが好都合でないこともあります 5
  • 6. AWSを利用したオペレーション AWSを利用して効率化しましょう。 1. 分析部門がデータを要求。 2. 開発部門が要求されたデータをRedshiftから データ分析部門用のS3にUnload。 3. データ分析部門がRedshiftにデータをCOPY。 または 1. 分析部門がS3からRedshiftへデータをCOPY。 以上。 6
  • 7. S3を介したデータの引き渡し 1 Unload Delivery Pattern Amazon S3 システム用Bucket Read & Write 分析用Bucket Read & Write Copy & Unload Copy & Unload Unload Amazon Redshift システム用 Engineer Amazon Redshift 分析用 Communication Analyst Download & Upload 7
  • 8. S3を介したデータの引き渡し 2 Read Only Pattern Amazon S3 Read Only システム用Bucket Read & Write 分析用Bucket Read & Write Copy & Unload Copy & Unload Amazon Redshift システム用 Amazon Redshift 分析用 Engineer Analyst S3のTraffic以外に負荷をかけないのもイイネ! Download & Upload 8
  • 9. 効率的な分析環境のためのシステム設計 1. 分析に必要になる可能性のあるデータは全てS3に 配置する。 2. データの保持期間やディレクトリ構造について整理し 部門間で理解しておく。 3. IAMを適切に作成・運用する。 ※ この資料の記述はAWSの活用例を簡略化したもので、実際の運用フローそのも のを示すものではありません。機密性の高いデータを取り扱うケースでは多段階の 承認手続きが間に存在したり、Legacy Patternで運用することがあります。 9

×