Successfully reported this slideshow.
AWSで快適データ分析環境
2014.02.09
@iktakahiro

1
自己紹介

• 株式会社ALBERT – http://albert2005.co.jp
• 池内 孝啓 - http://librabuch.jp
• システム開発・コンサルティング部
執行役員 部長

• @iktakahiro

2
これまでの課題
システム導入後の分析業務において、実データの受渡に
コストが発生します。
1. 分析部門がデータを要求。
2. 開発部門が要求されたデータを取得。
3. 開発部門が取得したデータを分析部門に引き渡す。
4. 分析部門が開発部門か...
従来型のデータの引き渡し
Legacy Pattern
Data Center

Office

Database
分析利用

Database
システム利用
(商用環境)

File Server

Upload
Engineer

Down...
従来型のデータの引き渡し
Replication Pattern
Data Center

Office

Replication
Database
分析用

Database
システム用
(商用環境)

Configuration

Comm...
AWSを利用したオペレーション
AWSを利用して効率化しましょう。
1. 分析部門がデータを要求。
2. 開発部門が要求されたデータをRedshiftから
データ分析部門用のS3にUnload。
3. データ分析部門がRedshiftにデータを...
S3を介したデータの引き渡し 1
Unload Delivery Pattern

Amazon
S3
システム用Bucket
Read &
Write

分析用Bucket
Read &
Write

Copy &
Unload

Copy ...
S3を介したデータの引き渡し 2
Read Only Pattern

Amazon
S3
Read Only

システム用Bucket
Read &
Write

分析用Bucket
Read &
Write

Copy &
Unload

...
効率的な分析環境のためのシステム設計
1. 分析に必要になる可能性のあるデータは全てS3に

配置する。
2. データの保持期間やディレクトリ構造について整理し
部門間で理解しておく。
3. IAMを適切に作成・運用する。

※ この資料の記述...
Upcoming SlideShare
Loading in …5
×

AWSで快適データ分析環境

1,594 views

Published on

Published in: Technology
  • Be the first to comment

AWSで快適データ分析環境

  1. 1. AWSで快適データ分析環境 2014.02.09 @iktakahiro 1
  2. 2. 自己紹介 • 株式会社ALBERT – http://albert2005.co.jp • 池内 孝啓 - http://librabuch.jp • システム開発・コンサルティング部 執行役員 部長 • @iktakahiro 2
  3. 3. これまでの課題 システム導入後の分析業務において、実データの受渡に コストが発生します。 1. 分析部門がデータを要求。 2. 開発部門が要求されたデータを取得。 3. 開発部門が取得したデータを分析部門に引き渡す。 4. 分析部門が開発部門から引き渡されたデータを 利用。 3
  4. 4. 従来型のデータの引き渡し Legacy Pattern Data Center Office Database 分析利用 Database システム利用 (商用環境) File Server Upload Engineer Download Communication Analyst 4
  5. 5. 従来型のデータの引き渡し Replication Pattern Data Center Office Replication Database 分析用 Database システム用 (商用環境) Configuration Communication Engineer Analyst 設定が必要だし、Replicationとまったらコワイ 最新のデータに同期されていることが好都合でないこともあります 5
  6. 6. AWSを利用したオペレーション AWSを利用して効率化しましょう。 1. 分析部門がデータを要求。 2. 開発部門が要求されたデータをRedshiftから データ分析部門用のS3にUnload。 3. データ分析部門がRedshiftにデータをCOPY。 または 1. 分析部門がS3からRedshiftへデータをCOPY。 以上。 6
  7. 7. S3を介したデータの引き渡し 1 Unload Delivery Pattern Amazon S3 システム用Bucket Read & Write 分析用Bucket Read & Write Copy & Unload Copy & Unload Unload Amazon Redshift システム用 Engineer Amazon Redshift 分析用 Communication Analyst Download & Upload 7
  8. 8. S3を介したデータの引き渡し 2 Read Only Pattern Amazon S3 Read Only システム用Bucket Read & Write 分析用Bucket Read & Write Copy & Unload Copy & Unload Amazon Redshift システム用 Amazon Redshift 分析用 Engineer Analyst S3のTraffic以外に負荷をかけないのもイイネ! Download & Upload 8
  9. 9. 効率的な分析環境のためのシステム設計 1. 分析に必要になる可能性のあるデータは全てS3に 配置する。 2. データの保持期間やディレクトリ構造について整理し 部門間で理解しておく。 3. IAMを適切に作成・運用する。 ※ この資料の記述はAWSの活用例を簡略化したもので、実際の運用フローそのも のを示すものではありません。機密性の高いデータを取り扱うケースでは多段階の 承認手続きが間に存在したり、Legacy Patternで運用することがあります。 9

×