0
Amazon Redshift &
Amazon EMR &
Tableau Desktop
で実現する
CloudTrailログ解析
2013/12/10(Tue) at SAP
18:30 - 22:15(EventAllTime)
18:...
自己紹介
・しんや (@shinyaa31)
・AWSコンサルティング部所属
 ・昔Java、ちょろっとFlex等も
 ・AWS利用は今年から本格的に。
・個人ブログ(2007.01.01∼)
  Shinya s Daily Report h...
自己紹介
・割と良くブログを書いています

※2013/12/10現在

→3560本(個人ブログ, 2007年∼現在)

→103本(Developers.IO, 出張時代&入社約4ヶ月間で)
・割と良くイベントに参加し、レポートを
 書いて...
ハッシュタグ:

#cmdevio

(Classmethod Developers.IO)
2013/12/10 CM re:Growth Developers.IO Meetup 01
#cmdevio - Togetter
http://...
アジェンダ
1.はじめに
2.監査ログの設定と出力(CloudTrail)
3.ログの成形処理(EMR)
4.データウェアハウス管理(Redshift)
5.データ照会・分析(Tableau Desktop)
6.さいごに

classmeth...
1.はじめに
<今回の目的(ゴール)>
→CloudTrailのログを
 Tableau Desktopで
 閲覧、分析してみたい。

classmethod.jp

13年12月11日水曜日

6

6
環境構成図
classmethod.jp

13年12月11日水曜日

7

7
2.CloudTrail

classmethod.jp

13年12月11日水曜日

8

8
2.CloudTrail
・2013/11/13リリース
・AWS APIコールを記録、S3にログを保存
・各種対応への利用が見込める
 コンプライアンス対応/リソースライフサイクル管理
 トラブルシューティング対応

・利用可能リージョン(2...
2.CloudTrail
・SNS通知設定を事前に作成しておく

SNS:
Amazon Simple Notification Service
プッシュメッセージングサービス。
classmethod.jp

13年12月11日水曜日

10
...
2.CloudTrail
・対応リージョンに移動、[CloudTrail]選択

classmethod.jp

13年12月11日水曜日

11

11
2.CloudTrail
・必要事項記入の後、[Subscribe]で作成
・S3バケット設定
・操作対象サービス設定
・SNS通知設定

classmethod.jp

13年12月11日水曜日

12

12
2.CloudTrail
・作成完了→ログ生成確認

classmethod.jp

13年12月11日水曜日

13

13
2.CloudTrail
・ログ出力内容
<userIdentity>
・type
・principalId
・arn
・accountId
・sessionContext
・invokedBy
・sessionIssuer
・webIdFed...
3.EMR

classmethod.jp

13年12月11日水曜日

15

15
3.EMR
・Amazon Elastic MapReduce
 大量データを迅速且つ容易に
 コスト効果良く処理する為のサービス
・Hadoopデータ分散処理をEC2上で実行
・各種分析、ETL、DWH等用途は様々
・利用可能なディストリビュ...
3.EMR
・今回、EMRでやりたい事
 →ログファイルを良い感じに分割・整形したい。
{"Records":[
	
 	
 	
 	
 {"eventVersion":"1.0","userIdentity":{"type":"IAMUser...
3.EMR
・Mapper/Reducerプログラムを作成
 ・プログラム作成にはRubyを利用
 ・Mapper:
  →標準入力を受け取る→ログ1行から情報を抽出
  →指定文字区切りの情報を1行ずつ標準出力
 ・Reducer:
  →標...
3.EMR
・EMRクラスタ作成(Step作成)

classmethod.jp

13年12月11日水曜日

19

19
3.EMR
・EMRクラスタ作成(Step作成)

classmethod.jp

13年12月11日水曜日

20

20
3.EMR
・EMRクラスタ作成(クラスタ実行)

classmethod.jp

13年12月11日水曜日

21

21
3.EMR
・EMRクラスタ作成(実行結果確認)

classmethod.jp

13年12月11日水曜日

22

22
4.Redshift

classmethod.jp

13年12月11日水曜日

23

23
4.Redshift
・Amazon Redshift
 高速&管理も安全なDWHサービス
・特徴と利点
 ・列指向ストレージ技術
 ・複数ノード間でのクエリ並列化&分散化
 ・各種管理タスクを自動化可能
 ・高機能なセキュリティ機能も標準搭載...
4.Redshift

本日リリース!会員様向けAWSコスト最適化支援サイト『メンバーズポータル』はじめました。 | Developers.IO
http://dev.classmethod.jp/cloud/aws/members-porta...
4.Redshift
・Redshiftクラスタ作成(クラスタ詳細)

classmethod.jp

13年12月11日水曜日

26

26
4.Redshift
・Redshiftクラスタ作成(ノード設定)

classmethod.jp

13年12月11日水曜日

27

27
4.Redshift
・Redshiftへアクセス、テーブル作成

※SQL Workbench/J http://www.sql-workbench.net/
classmethod.jp

13年12月11日水曜日

28

28
4.Redshift
・s3からデータをRedshiftへロード
COPY (テーブル名)
from s3://(バケット名&ファイル名)
CREDENTIALS (認証情報)
delimiter (区切り文字)
dateformat (日付時...
5.Tableau Desktop

classmethod.jp

13年12月11日水曜日

30

30
5.Tableau
・米国Tableau Software社(2003年創業)のBIツール
 世界114カ国の1万2000を超える政府機関、教育機関
 企業等、産業、業種、規模を問わず幅広く導入
・日本展開: 2012年11月にTableau ...
5.Tableau
ローカルファイル

Tableauデータ抽出/テキスト
Microsoft Access/Excel等

RDBMS

MySQL, Oracle, SQL Server
PostgreSQL, DB2等

DWH

Ama...
5.Tableau
・ダウンロード& インストール
 http://www.tableausoftware.com/ja-jp/ products/
・JDBCドライバのインストール
 Drivers & Activation ¦ Tablea...
5.Tableau
・接続設定

classmethod.jp

13年12月11日水曜日

34

34
5.Tableau
・接続&分析!

例)サービス別
利用回数
ランキング

classmethod.jp

13年12月11日水曜日

35

35
5.Tableau
・接続&分析!

classmethod.jp

13年12月11日水曜日

例)時系列で
利用内容を
分類、表示

36

36
5.Tableau
・接続&分析!
例)円グラフで
割合を表示

classmethod.jp

13年12月11日水曜日

37

37
5.Tableau
・接続&分析!

classmethod.jp

13年12月11日水曜日

例)表形式で
内容確認

38

38
5.Tableau
<おまけ>Tableau Publicでこんなグラフも。

2014年ブラジルW杯
グループリーグ突破予想

2014 World Cup Group Stage Odds ¦ Tableau Public
http://w...
5.Tableau
<おまけ>Tableau Publicでこんなグラフも。

1900∼2013年までの
サッカー選手移籍推移
をグラフ化

Football Player Transfers (1900 - 2013) ¦ Tableau ...
5.Tableau
<おまけ>Tableau Publicでこんなグラフも。
映画監督
ランキング

Top Movie Directors by Film ¦ Tableau Public
http://www.tableausoftware...
6.まとめ
・十分な分析・解析を行うためには、
『何をどのように分析したいのか』が大事。
・用途や目的に応じてツールやサービスを
 色々組み合わせて利用。
・分析の為には様々な 武器 が必要
 ・ETL (Extract/Transform/L...
ご清聴ありがとうございました。

classmethod.jp

13年12月11日水曜日

43

43
Upcoming SlideShare
Loading in...5
×

2013.12.10 Classmethod re:Grwoth

2,301

Published on

下記勉強会での発表スライドです。
【AWS勉強会】CM re:Growth Developers.IO Meetup 01 - connpass
http://connpass.com/event/4123/

Published in: Technology
0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
2,301
On Slideshare
0
From Embeds
0
Number of Embeds
3
Actions
Shares
0
Downloads
4
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

Transcript of "2013.12.10 Classmethod re:Grwoth"

  1. 1. Amazon Redshift & Amazon EMR & Tableau Desktop で実現する CloudTrailログ解析 2013/12/10(Tue) at SAP 18:30 - 22:15(EventAllTime) 18:35 - 18:55(EventMyPart) #cmdevio @shinyaa31 classmethod.jp 13年12月11日水曜日 1 1
  2. 2. 自己紹介 ・しんや (@shinyaa31) ・AWSコンサルティング部所属  ・昔Java、ちょろっとFlex等も  ・AWS利用は今年から本格的に。 ・個人ブログ(2007.01.01∼)   Shinya s Daily Report http://d.hatena.ne.jp/absj31/ ・Developers.IO 出張ブロガー  (2013.04.29∼) ・クラスメソッド AWSエンジニア (2013.08.01∼)  http://dev.classmethod.jp/author/shinyaa31/ classmethod.jp 13年12月11日水曜日 2 2
  3. 3. 自己紹介 ・割と良くブログを書いています ※2013/12/10現在 →3560本(個人ブログ, 2007年∼現在) →103本(Developers.IO, 出張時代&入社約4ヶ月間で) ・割と良くイベントに参加し、レポートを  書いています →183回(2010.10.21以来現在までの通算参加回数) →229本(個人:202 + Developers.IO:24 + 寄稿:3) ・割と良くまとめています →323本(Togetterまとめ数合計) classmethod.jp 13年12月11日水曜日 3 3
  4. 4. ハッシュタグ: #cmdevio (Classmethod Developers.IO) 2013/12/10 CM re:Growth Developers.IO Meetup 01 #cmdevio - Togetter http://togetter.com/li/592882 classmethod.jp 13年12月11日水曜日 4 4
  5. 5. アジェンダ 1.はじめに 2.監査ログの設定と出力(CloudTrail) 3.ログの成形処理(EMR) 4.データウェアハウス管理(Redshift) 5.データ照会・分析(Tableau Desktop) 6.さいごに classmethod.jp 13年12月11日水曜日 5 5
  6. 6. 1.はじめに <今回の目的(ゴール)> →CloudTrailのログを  Tableau Desktopで  閲覧、分析してみたい。 classmethod.jp 13年12月11日水曜日 6 6
  7. 7. 環境構成図 classmethod.jp 13年12月11日水曜日 7 7
  8. 8. 2.CloudTrail classmethod.jp 13年12月11日水曜日 8 8
  9. 9. 2.CloudTrail ・2013/11/13リリース ・AWS APIコールを記録、S3にログを保存 ・各種対応への利用が見込める  コンプライアンス対応/リソースライフサイクル管理  トラブルシューティング対応 ・利用可能リージョン(2013/12/10現在)  米国東リージョン(N.Virginia), 米国西リージョン(Oregon) ・対応サービス(2013/12/10現在)  EC2, EBS, VPC, RDS, IAM, STS, Redshift classmethod.jp 13年12月11日水曜日 9 9
  10. 10. 2.CloudTrail ・SNS通知設定を事前に作成しておく SNS: Amazon Simple Notification Service プッシュメッセージングサービス。 classmethod.jp 13年12月11日水曜日 10 10
  11. 11. 2.CloudTrail ・対応リージョンに移動、[CloudTrail]選択 classmethod.jp 13年12月11日水曜日 11 11
  12. 12. 2.CloudTrail ・必要事項記入の後、[Subscribe]で作成 ・S3バケット設定 ・操作対象サービス設定 ・SNS通知設定 classmethod.jp 13年12月11日水曜日 12 12
  13. 13. 2.CloudTrail ・作成完了→ログ生成確認 classmethod.jp 13年12月11日水曜日 13 13
  14. 14. 2.CloudTrail ・ログ出力内容 <userIdentity> ・type ・principalId ・arn ・accountId ・sessionContext ・invokedBy ・sessionIssuer ・webIdFederationUser classmethod.jp 13年12月11日水曜日 <RecordBody> ・eventTime ・eventVersion ・eventSource ・eventName ・awsRegion ・sourceIPAddress ・userAgent ・errorCode ・errorMessage ・requestParameters ・responseElements 14 14
  15. 15. 3.EMR classmethod.jp 13年12月11日水曜日 15 15
  16. 16. 3.EMR ・Amazon Elastic MapReduce  大量データを迅速且つ容易に  コスト効果良く処理する為のサービス ・Hadoopデータ分散処理をEC2上で実行 ・各種分析、ETL、DWH等用途は様々 ・利用可能なディストリビューション  ・Amazon Distribution  ・MapR Distribution(M3, M5, M7) classmethod.jp 13年12月11日水曜日 16 16
  17. 17. 3.EMR ・今回、EMRでやりたい事  →ログファイルを良い感じに分割・整形したい。 {"Records":[ {"eventVersion":"1.0","userIdentity":{"type":"IAMUser". …}, … } {"eventVersion":"1.0","userIdentity":{"type":"IAMUser". …}, … } {"eventVersion":"1.0","userIdentity":{"type":"IAMUser". …}, … } : ]} Before 1.0|IAMUser| ... |ec2.amazonaws.com|DescribeInstances|... 1.0|IAMUser| ... |rds.amazonaws.com|DescribeDBInstances|... 1.0|IAMUser| ... |redshift.amazonaws.com|... classmethod.jp 13年12月11日水曜日 After 17 17
  18. 18. 3.EMR ・Mapper/Reducerプログラムを作成  ・プログラム作成にはRubyを利用  ・Mapper:   →標準入力を受け取る→ログ1行から情報を抽出   →指定文字区切りの情報を1行ずつ標準出力  ・Reducer:   →標準入力をそのまま標準出力へ ・プログラム実行:Hadoop Streamingを使用   ※Java以外のプログラムを実行する場合に用いる classmethod.jp 13年12月11日水曜日 18 18
  19. 19. 3.EMR ・EMRクラスタ作成(Step作成) classmethod.jp 13年12月11日水曜日 19 19
  20. 20. 3.EMR ・EMRクラスタ作成(Step作成) classmethod.jp 13年12月11日水曜日 20 20
  21. 21. 3.EMR ・EMRクラスタ作成(クラスタ実行) classmethod.jp 13年12月11日水曜日 21 21
  22. 22. 3.EMR ・EMRクラスタ作成(実行結果確認) classmethod.jp 13年12月11日水曜日 22 22
  23. 23. 4.Redshift classmethod.jp 13年12月11日水曜日 23 23
  24. 24. 4.Redshift ・Amazon Redshift  高速&管理も安全なDWHサービス ・特徴と利点  ・列指向ストレージ技術  ・複数ノード間でのクエリ並列化&分散化  ・各種管理タスクを自動化可能  ・高機能なセキュリティ機能も標準搭載 ・料金: 1.250$/時 (東京, XLノード2TBストレージ1ノードあたり) classmethod.jp 13年12月11日水曜日 24 24
  25. 25. 4.Redshift 本日リリース!会員様向けAWSコスト最適化支援サイト『メンバーズポータル』はじめました。 | Developers.IO http://dev.classmethod.jp/cloud/aws/members-portal-released/ classmethod.jp 13年12月11日水曜日 25 25
  26. 26. 4.Redshift ・Redshiftクラスタ作成(クラスタ詳細) classmethod.jp 13年12月11日水曜日 26 26
  27. 27. 4.Redshift ・Redshiftクラスタ作成(ノード設定) classmethod.jp 13年12月11日水曜日 27 27
  28. 28. 4.Redshift ・Redshiftへアクセス、テーブル作成 ※SQL Workbench/J http://www.sql-workbench.net/ classmethod.jp 13年12月11日水曜日 28 28
  29. 29. 4.Redshift ・s3からデータをRedshiftへロード COPY (テーブル名) from s3://(バケット名&ファイル名) CREDENTIALS (認証情報) delimiter (区切り文字) dateformat (日付時刻データの形式) ※COPY - Amazon Redshift http://docs.aws.amazon.com/redshift/latest/dg/r_COPY.html classmethod.jp 13年12月11日水曜日 29 29
  30. 30. 5.Tableau Desktop classmethod.jp 13年12月11日水曜日 30 30
  31. 31. 5.Tableau ・米国Tableau Software社(2003年創業)のBIツール  世界114カ国の1万2000を超える政府機関、教育機関  企業等、産業、業種、規模を問わず幅広く導入 ・日本展開: 2012年11月にTableau Japan設立 ・コンセプトは『Excelユーザーなら誰でも使えるツール』 ・様々な接続データソースに対応、AWS対応も充実(※後述) ・用途に応じた製品を展開  ・Desktop (デスクトップ版/有料)  ・Server (サーバ版/有料)  ・Public (分析データを一般配信・共有/無料)  ・Reader (ビューワ/無料) http://www.tableausoftware.com/ja-jp http://www.atmarkit.co.jp/ait/articles/1305/28/news076.html classmethod.jp 13年12月11日水曜日 31 31
  32. 32. 5.Tableau ローカルファイル Tableauデータ抽出/テキスト Microsoft Access/Excel等 RDBMS MySQL, Oracle, SQL Server PostgreSQL, DB2等 DWH Amazon Redshift, SAP HANA, EMC Greenplum, Actian Vectorwise等 Hadoop Cloudera Hadoop, MapR Hadoop Hive, Hortonworks Hadoop Hive等 Google Analytics, Google BigQuery,Oracle Essbase等 OLAP ParAccel, Aster Database等 MPP ※Tableauで始めるBI(ビジネス・インテリジェンス): 製品&対応データソース一覧 | Developers.IO http://dev.classmethod.jp/business/business-analytics/ getting-started-tableau-product-and-datasources/ classmethod.jp 13年12月11日水曜日 32 32
  33. 33. 5.Tableau ・ダウンロード& インストール  http://www.tableausoftware.com/ja-jp/ products/ ・JDBCドライバのインストール  Drivers & Activation ¦ Tableau Software  http://www.tableausoftware.com/support/drivers ※2013年12月現在、Windows版のみ対応 classmethod.jp 13年12月11日水曜日 33 33
  34. 34. 5.Tableau ・接続設定 classmethod.jp 13年12月11日水曜日 34 34
  35. 35. 5.Tableau ・接続&分析! 例)サービス別 利用回数 ランキング classmethod.jp 13年12月11日水曜日 35 35
  36. 36. 5.Tableau ・接続&分析! classmethod.jp 13年12月11日水曜日 例)時系列で 利用内容を 分類、表示 36 36
  37. 37. 5.Tableau ・接続&分析! 例)円グラフで 割合を表示 classmethod.jp 13年12月11日水曜日 37 37
  38. 38. 5.Tableau ・接続&分析! classmethod.jp 13年12月11日水曜日 例)表形式で 内容確認 38 38
  39. 39. 5.Tableau <おまけ>Tableau Publicでこんなグラフも。 2014年ブラジルW杯 グループリーグ突破予想 2014 World Cup Group Stage Odds ¦ Tableau Public http://www.tableausoftware.com/public/gallery/2014-world-cup-group-stage-odds classmethod.jp 13年12月11日水曜日 39 39
  40. 40. 5.Tableau <おまけ>Tableau Publicでこんなグラフも。 1900∼2013年までの サッカー選手移籍推移 をグラフ化 Football Player Transfers (1900 - 2013) ¦ Tableau Public http://www.tableausoftware.com/public/gallery/football-player-transfers classmethod.jp 13年12月11日水曜日 40 40
  41. 41. 5.Tableau <おまけ>Tableau Publicでこんなグラフも。 映画監督 ランキング Top Movie Directors by Film ¦ Tableau Public http://www.tableausoftware.com/public/gallery/top-movie-directors-film classmethod.jp 13年12月11日水曜日 41 41
  42. 42. 6.まとめ ・十分な分析・解析を行うためには、 『何をどのように分析したいのか』が大事。 ・用途や目的に応じてツールやサービスを  色々組み合わせて利用。 ・分析の為には様々な 武器 が必要  ・ETL (Extract/Transform/Load)  ・ログ周り、ログ分析周り  ・分析手法や分析ツール  ・対象分野のビジネス知識 ・連携自動化重要 ・目指せ!? データサイエンティスト classmethod.jp 13年12月11日水曜日 42 42
  43. 43. ご清聴ありがとうございました。 classmethod.jp 13年12月11日水曜日 43 43
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×