2013.12.10 Classmethod re:Grwoth
Upcoming SlideShare
Loading in...5
×
 

2013.12.10 Classmethod re:Grwoth

on

  • 1,775 views

下記勉強会での発表スライドです。

下記勉強会での発表スライドです。
【AWS勉強会】CM re:Growth Developers.IO Meetup 01 - connpass
http://connpass.com/event/4123/

Statistics

Views

Total Views
1,775
Views on SlideShare
467
Embed Views
1,308

Actions

Likes
0
Downloads
3
Comments
0

2 Embeds 1,308

http://dev.classmethod.jp 1197
http://eventdots.jp 111

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

2013.12.10 Classmethod re:Grwoth 2013.12.10 Classmethod re:Grwoth Presentation Transcript

  • Amazon Redshift & Amazon EMR & Tableau Desktop で実現する CloudTrailログ解析 2013/12/10(Tue) at SAP 18:30 - 22:15(EventAllTime) 18:35 - 18:55(EventMyPart) #cmdevio @shinyaa31 classmethod.jp 13年12月11日水曜日 1 1
  • 自己紹介 ・しんや (@shinyaa31) ・AWSコンサルティング部所属  ・昔Java、ちょろっとFlex等も  ・AWS利用は今年から本格的に。 ・個人ブログ(2007.01.01∼)   Shinya s Daily Report http://d.hatena.ne.jp/absj31/ ・Developers.IO 出張ブロガー  (2013.04.29∼) ・クラスメソッド AWSエンジニア (2013.08.01∼)  http://dev.classmethod.jp/author/shinyaa31/ classmethod.jp 13年12月11日水曜日 2 2
  • 自己紹介 ・割と良くブログを書いています ※2013/12/10現在 →3560本(個人ブログ, 2007年∼現在) →103本(Developers.IO, 出張時代&入社約4ヶ月間で) ・割と良くイベントに参加し、レポートを  書いています →183回(2010.10.21以来現在までの通算参加回数) →229本(個人:202 + Developers.IO:24 + 寄稿:3) ・割と良くまとめています →323本(Togetterまとめ数合計) classmethod.jp 13年12月11日水曜日 3 3
  • ハッシュタグ: #cmdevio (Classmethod Developers.IO) 2013/12/10 CM re:Growth Developers.IO Meetup 01 #cmdevio - Togetter http://togetter.com/li/592882 classmethod.jp 13年12月11日水曜日 4 4
  • アジェンダ 1.はじめに 2.監査ログの設定と出力(CloudTrail) 3.ログの成形処理(EMR) 4.データウェアハウス管理(Redshift) 5.データ照会・分析(Tableau Desktop) 6.さいごに classmethod.jp 13年12月11日水曜日 5 5
  • 1.はじめに <今回の目的(ゴール)> →CloudTrailのログを  Tableau Desktopで  閲覧、分析してみたい。 classmethod.jp 13年12月11日水曜日 6 6
  • 環境構成図 classmethod.jp 13年12月11日水曜日 7 7
  • 2.CloudTrail classmethod.jp 13年12月11日水曜日 8 8
  • 2.CloudTrail ・2013/11/13リリース ・AWS APIコールを記録、S3にログを保存 ・各種対応への利用が見込める  コンプライアンス対応/リソースライフサイクル管理  トラブルシューティング対応 ・利用可能リージョン(2013/12/10現在)  米国東リージョン(N.Virginia), 米国西リージョン(Oregon) ・対応サービス(2013/12/10現在)  EC2, EBS, VPC, RDS, IAM, STS, Redshift classmethod.jp 13年12月11日水曜日 9 9
  • 2.CloudTrail ・SNS通知設定を事前に作成しておく SNS: Amazon Simple Notification Service プッシュメッセージングサービス。 classmethod.jp 13年12月11日水曜日 10 10
  • 2.CloudTrail ・対応リージョンに移動、[CloudTrail]選択 classmethod.jp 13年12月11日水曜日 11 11
  • 2.CloudTrail ・必要事項記入の後、[Subscribe]で作成 ・S3バケット設定 ・操作対象サービス設定 ・SNS通知設定 classmethod.jp 13年12月11日水曜日 12 12
  • 2.CloudTrail ・作成完了→ログ生成確認 classmethod.jp 13年12月11日水曜日 13 13
  • 2.CloudTrail ・ログ出力内容 <userIdentity> ・type ・principalId ・arn ・accountId ・sessionContext ・invokedBy ・sessionIssuer ・webIdFederationUser classmethod.jp 13年12月11日水曜日 <RecordBody> ・eventTime ・eventVersion ・eventSource ・eventName ・awsRegion ・sourceIPAddress ・userAgent ・errorCode ・errorMessage ・requestParameters ・responseElements 14 14
  • 3.EMR classmethod.jp 13年12月11日水曜日 15 15
  • 3.EMR ・Amazon Elastic MapReduce  大量データを迅速且つ容易に  コスト効果良く処理する為のサービス ・Hadoopデータ分散処理をEC2上で実行 ・各種分析、ETL、DWH等用途は様々 ・利用可能なディストリビューション  ・Amazon Distribution  ・MapR Distribution(M3, M5, M7) classmethod.jp 13年12月11日水曜日 16 16
  • 3.EMR ・今回、EMRでやりたい事  →ログファイルを良い感じに分割・整形したい。 {"Records":[ {"eventVersion":"1.0","userIdentity":{"type":"IAMUser". …}, … } {"eventVersion":"1.0","userIdentity":{"type":"IAMUser". …}, … } {"eventVersion":"1.0","userIdentity":{"type":"IAMUser". …}, … } : ]} Before 1.0|IAMUser| ... |ec2.amazonaws.com|DescribeInstances|... 1.0|IAMUser| ... |rds.amazonaws.com|DescribeDBInstances|... 1.0|IAMUser| ... |redshift.amazonaws.com|... classmethod.jp 13年12月11日水曜日 After 17 17
  • 3.EMR ・Mapper/Reducerプログラムを作成  ・プログラム作成にはRubyを利用  ・Mapper:   →標準入力を受け取る→ログ1行から情報を抽出   →指定文字区切りの情報を1行ずつ標準出力  ・Reducer:   →標準入力をそのまま標準出力へ ・プログラム実行:Hadoop Streamingを使用   ※Java以外のプログラムを実行する場合に用いる classmethod.jp 13年12月11日水曜日 18 18
  • 3.EMR ・EMRクラスタ作成(Step作成) classmethod.jp 13年12月11日水曜日 19 19
  • 3.EMR ・EMRクラスタ作成(Step作成) classmethod.jp 13年12月11日水曜日 20 20
  • 3.EMR ・EMRクラスタ作成(クラスタ実行) classmethod.jp 13年12月11日水曜日 21 21
  • 3.EMR ・EMRクラスタ作成(実行結果確認) classmethod.jp 13年12月11日水曜日 22 22
  • 4.Redshift classmethod.jp 13年12月11日水曜日 23 23
  • 4.Redshift ・Amazon Redshift  高速&管理も安全なDWHサービス ・特徴と利点  ・列指向ストレージ技術  ・複数ノード間でのクエリ並列化&分散化  ・各種管理タスクを自動化可能  ・高機能なセキュリティ機能も標準搭載 ・料金: 1.250$/時 (東京, XLノード2TBストレージ1ノードあたり) classmethod.jp 13年12月11日水曜日 24 24
  • 4.Redshift 本日リリース!会員様向けAWSコスト最適化支援サイト『メンバーズポータル』はじめました。 | Developers.IO http://dev.classmethod.jp/cloud/aws/members-portal-released/ classmethod.jp 13年12月11日水曜日 25 25
  • 4.Redshift ・Redshiftクラスタ作成(クラスタ詳細) classmethod.jp 13年12月11日水曜日 26 26
  • 4.Redshift ・Redshiftクラスタ作成(ノード設定) classmethod.jp 13年12月11日水曜日 27 27
  • 4.Redshift ・Redshiftへアクセス、テーブル作成 ※SQL Workbench/J http://www.sql-workbench.net/ classmethod.jp 13年12月11日水曜日 28 28
  • 4.Redshift ・s3からデータをRedshiftへロード COPY (テーブル名) from s3://(バケット名&ファイル名) CREDENTIALS (認証情報) delimiter (区切り文字) dateformat (日付時刻データの形式) ※COPY - Amazon Redshift http://docs.aws.amazon.com/redshift/latest/dg/r_COPY.html classmethod.jp 13年12月11日水曜日 29 29
  • 5.Tableau Desktop classmethod.jp 13年12月11日水曜日 30 30
  • 5.Tableau ・米国Tableau Software社(2003年創業)のBIツール  世界114カ国の1万2000を超える政府機関、教育機関  企業等、産業、業種、規模を問わず幅広く導入 ・日本展開: 2012年11月にTableau Japan設立 ・コンセプトは『Excelユーザーなら誰でも使えるツール』 ・様々な接続データソースに対応、AWS対応も充実(※後述) ・用途に応じた製品を展開  ・Desktop (デスクトップ版/有料)  ・Server (サーバ版/有料)  ・Public (分析データを一般配信・共有/無料)  ・Reader (ビューワ/無料) http://www.tableausoftware.com/ja-jp http://www.atmarkit.co.jp/ait/articles/1305/28/news076.html classmethod.jp 13年12月11日水曜日 31 31
  • 5.Tableau ローカルファイル Tableauデータ抽出/テキスト Microsoft Access/Excel等 RDBMS MySQL, Oracle, SQL Server PostgreSQL, DB2等 DWH Amazon Redshift, SAP HANA, EMC Greenplum, Actian Vectorwise等 Hadoop Cloudera Hadoop, MapR Hadoop Hive, Hortonworks Hadoop Hive等 Google Analytics, Google BigQuery,Oracle Essbase等 OLAP ParAccel, Aster Database等 MPP ※Tableauで始めるBI(ビジネス・インテリジェンス): 製品&対応データソース一覧 | Developers.IO http://dev.classmethod.jp/business/business-analytics/ getting-started-tableau-product-and-datasources/ classmethod.jp 13年12月11日水曜日 32 32
  • 5.Tableau ・ダウンロード& インストール  http://www.tableausoftware.com/ja-jp/ products/ ・JDBCドライバのインストール  Drivers & Activation ¦ Tableau Software  http://www.tableausoftware.com/support/drivers ※2013年12月現在、Windows版のみ対応 classmethod.jp 13年12月11日水曜日 33 33
  • 5.Tableau ・接続設定 classmethod.jp 13年12月11日水曜日 34 34
  • 5.Tableau ・接続&分析! 例)サービス別 利用回数 ランキング classmethod.jp 13年12月11日水曜日 35 35
  • 5.Tableau ・接続&分析! classmethod.jp 13年12月11日水曜日 例)時系列で 利用内容を 分類、表示 36 36
  • 5.Tableau ・接続&分析! 例)円グラフで 割合を表示 classmethod.jp 13年12月11日水曜日 37 37
  • 5.Tableau ・接続&分析! classmethod.jp 13年12月11日水曜日 例)表形式で 内容確認 38 38
  • 5.Tableau <おまけ>Tableau Publicでこんなグラフも。 2014年ブラジルW杯 グループリーグ突破予想 2014 World Cup Group Stage Odds ¦ Tableau Public http://www.tableausoftware.com/public/gallery/2014-world-cup-group-stage-odds classmethod.jp 13年12月11日水曜日 39 39
  • 5.Tableau <おまけ>Tableau Publicでこんなグラフも。 1900∼2013年までの サッカー選手移籍推移 をグラフ化 Football Player Transfers (1900 - 2013) ¦ Tableau Public http://www.tableausoftware.com/public/gallery/football-player-transfers classmethod.jp 13年12月11日水曜日 40 40
  • 5.Tableau <おまけ>Tableau Publicでこんなグラフも。 映画監督 ランキング Top Movie Directors by Film ¦ Tableau Public http://www.tableausoftware.com/public/gallery/top-movie-directors-film classmethod.jp 13年12月11日水曜日 41 41
  • 6.まとめ ・十分な分析・解析を行うためには、 『何をどのように分析したいのか』が大事。 ・用途や目的に応じてツールやサービスを  色々組み合わせて利用。 ・分析の為には様々な 武器 が必要  ・ETL (Extract/Transform/Load)  ・ログ周り、ログ分析周り  ・分析手法や分析ツール  ・対象分野のビジネス知識 ・連携自動化重要 ・目指せ!? データサイエンティスト classmethod.jp 13年12月11日水曜日 42 42
  • ご清聴ありがとうございました。 classmethod.jp 13年12月11日水曜日 43 43