簡単ログ解析ハンズオン 

@k_nishijima
簡単ログ解析ハンズオン 
【放置しているそのログ、 
可視化しましょう！】
JAWS-UG沖縄
Cloud on the BEACH 2017
@k_nishijima

@k_nishijima
あんた誰？
2
西島　幸一郎 / にしじま　こういちろう 
アールスリーインスティテュートソリューションアーキテクト
https://www.r3it.com 
大阪の会社に所属、宜野湾の自宅から100%リモートワーク
okinawa.goのコアメンバー
JAWS−UG沖縄のコアメンバー
ハッカーズチャンプルー実行委員長
ご質問などあればFacebook/Twitterなどでお気軽に〜♪
@k_nishijima
nishijima.koichiro

@k_nishijima
本日のハンズオン概要
3
๏ Amazon S3にあるログファイルに対して
๏ Amazon AthenaでSQLを投げる
๏ Amazon QuickSightで可視化する

@k_nishijima
ハンズオン資料について
4
๏ JAWS DAYS 2017向けに同僚が作成したものがベースです
(^_^; 
๏ 【Athena QuickSight 可視化】で検索 
「RaspberryPi + Athena + QuickSightで可視化する＜後
編＞」というQiitaの記事です。 
๏ https://goo.gl/ho91hT アールスリーインスティテュート
浅賀功次

@k_nishijima
AWS利用料について
5
๏ Amazon S3：数十円？
๏ Amazon Athena：スキャンされたデータ1TBあたり$5
๏ Amazon QuickSight：初期ユーザ無料、追加は月額$9〜 
๏ 自分のアカウントで試しても多分無料枠で収まるはず
๏ アカウントのない方は西島の 
AWS2014サムライチケットを使いましょう

@k_nishijima
AWSサムライ？ 
サムライチケットとは？
6
๏ AWSサムライ＝アマゾンウェブサービスジャパンより 
【ユーザーコミュニティの成長およびAWSクラウドの普及
に大きく貢献または影響を与えた方々】を認定 
๏ 西島は2013/2014と頂いているんですが、 
2014年分の副賞が最近やっと手元に来ました(^_^;)

@k_nishijima
AWSサムライ？ 
サムライチケットとは？
7
๏ 2014年に毎月やったように、この金額の範囲内で 
みんなでAWSを使い倒しましょう！ 
๏ 「あれ試しに使ってみたい」 
「こんなことやってみたい」など、 
どしどしリクエストください！

@k_nishijima
ハンズオン開始
8

@k_nishijima
サムライチケットでログイン
9
๏ https://jawsug-okinawa-
handson.signin.aws.amazon.com/console
๏ ユーザ名とパスワードは配布のものを入力

@k_nishijima
Amazon Athenaを設定する
10
๏ 「サービス」をクリック
๏ 分析の中の「Athena」をクリック

@k_nishijima
バージニアに切り替え
11
右上がオレゴンになっていたら、クリックしてバージニアに変更

@k_nishijima 12
๏ [Get Started]をクリックす
る
๏ Tutorialが表示されたら×で
閉じる

@k_nishijima
サンプルデータにクエリを投げてみる
13
SELECT * FROM elb_logs limit 100;

@k_nishijima
サンプルデータにクエリを投げてみる
14
๏ HTTPのステータスコード別のカウント 
SELECT backend_response_code, count(*)  
FROM elb_logs  
GROUP BY backend_response_code ORDER BY backend_response_code; 
๏ アクセスURL別のカウント 
SELECT count(*) AS C, url  
FROM elb_logs GROUP BY url ORDER BY c desc;

@k_nishijima
Historyで過去のクエリをダウンロードしたり
15
この結果はS3上にも保存されている

@k_nishijima
自分のファイルにSQLで 
問い合わせ出来るようにしてみる
16
๏ 元データ例：気象庁の気象データ 
http://www.data.jma.go.jp/gmd/risk/obsdl/index.php 
๏ サンプルとして過去30年位の 
那覇の気温データを落としてきました 
（これ自体は実は大してデカくない(^_^;)

@k_nishijima
17
新しいテーブルの作成handsonアカウントの人は
スキップ！

@k_nishijima
18
データベース名「naha_temp」テーブル名「daily」
データセットロケーションは 
s3://logsample20170429/temperature/
で、Nextをクリック
handsonアカウントの人は
スキップ！

@k_nishijima
19
フォーマットはCSVを選択してNextをクリック
スキップ！

@k_nishijima
20
カラムは 
「日付」「最高気温」「最低気温」なの
で、 
date / date
max / float
min / float
と入力。
1つ入力するごとに「Add a column」で
入力枠が増えます。
最後にNextで次に進む
スキップ！

@k_nishijima
21
パーティーションは今回は使わないので、
そのまま「Create table」をクリック
スキップ！

@k_nishijima
テーブルが出来た！
22
スキップ！

@k_nishijima
クエリを投げてみる
23
SELECT * FROM daily limit 10;

@k_nishijima
とりあえずここまでで
CSVファイルに
SQLで問い合わせ
出来るようになりました♪
24

@k_nishijima
QuickSightからAthenaを使ってみる
25
๏ まずアカウントの確認
๏ 自分のアカウントで試したい方 
→QuickSightのユーザー登録から
๏ ハンズオンアカウント 
→直接QuickSightにログイン

@k_nishijima
ゴメンナサイ…
26
๏ 今回のハンズオンでは、QuickSightアカウントは3つし
か用意していません 
（この人数で月額課金はもったいない(^_^; 
๏ 各自のアカウントを使っている方以外は設定部分など
は資料で確認してください

@k_nishijima
QuickSightサインアップする人
27

@k_nishijima 28

@k_nishijima 29

@k_nishijima
QuickSightサインアップ完了
30

@k_nishijima
QuickSightに直接サインイン
31
https://quicksight.aws.amazon.com 
アカウントは「jawsug-okinawa-handson」

@k_nishijima
QuickSightに直接サインイン
32
ユーザー名とパスワードは配布のものを

@k_nishijima
QuickSightに入れたら
33
とりあえずウィザードはXで閉じる

@k_nishijima
みんなSignIn出来ました？
34

@k_nishijima
データセットの作成
35
「Manage data」をクリック

@k_nishijima
36

@k_nishijima
37

@k_nishijima
38
自分のアカウント名例：「handson01」
を入力して「Create data source」をクリック

@k_nishijima
39
先程作ったデータベースとテーブルを選択して
「Select」をクリック

@k_nishijima
40
Import to SPICE for quicker analyticsを選択して
「Visualize」をクリック

@k_nishijima
しばらくすると出来上がり
41

@k_nishijima
Amazon QuickSightのAnalysisを作成
42
ロゴをクリックしてトップに戻って、
「New analysis」をクリック

@k_nishijima
43
先程作ったデータソースをクリック

@k_nishijima
44
「Create analysis」をクリック

@k_nishijima
45
X軸として「date」をクリック

@k_nishijima
46
「Field wells」をクリックして枠を出して、
Fields listの「min」をValueのところにD&D

@k_nishijima
47
デフォルトだとSUMになってるので、 
「▼」「Aggregate」をクリックして、「MIN」を選択

@k_nishijima
出来た！
48
dateをD&Dすると表示範囲が広がる
グラフをポイントするとドリルダウン出来る

@k_nishijima
出来た！
49
dateをD&Dすると表示範囲が広がる
右上でドリルアップできる

@k_nishijima
グラフを追加したり
50

@k_nishijima 51
こんな感じで簡単に
ログデータの可視化が出来ます。
いろいろ試してみてください！

@k_nishijima 52
Thank you so much!
Any questions?

簡単ログ解析ハンズオン

More Related Content

What's hot