Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

簡単ログ解析ハンズオン


3,667 views

Published on

Amazon AthenaとAmazon QuickSightで、放置しているそのログ、
可視化しましょう!

Published in: Internet
  • Be the first to comment

簡単ログ解析ハンズオン


  1. 1. @k_nishijima 簡単ログ解析ハンズオン
 【放置しているそのログ、
 可視化しましょう!】 JAWS-UG沖縄 Cloud on the BEACH 2017 @k_nishijima
  2. 2. @k_nishijima あんた誰? 2 西島 幸一郎 / にしじま こういちろう
 アールスリーインスティテュート ソリューションアーキテクト https://www.r3it.com
 大阪の会社に所属、宜野湾の自宅から100%リモートワーク okinawa.goのコアメンバー JAWS−UG沖縄のコアメンバー ハッカーズチャンプルー実行委員長 ご質問などあればFacebook/Twitterなどでお気軽に〜♪ @k_nishijima nishijima.koichiro
  3. 3. @k_nishijima 本日のハンズオン概要 3 ๏ Amazon S3にあるログファイルに対して ๏ Amazon AthenaでSQLを投げる ๏ Amazon QuickSightで可視化する
  4. 4. @k_nishijima ハンズオン資料について 4 ๏ JAWS DAYS 2017向けに同僚が作成したものがベースです (^_^;
 ๏ 【Athena QuickSight 可視化】で検索
 「RaspberryPi + Athena + QuickSightで可視化する<後 編>」というQiitaの記事です。
 ๏ https://goo.gl/ho91hT アールスリーインスティテュート 浅賀 功次
  5. 5. @k_nishijima AWS利用料について 5 ๏ Amazon S3:数十円? ๏ Amazon Athena:スキャンされたデータ1TBあたり$5 ๏ Amazon QuickSight:初期ユーザ無料、追加は月額$9〜
 ๏ 自分のアカウントで試しても多分無料枠で収まるはず ๏ アカウントのない方は西島の
 AWS2014サムライチケットを使いましょう
  6. 6. @k_nishijima AWSサムライ?
 サムライチケットとは? 6 ๏ AWSサムライ=アマゾンウェブサービスジャパンより
 【ユーザーコミュニティの成長およびAWSクラウドの普及 に大きく貢献または影響を与えた方々】を認定
 ๏ 西島は2013/2014と頂いているんですが、
 2014年分の副賞が最近やっと手元に来ました(^_^;)
  7. 7. @k_nishijima AWSサムライ?
 サムライチケットとは? 7 ๏ 2014年に毎月やったように、この金額の範囲内で
 みんなでAWSを使い倒しましょう!
 ๏ 「あれ試しに使ってみたい」
 「こんなことやってみたい」など、
 どしどしリクエストください!
  8. 8. @k_nishijima ハンズオン開始 8
  9. 9. @k_nishijima サムライチケットでログイン 9 ๏ https://jawsug-okinawa- handson.signin.aws.amazon.com/console ๏ ユーザ名とパスワードは配布のものを入力
  10. 10. @k_nishijima Amazon Athenaを設定する 10 ๏ 「サービス」をクリック ๏ 分析の中の「Athena」をクリック
  11. 11. @k_nishijima バージニアに切り替え 11 右上がオレゴンになっていたら、クリックしてバージニアに変更
  12. 12. @k_nishijima 12 ๏ [Get Started]をクリックす る ๏ Tutorialが表示されたら×で 閉じる
  13. 13. @k_nishijima サンプルデータにクエリを投げてみる 13 SELECT * FROM elb_logs limit 100;
  14. 14. @k_nishijima サンプルデータにクエリを投げてみる 14 ๏ HTTPのステータスコード別のカウント
 SELECT backend_response_code, count(*) 
 FROM elb_logs 
 GROUP BY backend_response_code ORDER BY backend_response_code;
 ๏ アクセスURL別のカウント
 SELECT count(*) AS C, url 
 FROM elb_logs GROUP BY url ORDER BY c desc;
  15. 15. @k_nishijima Historyで過去のクエリをダウンロードしたり 15 この結果はS3上にも保存されている
  16. 16. @k_nishijima 自分のファイルにSQLで
 問い合わせ出来るようにしてみる 16 ๏ 元データ例:気象庁の気象データ
 http://www.data.jma.go.jp/gmd/risk/obsdl/index.php
 ๏ サンプルとして過去30年位の
 那覇の気温データを落としてきました
 (これ自体は実は大してデカくない(^_^;)
  17. 17. @k_nishijima 自分のファイルにSQLで
 問い合わせ出来るようにしてみる 17 新しいテーブルの作成handsonアカウントの人は スキップ!
  18. 18. @k_nishijima 自分のファイルにSQLで
 問い合わせ出来るようにしてみる 18 データベース名「naha_temp」テーブル名「daily」 データセットロケーションは
 s3://logsample20170429/temperature/ で、Nextをクリック handsonアカウントの人は スキップ!
  19. 19. @k_nishijima 自分のファイルにSQLで
 問い合わせ出来るようにしてみる 19 フォーマットはCSVを選択してNextをクリック handsonアカウントの人は スキップ!
  20. 20. @k_nishijima 自分のファイルにSQLで
 問い合わせ出来るようにしてみる 20 カラムは
 「日付」「最高気温」「最低気温」なの で、
 date / date max / float min / float と入力。 1つ入力するごとに「Add a column」で 入力枠が増えます。 最後にNextで次に進む handsonアカウントの人は スキップ!
  21. 21. @k_nishijima 自分のファイルにSQLで
 問い合わせ出来るようにしてみる 21 パーティーションは今回は使わないので、 そのまま「Create table」をクリック handsonアカウントの人は スキップ!
  22. 22. @k_nishijima テーブルが出来た! 22 handsonアカウントの人は スキップ!
  23. 23. @k_nishijima クエリを投げてみる 23 SELECT * FROM daily limit 10;
  24. 24. @k_nishijima とりあえずここまでで CSVファイルに SQLで問い合わせ 出来るようになりました♪ 24
  25. 25. @k_nishijima QuickSightからAthenaを使ってみる 25 ๏ まずアカウントの確認 ๏ 自分のアカウントで試したい方
 →QuickSightのユーザー登録から ๏ ハンズオンアカウント
 →直接QuickSightにログイン
  26. 26. @k_nishijima ゴメンナサイ… 26 ๏ 今回のハンズオンでは、QuickSightアカウントは3つし か用意していません
 (この人数で月額課金はもったいない(^_^;
 ๏ 各自のアカウントを使っている方以外は設定部分など は資料で確認してください
  27. 27. @k_nishijima QuickSightサインアップする人 27
  28. 28. @k_nishijima 28 QuickSightサインアップする人
  29. 29. @k_nishijima 29 QuickSightサインアップする人
  30. 30. @k_nishijima QuickSightサインアップ完了 30
  31. 31. @k_nishijima QuickSightに直接サインイン 31 https://quicksight.aws.amazon.com
 アカウントは「jawsug-okinawa-handson」
  32. 32. @k_nishijima QuickSightに直接サインイン 32 ユーザー名とパスワードは配布のものを
  33. 33. @k_nishijima QuickSightに入れたら 33 とりあえずウィザードはXで閉じる
  34. 34. @k_nishijima みんなSignIn出来ました? 34
  35. 35. @k_nishijima データセットの作成 35 「Manage data」をクリック
  36. 36. @k_nishijima データセットの作成 36
  37. 37. @k_nishijima データセットの作成 37
  38. 38. @k_nishijima データセットの作成 38 自分のアカウント名 例:「handson01」 を入力して「Create data source」をクリック
  39. 39. @k_nishijima データセットの作成 39 先程作ったデータベースとテーブルを選択して 「Select」をクリック
  40. 40. @k_nishijima データセットの作成 40 Import to SPICE for quicker analyticsを選択して 「Visualize」をクリック
  41. 41. @k_nishijima しばらくすると出来上がり 41
  42. 42. @k_nishijima Amazon QuickSightのAnalysisを作成 42 ロゴをクリックしてトップに戻って、 「New analysis」をクリック
  43. 43. @k_nishijima Amazon QuickSightのAnalysisを作成 43 先程作ったデータソースをクリック
  44. 44. @k_nishijima Amazon QuickSightのAnalysisを作成 44 「Create analysis」をクリック
  45. 45. @k_nishijima Amazon QuickSightのAnalysisを作成 45 X軸として「date」をクリック
  46. 46. @k_nishijima Amazon QuickSightのAnalysisを作成 46 「Field wells」をクリックして枠を出して、 Fields listの「min」をValueのところにD&D
  47. 47. @k_nishijima Amazon QuickSightのAnalysisを作成 47 デフォルトだとSUMになってるので、
 「▼」「Aggregate」をクリックして、「MIN」を選択
  48. 48. @k_nishijima 出来た! 48 dateをD&Dすると表示範囲が広がる グラフをポイントするとドリルダウン出来る
  49. 49. @k_nishijima 出来た! 49 dateをD&Dすると表示範囲が広がる 右上でドリルアップできる
  50. 50. @k_nishijima グラフを追加したり 50
  51. 51. @k_nishijima 51 こんな感じで簡単に ログデータの可視化が出来ます。 いろいろ試してみてください!
  52. 52. @k_nishijima 52 Thank you so much! Any questions?

×