クラスメソッドre:Inventフォロー re:GrowthでAmazon Athenaの概要について発表

1. re:Invent
新サービス Athena
千葉 淳
クラスメソッド株式会社
2016年12月6日

2. 自己紹介
所属：クラスメソッド株式会社
仕事：ソリューションアーキテクト
好きなAWS: Lambda
名前：千葉 淳

3. Athenaとは？

4. Day1キーノートで発表

5. データ分析の顧客課題
データ分析の大量作業、大量な知識必要
出典：http://www.slideshare.net/AmazonWebServicesJapan/awswebinar-awsbig-data

6. Athenaが解決
ETL、データロードが不要！
S3上データへ対話的SQLクエリ
複数フォーマット対応！(CSV/TSV/JSON/Apache log等)
答え

7. Athenaの特徴？
サーバーレス(高可用性、運用が楽)
早い(並列実行、チューニング済み)
コスト効率がよい(スキャン$5/TB)
ツール連携(JDBC, QuickSight)

8. 事例
DataXu社180TB/日を可視化

9. 画面解説

10. Athenaの画面

11. クエリ実行画面

12. よく使うクエリの保存画面
ELB用ログテーブル作成、CloudFrontログテーブル作成のサンプル等用意

13. 結果確認画面

14. データベース/テーブル作成画面

15. Athenaにおけるデータベース/テーブル
データベースは「テーブルの論理グループ」
テーブルは、データの定義
所属するデータベース
データを保存しているS3の場所(ファイル/パス)
データフォーマット
カラムの定義
パーティション

16. データベース/テーブルのポイント
SQLでもテーブル作成OK
パーティショニング = 検索データを減らす
コスト削減
パフォーマンスの向上

17. パーティショニング - Hive -
テーブル作成時に 指定

18. パーティショニング – Hive以外-
日付ごとにパーティションを追加する必要あり
JDBCで自動化を検討

19. まとめ

20. まとめ
S3上のデータをSQLにて直接分析
様々なフォーマット対応
(CSV/TSV/JSON/Apache log等)
サーバレスで高可用性、運用管理不要
ツールと連携し可視化(JDBC、QuickSight)

21. Appendix
検証記事はDevelopers.IO(現在13記事)

22. おしまい