Download to read offline
![MSCK REPAIR TABLE
27
MSCK REPAIR TABLE [テーブル名]
実際のパーテーションを作る感じ・・（？）](https://image.slidesharecdn.com/2athenapub-170814084326/85/2-AWS-SDK-for-PHP-Athena-27-320.jpg)
![作成されたPARTITIONの確認
28
SHOW PARTITIONS [テーブル名]
作成されたPARTITION
これがSQLのWHERE句に記述できる](https://image.slidesharecdn.com/2athenapub-170814084326/85/2-AWS-SDK-for-PHP-Athena-28-320.jpg)
![aws configure を実⾏ (作ったIAMユーザのクレデンシャル情報を登録)
47
[sabawano-wa@ip-10-0-0-142 ~]$ cd ~
[sabawano-wa@ip-10-0-0-142 ~]$ aws configure --profile=sabawa-no-wa
AWS Access Key ID [None]: AKIAHOGEHOGEHOGEHOGEH
AWS Secret Access Key [None]: hoge123HOGE456/hoge123HOGE456/123HOGE456/
Default region name [None]: us-east-1
Default output format [None]: json](https://image.slidesharecdn.com/2athenapub-170814084326/85/2-AWS-SDK-for-PHP-Athena-47-320.jpg)
![AWS SDK for PHP v3 のインストール
48
Requirements : PHP >= 5.5.0
[sabawano-wa@ip-10-0-0-142 ~]$ cd ~/athena_test
[sabawano-wa@ip-10-0-0-142 ~]$ curl -sS https://getcomposer.org/installer | php
[sabawano-wa@ip-10-0-0-142 ~]$ php composer.phar require aws/aws-sdk-php](https://image.slidesharecdn.com/2athenapub-170814084326/85/2-AWS-SDK-for-PHP-Athena-48-320.jpg)
Uploaded byTakaki Sugitani
さばわのわ#2 AWS SDK for PHP で学ぶAthena
Amazon Athena の使い方とAthenaをAWS SDK for PHPでQuery実行してみた時のお話
さばわのわ#2 AWS SDK for PHP で学ぶAthena
- 1. AWS SDK forPHP で学ぶ Athena 2017/08/08 株式会社サーバーワークス カスタマーサポート課 すぎたに たかき #2
- 2. ⾃⼰紹介 l すぎたに たかき l2016/09 SWX JOIN l カスタマーサポート課 l ⼤阪オフィス & おうち 勤務 l 技術 l AWSまだまだ勉強ちゅう！ l プログラミング⼤好き(たぶん） l pythonも勉強ちう！ l プライベート l 無類のイヌ好き l 泳ぐ〜 (週2〜3回...2,000m/回) 2 うろちょろしてるコミュニティー
- 3.
- 4. 4 Athenaとの出会い 動かなかったプログラム Athenaから早くデータを取ってこれた！ PARTITION機能 その１ その２ AWS SDK forPHP v3 でAthenaにアクセス ■Contents
- 5.
- 6. 6 S3 bucket Athena SDK forPHP SQL SQLでS3に保存したデータがとれる幸せ
- 7.
- 8.
- 9. 社内LTで発表したネタ 9 Firehose S3 bucket Athena QuickSight 温度 湿度 ⽇時 050-XXXX-XXXX ただいまの 温度は 29℃です SDKPHP EC2 ※ここでEC2をつかってしまったので、ぼくの負けです...サーバーレスとか、かっこいいことしたかった... Special Thanks JAWS-UG 関⻄ IoT⽀部 Soracom-UG Twilio-UG json Raspberry Pi SDK Python
- 10.
- 11.
- 12.
- 13.
- 14.
- 15.
- 16.
- 17.
- 18.
- 19.
- 20. 例１）データ形式（⽇付と温度と湿度が⼊ってる） フィールド 型 ⽇時(hiduke) string 温度(tmp)float 湿度(hum) float 20 1968-08-22,29.9,20.1 S3に⼊ってる1つのデータ例 Athenaのテーブル形式 データベース名：sabawa_no_wa_2_db テーブル名 ：on_shitudo_tbl ex) 1968-08-xx からの⼤阪市におけ る1時間おきの最⾼気温と平均湿 度を保存した。
- 21. パーテーションをつくると！ フィールド 型 ⽇時(hiduke) string 温度(tmp)float 湿度(hum) float ym string 21 Athenaのテーブル形式 データベース名：sabawa_no_wa_2_db テーブル名 ：on_shitudo_tbl
- 22.
- 23.
- 24.
- 25.
- 26. できあがったCREATE⽂ 26 CREATE EXTERNAL TABLE IF NOT EXISTS sabawa_no_wa_2_db.on_shitudo_tbl( `hiduke` string, `tmp` float, `hum` float ) PARTITIONED BY ( ym string ) ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe' WITH SERDEPROPERTIES ( 'serialization.format' = ',', 'field.delim' = ',' ) LOCATION 's3://sabawa-no-wa-2/ondo_data/' TBLPROPERTIES ('has_encrypted_data'='false');
- 27.
- 28.
- 29.
- 30.
- 31.
- 32. データーを圧縮するといいらしい CREATE EXTERNAL TABLE IF NOT EXISTS sabawa_no_wa_2_db.on_shitudo_zip_tbl ( `hiduke` string, `tmp` float, `hum` float ) PARTITIONED BY ( ym string ) ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe' WITH SERDEPROPERTIES ( 'serialization.format' = ',', 'field.delim' = ',' ) LOCATION 's3://sabawa-no-wa-2/ondo_data/' TBLPROPERTIES ("orc.compress"=" ZLIB"); ※ Athenaの圧縮で使うときsnappy というのがよいらしい tblproperties ("parquet.compress"="SNAPPY"); （でも、あまり変わらなかった〜）
- 33.
- 34.
- 35. 35 こんな感じ・・ $ aws s3 ls s3://wankoro-firehose/ --recursive 2017-06-20 20:56:05 1142017/06/20/11/wankoro-firehose-1-2017-06-20-11-55-01-87e581d0-f397-4497-bdf5-ea94ff6a22f3 2017-06-20 20:58:06 57 2017/06/20/11/wankoro-firehose-1-2017-06-20-11-57-03-ad97cc3a-7f2f-4c62-bb47-7dadf273e10c 2017-06-20 20:59:09 114 2017/06/20/11/wankoro-firehose-1-2017-06-20-11-58-04-ea1bf0c0-1f0d-4c8b-9762-9e26b0acf8a5 2017-06-20 21:01:10 57 2017/06/20/12/wankoro-firehose-1-2017-06-20-12-00-06-77d43b79-9b0a-4b69-9438-347055f7ca60 2017-06-20 21:02:10 57 2017/06/20/12/wankoro-firehose-1-2017-06-20-12-01-08-84f78543-c7e9-497b-bc5f-c62f5831ef12 2017-06-20 21:03:13 114 2017/06/20/12/wankoro-firehose-1-2017-06-20-12-02-09-4da76871-4522-412d-9585-3e220b5a6e7f 2017-06-20 21:05:15 57 2017/06/20/12/wankoro-firehose-1-2017-06-20-12-04-11-9a99e5c2-2a36-4541-aa37-6c9fd7c31c8c
- 36. 36 s3://wankoro-backet/ 2017 06 28 29 30 0701 02 03 PARTITION機能！！ ここだけさがして〜 2017年06⽉28⽇のデータのみ保存する 2017年06⽉29⽇のデータのみ保存する 2017年07⽉03⽇のデータのみ保存する
- 37. 例２）データ形式（⽇付と温度と湿度が⼊ってる） フィールド 型 温度(tmp) float 湿度(hum)float ⽇時(time) timestamp 37 {"tmp": 28.9, "hum": 65.5, "time": "2017-07-06 17:07:02"} S3に⼊ってる1つのデータ例 (json形式) Athenaのテーブル形式 データベース名：iot_lt_db テーブル名 ：iot_lt_tbl
- 38. 38 s3://wankoro-backet/ Athenaのテーブルをつくる時、こんな感じで CREATE TABLEします。 ex) CREATEEXTERNAL TABLE iot_lt_db.iot_lt_tbl ( tmp float, hum float, time string ) PARTITIONED BY (year string , month string, day string) ROW FORMAT serde 'org.apache.hive.hcatalog.data.JsonSerDe' LOCATION 's3://wankoro-backet/' ; PARTITION機能！！ フィールド 型 温度(tmp) float 湿度(hum) float ⽇時(time) timestamp Athenaのテーブル形式 iot_lt_db.iot_lt_tbl パーテーション 型 年(year) string ⽉(hum) string ⽇(time) string フィールド定義 PARTITION定義 データフォーマット定義 S3データ位置定義
- 39. 39 ALTER TABLE iot_lt_db.iot_lt_tbl ADDPARTITION (year=ʼ2017',month=ʼ07',day=ʼ02') location 's3://wankoro-backet/2017/07/02/' フィールド 温度(tmp) 湿度(hum) ⽇時(time) Athenaのテーブル (iot_lt_tbl) PARTITIONを追加しておくと、iot_lt_tbl に対して このようなSQLを実⾏することができます。 select * from iot_lt_db.iot_lt_tbl where year = ʻ2017ʼ and month = ʻ07ʼ and day = ʻ02ʼ order by time DESC limit 1 本来、SQLのwhere句にはテーブ ルにあるフィールドに対して条件を 書くことが基本ですが、追加した パーテーションをwhereに書くこと ができ、特定のS3フォルダを対象 に処理してくれます。 １つ１つ、パーテーションを作る必要がある・・・
- 40. 40 s3://wankoro-backet/ 2017 06 28 29 30 0701 02 03 ex) 2017年07⽉02⽇だけ検索したい場合 あらかじめ、以下の様なSQLを実⾏し、 パーテーションを追加しておきます。 ALTER TABLE iot_lt_db.iot_lt_tbl ADD PARTITION (year=ʼ2017',month=ʼ07',day=ʼ03') location 's3://wankoro-backet/2017/07/03/' パーテーションを作っていかないといけない・・・ ここだけさがして〜
- 41. PARTITION機能！！ 41 select * fromiot_lt_db.iot_lt_tbl where time BETWEEN date '2017-07-02' AND date '2017-07-03ʼ order by time desc limit 1 select * from iot_lt_db.iot_lt_tbl order by time desc limit 1 約20秒 約17秒 ちなみにこんな検索条件をつけても、RDSではないので速くなりません〜 ※対象データ件数:約12,000件
- 42.
- 43. AWS SDK forPHPで Athenaを 使ってみる
- 44. 44 全体的な流れ... ①IAMユーザを作り AthenaにアクセスできるRoleを付与する ・クレデンシャル情報（AWS Access Key ID とAWS Access Key ID)を保存しておく ②実⾏マシン（サーバー）にAWSコマンドをインストールする ③インストールしたaws configure を実⾏し、作ったIAMユーザのクレデンシャル情報を登録しておく ④実⾏マシン（サーバー）に AWS SDK for PHP v3 のインストール ⑤PHPにてコードを書く
- 45.
- 46.
- 47. aws configure を実⾏(作ったIAMユーザのクレデンシャル情報を登録) 47 [sabawano-wa@ip-10-0-0-142 ~]$ cd ~ [sabawano-wa@ip-10-0-0-142 ~]$ aws configure --profile=sabawa-no-wa AWS Access Key ID [None]: AKIAHOGEHOGEHOGEHOGEH AWS Secret Access Key [None]: hoge123HOGE456/hoge123HOGE456/123HOGE456/ Default region name [None]: us-east-1 Default output format [None]: json
- 48. AWS SDK forPHP v3 のインストール 48 Requirements : PHP >= 5.5.0 [sabawano-wa@ip-10-0-0-142 ~]$ cd ~/athena_test [sabawano-wa@ip-10-0-0-142 ~]$ curl -sS https://getcomposer.org/installer | php [sabawano-wa@ip-10-0-0-142 ~]$ php composer.phar require aws/aws-sdk-php
- 49. プログラムコードの概要 49 ① AWS SDK for PHP のロード ② Athena クライアント・インスタンスの作成 ③SQLの作成 ④ SQLの実⾏ ⑤ SQL実⾏中のステータスをwhileループしながら確認 ⑥ SQLが完了するステータスが取得できたら、SQL結果の取得 ⑦ 結果表⽰
- 50.
- 51.
- 52. 52 まとめ... Athena のPARTITION機能を使うとよいかも S3のデータがhive形式でPARTITION化されている場合 S3のデータが分割されていない場合 データは圧縮することができそうです AWS SDKfor PHP でサンプルを動かしました 制限値(Service Limit)に注意しましょう
- 53.