Itelt vol8 5

1. ETL処理案件で
辛かった事
株式会社オプティマ
和泉聡太

2. 目次
• 取り上げること
• 取り上げないこと
• つらい点
• AWS Glue のすぐれている点

3. 取り上げること
• 現在参加している案件のこと
• 扱っている技術は得意分野ではありません

4. 取り上げないこと
• データを用意する話
• 集計したデータを使って活用する話

5. よくわからない
ゾーン
システム概要図
RedShift
https://docs.aws.amazon.com/ja_jp/glue/latest/dg/monitor-glue.html
DBダンプ
ElasticNet
HMM
←AWS Glue

6. (AWS Glueの)つらい点
• 開発中にもいちいちお金がかかる
• 実行がいちいち遅すぎる
• 言語は慣れてるのを使うべき
• ETLジョブとZeppelin上で書き方がいろいろ違う

7. 開発中にもいちいちお金がかかる
• ETL ジョブ実行のたびに最低約20円かかる
– どんな結果でも課金される?(Syntax Errorでも(未確認))
– →お金でいちいち申請とか必要だと疲れる

8. 実行がいちいち遅すぎる
• 1分で直して実行すると10分かかる
• データ量少なくてもそんなに早くならない
– 実行間隔を調整するなど、動かし方を考えないといけない
• ETLジョブだと実行前にリソース取得に10分近くかかる
– そして毎回20円以上かかる
• 開発エンドポイントでもロード時間は普通に3分近くかかる」
– そしてずっとジョブ実行状態でお金がかかる

9. 言語は慣れてるのを使うべき
• 実行ごとに10分かかるのにコード入力環境が手厚くない
– ETLジョブのスクリプトエディタは使いにくい
– Zeppelin ノートブックのエディタも使いにくい
• 特にScala言語は複雑な言語仕様と型検査と実行の遅れ、
実行するまでコンパイルエラーも出ないため
相乗効果で辛い（その分Pythonは比較的マシ）
一例:
spark implisit使えない(Glue側のSparkバージョンの問題)
deprecated warningもエラー扱い（!==→=!=）(Zeppelin では実行できるのにGlueでは失敗扱い)

10. 言語は慣れてるのを使うべき
実行
時間
Scala
言語仕様
Scala
型検査

11. 言語は慣れてるのを使うべき
実行
時間
Scala
言語仕様
Scala
型検査

12. ETLジョブとZeppelin上で書き方がいろいろ違う
• 環境ごとに書き換えが必要
– extends java.io.Serializable追加
– メインメソッド実行処理の追加
– ジョブ関係コードのコメントアウト
– sparkContextの取得方法の差異
• 両方に対応した書き方をするには使用言語に
詳しい必要がある

13. (AWS Glueの)すぐれている点
（おそらく時間が足りないので）
この先はキミの目で確かめてくれ！

14. 終