20150219 初めての「embulk」

1. 初めての「 Embulk 」
株式会社プリファードインフラストラクチャー

2. 自己紹介
 舛岡英人（ Masuoka Hideto ）
- Twitter アカウント hidetomasuoka
 2012 年 - PFI に Join
- 製品事業部
 趣味
- フットサル
- 旅行
2

3. 最近の業務
 …契約、営業、導入支援、サポート等々 .
 導入支援のときソフトウェアにデータを登録するのは結
…構大変 .
3

4. アジェンダ
 Embulk とは
 Embulk の使い方
 Embulk プラグインとは
4

5. Embulk とは

6. Embulk とは
 Fluentd のバッチ処理版のようなツール
 CSV データやアクセスログなどの構造化データを高い
信頼性で転送することができる
 Fluentd のコミッターである古橋さん等が開発している

7. Embulk を開発した理由
 Fluentd では解決出来ない問題が発生
- ダウンロードしてきた『 CSV ファイル』を 1 回ロードして解析
してみたい
- fluentd を導入したけど大量に残った過去データもロードして解
析したい
- 日次のバッチ処理の一部にデータの転送処理がある
- 異なるストレージにデータを同期したい
7

8. Fluentd との違い
 Fluentd と違いバルク処理に特化トランザクション制御
- 冪等性
- 高速性
- スキーマを使った validation
8

9. Embulk の特徴
 プラグインアーキテクチャ
 高速な並列・分散処理
 guess 機構
 リトライとリジューム
9

10. プラグインアーキテクチャ
 入力、出力、フィルタ（データ加工）などのプラグイン
を書くことが可能
- 足りない機能を補完し、現場で使えるツールに拡張可能
 ありとあらゆるデータ処理に対応可能
- 壊れた値（例外データ）の扱い
- エラー処理やリカバリ
- 日付フォーマットの変換、 NULL 値の扱い
- …リトライ、二重ロードを防ぐ冪等性の制御 などなど、
10

11. Embulk のイメージ
※
11

12. 高速な並列・分散処理
 1 回の処理を複数のタスクに分割し、並列に実行する仕
組みを備えている
- これらのタスクを実行する Executor プラグインを追加すること
で、 Hadoop や YARN 、あるいは Sun Grid や MPI などの分散
処理環境を使い、大規模データを高速にバルク処理することが
可能になり予定
 Embulk のコア部分は Java で書かれているため、単一ス
レッドの性能が高い。プラグインは、 Jruby だけでなく
、 Java で書くことも可能（ v0.4 〜）
12

13. guess 機構
 Guess （ v0.1 〜。 v0.5 〜強化予定）
- 1 度少しだけデータを読み込み、自動的に設定ファイルを生成
する。
- 設定を、必要なら少し手直ししてから使うことで、ゼロから設
定を書くよりもずっと素早くデータ処理をはじめることが可能
13

14. リトライとリジューム
 Embulk では失敗したタスクだけを後からやり直すリジ
ューム機能を備えている（ v0.3 〜）
14

15. Embulk を使ってみる

16. インストール (2015/2/19 現在 )
 $ wget
https://bintray.com/artifact/download/embulk/maven/emb
ulk-0.4.2.jar -O embulk.jar
 $ chmod 755 embulk.jar
16

17. コマンド一覧
 Example
- Embulk のチュートリアルファイルを指定したディレクトリにセ
ットする
- $ java -jar embulk.jar example ./try1
 Guess
- 簡単に記載した config を元に完全版の config を作成する
- java -jar embulk.jar guess ./try1/example.yml -o config.yml
17

18. コマンド一覧
 Preview
- データロードのみドライランを実行する
- $ java -jar embulk.jar preview config.yml
 Run
- Bulk でのデータ登録を実行する
- $ java -jar embulk.jar run config.yml
18

19. Example
 $ java -jar embulk.jar example ./try1
19
Creating ./try1 directory...
Creating ./try1/
Creating ./try1/csv/
Creating ./try1/csv/sample_01.csv.gz
Creating ./try1/example.yml
Run following subcommands to try embulk:
1. guess ./try1/example.yml -o config.yml
2. preview config.yml
3. run config.yml

20. guess
in:
type: file
paths: ["/home/pfi/embulk/try1/csv"]
out:
type: stdout
exec: {}
in:
type: file
paths: [/home/pfi/embulk/try1/csv]
decoders:
- {type: gzip}
parser:
charset: UTF-8
newline: CRLF
type: csv
delimiter: ','
quote: '"'
header_line: true
columns:
- {name: id, type: long}
- {name: account, type: long}
- {name: time, type: timestamp, format: '%Y-%m-%d %H:%M:
%S'}
- {name: purchase, type: timestamp, format: '%Y%m%d'}
- {name: comment, type: string}
out: {type: stdout}
20
 $ java -jar embulk.jar guess ./try1/example.yml -o config.yml
guessguess

21. preview
 $ ./embulk preview config.yml
21

22. run
 ./embulk run config.yml -o config.yml
22

23. Embulk の plugin を作ってみる

24. Embulk のプラグイン
 InputPlugin
- データを Embulk に input する際に使用する plug-in
 OutputPlugin
 データから output する際に使用する plug-in
 Filterplugin
- データを加工する際に使用する plug-in

25. Embulk のアーキテクチャー
25
Input Plugin Output Plugin
Embulk
（ Fillter Plugin ）

26. Embulk のプラグインの種類
 InputPlugin
- embulk-input-s3
- embulk-input-mysql
- embulk-input-postgresql
- embulk-input-redshift
- embulk-input-jdbc
- embulk-input-slack-history
- embulk-plugin-input-jstat

27. Embulk のプラグイン
 OutputPlugin
- embulk-output-mysql
- embulk-output-postgresql
- embulk-output-redshift
- embulk-output-postgres-json
- embulk-output-elasticsearch
- embulk-output-jdbc
- embulk-output-parquet

28. Embulk の outputplugin を作ってみる

29. お詫び
 2/17 現在 0.4.1 が Release され、プラグインの仕様等
が変更となりました。
 準備していたものが、 0.3 系なので、今回はそちらで。
。。。

30. OutputPlugin
 モジュールは Embulk
- クラスは任意の名前だが、 OutputPlugin を継承する

31. 実装メソッド
 以下の３種類を実装する
- self.transaction
- Initialize
- add
31

32. self.transaction
 Task に config.yml で記載した内容など実行する際に必
要な情報を詰め、後続に渡します
 なお config.param の default 属性を付与しない場合は必
須項目となり、設定しない例外が発生します
32

33. initialize
33
 run 実行前の処理を行います。

34. add
 データを追加先の登録方法を記載します
34

35. Embulk の plugin を使ってみる

36. Plugin
 embulk-input-mysql
- MySQL からデータをダンプするプラグイン
- embulk-output-mysql
- MySQL にデータを投入するプラグイン
36

37. インストール
 $ java -jar embulk.jar gem install embulk-input-mysql
embulk-output-mysql
37

38. config.yml
in:
type: mysql
user: embulk
password: embulk
database: embulk
table: test
host: localhost
select: "*"
where: "editor != 'emacs'"
out:
type: mysql
host: localhost
user: embulk
password: embulk
database: embulk
table: output
mode: insert 38

39. 実行結果
 $ java -jar embulk.jar preview config_mysql.yml
39

40. 実行結果
 $ java -jar embulk.jar run config_mysql.yml
40

41. 使ってみた感想
 プラグインがあれば、簡単な設定ファイルを書くだけで
、動くので楽だった。
 Preview や guess 機能があるので、色々実験するのは楽
にできた
 …ログが全然でないので、どこで失敗したか不明
41

42. ロードマップ
 Add missing JRuby Plugin APIs
- ParserPlugin, FormatterPlugin
- DecoderPlugin, EncoderPlugin
 Add Executor plugin SPI
 Add ssh distributed executor
- embulk run —command ssh %host embulk run %task
 Add MapReduce executor
42
Java では対応済
み
Java では対応済
み

43. まとめ
 Embulk の使い方
 プラグインの書き方
 プラグインの使い方
43

44. 参考資料
 Embulk repository
- https://github.com/embulk/embulk
 Blog by Sadayuki Furuhashi
- http://frsyuki.hatenablog.com/entry/2015/01/19/100631
 Qiita
- http://qiita.com/tadOne/items/10ff992a3aaead142edb
44

45. Copyright © 2006-2015
Preferred Infrastructure All Right Reserved.