Asakusa Enterprise Batch Processing Framework for Hadoop

Asakusa ～ Enterprise Batch Framework for Hadoop Hadoop Japan Conference 2011/2/22

[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

目的 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

実際どんなものか？ ,[object Object],仕入データ取り込み残高更新照合処理仕入明細データ仕入返品データ費用振替データ売価変更データ出力データ中間 TRN 入力データ未払計上在庫計測仕入 TRN 在庫振替 TRN 在庫移動 TRN 未収収益 TRN 売価変更在庫変更 TRN 修正在庫振替 TRN 修正在庫移動 TRN 修正未収収益 TRN 未払計上 TRN 4 種類のデータ In 9 種類のデータ In 5 種類のデータ In 5 種類のデータ Out 4 種類のデータ Out 7 種類のデータ In 計上済仕入 TRN 計上済未収収益 TRN 計上済未払費用 TRN 更新済買掛残高 TRN 請求 TRN 支払不可消込 TRN 支払可消込 TRN 照合済未払費用 TRN 請求エラー TRN 照合済未収収益 TRN 照合済仕入 TRN 照合済請求 TRN

さらにブレイクダウンする ,[object Object],仕入データ取り込み仕入明細データ仕入返品データ費用振替データ売価変更データ仕入 TRN 在庫振替 TRN 在庫移動 TRN 未収収益 TRN 売価変更在庫変更 TRN 4 種類のデータ In 5 種類のデータ Out データ取り込みクレンジングデータ分割 Level-0 Level-1 Level-2 Level-3 階層が深くなるの普通大抵の規模で 4-5 階層データ整形日付チェックマスターチェック付随データ生成附番データ一次出力

基幹バッチの特徴 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

基幹バッチの特徴からみると・・・ ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

Hadoop の何がたらないか？ ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

なので・・・ ,[object Object],[object Object],[object Object],[object Object]

そこで ,[object Object],Powered by @kis まだ案ですが！

位置づけ ,[object Object],Hadoop 　 Core Core ・ HDFS ・ MapReduce Pig Hive Asakusa Oozie MonkeyMagic ： Ruby ベース運用環境 MonkeyMagic は ( 株 )EC-ONE さんの製品でございます。

Asakusa の構成 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],上位の開発方法論から、実装フレームワーク・コンパイラ・データモデリング・テストツール・運用連携まで含む「フル・スタック」のフレームワーク

DAG ベースの多層 DSL 構造 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

DAG の開発方法論と表裏一体 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

[object Object],[object Object],BatchDSL 最上のバッチフローを記述する FlowDSL ビルディングブロックの記述多層的な構成演算子 DSL データ操作の最小単位

DSL の記述例 ,[object Object],[object Object],[object Object],バッチクラスを作成して内部で、下位の DSL で作成した job フローを連結して、記述する。

DSL の記述例 ,[object Object],・・・・・・・・・・・・・・・・・・・・・・・・ @Override protected void describe() { // まずは明細と商品マスタを結合 Join join = op.join(itemIn, orderIn); // 結合に失敗したものはエラーフラグを立てて終了させておく SetStatus missing = op.setStatus(join.missed, " 商品不明 "); orderOut.add(missing.out); // 結合に成功したものは注文ごとに集計 Sum sum = op.sum(join.joined); // そのままでは使えないので、テーブルモデルに変換して出力 ToAmount result = op.toAmount(sum.out); resultOut.add(result.out); // 不要な出力を除去 core.stop(result.original); } フローを記述していく Java での記述 DAG の実装に近い頂点： Operator 辺：結線 Obj

DSL の記述例 ,[object Object],@Override protected void describe() { NewTxApMachingOperatorFactory f = new NewTxApMachingOperatorFactory(); UpdateTxOperatorFactory f1 = new UpdateTxOperatorFactory(); CoreOperatorFactory core = new CoreOperatorFactory(); // 伝票 No 設定未設定で振り分ける BranchSlipWithoutNo branch1 = f.branchSlipWithoutNo(inApMached); // 伝票 No 設定済に対して、前回までの突合結果区分より「計上ずれ」「不一致」とそれ以外を振り分ける BranchGapAndUnmatch branch2 = f.branchGapAndUnmatch(branch1.out2); // 伝票情報の初期化 InitSlipInfo update1 = f.initSlipInfo(branch2.out1); // 請求情報の初期化 InitBillInfo update2 = f.initBillInfo(branch2.out1); // 伝票 No 設定済で前回までの突合結果区分が「計上ずれ」「不一致」以外と請求情報初期化したファイルを一つにまとめる Confluent<TxApMaching> confuent1 = core.confluent(branch2.out2, update2.out); // 伝票情報が入っているデータに対して、支払消込トランから赤黒ペアの未照合を抜き出す GroupSortBranchDeficitSurplusDiv grs11 = f1.groupSortBranchDeficitSurplusDiv(confuent1.out); Operator 生成入力 edge Ope 固有処理出力 edge 出力 edge から入力結線出力 edge 二つから入力結線

DSL の記述 ,[object Object],[object Object],[object Object],[object Object],[object Object],/** * 注文商品の情報と明細を結合する。 * @param info 注文商品の情報 * @param order 明細 * @return 結合した結果 */ @MasterJoin public abstract JoinOrder join(ItemInfo info, OrderDetail order); /** * 明細の価格を、注文ごとに集計する。 * @param each それぞれの明細 * @return 集計した結果 */ @Summarize public abstract SumOrder sum(JoinOrder each); /** * 集計結果をテーブルモデルに変換する。 * @param total 変換対象 * @return 変換後 */ @Convert public OrderAmount toAmount(SumOrder total) { amount.setAmount(total.getAmount()); amount.setOrderId(total.getOrderId()); return amount; } Asakusa で準備されている演算子のアノテーションを利用して、演算子を記述する。演算子クラスの記述で必要な要件はアノテーションごとに異なる。間違うとコンパイラに怒られる。

DSL の記述 ,[object Object],[object Object],[object Object],public abstract class ExampleOperator { /** * 有効なマスタを選択する。 * @param masters 選択対象のマスタデータ一覧 * @param tx トランザクションデータ * @return 実際に利用するマスタデータ、利用可能なものがない場合は null */ @MasterSelection public ItemMst selectItemMst(List<ItemMst> masters, HogeTrn tx) { for (ItemMst mst : masters) { if (mst.getStart() <= tx.getDate() && tx.getDate() <= mst.getEnd()) { return mst; } } return null; } /** * マスタの価格をトランザクションデータに設定する。 * @param master マスタデータ * @param tx 変更するトランザクションデータ */ @MasterJoinUpdate(selection = "selectItemMst") public void updateWithMaster( @Key(group = "id") ItemMst master, @Key(group = "itemId") HogeTrn tx) { tx.setPrice(master.getPrice()); } } 条件の記述結合の記述

Default で準備されている DSL データ編成 CoGroup グループ結合演算子 Confluent 合流演算子 Convert 変換演算子 Duplicate 複製演算子 GroupSort グループ整列演算子 Split 分割演算子業務系 MasterBranch マスタ分岐演算子 MasterCheck マスタ確認演算子 MasterJoin マスタ結合演算子 MasterJoinUpdate マスタつき更新演算子 Summarize 単純集計演算子フロー制御 Branch 分岐演算子 Checkpoint チェックポイント演算子 Empty 空演算子 Identity 恒等演算子 Logging ロギング演算子 Stop 停止演算子割と一般的な「アルゴリズム」や処理を実装している。ソート・マージ・分割業務系の演算子の実装拡張して業務フレームワークになっている「マスターとの突合」処理フロー制御のための演算子 DAG の記述をしていると発生する

MR コンパイラ ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

[object Object],データモデルと連動コンパイルで最適化わりといろんな黒魔術を使っています。（ by@ashigeru)

Asakusa の構成 ,[object Object],最上位でのバッチ実行・監視 Job ネットが複数の job に展開される TRX 制御バウンダリー管理 HadoopJob の実行管理 Hadoop との IO 管理 MapReduce 実体 JarFile

TX 管理 ,[object Object],@JobFlow(name = "stock") public class StockJob extends FlowDescription { private In<Shipment> shipmentIn; private In<Stock> stockIn; private Out<Shipment> shipmentOut; private Out<Stock> stockOut; /** * コンストラクタ。 * @param shipmentIn 処理対象の注文情報 * @param stockIn 処理対象の在庫情報 * @param shipmentOut 処理結果の注文情報 * @param stockOut 処理結果の在庫情報 */ public StockJob( @Import(name = "shipment", description = ShipmentFromDb.class) In<Shipment> shipmentIn, @Import(name = "stock", description = StockFromDb.class) In<Stock> stockIn, @Export(name = "shipment", description = ShipmentToDb.class) Out<Shipment> shipmentOut, @Export(name = "stock", description = StockToDb.class) Out<Stock> stockOut) { this.shipmentIn = shipmentIn; this.stockIn = stockIn; this.shipmentOut = shipmentOut; this.stockOut = stockOut; } フロー部品の In と Out の結線を外につなぐことにより、外部での永続化をサポートする。この記述をフロー部品に組み込むことで、処理の外部接続と業務 TX のバウンダリー管理を行う

[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],データモデルについてもぬかりはありません・・・

こんな感じで sql ファイルをつくればおｋ ,[object Object],CREATE TABLE ITEM_INFO ( -- Application columns CODE BIGINT NOT NULL , NAME VARCHAR (255) NOT NULL , PRICE INT NOT NULL ) type =InnoDB; CREATE TABLE ORDER_DETAIL ( -- System columns for BulkLoader SID BIGINT PRIMARY KEY AUTO_INCREMENT, VERSION_NO BIGINT NULL , RGST_DATETIME DATETIME NULL , UPDT_DATETIME DATETIME NULL , -- Application columns ORDER_ID BIGINT NOT NULL , ITEM_CODE BIGINT NOT NULL , STATUS VARCHAR (255) NULL ) type =InnoDB; CREATE VIEW JOIN_ORDER AS SELECT ORDER_ID, ITEM_CODE, PRICE FROM ORDER_DETAIL, ITEM_INFO WHERE ORDER_DETAIL.ITEM_CODE = ITEM_INFO.CODE; CREATE VIEW SUM_ORDER AS SELECT ORDER_ID, SUM (PRICE) AS AMOUNT FROM JOIN_ORDER GROUP BY ORDER_ID; 普通に TBL をつくるこっちは IO も一緒に書いてあるケース VIEW とかもできる View まで書くと演算子まで勝手につくる。

テスト ,[object Object],[object Object],[object Object]

テストモジュールは各 DSL 単位で自動生成される ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],BatchDSL FlowDSL OperatorDSL でそれぞれテストツールが提供されるすべて JUnit から実行可能

外部との一体連携 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],開発的には Hadoop は全く意識しない

運用 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

運用ツール ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

OSS 化について ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],β 版利用したい人は募集中ですので連絡ください。

[object Object],[object Object],[object Object],[object Object],[object Object],そんなあなたにポイントだけ

Hadoop つかって、よかですか？ ,[object Object],[object Object],[object Object],[object Object]

ようするに ,[object Object],[object Object]

Asakusa で何がうれしいのか？ ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

Asakusa のターゲット ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

技術屋の人であれば ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

Ashigel コンパイラの勉強会 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

Asakusa Scala DSL ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

Asakusa Enterprise Batch Processing Framework for Hadoop

Asakusa Enterprise Batch Processing Framework for Hadoop

Recommended

More Related Content

What's hot

What's hot(20)

Viewers also liked

Viewers also liked(20)

Similar to Asakusa Enterprise Batch Processing Framework for Hadoop

Similar to Asakusa Enterprise Batch Processing Framework for Hadoop(20)

Recently uploaded

Recently uploaded(11)

Asakusa Enterprise Batch Processing Framework for Hadoop