SlideShare a Scribd company logo
1 of 123
Download to read offline
A s a k u s a F r a m e w o r k
は じ め の 一 歩 ( v e r 0 . 6 . 2 )
前 提
• Jinrikishaダウンロードページを参考に、Jinrikisha、
Shahu、DmdlEditorX、ToadEditorをインストールして
ください

http://asakusafw.s3.amazonaws.com/documents/
jinrikisha/ja/html/index.html
• Mac OS X 10.9.4、Java 1.6.0_65
• Asakusa Framework 0.6.2
2
本 件 で 作 成 す る ジョブ
3
4
H D F S
A s a k u s a A p p l i c a t i o n
4
H D F S
A s a k u s a A p p l i c a t i o n
M o d e l
4
H D F S
A s a k u s a A p p l i c a t i o n
Importer
M o d e l
4
H D F S
A s a k u s a A p p l i c a t i o n
Importer
Exporter
M o d e l
4
H D F S
A s a k u s a A p p l i c a t i o n
J o b F l o w
Importer
Exporter
M o d e l
4
H D F S
A s a k u s a A p p l i c a t i o n
J o b F l o w
O p e r a t o rImporter
Exporter
M o d e l
4
H D F S
A s a k u s a A p p l i c a t i o n
J o b F l o w
O p e r a t o r
演 算 子
Importer
Exporter
M o d e l
4
H D F S
A s a k u s a A p p l i c a t i o n
J o b F l o w
O p e r a t o r
演 算 子
Importer
Exporter
M o d e l
4
H D F S
A s a k u s a A p p l i c a t i o n
B a t c h
J o b F l o w
O p e r a t o r
演 算 子
Importer
Exporter
M o d e l
ま ず は プ ロ ジェ ク
ト 作 成 で す。
5
6
7
h t t p : / /
w w w . a s a k u s a f w . c o m /
d o w n l o a d / g r a d l e - p l u g i n /
t e m p l a t e - c a t a l o g -
d e v e l o p . t x t
上 記 U R L 入 力 後 「 選 択 」 ボ タ
ン を 押 下
8
9
空 の プ ロ ジェ ク ト が
作 成 さ れ ま し た
10
11
H D F S
A s a k u s a A p p l i c a t i o n
B a t c h
J o b F l o w
O p e r a t o r
演 算 子
Importer
Exporter
M o d e l
次 に デ ー タ モ デル を 定 義 し ま す。
こ の ヒ シ ダ マ 印 の アイ コ ン を
ク リ ッ ク してく だ さ い 。
12
最 初 に 商 品 マ ス タ の モ デル を 定 義 し ま す
13
プ ロ パ テ ィ を 追 加 して い くの で、
A D D ボ タ ン を 押 下 してく だ さ い
14
ま ず は 商 品 I D
15
続 いて 同 じ よ う に 商 品 名
16
プ ロ パ テ ィ 追 加 後 、 p re v i e w ボ タ ン
を 押 下 す る と 生 成 さ れ る モ デル 定 義
を 事 前 に 確 認 す る こ と が で き ま す
17
F i n i s h ボ タ ン で 

D M D L 定 義 が 生 成 さ れ ま す
18
続 いて 売 上 明 細 の
モ デル 定 義 を 作 り ま す
19
こ の よ う に 3 つ の プ ロ パ テ ィ を
登 録 し ま す
20
D M D L フ ァ イル に 追 記 さ れ ま し た
21
J O I N 結 果 用 の
モ デル 定 義 を 作 り ま す。
22
C O P Y ボ タ ン 押 下 で J O I N 元 の プ ロ パ テ ィ
を そ の ま ま 取 り 込 む こ と が で き ま す
23
N e x t で こ の ダイ ア ロ グ に 進 む と 、
結 合 キ ー を 選 択 し ま す。
ま ず は i t e m _ m a s t e r か ら
i t e m _ i d を 選 択 してく だ さ い 。
24
i t e m _ i d が 選 択 さ れ ま し た
i t e m _ i d を 選 択 して、
e d i t ボ タ ン を 押 下 してく だ さ い
25
売 上 明 細 側 の i t e m _ i d を
選 択 してく だ さ い
26
結 合 キ ー の 設 定 が 完 了 で す
27
D M D L フ ァ イル に
結 合 モ デル 定 義 が 追 加 さ れ ま し た
28
モ デル 定 義 の 最 後 に 、 出 力 用 の 売 上
明 細 モ デル を 作 り ま す
29
結 合 用 モ デル の プ ロ パ テ ィ を
そ の ま ま c o p y し ま す
30
そ こ に 、 f l g プ ロ パ テ ィ を 追 加 し ま す
31
D M D L フ ァ イル に 出 力 用 モ デル の 

定 義 が 追 加 さ れ ま し た
32
続 いて、 各 モ デル 定 義 に 属 性 を 追 加 して い き ま す。 

こ の アイ コ ン を ク リ ッ ク してく だ さ い 。
33
全 て の デ ー タ モ デル を 選 択 してく だ さ い 

( 実 際 に は j o i n e d _ s a l e s は 選 択 不 要 で す が )
34
デ フ ォル ト の 選 択 の ま ま 進 み ま す
35
付 与 す る アノ テ ー シ ョ ン を 選 択 し ま す
36
こ の ボ タ ン を 押 下 す る と 、 各
属 性 の デ フ ォル ト 値 を 設 定 で
きます。このボタンを押下し、
出 力 さ れ る 属 性 を そ の ま ま 利
用 し ま す。
37
各 モ デル に 属 性 情 報 が
追 加 さ れ ま し た
38
D M D L 定 義 か ら 、
実 際 の モ デル 用 J AVA ソ ース を 生 成 し ま す
39
ソ ース 生 成 さ れ ま し た 。
40
41
H D F S
A s a k u s a A p p l i c a t i o n
B a t c h
J o b F l o w
O p e r a t o r
演 算 子
Importer
Exporter
M o d e l
各 M o d e l の
i m p o r t e r / e x p o r t e r を
作 成 し ま す
42
ま ず は i t e m _ m a s t e r の
I m p o r t e r を 作 成 し ま す。
43
ど う い う i m p o r t e r に す る か
選 択 し ま す
44
デ フ ォル ト 入 力 の ま ま 

進 み ま す
45
ま ず は i t e m _ m a s t e r の
I m p o r t e r が 作 成 さ れ ま し た
46
続 いて 売 上 明 細 用 の
I m p o r t e r を 作 成 し ま す
47
ど う い う i m p o r t e r に す る か
選 択 し ま す
48
デ フ ォル ト 入 力 の ま ま 

進 み ま す
49
s a l e s _ d e t a i l の I m p o r t e r が 

作 成 さ れ ま し た
50
最 後 に 出 力 明 細 用 の
E x p o r t e r を 作 成 し ま す
51
e x p o r t e r の 種 類 を
選 択 し ま す
52
デ フ ォル ト 入 力 の ま ま 

進 み ま す
53
o u t p u t _ s a l e s の E x p o r t e r が 

作 成 さ れ ま し た
54
55
H D F S
A s a k u s a A p p l i c a t i o n
B a t c h
J o b F l o w
O p e r a t o r
演 算 子
Importer
Exporter
M o d e l
続 いて J O B F L O W を
作 って 行 き ま す
56
57
58
イ ン ポ ー タ ー を 選 択 して …
こ の あ た り を ク リ ッ ク してく だ さ い
59
こ の アイ コ ン を ダ ブル ク リ ッ ク してく だ さ い
60
既 存 ク ラス か ら
選 択 で き ま す
既 存 デ ー タ モ デル か ら
選 択 で き ま す
61
同 じ よ う に イ ン ポ ー タ ーアイ コ ン を
配 置 して、 s a l e s _ d e t a i l を 登 録 し ま す
62
I m p o r t e r の 配 置 が 完 了 し ま し た
こ の アイ コ ン を
ダ ブル ク リ ッ ク してく だ さ い
63
i n の 行 を 選 択 して …
e d i t を 押 下 してく だ さ い
64
i t e m _ m a s t e r か ら の イ ン プ ッ ト で あ る
こ と を 定 義 し ま す
65
a d d を 押 下 し ま す
66
s a l e s _ d e t a i l か ら の イ ン プ ッ ト で あ る
こ と を 定 義 し ま す
67
68
o u t の 行 を 選 択 して …
e d i t を 押 下 してく だ さ い
69
o u t p u t _ s a l e s へ の ア ウ トプ ッ ト で あ る
こ と を 定 義 し ま す
70
i n / o u t の 登 録 が 完 了 し ま し た
71
i n / o u t の 登 録 結 果 が
3 つ の アイ コ ン に 反 映 さ れ ま し た
72
エク ス ポ ー タ ー を 選 択 して …
こ の あ た り を ク リ ッ ク してく だ さ い
73
エク ス ポ ー タ ーアイ コ ン を
ダ ブル ク リ ッ ク して、
o u t p u t _ s a l e s を 登 録 し ま す
74
i n / o u t の 配 置 が 一 通 り 完 了 し ま し た
75
C o n n e c t i o n を 選 択 して …
各 アイ コ ン を 結 び つ け ま す
76
77
H D F S
A s a k u s a A p p l i c a t i o n
B a t c h
J o b F l o w
O p e r a t o r
演 算 子
Importer
Exporter
M o d e l
マ ス タ 結 合 演 算 子 を 選 択 して …
M a s t e r J o i n の アイ コ ン を 配 置 し ま す
78
C o n n e c t i o n を 選 択 して …
i n と M a s t e r J o i n を 結 び つ け ま す
79
停 止 演 算 子 と C o n n e c t i o n で …
M a s t e r J o i n で マ ッ チ し な か っ た 明 細
を 無 視 す る と い う 登 録 を し ま す
80
M a s t e r J o i n アイ コ ン を
ダ ブル ク リ ッ ク し ま す
81
M a s t e r J o i n 処 理 を 割 り 当 て る O p e r a t o r
ク ラス と メ ソ ッ ド を 登 録 し ま す
82
拡 張 演 算 子 を 選 択 して …
こ の 辺 り に 配 置 し ま す
83
C o n n e c t i o n を 選 択 して …
j o i n 結 果 を e x t e n d に 渡 す
登 録 を し ま す
84
85
更 新 演 算 子 を 選 択 して …
こ の 辺 り に 配 置 し ま す
配 置 後 、 ダ ブル ク リ ッ ク してく だ さ い
86
U p d a t e 処 理 を 割 り 当 て る O p e r a t o r ク ラ
ス と メ ソ ッ ド を 登 録 し ま す
87
C o n n e c t i o n を 選 択 して …
e x t e n d 結 果 を U p d a t e に 渡 すと こ ろ と 、
U p d a t e 結 果 を 出 力 に つ な げ る 登 録 を し ま す
88
M a s t e r J o i n の 出 口 を
ダ ブル ク リ ッ ク してく だ さ い
89
出 力 の 型 を 定 義 し ま す
90
H D F S
A s a k u s a A p p l i c a t i o n
B a t c h
J o b F l o w
O p e r a t o r
演 算 子
Importer
Exporter
M o d e l
91
M a s t e r J o i n アイ コ ン を
右 ク リ ッ ク して
G e n e r a t e D S L を 実 行 し ま す
92
O p e r a t o r ク ラス が
生 成 さ れ ま し た
93
U p d a t e アイ コ ン を
右 ク リ ッ ク して
G e n e r a t e D S L を 実 行 し ま す
94
O p e r a t o r ク ラス に
メ ソ ッ ド が 追 加 さ れ ま し た
95
処 理 を 実 装 し ま す
96
J o b F l o w アイ コ ン を
右 ク リ ッ ク して
G e n e r a t e D S L を 実 行 し ま す
97
J o b F l o w ク ラス が
生 成 さ れ ま し た
98
H D F S
A s a k u s a A p p l i c a t i o n
B a t c h
J o b F l o w
O p e r a t o r
演 算 子
Importer
Exporter
M o d e l
99
B a t c h の 作 成 に 入 り ま す
100
101
102
ジ ョ ブ フ ロ ー を 選 択 して …
こ の 辺 り に 配 置 し ま す
103
ダ ブル ク リ ッ ク し ま す
104
先 ほ ど 生 成 し た J o b F l o w を 登 録 し ま す
105
106
B a t c h の ソ ース 生 成 し ま す
107
ソ ース 生 成 さ れ ま し た
108
J o b F l o w の テス ト に 入 り ま す
109
M o d e l 定 義 を 基 に
エク セ ル が 生 成 さ れ ま す
110
各 フ ァ イル の i n p u t シ ー ト 、
o u t p u t シ ー ト に テス ト デ ー タ を 登 録 し ま す
111
o u t p u t シ ー ト を 登 録 し た フ ァ イル は
r u l e シ ー ト も 登 録 し ま す
112
s rc / t e s t / re s o u rc e s
配 下 に 移 し ま す
113
テス ト ク ラス を 実 装 し ま す
114
U n i t テス ト と して 実 装 し ま す
• cp asakusa-develop/workspace/DemoSample/build/
DemoSample-batchapps.jar $ASAKUSA_HOME/
batchapps/

生成されたビルドファイルをコピー
• cd $ASAKUSA_HOME/batchapps/
• ll ~/target/testing/directio/sample/in/

入力ファイルを確認
• $ASAKUSA_HOME/yaess/bin/yaess-batch.sh DemoBatch

バッチを実行
115

More Related Content

More from 鉄平 土佐

GraphX Advent Calendar Day 13
GraphX Advent Calendar Day 13GraphX Advent Calendar Day 13
GraphX Advent Calendar Day 13鉄平 土佐
 
GraphX Advent Calendar Day12 : Pregel概要
GraphX Advent Calendar Day12 : Pregel概要GraphX Advent Calendar Day12 : Pregel概要
GraphX Advent Calendar Day12 : Pregel概要鉄平 土佐
 
Asakusa fwはじめの一歩 0.7.0
Asakusa fwはじめの一歩 0.7.0Asakusa fwはじめの一歩 0.7.0
Asakusa fwはじめの一歩 0.7.0鉄平 土佐
 
Spark GraphXについて @Spark Meetup 2014/9/8
Spark GraphXについて @Spark Meetup 2014/9/8Spark GraphXについて @Spark Meetup 2014/9/8
Spark GraphXについて @Spark Meetup 2014/9/8鉄平 土佐
 
「Asakusa0.7の新機能で、テストデータをどうドキュメントするのか的な実用的なアレ」 by @okachimachiorz1
「Asakusa0.7の新機能で、テストデータをどうドキュメントするのか的な実用的なアレ」 by @okachimachiorz1「Asakusa0.7の新機能で、テストデータをどうドキュメントするのか的な実用的なアレ」 by @okachimachiorz1
「Asakusa0.7の新機能で、テストデータをどうドキュメントするのか的な実用的なアレ」 by @okachimachiorz1鉄平 土佐
 
GraphXはScalaエンジニアにとってのブルーオーシャン @ Scala Matsuri 2014
GraphXはScalaエンジニアにとってのブルーオーシャン @ Scala Matsuri 2014GraphXはScalaエンジニアにとってのブルーオーシャン @ Scala Matsuri 2014
GraphXはScalaエンジニアにとってのブルーオーシャン @ Scala Matsuri 2014鉄平 土佐
 
GraphX is the blue ocean for scala engineers @ Scala Matsuri 2014
GraphX is the blue ocean for scala engineers @ Scala Matsuri 2014GraphX is the blue ocean for scala engineers @ Scala Matsuri 2014
GraphX is the blue ocean for scala engineers @ Scala Matsuri 2014鉄平 土佐
 
Asakusa fw演算子チートシートについて
Asakusa fw演算子チートシートについてAsakusa fw演算子チートシートについて
Asakusa fw演算子チートシートについて鉄平 土佐
 
Asakusa fw勉強会2014真夏
Asakusa fw勉強会2014真夏Asakusa fw勉強会2014真夏
Asakusa fw勉強会2014真夏鉄平 土佐
 
Asakusa fwはじめの一歩・改
Asakusa fwはじめの一歩・改Asakusa fwはじめの一歩・改
Asakusa fwはじめの一歩・改鉄平 土佐
 
Asakusa fw勉強会2014冬
Asakusa fw勉強会2014冬Asakusa fw勉強会2014冬
Asakusa fw勉強会2014冬鉄平 土佐
 
Scala稟議の通し方(公開版)
Scala稟議の通し方(公開版)Scala稟議の通し方(公開版)
Scala稟議の通し方(公開版)鉄平 土佐
 

More from 鉄平 土佐 (15)

GraphX Advent Calendar Day 13
GraphX Advent Calendar Day 13GraphX Advent Calendar Day 13
GraphX Advent Calendar Day 13
 
GraphX Advent Calendar Day12 : Pregel概要
GraphX Advent Calendar Day12 : Pregel概要GraphX Advent Calendar Day12 : Pregel概要
GraphX Advent Calendar Day12 : Pregel概要
 
Asakusa fwはじめの一歩 0.7.0
Asakusa fwはじめの一歩 0.7.0Asakusa fwはじめの一歩 0.7.0
Asakusa fwはじめの一歩 0.7.0
 
Spark GraphXについて @Spark Meetup 2014/9/8
Spark GraphXについて @Spark Meetup 2014/9/8Spark GraphXについて @Spark Meetup 2014/9/8
Spark GraphXについて @Spark Meetup 2014/9/8
 
「Asakusa0.7の新機能で、テストデータをどうドキュメントするのか的な実用的なアレ」 by @okachimachiorz1
「Asakusa0.7の新機能で、テストデータをどうドキュメントするのか的な実用的なアレ」 by @okachimachiorz1「Asakusa0.7の新機能で、テストデータをどうドキュメントするのか的な実用的なアレ」 by @okachimachiorz1
「Asakusa0.7の新機能で、テストデータをどうドキュメントするのか的な実用的なアレ」 by @okachimachiorz1
 
GraphXはScalaエンジニアにとってのブルーオーシャン @ Scala Matsuri 2014
GraphXはScalaエンジニアにとってのブルーオーシャン @ Scala Matsuri 2014GraphXはScalaエンジニアにとってのブルーオーシャン @ Scala Matsuri 2014
GraphXはScalaエンジニアにとってのブルーオーシャン @ Scala Matsuri 2014
 
GraphX is the blue ocean for scala engineers @ Scala Matsuri 2014
GraphX is the blue ocean for scala engineers @ Scala Matsuri 2014GraphX is the blue ocean for scala engineers @ Scala Matsuri 2014
GraphX is the blue ocean for scala engineers @ Scala Matsuri 2014
 
Asakusa fw演算子チートシートについて
Asakusa fw演算子チートシートについてAsakusa fw演算子チートシートについて
Asakusa fw演算子チートシートについて
 
Asakusa fw勉強会2014真夏
Asakusa fw勉強会2014真夏Asakusa fw勉強会2014真夏
Asakusa fw勉強会2014真夏
 
Asakusa fwはじめの一歩・改
Asakusa fwはじめの一歩・改Asakusa fwはじめの一歩・改
Asakusa fwはじめの一歩・改
 
Asakusa fw勉強会2014冬
Asakusa fw勉強会2014冬Asakusa fw勉強会2014冬
Asakusa fw勉強会2014冬
 
Scala稟議の通し方(公開版)
Scala稟議の通し方(公開版)Scala稟議の通し方(公開版)
Scala稟議の通し方(公開版)
 
Scala active record
Scala active recordScala active record
Scala active record
 
はてブちう
はてブちうはてブちう
はてブちう
 
Moviecall
MoviecallMoviecall
Moviecall
 

Recently uploaded

論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Gamesatsushi061452
 
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。iPride Co., Ltd.
 
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptxsn679259
 
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー  DS20L  カタログ  LiDARデバイスLoRaWANスマート距離検出センサー  DS20L  カタログ  LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイスCRI Japan, Inc.
 
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...Toru Tamaki
 
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native IntegrationsUtilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native IntegrationsWSO2
 
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアルLoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアルCRI Japan, Inc.
 
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半        2024/04/26の勉強会で発表されたものです。新人研修 後半        2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。iPride Co., Ltd.
 
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video UnderstandingToru Tamaki
 
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。iPride Co., Ltd.
 

Recently uploaded (10)

論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
 
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
 
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
 
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー  DS20L  カタログ  LiDARデバイスLoRaWANスマート距離検出センサー  DS20L  カタログ  LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
 
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
 
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native IntegrationsUtilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
 
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアルLoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
 
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半        2024/04/26の勉強会で発表されたものです。新人研修 後半        2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
 
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
 
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
 

Asakusa Framework はじめの一歩 ( ver 0.6.2 )

  • 1. A s a k u s a F r a m e w o r k は じ め の 一 歩 ( v e r 0 . 6 . 2 )
  • 3. 本 件 で 作 成 す る ジョブ 3
  • 4. 4 H D F S A s a k u s a A p p l i c a t i o n
  • 5. 4 H D F S A s a k u s a A p p l i c a t i o n M o d e l
  • 6. 4 H D F S A s a k u s a A p p l i c a t i o n Importer M o d e l
  • 7. 4 H D F S A s a k u s a A p p l i c a t i o n Importer Exporter M o d e l
  • 8. 4 H D F S A s a k u s a A p p l i c a t i o n J o b F l o w Importer Exporter M o d e l
  • 9. 4 H D F S A s a k u s a A p p l i c a t i o n J o b F l o w O p e r a t o rImporter Exporter M o d e l
  • 10. 4 H D F S A s a k u s a A p p l i c a t i o n J o b F l o w O p e r a t o r 演 算 子 Importer Exporter M o d e l
  • 11. 4 H D F S A s a k u s a A p p l i c a t i o n J o b F l o w O p e r a t o r 演 算 子 Importer Exporter M o d e l
  • 12. 4 H D F S A s a k u s a A p p l i c a t i o n B a t c h J o b F l o w O p e r a t o r 演 算 子 Importer Exporter M o d e l
  • 13. ま ず は プ ロ ジェ ク ト 作 成 で す。 5
  • 14. 6
  • 15. 7
  • 16. h t t p : / / w w w . a s a k u s a f w . c o m / d o w n l o a d / g r a d l e - p l u g i n / t e m p l a t e - c a t a l o g - d e v e l o p . t x t 上 記 U R L 入 力 後 「 選 択 」 ボ タ ン を 押 下 8
  • 17. 9
  • 18. 空 の プ ロ ジェ ク ト が 作 成 さ れ ま し た 10
  • 19. 11 H D F S A s a k u s a A p p l i c a t i o n B a t c h J o b F l o w O p e r a t o r 演 算 子 Importer Exporter M o d e l
  • 20. 次 に デ ー タ モ デル を 定 義 し ま す。 こ の ヒ シ ダ マ 印 の アイ コ ン を ク リ ッ ク してく だ さ い 。 12
  • 21. 最 初 に 商 品 マ ス タ の モ デル を 定 義 し ま す 13
  • 22. プ ロ パ テ ィ を 追 加 して い くの で、 A D D ボ タ ン を 押 下 してく だ さ い 14
  • 23. ま ず は 商 品 I D 15
  • 24. 続 いて 同 じ よ う に 商 品 名 16
  • 25. プ ロ パ テ ィ 追 加 後 、 p re v i e w ボ タ ン を 押 下 す る と 生 成 さ れ る モ デル 定 義 を 事 前 に 確 認 す る こ と が で き ま す 17
  • 26. F i n i s h ボ タ ン で 
 D M D L 定 義 が 生 成 さ れ ま す 18
  • 27. 続 いて 売 上 明 細 の モ デル 定 義 を 作 り ま す 19
  • 28. こ の よ う に 3 つ の プ ロ パ テ ィ を 登 録 し ま す 20
  • 29. D M D L フ ァ イル に 追 記 さ れ ま し た 21
  • 30. J O I N 結 果 用 の モ デル 定 義 を 作 り ま す。 22
  • 31. C O P Y ボ タ ン 押 下 で J O I N 元 の プ ロ パ テ ィ を そ の ま ま 取 り 込 む こ と が で き ま す 23
  • 32. N e x t で こ の ダイ ア ロ グ に 進 む と 、 結 合 キ ー を 選 択 し ま す。 ま ず は i t e m _ m a s t e r か ら i t e m _ i d を 選 択 してく だ さ い 。 24
  • 33. i t e m _ i d が 選 択 さ れ ま し た i t e m _ i d を 選 択 して、 e d i t ボ タ ン を 押 下 してく だ さ い 25
  • 34. 売 上 明 細 側 の i t e m _ i d を 選 択 してく だ さ い 26
  • 35. 結 合 キ ー の 設 定 が 完 了 で す 27
  • 36. D M D L フ ァ イル に 結 合 モ デル 定 義 が 追 加 さ れ ま し た 28
  • 37. モ デル 定 義 の 最 後 に 、 出 力 用 の 売 上 明 細 モ デル を 作 り ま す 29
  • 38. 結 合 用 モ デル の プ ロ パ テ ィ を そ の ま ま c o p y し ま す 30
  • 39. そ こ に 、 f l g プ ロ パ テ ィ を 追 加 し ま す 31
  • 40. D M D L フ ァ イル に 出 力 用 モ デル の 
 定 義 が 追 加 さ れ ま し た 32
  • 41. 続 いて、 各 モ デル 定 義 に 属 性 を 追 加 して い き ま す。 
 こ の アイ コ ン を ク リ ッ ク してく だ さ い 。 33
  • 42. 全 て の デ ー タ モ デル を 選 択 してく だ さ い 
 ( 実 際 に は j o i n e d _ s a l e s は 選 択 不 要 で す が ) 34
  • 43. デ フ ォル ト の 選 択 の ま ま 進 み ま す 35
  • 44. 付 与 す る アノ テ ー シ ョ ン を 選 択 し ま す 36
  • 45. こ の ボ タ ン を 押 下 す る と 、 各 属 性 の デ フ ォル ト 値 を 設 定 で きます。このボタンを押下し、 出 力 さ れ る 属 性 を そ の ま ま 利 用 し ま す。 37
  • 46. 各 モ デル に 属 性 情 報 が 追 加 さ れ ま し た 38
  • 47. D M D L 定 義 か ら 、 実 際 の モ デル 用 J AVA ソ ース を 生 成 し ま す 39
  • 48. ソ ース 生 成 さ れ ま し た 。 40
  • 49. 41 H D F S A s a k u s a A p p l i c a t i o n B a t c h J o b F l o w O p e r a t o r 演 算 子 Importer Exporter M o d e l
  • 50. 各 M o d e l の i m p o r t e r / e x p o r t e r を 作 成 し ま す 42
  • 51. ま ず は i t e m _ m a s t e r の I m p o r t e r を 作 成 し ま す。 43
  • 52. ど う い う i m p o r t e r に す る か 選 択 し ま す 44
  • 53. デ フ ォル ト 入 力 の ま ま 
 進 み ま す 45
  • 54. ま ず は i t e m _ m a s t e r の I m p o r t e r が 作 成 さ れ ま し た 46
  • 55. 続 いて 売 上 明 細 用 の I m p o r t e r を 作 成 し ま す 47
  • 56. ど う い う i m p o r t e r に す る か 選 択 し ま す 48
  • 57. デ フ ォル ト 入 力 の ま ま 
 進 み ま す 49
  • 58. s a l e s _ d e t a i l の I m p o r t e r が 
 作 成 さ れ ま し た 50
  • 59. 最 後 に 出 力 明 細 用 の E x p o r t e r を 作 成 し ま す 51
  • 60. e x p o r t e r の 種 類 を 選 択 し ま す 52
  • 61. デ フ ォル ト 入 力 の ま ま 
 進 み ま す 53
  • 62. o u t p u t _ s a l e s の E x p o r t e r が 
 作 成 さ れ ま し た 54
  • 63. 55 H D F S A s a k u s a A p p l i c a t i o n B a t c h J o b F l o w O p e r a t o r 演 算 子 Importer Exporter M o d e l
  • 64. 続 いて J O B F L O W を 作 って 行 き ま す 56
  • 65. 57
  • 66. 58
  • 67. イ ン ポ ー タ ー を 選 択 して … こ の あ た り を ク リ ッ ク してく だ さ い 59
  • 68. こ の アイ コ ン を ダ ブル ク リ ッ ク してく だ さ い 60
  • 69. 既 存 ク ラス か ら 選 択 で き ま す 既 存 デ ー タ モ デル か ら 選 択 で き ま す 61
  • 70. 同 じ よ う に イ ン ポ ー タ ーアイ コ ン を 配 置 して、 s a l e s _ d e t a i l を 登 録 し ま す 62
  • 71. I m p o r t e r の 配 置 が 完 了 し ま し た こ の アイ コ ン を ダ ブル ク リ ッ ク してく だ さ い 63
  • 72. i n の 行 を 選 択 して … e d i t を 押 下 してく だ さ い 64
  • 73. i t e m _ m a s t e r か ら の イ ン プ ッ ト で あ る こ と を 定 義 し ま す 65
  • 74. a d d を 押 下 し ま す 66
  • 75. s a l e s _ d e t a i l か ら の イ ン プ ッ ト で あ る こ と を 定 義 し ま す 67
  • 76. 68
  • 77. o u t の 行 を 選 択 して … e d i t を 押 下 してく だ さ い 69
  • 78. o u t p u t _ s a l e s へ の ア ウ トプ ッ ト で あ る こ と を 定 義 し ま す 70
  • 79. i n / o u t の 登 録 が 完 了 し ま し た 71
  • 80. i n / o u t の 登 録 結 果 が 3 つ の アイ コ ン に 反 映 さ れ ま し た 72
  • 81. エク ス ポ ー タ ー を 選 択 して … こ の あ た り を ク リ ッ ク してく だ さ い 73
  • 82. エク ス ポ ー タ ーアイ コ ン を ダ ブル ク リ ッ ク して、 o u t p u t _ s a l e s を 登 録 し ま す 74
  • 83. i n / o u t の 配 置 が 一 通 り 完 了 し ま し た 75
  • 84. C o n n e c t i o n を 選 択 して … 各 アイ コ ン を 結 び つ け ま す 76
  • 85. 77 H D F S A s a k u s a A p p l i c a t i o n B a t c h J o b F l o w O p e r a t o r 演 算 子 Importer Exporter M o d e l
  • 86. マ ス タ 結 合 演 算 子 を 選 択 して … M a s t e r J o i n の アイ コ ン を 配 置 し ま す 78
  • 87. C o n n e c t i o n を 選 択 して … i n と M a s t e r J o i n を 結 び つ け ま す 79
  • 88. 停 止 演 算 子 と C o n n e c t i o n で … M a s t e r J o i n で マ ッ チ し な か っ た 明 細 を 無 視 す る と い う 登 録 を し ま す 80
  • 89. M a s t e r J o i n アイ コ ン を ダ ブル ク リ ッ ク し ま す 81
  • 90. M a s t e r J o i n 処 理 を 割 り 当 て る O p e r a t o r ク ラス と メ ソ ッ ド を 登 録 し ま す 82
  • 91. 拡 張 演 算 子 を 選 択 して … こ の 辺 り に 配 置 し ま す 83
  • 92. C o n n e c t i o n を 選 択 して … j o i n 結 果 を e x t e n d に 渡 す 登 録 を し ま す 84
  • 93. 85 更 新 演 算 子 を 選 択 して … こ の 辺 り に 配 置 し ま す 配 置 後 、 ダ ブル ク リ ッ ク してく だ さ い
  • 94. 86 U p d a t e 処 理 を 割 り 当 て る O p e r a t o r ク ラ ス と メ ソ ッ ド を 登 録 し ま す
  • 95. 87 C o n n e c t i o n を 選 択 して … e x t e n d 結 果 を U p d a t e に 渡 すと こ ろ と 、 U p d a t e 結 果 を 出 力 に つ な げ る 登 録 を し ま す
  • 96. 88 M a s t e r J o i n の 出 口 を ダ ブル ク リ ッ ク してく だ さ い
  • 97. 89 出 力 の 型 を 定 義 し ま す
  • 98. 90 H D F S A s a k u s a A p p l i c a t i o n B a t c h J o b F l o w O p e r a t o r 演 算 子 Importer Exporter M o d e l
  • 99. 91 M a s t e r J o i n アイ コ ン を 右 ク リ ッ ク して G e n e r a t e D S L を 実 行 し ま す
  • 100. 92 O p e r a t o r ク ラス が 生 成 さ れ ま し た
  • 101. 93 U p d a t e アイ コ ン を 右 ク リ ッ ク して G e n e r a t e D S L を 実 行 し ま す
  • 102. 94 O p e r a t o r ク ラス に メ ソ ッ ド が 追 加 さ れ ま し た
  • 103. 95 処 理 を 実 装 し ま す
  • 104. 96 J o b F l o w アイ コ ン を 右 ク リ ッ ク して G e n e r a t e D S L を 実 行 し ま す
  • 105. 97 J o b F l o w ク ラス が 生 成 さ れ ま し た
  • 106. 98 H D F S A s a k u s a A p p l i c a t i o n B a t c h J o b F l o w O p e r a t o r 演 算 子 Importer Exporter M o d e l
  • 107. 99 B a t c h の 作 成 に 入 り ま す
  • 108. 100
  • 109. 101
  • 110. 102 ジ ョ ブ フ ロ ー を 選 択 して … こ の 辺 り に 配 置 し ま す
  • 111. 103 ダ ブル ク リ ッ ク し ま す
  • 112. 104 先 ほ ど 生 成 し た J o b F l o w を 登 録 し ま す
  • 113. 105
  • 114. 106 B a t c h の ソ ース 生 成 し ま す
  • 115. 107 ソ ース 生 成 さ れ ま し た
  • 116. 108 J o b F l o w の テス ト に 入 り ま す
  • 117. 109 M o d e l 定 義 を 基 に エク セ ル が 生 成 さ れ ま す
  • 118. 110 各 フ ァ イル の i n p u t シ ー ト 、 o u t p u t シ ー ト に テス ト デ ー タ を 登 録 し ま す
  • 119. 111 o u t p u t シ ー ト を 登 録 し た フ ァ イル は r u l e シ ー ト も 登 録 し ま す
  • 120. 112 s rc / t e s t / re s o u rc e s 配 下 に 移 し ま す
  • 121. 113 テス ト ク ラス を 実 装 し ま す
  • 122. 114 U n i t テス ト と して 実 装 し ま す
  • 123. • cp asakusa-develop/workspace/DemoSample/build/ DemoSample-batchapps.jar $ASAKUSA_HOME/ batchapps/
 生成されたビルドファイルをコピー • cd $ASAKUSA_HOME/batchapps/ • ll ~/target/testing/directio/sample/in/
 入力ファイルを確認 • $ASAKUSA_HOME/yaess/bin/yaess-batch.sh DemoBatch
 バッチを実行 115