2012/04/29鹿駆動勉強会の青江発表分の資料です

2. 自己紹介
 青江 崇
 （株）ノーチラス・テクノロジーズ所属
 Twitter ID: aoetk / Hatena ID: aoe-tk
 奈良育ち！
 今は東京で仕事してますが
 最近はHadoopなどの分散ミドルウェアを用いた
業務バッチ開発について、その開発標準を考えた
り運用周りの基盤開発をやったりとかしてます

3. 自己紹介（続き）
 それまでは割と典型的なSI開発やってて主に
JavaEE系の色んなシステム作ってました
 B2CやB2BのWebサービスとか、社内基幹システムと
か色々
 近年はFlexやJavaScriptを使ったRIA開発とかも
 なので個人的にはGUI開発にすごく興味有り
 今JavaFX追っかけてます！

4. 今日のお話
 うちの会社のメンバーが中心になって開発、展開
している、Asakusa FrameworkというOSSフレーム
ワークの紹介をします
 Hadoopを業務バッチ開発に、なフレームワークで
す

5. Hadoopとは？
きっとここに集った皆様には
大仏様に説法でしょうが…

6. 一応簡単に説明
 OSSの分散処理ミドルウェアです
http://hadoop.apache.org/
 中核はHDFS（分散ファイルシステム）と
MapReduce（分散処理フレームワーク）

7. おっきな 巨大なファイルをそ
データ れなりの大きさに分
データのあるとこ
処理 割して分散配置
（HDFS） ろに処理を飛ばす
（MapReduce）
処理 処理 処理
サーバーたち
• 処理を分散したデータの所に飛ばすのがポイント（I/Oを分散させる）
• 「処理」はmap関数とreduce関数の組み合わせに限定
→お陰で簡単に分散できる

8. でもHadoopが使われてい
る所って…
 Webサービスとかのログ解析とか
 機械学習とか
 ソーシャルグラフ分析とか
 マーケットバスケット分析とか
要はSIerな現場には縁の無い話とちゃうの？

9. 案外そうでもないかも
 こんなことありませんか？
 夜間バッチの突き抜けにgkbrしてませんか？
 RDBとかだとどうしてもディスクI/Oがボトルネック
になって速くならなくて困ったりとか
 で、パーティション切って何台かのマシンで並列実行
したりとか
 さっきも言ったようにHadoopの強みはI/Oの分散
 これが活かせるなら使えます
 後は処理が分散可能かですが…
 人間が業務をやったときに人海戦術でできるかを考え
ましょう（人海戦術でできる＝分散可能）

10. でも…
 Hadoopってmap関数とreduce関数しか書けへんよ
ね？それでロジック組むのしんどくない？
 品質とっても大事やけどテストとかどうすんの？
そこで…

11. Asakusa Frameworkとは
その設計をそのまま落とし込める
バッチ処理をデータフローの視点に
JavaのDSLで書いてフレームワー
沿って設計して…
クのコンパイラにかけると...
Hadoop MapReduceのジョブ群が吐き出される！
データ
演算子

12. そしてこれはOSS！
https://github.com/asakusafw/

13. ドキュメント充実してま
す！（しかも日本語）
http://asakusafw.s3.amazonaws.com/documents/0.2/
release/ja/html/index.html

14. テストフレームワークも
あります！
テストケース、テストデー
タ、検証内容をExcelで書け
ます！
Excel大好きな貴方の上司もこれで安心

15. 結構実践的なサンプルも
POSデータをカテゴリ別に
集計するサンプル
設計ガイドとサンプルアプ
リケーションがあります
http://www.asakusafw.com/techinfo/methodology.ht
ml

16. 一発インストーラ的なも
のもあります
Jinrikishaという名前です！
http://www.asakusafw.com/techinfo/download.html

17. というわけで
是非お試しあれ
公式ホームページ
http://www.asakusafw.com/
GitHub
https://github.com/asakusafw
ドキュメント
http://asakusafw.s3.amazonaws.com/documents/0.2/rel
ease/ja/html/index.html

18. ご清聴
ありがとうございました