自己紹介 青江 崇 (株)ノーチラス・テクノロジーズ所属 Twitter ID: aoetk / Hatena ID: aoe-tk 奈良育ち!   今は東京で仕事してますが 最近はHadoopなどの分散ミドルウェアを用いた  業務...
自己紹介(続き) それまでは割と典型的なSI開発やってて主に  JavaEE系の色んなシステム作ってました  B2CやB2BのWebサービスとか、社内基幹システムと   か色々 近年はFlexやJavaScriptを使ったRIA開発とかも...
今日のお話 うちの会社のメンバーが中心になって開発、展開  している、Asakusa FrameworkというOSSフレーム  ワークの紹介をします  Hadoopを業務バッチ開発に、なフレームワークで   す
Hadoopとは?きっとここに集った皆様には大仏様に説法でしょうが…
一応簡単に説明 OSSの分散処理ミドルウェアですhttp://hadoop.apache.org/ 中核はHDFS(分散ファイルシステム)と  MapReduce(分散処理フレームワーク)
おっきな          巨大なファイルをそ   データ           れなりの大きさに分                             データのあるとこ            処理    割して分散配置           ...
でもHadoopが使われてい    る所って… Webサービスとかのログ解析とか 機械学習とか ソーシャルグラフ分析とか マーケットバスケット分析とか要はSIerな現場には縁の無い話とちゃうの?
案外そうでもないかも こんなことありませんか?  夜間バッチの突き抜けにgkbrしてませんか?  RDBとかだとどうしてもディスクI/Oがボトルネック   になって速くならなくて困ったりとか   で、パーティション切って何台かのマシンで...
でも… Hadoopってmap関数とreduce関数しか書けへんよ  ね?それでロジック組むのしんどくない? 品質とっても大事やけどテストとかどうすんの?そこで…
Asakusa Frameworkとは                   その設計をそのまま落とし込めるバッチ処理をデータフローの視点に                   JavaのDSLで書いてフレームワー沿って設計して…        ...
そしてこれはOSS!https://github.com/asakusafw/
ドキュメント充実してま    す!(しかも日本語)http://asakusafw.s3.amazonaws.com/documents/0.2/             release/ja/html/index.html
テストフレームワークも   あります!               テストケース、テストデー               タ、検証内容をExcelで書け               ます! Excel大好きな貴方の上司もこれで安心
結構実践的なサンプルも                             POSデータをカテゴリ別に                             集計するサンプル                             設計ガ...
一発インストーラ的なも     のもあります                         Jinrikishaという名前です!http://www.asakusafw.com/techinfo/download.html
というわけで           是非お試しあれ公式ホームページ  http://www.asakusafw.com/GitHub   https://github.com/asakusafwドキュメント  http://asakusafw.s...
ご清聴ありがとうございました
鹿駆動勉強会 青江発表資料
Upcoming SlideShare
Loading in …5
×

鹿駆動勉強会 青江発表資料

3,144 views

Published on

2012/04/29鹿駆動勉強会の青江発表分の資料です

Published in: Technology
0 Comments
4 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
3,144
On SlideShare
0
From Embeds
0
Number of Embeds
47
Actions
Shares
0
Downloads
11
Comments
0
Likes
4
Embeds 0
No embeds

No notes for slide

鹿駆動勉強会 青江発表資料

  1. 1. 自己紹介 青江 崇 (株)ノーチラス・テクノロジーズ所属 Twitter ID: aoetk / Hatena ID: aoe-tk 奈良育ち!  今は東京で仕事してますが 最近はHadoopなどの分散ミドルウェアを用いた 業務バッチ開発について、その開発標準を考えた り運用周りの基盤開発をやったりとかしてます
  2. 2. 自己紹介(続き) それまでは割と典型的なSI開発やってて主に JavaEE系の色んなシステム作ってました  B2CやB2BのWebサービスとか、社内基幹システムと か色々 近年はFlexやJavaScriptを使ったRIA開発とかも  なので個人的にはGUI開発にすごく興味有り  今JavaFX追っかけてます!
  3. 3. 今日のお話 うちの会社のメンバーが中心になって開発、展開 している、Asakusa FrameworkというOSSフレーム ワークの紹介をします  Hadoopを業務バッチ開発に、なフレームワークで す
  4. 4. Hadoopとは?きっとここに集った皆様には大仏様に説法でしょうが…
  5. 5. 一応簡単に説明 OSSの分散処理ミドルウェアですhttp://hadoop.apache.org/ 中核はHDFS(分散ファイルシステム)と MapReduce(分散処理フレームワーク)
  6. 6. おっきな 巨大なファイルをそ データ れなりの大きさに分 データのあるとこ 処理 割して分散配置 (HDFS) ろに処理を飛ばす (MapReduce) 処理 処理 処理 サーバーたち• 処理を分散したデータの所に飛ばすのがポイント(I/Oを分散させる)• 「処理」はmap関数とreduce関数の組み合わせに限定→お陰で簡単に分散できる
  7. 7. でもHadoopが使われてい る所って… Webサービスとかのログ解析とか 機械学習とか ソーシャルグラフ分析とか マーケットバスケット分析とか要はSIerな現場には縁の無い話とちゃうの?
  8. 8. 案外そうでもないかも こんなことありませんか?  夜間バッチの突き抜けにgkbrしてませんか?  RDBとかだとどうしてもディスクI/Oがボトルネック になって速くならなくて困ったりとか  で、パーティション切って何台かのマシンで並列実行 したりとか さっきも言ったようにHadoopの強みはI/Oの分散  これが活かせるなら使えます  後は処理が分散可能かですが…  人間が業務をやったときに人海戦術でできるかを考え ましょう(人海戦術でできる=分散可能)
  9. 9. でも… Hadoopってmap関数とreduce関数しか書けへんよ ね?それでロジック組むのしんどくない? 品質とっても大事やけどテストとかどうすんの?そこで…
  10. 10. Asakusa Frameworkとは その設計をそのまま落とし込めるバッチ処理をデータフローの視点に JavaのDSLで書いてフレームワー沿って設計して… クのコンパイラにかけると...Hadoop MapReduceのジョブ群が吐き出される! データ 演算子
  11. 11. そしてこれはOSS!https://github.com/asakusafw/
  12. 12. ドキュメント充実してま す!(しかも日本語)http://asakusafw.s3.amazonaws.com/documents/0.2/ release/ja/html/index.html
  13. 13. テストフレームワークも あります! テストケース、テストデー タ、検証内容をExcelで書け ます! Excel大好きな貴方の上司もこれで安心
  14. 14. 結構実践的なサンプルも POSデータをカテゴリ別に 集計するサンプル 設計ガイドとサンプルアプ リケーションがありますhttp://www.asakusafw.com/techinfo/methodology.ht ml
  15. 15. 一発インストーラ的なも のもあります Jinrikishaという名前です!http://www.asakusafw.com/techinfo/download.html
  16. 16. というわけで 是非お試しあれ公式ホームページ http://www.asakusafw.com/GitHub https://github.com/asakusafwドキュメント http://asakusafw.s3.amazonaws.com/documents/0.2/rel ease/ja/html/index.html
  17. 17. ご清聴ありがとうございました

×