Downloaded 12 times
鹿駆動勉強会 青江発表資料
- 2. 自己紹介 青江 崇 （株）ノーチラス・テクノロジーズ所属 Twitter ID: aoetk / Hatena ID: aoe-tk 奈良育ち！ 今は東京で仕事してますが 最近はHadoopなどの分散ミドルウェアを用いた 業務バッチ開発について、その開発標準を考えた り運用周りの基盤開発をやったりとかしてます
- 3. 自己紹介（続き） それまでは割と典型的なSI開発やってて主に JavaEE系の色んなシステム作ってました B2CやB2BのWebサービスとか、社内基幹システムと か色々 近年はFlexやJavaScriptを使ったRIA開発とかも なので個人的にはGUI開発にすごく興味有り 今JavaFX追っかけてます！
- 4. 今日のお話 うちの会社のメンバーが中心になって開発、展開 している、Asakusa FrameworkというOSSフレーム ワークの紹介をします Hadoopを業務バッチ開発に、なフレームワークで す
- 5.
- 6. 一応簡単に説明 OSSの分散処理ミドルウェアです http://hadoop.apache.org/ 中核はHDFS（分散ファイルシステム）と MapReduce（分散処理フレームワーク）
- 7. おっきな 巨大なファイルをそ データ れなりの大きさに分 データのあるとこ 処理 割して分散配置 （HDFS） ろに処理を飛ばす （MapReduce） 処理 処理 処理 サーバーたち • 処理を分散したデータの所に飛ばすのがポイント（I/Oを分散させる） • 「処理」はmap関数とreduce関数の組み合わせに限定 →お陰で簡単に分散できる
- 8. でもHadoopが使われてい る所って… Webサービスとかのログ解析とか 機械学習とか ソーシャルグラフ分析とか マーケットバスケット分析とか 要はSIerな現場には縁の無い話とちゃうの？
- 9. 案外そうでもないかも こんなことありませんか？ 夜間バッチの突き抜けにgkbrしてませんか？ RDBとかだとどうしてもディスクI/Oがボトルネック になって速くならなくて困ったりとか で、パーティション切って何台かのマシンで並列実行 したりとか さっきも言ったようにHadoopの強みはI/Oの分散 これが活かせるなら使えます 後は処理が分散可能かですが… 人間が業務をやったときに人海戦術でできるかを考え ましょう（人海戦術でできる＝分散可能）
- 10. でも… Hadoopってmap関数とreduce関数しか書けへんよ ね？それでロジック組むのしんどくない？ 品質とっても大事やけどテストとかどうすんの？ そこで…
- 11. Asakusa Frameworkとは その設計をそのまま落とし込める バッチ処理をデータフローの視点に JavaのDSLで書いてフレームワー 沿って設計して… クのコンパイラにかけると... Hadoop MapReduceのジョブ群が吐き出される！ データ 演算子
- 12.
- 13. ドキュメント充実してま す！（しかも日本語） http://asakusafw.s3.amazonaws.com/documents/0.2/ release/ja/html/index.html
- 14. テストフレームワークも あります！ テストケース、テストデー タ、検証内容をExcelで書け ます！ Excel大好きな貴方の上司もこれで安心
- 15. 結構実践的なサンプルも POSデータをカテゴリ別に 集計するサンプル 設計ガイドとサンプルアプ リケーションがあります http://www.asakusafw.com/techinfo/methodology.ht ml
- 16. 一発インストーラ的なも のもあります Jinrikishaという名前です！ http://www.asakusafw.com/techinfo/download.html
- 17. というわけで 是非お試しあれ 公式ホームページ http://www.asakusafw.com/ GitHub https://github.com/asakusafw ドキュメント http://asakusafw.s3.amazonaws.com/documents/0.2/rel ease/ja/html/index.html
- 18.