Clojure+Leiningenで3分Hadoop

Clojure+Leiningen で 3 分 Hadoop Shibuya.lisp TT#5 March 10, 2010 @making ( http://ik.am ) BlogSystem Written By CommonLisp 「 CategoL 」 ( http://github.com/making/categol )

Clojure をインストールした後、こんな風に思ったことないですか？ REPL 起動の仕方が人によって違わない？ .clj ファイルをロードしたいけど Could not locate っていわれるクラスパス追加しないといけないの？ jar をどこに置けばいいのか分からない面倒くさい。。。

Leiningen (pronounced “LINE-ing-en”)
Clojure のビルドツール
http://github.com/technomancy/leiningen
デファクトスタンダードになりつつある
jar(java アーカイブ ) の依存関係解決
maven2 レポジトリから取得する
クラスパス設定済み REPL ・コンパイル環境を提供
Clojure 未インストールの状態からも使える ( 必要なものは Java のみ )
超手軽に Clojure 開発環境構築＆ Java ライブラリ取得・使用が可能

例題として Hadoop
Leinigen の手軽さを活かし、 Hadoop 本のサンプルプログラム ( 例 2.6: 気象情報データセットから最大温度を取得 ) を実行する
Clojure 、 Hadoop がインストールされていない想定
要 java/git/ ネット環境

デモ ( 動画 )
leiningen の使い方 ( コマンド一覧 ) は後ろのスライドに記載
実行するプログラム : http://bit.ly/9XieeT
軽く解説記事 : http://bit.ly/bodVU1

以下、補足資料

Leiningen の基本的な使い方
http://github.com/technomancy/leiningen/raw/stable/bin/lein
をダウンロードしてパスを通す
lein self-install
leiningen インストール直後に一回だけ行う (windows 版は大変！ )
lein new [project name]
プロジェクト作成。 project.clj( プロジェクト設定マクロ ) 、スケルトンファイル生成
lein deps
project.clj に記述した依存ライブラリ取得 (clojure 本体 /contrib もここで取得可能 )
lein repl
project.clj に記述した依存ライブラリをクラスパスに入れた状態で REPL 起動
lein test
テストコード実行
lein compile
clj ファイルを class ファイル (java バイトコード ) にコンパイル
lein jar
プロジェクトで生成した class ファイルをまとめて java アーカイブ (jar) を作成
lein uberjar
依存ライブラリを含めた jar を作成
lein swank
swank server を立ち上げる。別途プラグインが必要
その他 http://bit.ly/96A9ia 参考

マクロで Mapper/Reducer 定義
Mapper/Reduce クラス定義のような定型的な箇所はマクロでテンプレート化。
http://github.com/making/cloudure
で改良中
(defmapreduce hello :mapper ([key value context] (.write context (Text. key) (IntWritable. (Integet/parseInt value)))) :reducer ([key values context] (.write context key (IntWritable. (reduce + (map #(.get %) values))))))

簡単並行処理
map の代わりに pmap を使うと並行処理になる（ただし低コストな処理の場合はかえってスレッド生成のオーバヘッドのほうが大きい）
pmap/reduce!( 違 )
実際 map 関数を使うのは reducer 内だと思うので、、、

マルチメソッドを使う
int -> IntWritable とか
double -> DoubleWritable とか
String -> Text
に変換して Context に設定するのが面倒くさい->マルチメソッドでディスパッチ！
Mapper/Reducer の返り値が [key value] な vector である場合にそれぞれディスパッチするようなマクロにする
パフォーマンスはいまいちかも？

http://shibuya.lisp-users.org	234
http://blog.ik.am	52
http://www.slideshare.net	35
http://localhost	5
http://webcache.googleusercontent.com	2
http://ik.am	2
http://static.slidesharecdn.com	1
http://twitter.com	1
https://twitter.com	1
http://74.125.153.132	1

Clojure+Leiningenで3分Hadoop

by makingx on Mar 19, 2010

Accessibility

Tags

Upload Details

Usage Rights

10 Embeds 334

Statistics

Clojure+Leiningenで3分Hadoop — Presentation Transcript