Hadoop Conf Japan 2009 After Party LT - Hadoop Ruby DSL

(Hadoop + Ruby DSL) x Hudson = ? 藤川幸一 2009上期未踏本体クリエイター株式会社シリウステクノロジーズ

未踏でHadoopやってます

Hadoop は敷居が高い？（と思う人には高い・・・）そういう人は・・ 1. Mapper とか Reducer とか、何?　どうやって書けばいいの? 2. Java で書くの? いろいろ制約があって難しそう・・・ 3. 実行環境準備するだけで大変そう

そういう人にこそ・・

Ruby で Mapper / Reducer ※でも Hadoop Streaming は使わないよ JRubyを使う Mapper / Reducer からRuby呼び出し呼び出されたRubyにMRが書ける def map(key, value, output, reporter) # Mapper code end def reduce(key, values, output, reporter) # Reducer code end

さらに MR も意識せずに～DSL ある特定の分野（ログ分析とか）だと、Mapper / Reducerに分解する部分がわりと明確最初から分解してその指示をメタな言語（DSL）にすれば MapReduceを意識せずHadoopで処理ができる？ use 'LogAnalysis' data 'apache log on test1' do from 'apachlog/inputs' to 'apachlog/outputs' each_line do pattern /(.*) (.*) (.*) [(.*)] (".*") (d*) (d*)/ column_name 'remote_host', 'pass', 'user', 'access_date', 'request', 'status', 'bytes' topic 'which users?', :label => 'user' do count_uniq column[:user] end topic 'access date by monthly' do select_date column[:access_date], BY_MONTHLY count column[:access_date] end ・・・

Hudsonで実行分散環境を簡単に準備 HudsonはOSS分散ビルドツール→タスク分散が得意メインコミッターのkohsuke(Sunの川口耕介さん)がHudsonのプラグインとしてHadoopを使えるように→簡単にHadoopインストール Hudsonのスレーブを増やすとHadoopのノードとして使える

まだまだプロジェクトはこれからです！興味がある方はご一報を！ありがとうございました。 Twitter: @fujibee

http://d.hatena.ne.jp	147
http://www.slideshare.net	17

Hadoop Conf Japan 2009 After Party LT - Hadoop Ruby DSL

by Koichi Fujikawa on Nov 27, 2009

Accessibility

Categories

Tags

Upload Details

Usage Rights

2 Embeds 164

Statistics

Hadoop Conf Japan 2009 After Party LT - Hadoop Ruby DSL — Presentation Transcript