クラウド時代の並列分散処理技術

クラウド時代の並列分散処理技術 2010/12/22 Ruby ビジネスセミナーハピルス株式会社藤川幸一 Twitter: @fujibee

アジェンダ自己紹介クラウド時代と大量データなぜ並列分散処理が必要か未踏プロジェクトについて Hapyrus についてまとめ質疑応答

自己紹介藤川幸一ハピルス株式会社代表学生時代から IT ベンチャーに参加 Yahoo! JAPAN -> テクノロジックアート -> シンプレクス・テクノロジー -> シリウステクノロジーズ -> 独立未踏人材育成事業クリエータ現在は Hadoop を Web サービスとして使うプロダクトを開発中

クラウド時代と大量データ

クラウド時代とは「クラウド」がバズワードの時代は終わった？サービス側から見たクラウドシステムの構成要素としてのクラウド

クラウドと大量データクラウドの向こう側には・・・クラウドは必然的に集約に向かう大量データ時代は必然

大量データを処理するには例えば 400TB( テラバイト・メガバイトの 100 万倍 ) １台で処理すると・・・読み込みだけで 100 日くらいかかる！ 400TB ÷ 50MB/sec ≒ 80,000sec ≒ 2,000 時間 ≒ 92 日並列分散の仕組みが必要例えば：ファイルシステム・処理技術

スケールアップとスケールアウトスケールアップ１台の性能を向上させる性能価格ある程度まで行くと価格と性能が比例しない

スケールアップとスケールアウトスケールアウト複数台を並行処理させて性能を向上させる性能価格 ( 台数 ) 価格と性能は（ある程度まで）比例する

並列分散処理は難しいボトルネックが発生データのやり取り結果集計処理を分散させる仕組み耐障害性プログラミングが難しい資源の効率的な利用引用： Think IT http://thinkit.co.jp/story/2010/06/11/1608

並列分散処理フレームワーク MapReduce Google が開発->論文で公開開発者は Map と Reduce と呼ばれるプログラムを書くその他の分散に必要な仕組みはフレームワークでカバー

Hadoop Google 論文から作られたオープンソースクローン分散ファイルシステム HDFS を含むジョブのスケジューリング部分的にサーバが機能しなくても処理継続できる仕組みなどなど

分散データストア技術スケールアウト可能なデータ格納機構分散キーバリューストア Memcached Cassandra (Facebook) Hbase (Hadoop) Redis (github) 国産のものも Kumofs Roma ( 楽天 ) TokyoCabinet

Ruby による並列分散処理技術楽天技術研究所 fairy Roma Hadoop を Ruby で利用する Hadoop Streaming Hadoop Papyrus ( 後述 )

未踏プロジェクトについて

IPA 未踏人材育成事業独立行政法人情報処理推進機構 = IPA 未踏人材育成事業もともとは「未踏ソフトウェア」と呼ばれる有望なプロジェクトを PM が採択し開発・成果発表を行う 2009 年上期に採択される

私のプロジェクト MapReduce 汎用化のための DSL 基盤・実行基盤の開発もっと簡単に Hadoop を使えるようにしたい！ Ruby で DSL( ドメイン特化言語 ) を使って環境を簡単に準備して実行

Hadoop Papyrus Hadoop ジョブを Ruby の DSL で実行できるオープンソースフレームワーク本来 Hadoop ジョブは Java で記述する Java だと複雑な記述がほんの数行で書ける Hudson 上でジョブを記述 / 実行が可能

Step.1 Java ではなく Ruby で記述

Step.2 Ruby による DSL で MapReduce をシンプルに Map Reduce Job Description Log Analysis DSL

Step.3 Hadoop サーバ構成を容易に利用可能に

package org . apache . hadoop . examples ; import java.io.IOException ; import java.util.StringTokenizer ; import org.apache.hadoop.conf.Configuration ; import org.apache.hadoop.fs.Path ; import org.apache.hadoop.io.IntWritable ; import org.apache.hadoop.io.Text ; import org.apache.hadoop.mapreduce.Job ; import org.apache.hadoop.mapreduce.Mapper ; import org.apache.hadoop.mapreduce.Reducer ; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat ; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat ; import org.apache.hadoop.util.GenericOptionsParser ; public class WordCount { public static class TokenizerMapper extends Mapper < Object , Text , Text , IntWritable > { private final static IntWritable one = new IntWritable ( 1 ); private Text word = new Text (); public void map( Object key , Text value , Context context ) throws IOException , InterruptedException { StringTokenizer itr = new StringTokenizer ( value . toString ()); while ( itr . hasMoreTokens ()) { word . set ( itr . nextToken ()); context . write ( word , one ); } } } public static class IntSumReducer extends Reducer < Text , IntWritable , Text , IntWritable > { private IntWritable result = new IntWritable (); public void reduce( Text key , Iterable < IntWritable > values , Context context ) throws IOException , InterruptedException { int sum = 0 ; for ( IntWritable val : values ) { sum += val . get (); } result . set ( sum ); context . write ( key , result ); } } public static void main( String [] args ) throws Exception { Configuration conf = new Configuration (); String [] otherArgs = new GenericOptionsParser ( conf , args ) . getRemainingArgs (); if ( otherArgs . length != 2 ) { System . err . println ( "Usage: wordcount <in> <out>" ); System . exit ( 2 ); } Job job = new Job ( conf , "word count" ); job . setJarByClass ( WordCount . class ); job . setMapperClass ( TokenizerMapper . class ); job . setCombinerClass ( IntSumReducer . class ); job . setReducerClass ( IntSumReducer . class ); job . setOutputKeyClass ( Text . class ); job . setOutputValueClass ( IntWritable . class ); FileInputFormat . addInputPath ( job , new Path ( otherArgs [ 0 ])); FileOutputFormat . setOutputPath ( job , new Path ( otherArgs [ 1 ])); System . exit ( job . waitForCompletion (true) ? 0 : 1 ); } } 同様な処理が Java では 70 行必要だが、 HadoopPapyrus だと 10 行に！ dsl 'LogAnalysis‘ from ‘test/in‘ to ‘test/out’ pattern /\[\[([^|\]:]+)[^\]:]*\]\]/ column_name :link topic "link num", :label => 'n' do count_uniq column[:link] end Java Hadoop Papyrus

Hadoop は敷居が高い簡単な試行は簡単でも、ちゃんとしたアプリケーションは難しい環境構築アプリケーション開発

Hadoop をサービスとして使う環境だけではなく、アプリケーション開発も用意されたスクリプトによってノウハウを手にできる

Hapyrus まもなくベータテスト開始そのフィードバックをもとに、 2011 年早いうちに公開予定

まとめクラウド時代は大量データ時代大量データを処理するには並列分散技術が必要数々の並列分散処理技術特に Hadoop について私の取り組みの紹介未踏での Ruby x Hadoop Hapyrus

ご清聴ありがとうございました

クラウド時代の並列分散処理技術

More Related Content

What's hot

Similar to クラウド時代の並列分散処理技術

Recently uploaded

クラウド時代の並列分散処理技術

Editor's Notes