Downloaded 22 times
![Java（これが標準）この他にも状況に応じていろいろなやり方があるので、HadoopConfefence Japan 2009の資料も参考にしてくださいHadoopによる入力(0, Freebase is an open database of the world’s information, covering millions of topics in...)(1, hundreds of categories. Drawing from large open data sets like Wikipedia, MusicBrainz,...)(2, and the SEC archives, it contains structured information on many popular topics,...)(3, including movies, music, people and locations – all reconciled and freely available. This...)(4, information is supplemented by the efforts of a passionate global community of users...)for line in sys.stdin:for word in line.split(): print word + “\t” + “1”mapタスクによる処理他のmapタスクによる処理(Freebase , 1)(is , 1)(an , 1)(open , 1)(database , 1)(MySQL, 1)(is, 1)(not, 1)(proprietary, −5)(database, 119)for aLine in sys.stdin:currentWord= aLine.split()[0] if currentWord == prevWord:count += 1else:print "%s\t%d" % (prevWord, count) count = 1prevWord= currentWordHadoopによるシャッフル(freebase, [1])(is, [1, 1])(an, [1])(open, [1])(database, [1, 1])reduceタスクによる処理(freebase, 1)(is, 2)(an, 1(open, 1)(database, 2)](https://image.slidesharecdn.com/hadoop-emr-110619094822-phpapp01/75/Hadoop-Elastic-MapReduce-16-2048.jpg)
More Related Content
Similar to Hadoop / Elastic MapReduceつまみ食い
Hadoop / Elastic MapReduceつまみ食い
- 1. Hadoop / ElasticMapReduceつまみ食い玉川竜司tamagawa_ryuji@twitter
- 2.
- 3. 自己紹介を少々本職：ソフトウェア開発者兼業翻訳者Hadoop（象本）7月に2nd EditionでますData IntensiveText Processing With MapReduce（予定）Silverlightで開発するデータ駆動アプリケーションセマンティックWebプログラミングプログラミングGoogle App EngineプログラミングWindows Azure
- 4. なぜHadoop?‘Big Data’：大量のデータを処理することで価値が生まれるただし、既存技術ではメリットを出す事が難しかった高度なアルゴリズム vs単純なアルゴリズムスケールしない高度なアルゴリズムから得られる結果は、単純なアルゴリズムで莫大なデータを処理して得られる結果に及ばない● ニューヨーク株式市場は、1日ごとに1テラバイトの取引データを生み出しています。● Facebookはおよそ100億枚の写真をホストしており、これは1ペタバイトの記憶領域を 占めます。● 家系図サイトのAncestry.comは、2.5ペタバイトのデータを保管しています。● TheInternet Archiveはおよそ2ペタバイトのデータを保管しており、 その容量は1か月あたり20 テラバイトのペースで増加しています。● スイスのジュネーブ近郊にある大型ハドロン衝突型加速器は、 年間およそ15ペタバイトのデータを生み出しています。象本から抜粋
- 5. なぜHadoop?（2）必要なのは、スケールアップ=マシンのパワーアップではないスケールアウト=分散処理こそが必要多くの場合、スケーラビリティのネックになっているのはI/O特にディスクのランダムアクセス性能（IOPS）は、この20年でほとんど伸びていないhttp://www.youtube.com/watch?v=9eMWG3fwiEUIn pioneer daysthey used oxen for heavy pulling, and when one ox couldn’t budge a log, they didn’t try to grow a larger ox. We shouldn’t be trying for bigger computers, but formore systems of computers.—Grace Hopper
- 6.
- 7.
- 8.
- 9.
- 10.
- 11.
- 12.
- 13.
- 14. サンプル：Word CountFreebase isan open database of the world’s information, covering millions of topics inhundreds of categories. Drawing from large open data sets like Wikipedia, MusicBrainz,and the SEC archives, it contains structured information on many popular topics,including movies, music, people and locations – all reconciled and freely available. Thisinformation is supplemented by the efforts of a passionate global community of usersコードを書く方法：
- 15.
- 16. Java（これが標準）この他にも状況に応じていろいろなやり方があるので、HadoopConfefence Japan 2009の資料も参考にしてくださいHadoopによる入力(0,Freebase is an open database of the world’s information, covering millions of topics in...)(1, hundreds of categories. Drawing from large open data sets like Wikipedia, MusicBrainz,...)(2, and the SEC archives, it contains structured information on many popular topics,...)(3, including movies, music, people and locations – all reconciled and freely available. This...)(4, information is supplemented by the efforts of a passionate global community of users...)for line in sys.stdin:for word in line.split(): print word + “\t” + “1”mapタスクによる処理他のmapタスクによる処理(Freebase , 1)(is , 1)(an , 1)(open , 1)(database , 1)(MySQL, 1)(is, 1)(not, 1)(proprietary, −5)(database, 119)for aLine in sys.stdin:currentWord= aLine.split()[0] if currentWord == prevWord:count += 1else:print "%s\t%d" % (prevWord, count) count = 1prevWord= currentWordHadoopによるシャッフル(freebase, [1])(is, [1, 1])(an, [1])(open, [1])(database, [1, 1])reduceタスクによる処理(freebase, 1)(is, 2)(an, 1(open, 1)(database, 2)
- 17. 分散ファイルシステムHDFSHadoop Distributed FileSystem耐障害性（データブロックの複製）ディスクのシークを減らすためのデータブロック（デフォルト64MB）大量のデータをシーケンシャルアクセスすることを想定しているネットワークトポロジを意識し、効率的に分散処理を行うためのブロック配置を行う
- 18.
- 19. ローカル開発環境を用意してみたLinux（CentOS5）とCDH（Cloudera Distribution includingApache Hadoop） ver 3https://ccp.cloudera.com/display/SUPPORT/Downloads疑似分散モード（Psuedo Distribution mode）でインストールYumやaptを使って簡単にできますhttps://ccp.cloudera.com/display/CDHDOC/CDH3+Quick+Start+Guidehttps://ccp.cloudera.com/display/CDHDOC/CDH3+Installation+GuideデモンストレーションWikipediaでwordcountしょぼいサンプルですみません。ストリーミングでの実行方法は象本に載ってます
- 20.
- 21. NoSQL – NotOnly SQL正確にはNot Only RDBの方が正しいSQL / RDBがダメ（No SQL）ということではない。RDBはこれからも必須の技術BigDataの到来と共に、RDBだけで何でも片付けられる時代は終わりつつある技術者には、取り扱う問題に合わせて、ストレージやデータベースを選択する力が求められるAWSで言えば、RDS・SimpleDB・SQSが用意されている。場合よってはHadoopも考えましょう。‘Free lunch’の時代は終わり。勉強しないと…
- 22.
- 23. はじめてみましょうリアルの勉強会（特に関東は非常に活発）と、Twitterでのコミュニケーションが非常に重要ローカルで遊ぶにはCloudera社のディストリビューションマジで使うならElastic MapReduceは便利そう。情報源Publickey（ http://www.publickey1.jp/index.html）日経コンピュータ象本・MapReduce本・Hadoop徹底入門で全体像をつかんでおいて、各論へ。各論は英語必須。
- 24.