初めてのAws elastic map reduce
Upcoming SlideShare
Loading in...5
×
 

初めてのAws elastic map reduce

on

  • 930 views

 

Statistics

Views

Total Views
930
Views on SlideShare
706
Embed Views
224

Actions

Likes
2
Downloads
1
Comments
0

4 Embeds 224

http://d.hatena.ne.jp 199
http://yoshidashingo.hatenablog.com 23
https://www.google.co.jp 1
http://cloud.feedly.com 1

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

初めてのAws elastic map reduce 初めてのAws elastic map reduce Presentation Transcript

  • 2013/6/21 JAWSUG-OsakaAmazonElasticMapReduce玉川竜司13年6月25日火曜日
  • 軽く自己紹介Sky株式会社でいろいろやってます。兼業翻訳やってます。tamagawa_ryuji@twitter / RyujiTamagawa@FB13年6月25日火曜日
  • 初心者向けのElastic MapReduce?そもそも無茶な話です気づいたら無茶振りされてました・・・13年6月25日火曜日
  • ビッグデータとHadoopエコシステム✤ 始まりはGoogle✤ スケールアップは限界に来つつあった✤ たくさんマシンを並べて性能アップ = スケールアウト✤ 大量のデータを処理して、ビジネス上の価値を取り出す13年6月25日火曜日
  • Hadoop/EMRの使いどころ✤ I/O(特にランダムアクセス)が制約になるようなケース✤ 多台数の処理(スケールアウト)が必要で、障害対策がいるケース✤ 構造化されていないデータをそのまま貯めておくケース13年6月25日火曜日
  • Elastic MapReduceってなに?✤ 一言で言えば、AWS上でHadoopクラスタを構築し、使いたいソフトを自動でインストーしてくれるサービス。✤ Hadoop, HBase, Hive, Pig, MapRがすぐに使える✤ 基本の入出力はS3を使う。ノードは普通のEC2✤ 作業領域はEC2インスタンスのエフェメラルディスク✤ スポットインスタンスを有効活用する機能がある✤ 秋には本が出ます(英語)日本語訳が出せるかな?13年6月25日火曜日
  • エコシステム分散ストレージ:HDFS (MapR) / S3データ処理フレームワーク:MapReduce高速ランダムアクセスHBaseSQLフロントエンド:Hiveデータ処理のツール:Pigエンドユーザーのプログラム13年6月25日火曜日
  • Elastic MapReduceのいいところ✤運用が楽!✤ Hadoopエコシステムは開発が活発✤ ちゃんと動く組み合わせを構築し、メンテナンスするのが非常に大変13年6月25日火曜日
  • ただし・・・✤ 200x年代は、物理メモリが一台あたり数10GB程度だった✤ 201x年代に入って、100GB以上の物理メモリを持つマシンが使えるようになってきた✤ スイートスポットが変わってきた。既存のRDB技術の限界が引き上げられている13年6月25日火曜日
  • Questions?and to the RedShift...13年6月25日火曜日