初めてのAws elastic map reduce

1,147 views

Published on

0 Comments
2 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
1,147
On SlideShare
0
From Embeds
0
Number of Embeds
294
Actions
Shares
0
Downloads
3
Comments
0
Likes
2
Embeds 0
No embeds

No notes for slide

初めてのAws elastic map reduce

  1. 1. 2013/6/21 JAWSUG-OsakaAmazonElasticMapReduce玉川竜司13年6月25日火曜日
  2. 2. 軽く自己紹介Sky株式会社でいろいろやってます。兼業翻訳やってます。tamagawa_ryuji@twitter / RyujiTamagawa@FB13年6月25日火曜日
  3. 3. 初心者向けのElastic MapReduce?そもそも無茶な話です気づいたら無茶振りされてました・・・13年6月25日火曜日
  4. 4. ビッグデータとHadoopエコシステム✤ 始まりはGoogle✤ スケールアップは限界に来つつあった✤ たくさんマシンを並べて性能アップ = スケールアウト✤ 大量のデータを処理して、ビジネス上の価値を取り出す13年6月25日火曜日
  5. 5. Hadoop/EMRの使いどころ✤ I/O(特にランダムアクセス)が制約になるようなケース✤ 多台数の処理(スケールアウト)が必要で、障害対策がいるケース✤ 構造化されていないデータをそのまま貯めておくケース13年6月25日火曜日
  6. 6. Elastic MapReduceってなに?✤ 一言で言えば、AWS上でHadoopクラスタを構築し、使いたいソフトを自動でインストーしてくれるサービス。✤ Hadoop, HBase, Hive, Pig, MapRがすぐに使える✤ 基本の入出力はS3を使う。ノードは普通のEC2✤ 作業領域はEC2インスタンスのエフェメラルディスク✤ スポットインスタンスを有効活用する機能がある✤ 秋には本が出ます(英語)日本語訳が出せるかな?13年6月25日火曜日
  7. 7. エコシステム分散ストレージ:HDFS (MapR) / S3データ処理フレームワーク:MapReduce高速ランダムアクセスHBaseSQLフロントエンド:Hiveデータ処理のツール:Pigエンドユーザーのプログラム13年6月25日火曜日
  8. 8. Elastic MapReduceのいいところ✤運用が楽!✤ Hadoopエコシステムは開発が活発✤ ちゃんと動く組み合わせを構築し、メンテナンスするのが非常に大変13年6月25日火曜日
  9. 9. ただし・・・✤ 200x年代は、物理メモリが一台あたり数10GB程度だった✤ 201x年代に入って、100GB以上の物理メモリを持つマシンが使えるようになってきた✤ スイートスポットが変わってきた。既存のRDB技術の限界が引き上げられている13年6月25日火曜日
  10. 10. Questions?and to the RedShift...13年6月25日火曜日

×