• Like
初めてのAws elastic map reduce
Upcoming SlideShare
Loading in...5
×

初めてのAws elastic map reduce

  • 592 views
Uploaded on

 

  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
No Downloads

Views

Total Views
592
On Slideshare
0
From Embeds
0
Number of Embeds
4

Actions

Shares
Downloads
1
Comments
0
Likes
2

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. 2013/6/21 JAWSUG-OsakaAmazonElasticMapReduce玉川竜司13年6月25日火曜日
  • 2. 軽く自己紹介Sky株式会社でいろいろやってます。兼業翻訳やってます。tamagawa_ryuji@twitter / RyujiTamagawa@FB13年6月25日火曜日
  • 3. 初心者向けのElastic MapReduce?そもそも無茶な話です気づいたら無茶振りされてました・・・13年6月25日火曜日
  • 4. ビッグデータとHadoopエコシステム✤ 始まりはGoogle✤ スケールアップは限界に来つつあった✤ たくさんマシンを並べて性能アップ = スケールアウト✤ 大量のデータを処理して、ビジネス上の価値を取り出す13年6月25日火曜日
  • 5. Hadoop/EMRの使いどころ✤ I/O(特にランダムアクセス)が制約になるようなケース✤ 多台数の処理(スケールアウト)が必要で、障害対策がいるケース✤ 構造化されていないデータをそのまま貯めておくケース13年6月25日火曜日
  • 6. Elastic MapReduceってなに?✤ 一言で言えば、AWS上でHadoopクラスタを構築し、使いたいソフトを自動でインストーしてくれるサービス。✤ Hadoop, HBase, Hive, Pig, MapRがすぐに使える✤ 基本の入出力はS3を使う。ノードは普通のEC2✤ 作業領域はEC2インスタンスのエフェメラルディスク✤ スポットインスタンスを有効活用する機能がある✤ 秋には本が出ます(英語)日本語訳が出せるかな?13年6月25日火曜日
  • 7. エコシステム分散ストレージ:HDFS (MapR) / S3データ処理フレームワーク:MapReduce高速ランダムアクセスHBaseSQLフロントエンド:Hiveデータ処理のツール:Pigエンドユーザーのプログラム13年6月25日火曜日
  • 8. Elastic MapReduceのいいところ✤運用が楽!✤ Hadoopエコシステムは開発が活発✤ ちゃんと動く組み合わせを構築し、メンテナンスするのが非常に大変13年6月25日火曜日
  • 9. ただし・・・✤ 200x年代は、物理メモリが一台あたり数10GB程度だった✤ 201x年代に入って、100GB以上の物理メモリを持つマシンが使えるようになってきた✤ スイートスポットが変わってきた。既存のRDB技術の限界が引き上げられている13年6月25日火曜日
  • 10. Questions?and to the RedShift...13年6月25日火曜日