Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

初めてのAws elastic map reduce

1,226 views

Published on

  • Be the first to comment

初めてのAws elastic map reduce

  1. 1. 2013/6/21 JAWSUG-OsakaAmazonElasticMapReduce玉川竜司13年6月25日火曜日
  2. 2. 軽く自己紹介Sky株式会社でいろいろやってます。兼業翻訳やってます。tamagawa_ryuji@twitter / RyujiTamagawa@FB13年6月25日火曜日
  3. 3. 初心者向けのElastic MapReduce?そもそも無茶な話です気づいたら無茶振りされてました・・・13年6月25日火曜日
  4. 4. ビッグデータとHadoopエコシステム✤ 始まりはGoogle✤ スケールアップは限界に来つつあった✤ たくさんマシンを並べて性能アップ = スケールアウト✤ 大量のデータを処理して、ビジネス上の価値を取り出す13年6月25日火曜日
  5. 5. Hadoop/EMRの使いどころ✤ I/O(特にランダムアクセス)が制約になるようなケース✤ 多台数の処理(スケールアウト)が必要で、障害対策がいるケース✤ 構造化されていないデータをそのまま貯めておくケース13年6月25日火曜日
  6. 6. Elastic MapReduceってなに?✤ 一言で言えば、AWS上でHadoopクラスタを構築し、使いたいソフトを自動でインストーしてくれるサービス。✤ Hadoop, HBase, Hive, Pig, MapRがすぐに使える✤ 基本の入出力はS3を使う。ノードは普通のEC2✤ 作業領域はEC2インスタンスのエフェメラルディスク✤ スポットインスタンスを有効活用する機能がある✤ 秋には本が出ます(英語)日本語訳が出せるかな?13年6月25日火曜日
  7. 7. エコシステム分散ストレージ:HDFS (MapR) / S3データ処理フレームワーク:MapReduce高速ランダムアクセスHBaseSQLフロントエンド:Hiveデータ処理のツール:Pigエンドユーザーのプログラム13年6月25日火曜日
  8. 8. Elastic MapReduceのいいところ✤運用が楽!✤ Hadoopエコシステムは開発が活発✤ ちゃんと動く組み合わせを構築し、メンテナンスするのが非常に大変13年6月25日火曜日
  9. 9. ただし・・・✤ 200x年代は、物理メモリが一台あたり数10GB程度だった✤ 201x年代に入って、100GB以上の物理メモリを持つマシンが使えるようになってきた✤ スイートスポットが変わってきた。既存のRDB技術の限界が引き上げられている13年6月25日火曜日
  10. 10. Questions?and to the RedShift...13年6月25日火曜日

×