Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
世界⼀簡単なHadoopの話
株式会社イオシス
http://io-sys.co.jp/
     島崎浩一
つーかHadoopって何なの?
• 一言で・・・言えない!
• Hadoopには大きく分けてHDFSという
分散ファイルシステムという役割と、
MapReduceという処理エンジンがある
• HDFSは完全にインフラ的な話
• MapReduc...
つーかHadoopって何なの?
使いこなす為に統計学的な知識や
高度な処理要件が必要になる!
要件定義に、単に業務に詳しいだけ
ではなくデータサイエンティストが必要
つーかHadoopって何なの?
よって、構築に際し
インフラに詳しくて、Javaとかにも詳しくて、
アプリ開発経験があって、統計分析も出来て、
業務にも詳しい人が必要になる
つーかHadoopって何なの?
よって、構築に際し
インフラに詳しくて、Javaとかにも詳しくて、
アプリ開発経験があって、統計分析も出来て、
業務にも詳しい人が必要になる
   んな奴いるか!(俺以外に!嘘ゴメン)
これがHadoopやビッグ...
HDFS
つーことで、一つ一つざっくりと説明してみる
HDFS(分散ファイルシステム)は RAID5
RAID5は一つのPCの中でHDDを複数使う
という仕組みだが、
HDFSは一つのHDFSの中で複数のPCを使う
という感じなだけ。
役割も大...
MapReduce
処理の方式。Javaで実装するフレームワーク。
Mapという分類処理と、
ReduceというMapの結果に対する整理処理
合わせてMapReduceという集計処理
なだけ。
MapReduce
例えばリアルで行われてる、大量のデータを集
計して計算して順番並べてといえば…
そう、選挙の開票作業がまさにそれ!
MapReduce
Map処理
データを集めて名前ごとに分類
Reduce処理
Mapである程度たばになったモノを
ちゃんと整理して順番にならべたり
まとめると
まぁ大体こんな感じ。
全員がそれぞれ全部解ってないとダメなわけ
じゃないけど、ある程度解っててくれないと話
にならない。
おまけにインフラにかかる費用も凄い(導入
はAWS前提かなぁ)。
という感じなので、システム屋としては
いろい...
Upcoming SlideShare
Loading in …5
×

世界一簡単なHadoopの話

Hadoop

Related Books

Free with a 30 day trial from Scribd

See all
  • Be the first to comment

世界一簡単なHadoopの話

  1. 1. 世界⼀簡単なHadoopの話 株式会社イオシス http://io-sys.co.jp/      島崎浩一
  2. 2. つーかHadoopって何なの? • 一言で・・・言えない! • Hadoopには大きく分けてHDFSという 分散ファイルシステムという役割と、 MapReduceという処理エンジンがある • HDFSは完全にインフラ的な話 • MapReduceは完全にアプリ的な話                         更に・・・
  3. 3. つーかHadoopって何なの? 使いこなす為に統計学的な知識や 高度な処理要件が必要になる! 要件定義に、単に業務に詳しいだけ ではなくデータサイエンティストが必要
  4. 4. つーかHadoopって何なの? よって、構築に際し インフラに詳しくて、Javaとかにも詳しくて、 アプリ開発経験があって、統計分析も出来て、 業務にも詳しい人が必要になる
  5. 5. つーかHadoopって何なの? よって、構築に際し インフラに詳しくて、Javaとかにも詳しくて、 アプリ開発経験があって、統計分析も出来て、 業務にも詳しい人が必要になる    んな奴いるか!(俺以外に!嘘ゴメン) これがHadoopやビッグデータの大変さ
  6. 6. HDFS つーことで、一つ一つざっくりと説明してみる HDFS(分散ファイルシステム)は RAID5 RAID5は一つのPCの中でHDDを複数使う という仕組みだが、 HDFSは一つのHDFSの中で複数のPCを使う という感じなだけ。 役割も大体一緒
  7. 7. MapReduce 処理の方式。Javaで実装するフレームワーク。 Mapという分類処理と、 ReduceというMapの結果に対する整理処理 合わせてMapReduceという集計処理 なだけ。
  8. 8. MapReduce 例えばリアルで行われてる、大量のデータを集 計して計算して順番並べてといえば… そう、選挙の開票作業がまさにそれ!
  9. 9. MapReduce Map処理 データを集めて名前ごとに分類 Reduce処理 Mapである程度たばになったモノを ちゃんと整理して順番にならべたり
  10. 10. まとめると まぁ大体こんな感じ。 全員がそれぞれ全部解ってないとダメなわけ じゃないけど、ある程度解っててくれないと話 にならない。 おまけにインフラにかかる費用も凄い(導入 はAWS前提かなぁ)。 という感じなので、システム屋としては いろいろ大変なのでした。

    Be the first to comment

    Login to see the comments

  • gtnn331

    Jan. 13, 2016
  • YiClear

    Jul. 1, 2017

Hadoop

Views

Total views

724

On Slideshare

0

From embeds

0

Number of embeds

11

Actions

Downloads

5

Shares

0

Comments

0

Likes

2

×