Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Hadoop MapReduce デザインパターン——MapReduceによる大規模テキストデータ処理1 Jimmy Lin, Chris Dyer�著、神  林 飛志、野村 直之�監修、玉川  竜司�訳2 2011年10月01日 発売予定3 ...
Shuffle &     barrier    job start/     shutdowni                i+1
1        B                   E    5           1                        4A                   D               G        3    ...
5               1            B                   E    5               1                        3   4A                     ...
a super step         http://en.wikipedia.org/wiki/Bulk_Synchronous_Parallel
...
a super step
a super step
1        B                    E    5            1                         4A                    D               G        3...
+∞ B             1           +∞                             E    5           10                   +∞   4            +∞A   ...
+∞ B             1           +∞                             E    5           10                   +∞   4            +∞A   ...
+∞ B             1           +∞                             E    5           10                   +∞   4            +∞A   ...
5               1           +∞            B                   E    5               10                       3   4         ...
5               1           +∞            B                   E    5               10                       3   4         ...
5               1           +∞            B                   E    5               10                       3   4         ...
4               1           6            B                   E    5               10                       3   4          ...
4               1           6            B                   E    5               10                       3   4          ...
4               1           6            B                   E    5               10                       3   4          ...
4               1           5            B                   E    5               10                       3   4          ...
4               1           5            B                   E    5               10                       3   4          ...
+∞ B             1           +∞                             E    5           10                   +∞   4            +∞A   ...
+∞ B             1           +∞                             E    5           10                   +∞   4            +∞A   ...
+∞ B             1           +∞                             E    5           10                   +∞   4            +∞A   ...
5               1           +∞            B                   E    5               10                       3   4         ...
5               1           +∞            B                   E    5               10                       3   4         ...
4               1           6            B                   E    5               10                       3   4          ...
4               1           6            B                   E    5               10                       3   4          ...
4               1           5            B                   E    5               10                       3   4          ...
4               1           5            B                   E    5               10                       3   4          ...
4               1           5            B                   E    5               10                       3   4          ...
4               1           5            B                   E    5               10                       3   4          ...
4               1           5            B                   E    5               10                       3   4          ...
Large-Scale Graph Processing〜Introduction〜(LT版)
Large-Scale Graph Processing〜Introduction〜(LT版)
Large-Scale Graph Processing〜Introduction〜(LT版)
Large-Scale Graph Processing〜Introduction〜(LT版)
Large-Scale Graph Processing〜Introduction〜(LT版)
Large-Scale Graph Processing〜Introduction〜(LT版)
Large-Scale Graph Processing〜Introduction〜(LT版)
Large-Scale Graph Processing〜Introduction〜(LT版)
Large-Scale Graph Processing〜Introduction〜(LT版)
Large-Scale Graph Processing〜Introduction〜(LT版)
Large-Scale Graph Processing〜Introduction〜(LT版)
Large-Scale Graph Processing〜Introduction〜(LT版)
Large-Scale Graph Processing〜Introduction〜(LT版)
Large-Scale Graph Processing〜Introduction〜(LT版)
Large-Scale Graph Processing〜Introduction〜(LT版)
Large-Scale Graph Processing〜Introduction〜(LT版)
Large-Scale Graph Processing〜Introduction〜(LT版)
Large-Scale Graph Processing〜Introduction〜(LT版)
Large-Scale Graph Processing〜Introduction〜(LT版)
Large-Scale Graph Processing〜Introduction〜(LT版)
Large-Scale Graph Processing〜Introduction〜(LT版)
Upcoming SlideShare
Loading in …5
×

Large-Scale Graph Processing〜Introduction〜(LT版)

(※本スライドの内容は別途アップロードしている本番編から、LT用に加工した物になります。)
グラフデータの大規模処理はMapReduceよりも効率の良い計算モデル が提案され、Google Pregel・Giraph・Hama・GoldenOrb等のプロジェクトにおいて実装 が進められています。またHamaやGiraphはNextGen Apache Hadoop MapReduceへ の対応が進められています。本LTでは"Large Scale Graph Processing"とはどのようなものをMap Reduceと比較して紹介するとともに、最後に各プロジェクトの特徴を挙げています。

Related Books

Free with a 30 day trial from Scribd

See all
  • Be the first to comment

Large-Scale Graph Processing〜Introduction〜(LT版)

  1. 1. Hadoop MapReduce デザインパターン——MapReduceによる大規模テキストデータ処理1 Jimmy Lin, Chris Dyer�著、神 林 飛志、野村 直之�監修、玉川 竜司�訳2 2011年10月01日 発売予定3 210ページ4 定価2,940円
  2. 2. Shuffle & barrier job start/ shutdowni i+1
  3. 3. 1 B E 5 1 4A D G 3 3 2 4 C 5 F
  4. 4. 5 1 B E 5 1 3 4A D G 3 3 2 5!4 min(6,4) 4 1 B E C 5 F 5 1 i 3 4 A D G 3 3 2 4 3 2 C 5 F i+1
  5. 5. a super step http://en.wikipedia.org/wiki/Bulk_Synchronous_Parallel
  6. 6. ...
  7. 7. a super step
  8. 8. a super step
  9. 9. 1 B E 5 1 4A D G 3 3 2 4 C 5 F initialize
  10. 10. +∞ B 1 +∞ E 5 10 +∞ 4 +∞A D G 3 3 2 4 +∞ C 5 F +∞ 1
  11. 11. +∞ B 1 +∞ E 5 10 +∞ 4 +∞A D G 3 3 2 4 +∞ C 5 F +∞ 1
  12. 12. +∞ B 1 +∞ E 5 10 +∞ 4 +∞A D G 3 3 2 4 +∞ C 5 F +∞ 1
  13. 13. 5 1 +∞ B E 5 10 3 4 +∞A D G 3 3 2 4 +∞ C 5 F +∞ 1
  14. 14. 5 1 +∞ B E 5 10 3 4 +∞A D G 3 3 2 4 +∞ C 5 F +∞ 2
  15. 15. 5 1 +∞ B E 5 10 3 4 +∞A D G 3 3 2 4 +∞ C 5 F +∞ 2
  16. 16. 4 1 6 B E 5 10 3 4 +∞A D G 3 3 2 4 6 C 5 F 5 2
  17. 17. 4 1 6 B E 5 10 3 4 +∞A D G 3 3 2 4 6 C 5 F 5 3
  18. 18. 4 1 6 B E 5 10 3 4 +∞A D G 3 3 2 4 6 C 5 F 5 3
  19. 19. 4 1 5 B E 5 10 3 4 9A D G 3 3 2 4 6 C 5 F 5 3
  20. 20. 4 1 5 B E 5 10 3 4 9A D G 3 3 2 4 6 C 5 F 5 end
  21. 21. +∞ B 1 +∞ E 5 10 +∞ 4 +∞A D G 3 3 2 4 +∞ C 5 F +∞ 1
  22. 22. +∞ B 1 +∞ E 5 10 +∞ 4 +∞A D G 3 3 2 4 +∞ C 5 F +∞ 1
  23. 23. +∞ B 1 +∞ E 5 10 +∞ 4 +∞A D G 3 3 2 4 +∞ C 5 F +∞ 1
  24. 24. 5 1 +∞ B E 5 10 3 4 +∞A D G 3 3 2 4 +∞ C 5 F +∞ 2
  25. 25. 5 1 +∞ B E 5 10 3 4 +∞A D G 3 3 2 4 +∞ C 5 F +∞ 2
  26. 26. 4 1 6 B E 5 10 3 4 +∞A D G 3 3 2 4 6 C 5 F 5 3
  27. 27. 4 1 6 B E 5 10 3 4 +∞A D G 3 3 2 4 6 C 5 F 5 3
  28. 28. 4 1 5 B E 5 10 3 4 9A D G 3 3 2 4 6 C 5 F 5 4
  29. 29. 4 1 5 B E 5 10 3 4 9A D G 3 3 2 4 6 C 5 F 5 4
  30. 30. 4 1 5 B E 5 10 3 4 9A D G 3 3 2 4 6 C 5 F 5 5
  31. 31. 4 1 5 B E 5 10 3 4 9A D G 3 3 2 4 6 C 5 F 5 5
  32. 32. 4 1 5 B E 5 10 3 4 9A D G 3 3 2 4 6 C 5 F 5 end

    Be the first to comment

    Login to see the comments

  • peterneubauer

    Sep. 25, 2011
  • whitestardev

    Oct. 2, 2011
  • daebumlee

    Sep. 2, 2012
  • flatburger

    Nov. 30, 2013
  • msykiino

    Feb. 28, 2015
  • hczcolin

    Apr. 17, 2016

(※本スライドの内容は別途アップロードしている本番編から、LT用に加工した物になります。) グラフデータの大規模処理はMapReduceよりも効率の良い計算モデル が提案され、Google Pregel・Giraph・Hama・GoldenOrb等のプロジェクトにおいて実装 が進められています。またHamaやGiraphはNextGen Apache Hadoop MapReduceへ の対応が進められています。本LTでは"Large Scale Graph Processing"とはどのようなものをMap Reduceと比較して紹介するとともに、最後に各プロジェクトの特徴を挙げています。

Views

Total views

15,857

On Slideshare

0

From embeds

0

Number of embeds

11,729

Actions

Downloads

32

Shares

0

Comments

0

Likes

6

×