Successfully reported this slideshow.

Large-Scale Graph Processing〜Introduction〜(LT版)

6

Share

1 of 53
1 of 53

Large-Scale Graph Processing〜Introduction〜(LT版)

6

Share

Download to read offline

(※本スライドの内容は別途アップロードしている本番編から、LT用に加工した物になります。)
グラフデータの大規模処理はMapReduceよりも効率の良い計算モデル が提案され、Google Pregel・Giraph・Hama・GoldenOrb等のプロジェクトにおいて実装 が進められています。またHamaやGiraphはNextGen Apache Hadoop MapReduceへ の対応が進められています。本LTでは"Large Scale Graph Processing"とはどのようなものをMap Reduceと比較して紹介するとともに、最後に各プロジェクトの特徴を挙げています。

(※本スライドの内容は別途アップロードしている本番編から、LT用に加工した物になります。)
グラフデータの大規模処理はMapReduceよりも効率の良い計算モデル が提案され、Google Pregel・Giraph・Hama・GoldenOrb等のプロジェクトにおいて実装 が進められています。またHamaやGiraphはNextGen Apache Hadoop MapReduceへ の対応が進められています。本LTでは"Large Scale Graph Processing"とはどのようなものをMap Reduceと比較して紹介するとともに、最後に各プロジェクトの特徴を挙げています。

More Related Content

Related Books

Free with a 30 day trial from Scribd

See all

Large-Scale Graph Processing〜Introduction〜(LT版)

  1. 1. Hadoop MapReduce デザ インパターン ——MapReduceによる大規 模テキストデータ処理 1 Jimmy Lin, Chris Dyer�著、神 林 飛志、野村 直之�監修、玉川 竜司�訳 2 2011年10月01日 発売予定 3 210ページ 4 定価2,940円
  2. 2. Shuffle & barrier job start/ shutdown i i+1
  3. 3. 1 B E 5 1 4 A D G 3 3 2 4 C 5 F
  4. 4. 5 1 B E 5 1 3 4 A D G 3 3 2 5!4 min(6,4) 4 1 B E C 5 F 5 1 i 3 4 A D G 3 3 2 4 3 2 C 5 F i+1
  5. 5. a super step http://en.wikipedia.org/wiki/Bulk_Synchronous_Parallel
  6. 6. . . .
  7. 7. a super step
  8. 8. a super step
  9. 9. 1 B E 5 1 4 A D G 3 3 2 4 C 5 F initialize
  10. 10. +∞ B 1 +∞ E 5 1 0 +∞ 4 +∞ A D G 3 3 2 4 +∞ C 5 F +∞ 1
  11. 11. +∞ B 1 +∞ E 5 1 0 +∞ 4 +∞ A D G 3 3 2 4 +∞ C 5 F +∞ 1
  12. 12. +∞ B 1 +∞ E 5 1 0 +∞ 4 +∞ A D G 3 3 2 4 +∞ C 5 F +∞ 1
  13. 13. 5 1 +∞ B E 5 1 0 3 4 +∞ A D G 3 3 2 4 +∞ C 5 F +∞ 1
  14. 14. 5 1 +∞ B E 5 1 0 3 4 +∞ A D G 3 3 2 4 +∞ C 5 F +∞ 2
  15. 15. 5 1 +∞ B E 5 1 0 3 4 +∞ A D G 3 3 2 4 +∞ C 5 F +∞ 2
  16. 16. 4 1 6 B E 5 1 0 3 4 +∞ A D G 3 3 2 4 6 C 5 F 5 2
  17. 17. 4 1 6 B E 5 1 0 3 4 +∞ A D G 3 3 2 4 6 C 5 F 5 3
  18. 18. 4 1 6 B E 5 1 0 3 4 +∞ A D G 3 3 2 4 6 C 5 F 5 3
  19. 19. 4 1 5 B E 5 1 0 3 4 9 A D G 3 3 2 4 6 C 5 F 5 3
  20. 20. 4 1 5 B E 5 1 0 3 4 9 A D G 3 3 2 4 6 C 5 F 5 end
  21. 21. +∞ B 1 +∞ E 5 1 0 +∞ 4 +∞ A D G 3 3 2 4 +∞ C 5 F +∞ 1
  22. 22. +∞ B 1 +∞ E 5 1 0 +∞ 4 +∞ A D G 3 3 2 4 +∞ C 5 F +∞ 1
  23. 23. +∞ B 1 +∞ E 5 1 0 +∞ 4 +∞ A D G 3 3 2 4 +∞ C 5 F +∞ 1
  24. 24. 5 1 +∞ B E 5 1 0 3 4 +∞ A D G 3 3 2 4 +∞ C 5 F +∞ 2
  25. 25. 5 1 +∞ B E 5 1 0 3 4 +∞ A D G 3 3 2 4 +∞ C 5 F +∞ 2
  26. 26. 4 1 6 B E 5 1 0 3 4 +∞ A D G 3 3 2 4 6 C 5 F 5 3
  27. 27. 4 1 6 B E 5 1 0 3 4 +∞ A D G 3 3 2 4 6 C 5 F 5 3
  28. 28. 4 1 5 B E 5 1 0 3 4 9 A D G 3 3 2 4 6 C 5 F 5 4
  29. 29. 4 1 5 B E 5 1 0 3 4 9 A D G 3 3 2 4 6 C 5 F 5 4
  30. 30. 4 1 5 B E 5 1 0 3 4 9 A D G 3 3 2 4 6 C 5 F 5 5
  31. 31. 4 1 5 B E 5 1 0 3 4 9 A D G 3 3 2 4 6 C 5 F 5 5
  32. 32. 4 1 5 B E 5 1 0 3 4 9 A D G 3 3 2 4 6 C 5 F 5 end

×