Large-Scale Graph Processing〜Introduction〜(LT版)

15,415 views
15,315 views

Published on

(※本スライドの内容は別途アップロードしている本番編から、LT用に加工した物になります。)
グラフデータの大規模処理はMapReduceよりも効率の良い計算モデル が提案され、Google Pregel・Giraph・Hama・GoldenOrb等のプロジェクトにおいて実装 が進められています。またHamaやGiraphはNextGen Apache Hadoop MapReduceへ の対応が進められています。本LTでは"Large Scale Graph Processing"とはどのようなものをMap Reduceと比較して紹介するとともに、最後に各プロジェクトの特徴を挙げています。

Published in: Technology
1 Comment
6 Likes
Statistics
Notes
  • This slide is a 'short' version for lightning talk, the full version is here →
    http://www.slideshare.net/doryokujin/largescale-graph-processingintroduction
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
No Downloads
Views
Total views
15,415
On SlideShare
0
From Embeds
0
Number of Embeds
11,731
Actions
Shares
0
Downloads
32
Comments
1
Likes
6
Embeds 0
No embeds

No notes for slide

Large-Scale Graph Processing〜Introduction〜(LT版)

  1. 1. Hadoop MapReduce デザインパターン——MapReduceによる大規模テキストデータ処理1 Jimmy Lin, Chris Dyer�著、神 林 飛志、野村 直之�監修、玉川 竜司�訳2 2011年10月01日 発売予定3 210ページ4 定価2,940円
  2. 2. Shuffle & barrier job start/ shutdowni i+1
  3. 3. 1 B E 5 1 4A D G 3 3 2 4 C 5 F
  4. 4. 5 1 B E 5 1 3 4A D G 3 3 2 5!4 min(6,4) 4 1 B E C 5 F 5 1 i 3 4 A D G 3 3 2 4 3 2 C 5 F i+1
  5. 5. a super step http://en.wikipedia.org/wiki/Bulk_Synchronous_Parallel
  6. 6. ...
  7. 7. a super step
  8. 8. a super step
  9. 9. 1 B E 5 1 4A D G 3 3 2 4 C 5 F initialize
  10. 10. +∞ B 1 +∞ E 5 10 +∞ 4 +∞A D G 3 3 2 4 +∞ C 5 F +∞ 1
  11. 11. +∞ B 1 +∞ E 5 10 +∞ 4 +∞A D G 3 3 2 4 +∞ C 5 F +∞ 1
  12. 12. +∞ B 1 +∞ E 5 10 +∞ 4 +∞A D G 3 3 2 4 +∞ C 5 F +∞ 1
  13. 13. 5 1 +∞ B E 5 10 3 4 +∞A D G 3 3 2 4 +∞ C 5 F +∞ 1
  14. 14. 5 1 +∞ B E 5 10 3 4 +∞A D G 3 3 2 4 +∞ C 5 F +∞ 2
  15. 15. 5 1 +∞ B E 5 10 3 4 +∞A D G 3 3 2 4 +∞ C 5 F +∞ 2
  16. 16. 4 1 6 B E 5 10 3 4 +∞A D G 3 3 2 4 6 C 5 F 5 2
  17. 17. 4 1 6 B E 5 10 3 4 +∞A D G 3 3 2 4 6 C 5 F 5 3
  18. 18. 4 1 6 B E 5 10 3 4 +∞A D G 3 3 2 4 6 C 5 F 5 3
  19. 19. 4 1 5 B E 5 10 3 4 9A D G 3 3 2 4 6 C 5 F 5 3
  20. 20. 4 1 5 B E 5 10 3 4 9A D G 3 3 2 4 6 C 5 F 5 end
  21. 21. +∞ B 1 +∞ E 5 10 +∞ 4 +∞A D G 3 3 2 4 +∞ C 5 F +∞ 1
  22. 22. +∞ B 1 +∞ E 5 10 +∞ 4 +∞A D G 3 3 2 4 +∞ C 5 F +∞ 1
  23. 23. +∞ B 1 +∞ E 5 10 +∞ 4 +∞A D G 3 3 2 4 +∞ C 5 F +∞ 1
  24. 24. 5 1 +∞ B E 5 10 3 4 +∞A D G 3 3 2 4 +∞ C 5 F +∞ 2
  25. 25. 5 1 +∞ B E 5 10 3 4 +∞A D G 3 3 2 4 +∞ C 5 F +∞ 2
  26. 26. 4 1 6 B E 5 10 3 4 +∞A D G 3 3 2 4 6 C 5 F 5 3
  27. 27. 4 1 6 B E 5 10 3 4 +∞A D G 3 3 2 4 6 C 5 F 5 3
  28. 28. 4 1 5 B E 5 10 3 4 9A D G 3 3 2 4 6 C 5 F 5 4
  29. 29. 4 1 5 B E 5 10 3 4 9A D G 3 3 2 4 6 C 5 F 5 4
  30. 30. 4 1 5 B E 5 10 3 4 9A D G 3 3 2 4 6 C 5 F 5 5
  31. 31. 4 1 5 B E 5 10 3 4 9A D G 3 3 2 4 6 C 5 F 5 5
  32. 32. 4 1 5 B E 5 10 3 4 9A D G 3 3 2 4 6 C 5 F 5 end

×