Introduction to Parallel Computing, Second Edition By Ananth Grama, Anshul Gupta, George Karypis, Vipin Kumar

1. ‫دااگشنه آزاد اسالمی واحد علىم و تحقیقات اصف‬
‫هان‬
‫ارائه دهنده:‬
‫مهدی اشراقی‬
‫استاد:‬
‫جناب آقای دکتر زمانی فر‬

2. ‫توپولوژی شبکه‬
‫‪ًَ ‬ع ّبی گًَبگًَی از تَپَلَشی در ارتجبط ضجکِ ّب استفبدُ هی ضَد.‬
‫‪ ‬در ایي تَپَلَشی ّب ّسیٌِ ٍ هقیبس در ثراثر عولکرد هَرد ثحث قرار هی گیرًذ.‬
‫2‬

3. ‫شبکه باس‬
‫‪ ‬سبدُ تریي رٍضی کِ هبضیي ّبی هَازی از آى استفبدُ هی کٌٌذ.‬
‫‪ ‬ضبهل یک هحیط اضتراکی هی ثبضذ کِ هیبى توبهی ًَدّب هطترک ّست.‬
‫‪ ‬دادُ ّب ‪ broadcast‬هی ضًَذ.‬
‫3‬

4. ‫شبکه باس‬
‫‪ّ ‬سیٌِ ایي ضجکِ ثصَرت خطی هی ثبضذ.‬
‫‪ ‬فبصلِ ّر دٍ گرُ )1(‪ O‬است.‬
‫‪ ‬پٌْبی ثبًذ هحذٍد.‬
‫‪ ‬ثعلت ‪ ،broadcast‬کبرایی ایي ضجکِ ثب افسایص تعذاد گرُ ّب کن هی ضَد.‬
‫‪ ‬اغلت ایي ضجکِ هحذٍد ثِ یک دٍجیي گرُ هی ثبضذ.‬
‫‪ ‬پٌتیَم ایٌتل، از ایي هعوبری استفبدُ هی کٌذ.‬
‫4‬

5. ‫شبکه باس‬
‫‪ ‬از آًجبیی کِ ثیطتر دسترسی ّب ثِ دادُ، ثِ صَرت هحلی در خَد گرُ اًجبم‬
‫هی ضَد، قرار دادى حبفظِ کص ثرای ّر گرُ ثرای دسترسی ّبی هحلی، ثبعث‬
‫ثْجَد کبرایی هی ضَد.‬
‫5‬

6. ‫شبکه ‪CROSSBARS‬‬
‫‪ ‬یک ضجکِ تَری ضبهل ‪p*m‬‬
‫‪ ‬هسذٍد ًوی ضَد.‬
‫‪ّ ‬ر پردازًذُ در ّر زهبى قبدر‬
‫ثِ دسترسی ثِ حبفظِ هی ثبضذ.‬
‫6‬

7. ‫شبکه ‪CROSSBARS‬‬
‫2‬
‫‪ّ ‬سیٌِ رضذ ضجکِ ثِ صَرت ‪ p ‬‬
‫‪ ‬‬
‫‪ ‬‬
‫هی ثبضذ.‬
‫‪ٌّ ‬گبهی کِ تعذاد پردازًذُ ّب زیبد هی ضًَذ، پیچیذگی ضجکِ ثبال هی رٍد.‬
‫7‬

8. ‫شبکه ‪MULTISTAGE‬‬
‫‪ ‬ضجکِ ‪ Crossbars‬در کبرایی هٌبست است ٍلی در ّسیٌِ هٌبست ًیستٌذ.‬
‫‪ ‬ضجکِ ثبس، در ّسیٌِ هٌبست است ٍلی در کبرایی عولکرد خَثی ًذارد.‬
‫‪ ‬ضجکِ ‪Multistage‬حذفبصل دٍ ضجکِ ثبالست.‬
‫8‬

9. ‫شبکه ‪MULTISTAGE‬‬
‫‪ ‬ضجکِ ضبهل پردازًذُ ّب ٍ حبفظِ هی ثبضذ.‬
‫‪ ‬رایج تریي ضجکِ ‪ ، Multistage‬ضجکِ ‪ omega network‬است.‬
‫9‬
‫‪ ‬تعذاد ‪ّ stage‬ب در ‪ omega network‬ضبهل ‪ log p‬است.‬

10. PERFECT SHUFFLE




000
001
011
111
--->
--->
--->
--->
000
010
110
111
--->
--->
--->
--->
000
100
101
111
--->
--->
--->
--->
000
001
011
111
10

11. ‫‪PERFECT SHUFFLE‬‬
‫‪‬‬
‫‪ ،Perfect shuffle‬تَسط سَئیچ ّبی 2* 2 ثِ یکذیگر هتصل هی ضًَذ.‬
‫‪‬‬
‫سَئیچ ّب در دٍ حبلت ‪ ،Pass-through ٍ Cross-over‬کبر هیکٌٌذ.‬
‫‪‬‬
‫11‬
‫ّسیٌِ رضذ ایي ضجکِ ‪ p log p‬است کِ کوتر از ّسیٌِ ضجکِ ‪ crossbar‬است.‬

12. COMPLETE OMEGA NETWORK
0
0
1
1
2
2
3
3
4
4
5
5
6
6
12

13. COMPLETE OMEGA NETWORK
000
0
1
001
010 010
111
2
011
3
100
4
101
5
110
110
100
6
13

14. COMPLETE OMEGA NETWORK
0
0
1
1
2
2
3
3
010
111
4
5
6
4
5
110
100
6
14

15. COMPLETE OMEGA NETWORK
0
0
1
1
2
2
3
3
4
010
111
4
5
110
100
5
6
6
15

16. COMPLETE OMEGA NETWORK
0
0
1
1
2
2
3
3
4
5
6
010
111
110
100
4
5
6
16

17. COMPLETE OMEGA NETWORK
0
0
1
1
2
3
2
010
111
110
100
3
4
4
5
5
6
6
17

18. COMPLETE OMEGA NETWORK
0
0
1
1
2
2
3
110
100
010
111
3
4
4
5
5
6
6
18

19. COMPLETE OMEGA NETWORK
0
0
1
1
2
110
100
2
3
010
111
3
4
4
5
5
6
6
19

20. COMPLETE OMEGA NETWORK
0
0
1
1
2
2
3
4
010
111
3
110
100
4
5
5
6
6
20

21. COMPLETE OMEGA NETWORK
0
0
1
1
2
2
3
3
4
110
100
5
6
4
5
010
111
6
21

22. COMPLETE OMEGA NETWORK
0
0
1
1
2
2
3
3
4
4
110
100
5
6
5
010
111
6
22

23. COMPLETE OMEGA NETWORK
0
0
1
1
2
2
3
3
4
4
110
100
5
5
6
6
010
111
23

24. ‫‪COMPLETE OMEGA NETWORK‬‬
‫‪‬‬
‫42‬
‫حبلت هسذٍد در ایي ضجکِ ٍجَد دارد.‬

25. ‫‪COMPLETELY CONNECTED NETWORK‬‬
‫‪ّ ‬ر پردازًذُ ثب ّوِ پردازًذُ ّبی دیگر یک هسیر ارتجبطی هستقل دارد.‬
‫‪ ‬کبرایی در ایي ضجکِ ثسیبر خَة است، ٍلی ٌّگبم گسترش‬
‫پیچیذگی سخت افساری قبثل قجَل ًیست.‬
‫‪‬‬
‫52‬
‫ّوبًٌذ ضجکِ ‪ ،crossbar‬حبلت هسذٍد ًذارد.‬

26. ‫‪STAR CONNECTED NETWORKS‬‬
‫‪‬‬
‫‪‬‬
‫‪‬‬
‫62‬
‫یک پردازًذُ ثِ عٌَاى پردازًذُ ی هرکسی عول هی کٌذ، ٍ دیگر پردازًذُ ّب یک هسیر ارتجبطی ثب ایي‬
‫پردازًذُ دارًذ.‬
‫ارتجبط هیبى دٍ پردازًذُ ثبیذ از پردازًذُ ی هرکسی عجَر کٌذ.‬
‫ضجیِ ضجکِ ی ثبس دارای هسیر دادُ هطترک هی ثبضذ.‬

27. ‫‪LINEAR ARRAYS, MESHES, AND K-D MESHES‬‬
‫‪‬‬
‫ّر گرُ دارای دٍ ّوسبیِ هی ثبضذ.‬
‫‪‬‬
‫ثب اتصبل دٍ سر ضجکِ خطی، ضجکِ حلقَی ‪ 1-D‬تطکیل هی ضَد.‬
‫72‬

28. ‫‪LINEAR ARRAYS, MESHES, AND K-D MESHES‬‬
‫‪‬‬
‫ضجکِ هص دٍ ثعذی (‪ّ ،)2-D‬ر گرُ دارای 4 ّوسبیِ هی ثبضذ.‬
‫‪‬‬
‫یک ضجکِ هص ‪ D‬ثعذی، ضبهل گرُ ّبیی ثب ‪ّ 2D‬وسبیِ است.‬
‫82‬

29. ‫‪HYPERCUBES‬‬
‫‪‬‬
‫‪‬‬
‫92‬
‫حبلت خبصی از ضجکِ هص ‪ D‬ثعذی، ‪ً hypercube‬بم دارد.‬
‫ایي ضجکِ ضبهل‬
‫‪d‬‬
‫2‬
‫گرُ هی ثبضذ.‬

30. ‫شبکه درختی‬
‫‪‬‬
‫تٌْب یک هسیر هیبى جفت گرُ ّب ٍجَد دارد.‬
‫‪‬‬
‫درخت ایستب: درختی کِ ّوِ ی گرُ ّبیص، پردازًذُ ثبضٌذ.‬
‫‪‬‬
‫درخت پَیب: درختی کِ گرُ ّبی هیبًی، سَئیچ ّب ٍ ثرگ ّبی آى پردازًذُ هی ثبضٌذ.‬
‫03‬

31. ‫شبکه درختی‬
‫ارسبل پیبم‬
‫13‬

32. ‫شبکه درختی‬
‫ارسبل پیبم‬
‫‪R‬‬
‫‪S‬‬
‫23‬

33. ‫شبکه درختی‬
‫ارسبل پیبم‬
‫‪R‬‬
‫‪S‬‬
‫33‬

34. ‫شبکه درختی‬
‫ارسبل پیبم‬
‫‪R‬‬
‫‪S‬‬
‫43‬

35. ‫شبکه درختی‬
‫ارسبل پیبم‬
‫‪R‬‬
‫پیبم ثِ سوت گیرًذُ حرکت هی کٌذ‬
‫‪S‬‬
‫53‬

36. ‫شبکه درختی‬
‫ارسبل پیبم‬
‫‪R‬‬
‫پیبم ثِ سوت گیرًذُ حرکت هی کٌذ‬
‫‪S‬‬
‫63‬

37. ‫شبکه درختی‬
‫ارسبل پیبم‬
‫‪R‬‬
‫پیبم ثِ سوت گیرًذُ حرکت هی کٌذ‬
‫‪S‬‬
‫73‬

38. ‫شبکه درختی‬
‫‪‬‬
‫گرُ ّبی ثبالیی دارای ترافیک ثیطتری ّستٌذ.‬
‫‪‬‬
‫درخت چبق: ثب ثبال رفتي، هسیر ارتجبطی ًیس ثیطتر ضَد.‬
‫83‬

39. ‫ارزیابی شبکه‬
‫‪‬‬
‫:‪ Diameter‬ضخامت:‬
‫فبصلِ ی هیبى دٍرتریي گرُ ّب. در آرایِ خطی 1-‪ ٍ ،p‬در ضجکِ اتصبل کبهل 1، هی ثبضذ.(کوتر ثْتر)‬
‫‪‬‬
‫‪ Bisection width‬طول دوبخشی:‬
‫حذاقل هسیرّبی ارتجبطی کِ ثبیذ از ثیي ثرًٍذ تب ضجکِ ثِ دٍ ثخص هسبٍی تقسین ضَد. در ضجکِ حلقَی 2هی‬
‫ثبضذ. ثِ ترافیک هیبى ایي دٍثخص ‪ bisection bandwidth‬گَیٌذ.‬
‫‪‬‬
‫‪ Cost‬هزینه:‬
‫تعذاد هسیرّبی ارتجبطی هَجَد در ضجکِ. (کوتر ثْتر)‬
‫93‬

40. BISECTION WIDTH
40

41. ‫ارزیابی شبکه ایستا‬
Network
Diameter
Bisection
Width
Arc
Connectivity
Cost
(No. of links)
Completely-connected
Star
Complete binary tree
Linear array
2-D mesh, no wraparound
2-D wraparound mesh
Hypercube
Wraparound k-ary d-cube
41

42. ‫ارزیابی شبکه پویا‬
Network
Diameter
Bisection
Width
Arc
Connectivity
Cost
(No. of links)
Crossbar
Omega Network
Dynamic Tree
42

43. ‫‪CACHE COHERENCE‬‬
‫‪‬‬
‫ٌّگبهی کِ ضجکِ ّب هکبًیسم ّبیی را ثرای دسترسی ثِ دادُ ّب در یک هحیط اضتراکی فراّن هی کٌٌذ، ًیبز‬
‫ثِ عولیبتی دارین کِ ایي دادُ ّب ثبّن سبزگبر ثبضٌذ.‬
‫‪‬‬
‫ثرای اطویٌبى یبفتي از سبزگبری دادُ ّب، عولیبت ثبیذ ثِ صَرت سریبل اًجبم ضَد.(سریبل سبزی در پردازش‬
‫هَازی ٍجَد دارد)‬
‫34‬

44. UPDATE AND INVALIDATE
44

45. ‫‪UPDATE AND INVALIDATE‬‬
‫‪‬‬
‫‪ Invalidate‬ثبطل کردى:‬
‫ٌّگبهی کِ یک پردازًذُ، دادُ ی اضتراکی را تغییر هی دّذ، ایي رٍش کپی ّبی دیگر ایي دادُ را ثبطل هی کٌذ.‬
‫‪‬‬
‫‪ٍ Update‬یرایص:‬
‫ثب تغییر دادُ اضتراکی، کپی ّبی دیگر ّن ثِ رٍز هی ضَد.‬
‫‪‬‬
‫یک پردازًذُ ثب خَاًذى دادُ اضتراکی، ٍ ًگْذاضتي آى ٍ اًجبم عولیبت ٍیرایص ثبعث ایجبد سرثبر اضبفی هی‬
‫ضَد.‬
‫‪‬‬
‫54‬
‫ثب ثبطل کردى کپی ّبی دیگر دادُ ثعذ از اٍلیي ٍیرایص، از ایجبد سرثبر جلَگیری هی ضَد.‬

46. ‫حفظ انسجام با استفاده از روش ابطال‬
‫‪‬‬
‫ّر کپی از دادُ دارای یی از حبالت زیر هی ثبضذ‬
‫‪ :Shared‬کپی ّبی هَجَد از دادُ، صحیح هی ثبضٌذ.‬
‫‪ : Invalid‬کپی ّبی هَجَد از دادُ، صحیح ًیستٌذ، ٍ عولیبت خَاًذى دٍثبرُ درخَاست دادُ هی کٌذ.‬
‫‪ : Dirty‬فقط یک کپی از دادُ ٍجَد دارد.‬
‫64‬

47. ‫حفظ انسجام با استفاده از روش ابطال‬
‫74‬

48. ‫حفظ انسجام با استفاده از روش ابطال‬
‫84‬

49. ‫حفظ انسجام با استفاده از روش ابطال‬
‫94‬

50. ‫حفظ انسجام با استفاده از روش ابطال‬
‫05‬

51. ‫حفظ انسجام با استفاده از روش ابطال‬
‫15‬

52. ‫حفظ انسجام با استفاده از روش ابطال‬
‫25‬

53. ‫‪ ،SNOOPY CACHE‬روش پیاده سازی سخت افزاری‬
‫‪‬‬
‫35‬
‫ایي رٍش تَسط ‪ broadcast‬کبر هی کٌذ.‬

54. ‫کارایی سیستم ‪SNOOPY CACHES‬‬
‫‪‬‬
‫در ضجکِ ّبی ثبس ٍ حلقَی کِ رٍش ‪ broadcast‬دارًذ کبرثرد دارًذ.‬
‫‪‬‬
‫سبدُ است ٍ اهکبى گسترش دارد.‬
‫‪‬‬
‫اگر پردازًذُ ّبی هختلف، رٍی دادُ ّبی هختلف عولیبت اًجبم دٌّذ، ایي عولیبت هی تَاًذ در کص ثبضذ.‬
‫ثرای هثبل اگر دادُ ای تَسط چٌذ پردازًذُ خَاًذُ ضَد، آى دادُ ثِ حبلت ‪ ،shared‬هی رٍد ٍ عولیبت‬
‫ثعذی هی تَاًذ در کص ّر پردازًذُ اًجبم گیرد.‬
‫‪‬‬
‫ثب کص، ترافیک رٍی ثبس کن هی ضَد.‬
‫‪‬‬
‫عولیبت حفظ اًسجبم ثِ ّوِ پردازًذُ ّب هی رسذ، ٍ ایي ثبعث هحذٍدیت ٍ هصرف پٌْبی ثبًذ هی ضَد.‬
‫45‬

55. ‫‪DIRECTORY BASED SYSTEMS‬‬
‫‪‬‬
‫‪ Broadcast‬ضذى ثب یک دایرکتَری جبیگسیي ضذُ.‬
‫‪‬‬
‫ًیبز ثِ رخیرُ ثیت اضبفی ثبعث ایجبد سرثبر هی ضَد.‬
‫‪‬‬
‫ّسیٌِ گسترش ‪ mp‬است.‬
‫55‬

56. ‫‪DISTRIBUTED DIRECTORY‬‬
‫‪‬‬
‫ّر پردازًذُ هسئَل حفظ اًسجبم حبفظِ خَدش است.‬
‫‪‬‬
‫حبفظِ ّب ثرای ّر پردازًذُ جذاگبًِ است.‬
‫65‬