مقدمه ای بر بزرگ داده ها و ابزار های موجود در آن

1. ‫مقدمه‬‫بر‬ ‫ای‬Big Data
‫استاد‬:‫ی‬‫خنجر‬ ‫دکتر‬
‫دهندگان‬‫ائه‬‫ر‬‫ا‬:‫سهرابی‬ ‫امید‬ ،‫حسنوند‬ ‫سعید‬

2. www.company.com
‫مطالب‬ ‫فهرست‬
•Big Data‫چیست‬‫؟‬
•‫ا‬‫ر‬‫چ‬Big Data‫؟‬
•‫چالش‬‫پیشه‬‫های‬‫ی‬‫و‬‫ر‬Big Data
•‫آینده‬‫ی‬Big Data
•‫جنبش‬NoSQL
•‫انواع‬NoSQL
•MapReduce
•Hadoop
1

3. www.company.com
Big Data‫چیست؟‬2
•‫معنای‬‫ی‬‫لغو‬
•‫داده‬ ‫کالن‬
•‫داده‬‫حجیم‬‫های‬
•‫داده‬ ‫گ‬‫ر‬‫بز‬
•‫تعریف‬
•‫د‬‫ر‬‫ندا‬ ‫وجود‬‫واحدی‬‫تعریف‬!
•‫تعریف‬ ‫تمامی‬ ‫در‬ ‫اصلی‬ ‫عنصر‬ ‫دو‬‫ها‬
•‫داده‬ ‫از‬ ‫یادی‬‫ز‬ ‫حجم‬ ِ‫وجود‬‫ها‬
•‫پایگاه‬ ِ‫ناتوانی‬‫داده‬ ‫مدیریت‬ ‫در‬ ‫سنتی‬ ‫داده‬ ‫های‬‫ها‬

4. www.company.com
Big Data‫چیست؟‬3
•‫ویژگی‬‫ها‬
Big Data

5. www.company.com
Big Data‫چیست؟‬4
•‫داده‬‫حجم‬‫ها‬(Volume)
•‫سال‬ ‫تا‬2003‫داده‬ ‫کل‬ ‫حجم‬‫حدود‬ ،‫موجود‬ ‫های‬
5‫است‬ ‫بوده‬ ‫اگزابایت‬
•،‫روز‬ ‫دو‬ ‫هر‬ ‫در‬ ‫امروزه‬‫حدود‬5‫اگزابایت‬
‫می‬ ‫تولید‬ ‫داده‬‫شود‬
•‫ش‬‫ر‬‫گزا‬IBM
•‫تولید‬2.5‫روز‬ ‫در‬ ‫داده‬ ‫اگزابایت‬
•‫تولید‬90‫داده‬ ‫کل‬ ‫درصد‬‫دو‬ ‫در‬ ‫موجود‬ ‫های‬
‫اخیر‬ ‫سال‬
0.8 Zb 35.2 Zb‫رشدی‬44
‫برابری‬
2009
2020

6. www.company.com
Big Data‫چیست؟‬5
•‫داده‬‫حجم‬‫ها‬(Volume)
•‫سال‬ ‫تا‬2003‫داده‬ ‫کل‬ ‫حجم‬‫حدود‬ ،‫موجود‬ ‫های‬
5‫است‬ ‫بوده‬ ‫اگزابایت‬
•،‫روز‬ ‫دو‬ ‫هر‬ ‫در‬ ‫امروزه‬‫حدود‬5‫اگزابایت‬
‫می‬ ‫تولید‬ ‫داده‬‫شود‬
•‫ش‬‫ر‬‫گزا‬IBM
•‫تولید‬2.5‫روز‬ ‫در‬ ‫داده‬ ‫اگزابایت‬
•‫تولید‬90‫داده‬ ‫کل‬ ‫درصد‬‫دو‬ ‫در‬ ‫موجود‬ ‫های‬
‫اخیر‬ ‫سال‬
EXA
218
PETA
215
TERA
212
ZETTA
221
GIGA
29
2018
2015
2012
2003

7. www.company.com
Big Data‫چیست؟‬6
•‫ها‬ ‫داده‬‫حجم‬(Volume)

8. www.company.com
Big Data‫چیست؟‬7
•‫نمونه‬‫ها‬
•‫فیسبوک‬(1392)
•‫بر‬‫ر‬‫کا‬ ‫د‬‫ر‬‫میلیا‬ ‫یک‬ ‫از‬ ‫بیش‬
•‫از‬ ‫بیش‬300‫داده‬ ‫پتابایت‬
•‫از‬‫بیش‬ ِ‫شدن‬ ‫اضافه‬50‫ز‬‫و‬‫ر‬ ‫در‬ ‫داده‬‫ترابایت‬
•‫از‬ ‫بیش‬35‫ی‬‫مجاز‬ ‫دنیای‬ ‫تصاویر‬ ِ‫کل‬ ‫از‬ ‫صد‬‫ر‬‫د‬
•‫گوگل‬(1390)
•‫داده‬ ‫پتابایت‬ ‫صد‬ ‫از‬ ‫بیش‬
–‫از‬ ‫بیش‬1000‫وب‬ ‫صفحه‬ ‫د‬‫ر‬‫میلیا‬
•‫حدود‬7.2‫جست‬ ‫د‬‫ر‬‫میلیا‬‫ز‬‫و‬‫ر‬ ‫در‬ ‫وجو‬

9. www.company.com
Big Data‫چیست؟‬8
•‫نمونه‬‫ها‬
•‫یوتیوب‬(1393)
•‫داده‬‫اگزابایت‬ ‫یک‬ ‫از‬ ‫بیش‬
•‫ماه‬ ‫در‬ ‫بر‬‫ر‬‫کا‬ ‫د‬‫ر‬‫میلیا‬ ‫یک‬ ‫از‬ ‫بیش‬ ِ‫دید‬‫ز‬‫با‬
•80‫آمریکا‬ ‫از‬ ‫خارج‬‫ترافیک‬ ‫صد‬‫ر‬‫د‬
•‫دقیقه‬ ‫در‬ ‫فیلم‬ ‫ساعت‬ ‫صد‬ ‫شدن‬ ‫اضافه‬
•‫توییتر‬(1393)
•‫بر‬‫ر‬‫کا‬ ‫د‬‫ر‬‫میلیا‬ ‫یک‬ ‫حدود‬
•‫از‬ ‫بیش‬124‫سال‬ ‫در‬ ‫توییت‬ ‫د‬‫ر‬‫میلیا‬
•‫حدود‬4500‫ثانیه‬ ‫در‬ ‫توییت‬
•271‫ماه‬ ‫در‬ ‫فعال‬ ‫بر‬‫ر‬‫کا‬ ‫ن‬‫میلیو‬

10. www.company.com
Big Data‫چیست؟‬9
•‫نمونه‬‫ها‬
•‫شبکه‬‫حسگر‬ ‫های‬
•‫مان‬‫ز‬‫سا‬‫ی‬ ‫هواشناس‬ ‫های‬
•‫دستگاه‬‫پزشکی‬‫های‬
•‫ماتیک‬‫ر‬‫بیوانفو‬
•‫مان‬‫ز‬‫سا‬‫گ‬‫ر‬‫بز‬ ‫های‬
•‫و‬...

11. www.company.com
Big Data‫چیست؟‬10
•‫ویژگی‬‫ها‬
Big Data

12. www.company.com
Big Data‫چیست؟‬11
•‫داده‬ ‫در‬ ‫تنوع‬‫ها‬(Variety)
•‫داده‬‫های‬‫مند‬‫ر‬‫ساختا‬(Structured)
•‫داده‬‫هستند‬ ‫مشخصی‬ ِ‫ساختار‬ ‫دارای‬ ‫که‬ ‫هایی‬
–‫ها‬ ‫رشته‬
–‫اعداد‬
–‫تاریخ‬
–‫و‬...
•‫حدود‬20‫داده‬ ‫کل‬ ‫از‬ ‫درصد‬،‫موجود‬ ‫های‬
‫هستند‬ ‫ساختارمند‬
•‫پایگاه‬ ‫از‬ ‫استفاده‬‫داده‬ ‫های‬‫رابطه‬ ‫ی‬‫ای‬

13. www.company.com
Big Data‫چیست؟‬12
•‫داده‬ ‫در‬ ‫تنوع‬‫ها‬(Variety)
•‫داده‬‫مند‬‫ر‬‫ساختا‬‫های‬(Structured)
•‫داده‬‫های‬‫مند‬‫ر‬‫ساختا‬‫نیمه‬(Semi-Structured)
•‫ندارند‬ ‫مشابه‬ ‫و‬ ‫سازگار‬ ‫ساختاری‬
–XML
–Tweets
–SGML
–Logs
–‫و‬...
•‫ی‬ ‫داده‬ ‫های‬ ‫پایگاه‬ ‫از‬ ‫استفاده‬ ‫امکان‬ ‫عدم‬
‫رابطه‬‫ای‬

14. www.company.com
Big Data‫چیست؟‬13
•‫داده‬ ‫در‬ ‫تنوع‬‫ها‬(Variety)
•‫داده‬‫مند‬‫ر‬‫ساختا‬‫های‬(Structured)
•‫داده‬‫های‬‫مند‬‫ر‬‫ساختا‬‫نیمه‬(Semi-Structured)
•‫داده‬‫های‬‫ساختار‬ ‫فاقد‬(Unstructured)
•‫هستند‬ ‫ساختاری‬ ‫هرگونه‬ ‫فاقد‬
–‫داده‬‫رسانه‬ ‫چند‬ ‫های‬‫ای‬(‫و‬ ‫صوت‬ ،‫فیلم‬)...
–‫ایمیل‬‫ها‬
–‫گزارشات‬
–‫ارائه‬‫ها‬
–‫و‬....
•‫حدود‬70‫تا‬90‫داده‬ ‫کل‬ ‫از‬ ‫درصد‬‫موجود‬ ‫های‬

15. www.company.com
Big Data‫چیست؟‬14
•‫ها‬‫داده‬ ‫در‬ ‫تنوع‬(Variety)

16. www.company.com
Big Data‫چیست؟‬15
•‫ویژگی‬‫ها‬
Big Data

17. www.company.com
Big Data‫چیست؟‬16
•‫داده‬‫سریع‬‫شد‬‫ر‬‫ها‬(velocity)
•‫داد‬ ِ‫تولید‬ ‫در‬‫باال‬‫سرعت‬‫ه‬‫جدید‬‫های‬

18. www.company.com
Big Data‫چیست؟‬17
•‫داده‬‫سریع‬‫شد‬‫ر‬‫ها‬(velocity)
•‫داده‬ ‫تولید‬ ‫در‬‫باال‬‫سرعت‬‫جدید‬‫های‬
•‫جوها‬ ‫و‬‫پرس‬‫ایجاد‬ ‫در‬ ‫باال‬‫سرعت‬
‫علمی‬ ‫تجهیزات‬ ‫شبکه‬‫حسگر‬ ‫های‬

19. www.company.com
Big Data‫چیست؟‬18
•‫پیچیدگی‬(complexity)
•‫ی‬‫تغییرپذیر‬(Variability)
•‫و‬...
Big Data
3V’s •‫ویژگی‬‫ها‬

20. www.company.com
‫ا‬‫ر‬‫چ‬Big Data‫؟‬19
•‫شد‬‫ر‬‫ی‬‫ساز‬‫ذخیره‬ ‫ادوات‬ ‫ظرفیت‬‫ن‬‫و‬‫افز‬ ‫ز‬‫و‬‫ر‬

21. www.company.com
‫ا‬‫ر‬‫چ‬Big Data‫؟‬20
•‫ی‬‫ساز‬‫ذخیره‬‫ادوات‬ ‫ظرفیت‬‫ن‬‫و‬‫افز‬ ‫ز‬‫و‬‫ر‬ ‫شد‬‫ر‬
•‫چشم‬‫افزایش‬‫سیستم‬‫ی‬ ‫ش‬‫ز‬‫پردا‬ ‫ت‬‫ر‬‫قد‬ ‫گیر‬‫ها‬

22. www.company.com
‫ا‬‫ر‬‫چ‬Big Data‫؟‬21
•‫ی‬‫ساز‬‫ذخیره‬‫ادوات‬ ‫ظرفیت‬‫ن‬‫و‬‫افز‬ ‫ز‬‫و‬‫ر‬ ‫شد‬‫ر‬
•‫چشم‬‫افزایش‬‫سیستم‬‫ی‬ ‫ش‬‫ز‬‫پردا‬ ‫ت‬‫ر‬‫قد‬ ‫گیر‬‫ها‬
•‫داده‬ ‫حجم‬‫افزایش‬‫موجود‬‫های‬

23. www.company.com
‫چالش‬‫پیش‬‫های‬‫ی‬‫و‬‫ر‬Big Data22
•‫ش‬‫و‬‫ر‬‫ایی‬‫ر‬‫کا‬‫عدم‬‫اطالعات‬‫تحلیل‬ ‫سنتی‬‫های‬
•‫داده‬‫تحلیل‬
•‫ی‬ ‫شخص‬‫حریم‬ ‫و‬‫امنیت‬
•‫ی‬ ‫ش‬‫ز‬‫پردا‬‫و‬ ‫فنی‬‫مشکالت‬

24. www.company.com
‫آینده‬‫ی‬Big Data23
•Big Data‫در‬Google Trend

25. www.company.com
‫آینده‬‫ی‬Big Data24
•Big Data‫در‬Google Trend

26. www.company.com
‫آینده‬‫ی‬Big Data25
•‫ی‬ ‫هش‬‫و‬‫پژ‬‫جایگاه‬Big Data‫موسسه‬ ‫نظر‬‫از‬‫تنر‬‫ر‬‫گا‬‫ی‬

27. www.company.com
‫ای‬‫ر‬‫ب‬ ‫ی‬‫ژ‬‫تکنولو‬ ‫چه‬Big Data‫؟‬ ‫د‬‫ر‬‫دا‬ ‫وجود‬
‫شده‬‫یع‬‫ز‬‫تو‬ ‫و‬‫ساختار‬ ‫ن‬‫بدو‬ ‫مدل‬ ‫یک‬‫از‬‫استفاده‬
‫مدل‬ ‫این‬ ‫از‬‫استفاده‬ ‫دلیل‬
26

28. www.company.com
‫جنبش‬NoSQL27
‫یخچه‬‫ر‬‫تا‬
Not Only SQL
NoSQL‫که‬ ‫کند‬‫نمی‬ ‫بیان‬SQL‫و‬‫شود‬‫استفاده‬ ‫نباید‬ ‫هیچگاه‬
‫است‬‫مرده‬ ‫یا‬

29. ‫ای‬‫ابطه‬‫ر‬ ‫غیر‬ ‫های‬‫داده‬‫پایگاه‬‫از‬‫هایی‬‫مثال‬Company
LOGO
28

30. www.company.com
‫جنبش‬NoSQL–Key Value29
1–‫ی‬‫ساز‬‫ذخیره‬Key – Value:
•‫ای‬‫داده‬‫مدل‬:‫کلید‬‫های‬‫ج‬‫و‬‫ز‬ ‫از‬‫ای‬‫مجموعه‬–‫مقدار‬
•‫مثال‬:Tokyo , Redis , Voldemort

31. www.company.com
‫جنبش‬NoSQL–Column30
2–‫ر‬‫محو‬ ‫ن‬‫ستو‬‫ی‬‫ساز‬‫ذخیره‬:
•‫ای‬‫داده‬‫مدل‬:‫سطرها‬ ‫جای‬‫به‬‫ها‬‫ن‬‫ستو‬ ‫ی‬‫ساز‬‫ذخیره‬
•‫مثال‬:Cassandra, HyperTable, HBase

32. www.company.com
‫جنبش‬NoSQL–Document31
3–‫سندگرا‬‫ی‬‫ساز‬‫ذخیره‬:
•‫ای‬‫داده‬‫مدل‬:‫کلید‬‫ی‬‫مجموعه‬ ‫از‬‫ای‬‫مجموعه‬-‫ها‬‫ر‬‫مقدا‬
•‫مثال‬:CouchDB , MongoDB

33. www.company.com
‫جنبش‬NoSQL–Graph32
4–‫گراف‬‫ی‬‫ساز‬‫ذخیره‬:
•‫ای‬‫داده‬‫مدل‬:‫کلید‬ ،‫ها‬‫تباط‬‫ر‬‫ا‬،‫ها‬‫گره‬–‫هرکدام‬‫ی‬‫و‬‫ر‬ ‫مقدار‬
•‫مثال‬:Sones, AllegroGraph , Neo4j

34. ‫ای‬‫ابطه‬‫ر‬ ‫غیر‬ ‫های‬‫داده‬‫پایگاه‬‫از‬‫هایی‬‫مثال‬Company
LOGO
33

35. www.company.com
‫های‬‫ک‬‫ر‬‫و‬ ‫فریم‬ ‫مقایسه‬NoSQL34
 MySQL
 MongoDB ‫یا‬ CouchDB
 Neo4j

36. Map ReduceCompany
LOGO
35

37. www.company.com
Hadoop36
Hadoop‫همان‬ ،VMware‫متفاوت‬ ‫اهی‬‫ر‬‫در‬‫اما‬ ‫هست‬

38. ‫تفاوت‬Hadoop‫ی‬‫مجاز‬ ‫ماشین‬ ‫و‬Company
LOGO37
Hadoop
1.‫فیزیکی‬ ‫سرور‬ ‫چند‬
‫گیرد‬‫می‬ ‫را‬
2.‫هم‬ ‫با‬ ‫را‬ ‫آنها‬
‫کند‬‫می‬ ‫ترکیب‬
3.‫بزرگ‬ ‫سرور‬ ‫یک‬
‫دهد‬‫می‬ ‫ارائه‬ ‫مجازی‬
Vmware
1.‫فیزیکی‬ ‫سرور‬ ‫یک‬
‫گیرد‬‫می‬
2.‫شکند‬‫می‬ ‫را‬ ‫آن‬
3.‫مجازی‬ ‫سرور‬ ‫چند‬
‫دهد‬‫می‬ ‫ارائه‬

39. www.company.com
‫ی‬‫گیر‬ ‫نتیجه‬38
‫ک‬‫ر‬‫و‬‫فریم‬‫یک‬ ‫که‬ ‫گفت‬ ‫قاطعیت‬ ‫با‬‫توان‬‫نمی‬NoSQL
‫است‬ ‫کار‬ ‫یک‬‫مختص‬

40. ‫منابع‬Company
LOGO39
1 - http://www.economistinsights.com/sites/default/files/downloads/
EIU_SAS_BigData_4.pdf
2 - http://en.wikipedia.org/wiki/MapReduce
3 - http://en.wikipedia.org/wiki/NoSQL
4 - http://www.ibm.com/big-data/us/en/
5 - Marco Grobelink,Jozef stefan Institute,Big-Data Tutorial, 2013.

41. www.company.com
‫پاسخ‬ ‫و‬ ‫پرسش‬40