سمینار دانشجویی تحلیل عظیم داده وکاربرد آن در کسب وکار - دانشگاه تهران ، آبان 96

1. ‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
Big data is mostly about taking numbers and using
those numbers to make predictions about the
future. The bigger the data set you have, the more
accurate the predictions about the future will be.
Anthony Goldbloom
Founder and CEO of Kaggle

2. ‫الن‬ ‫اهلل‬ ‫بسم‬‫ور‬

3. ‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫دانشجویی‬ ‫سمینار‬
‫کار‬ ‫و‬ ‫کسب‬ ‫در‬ ‫داده‬‫عظیم‬ ‫تحلیل‬ ‫کاربردهای‬
‫جلسه‬ ‫مسئول‬:‫روحانی‬ ‫سعید‬ ‫دکتر‬‫ت‬ ‫دانشگاه‬ ‫اطالعات‬ ‫فناوری‬ ‫مدیریت‬ ‫گروه‬ ‫علمی‬ ‫هیأت‬ ‫عضو‬‫هران‬
‫امیرصادقی‬ ‫مهدی‬‫تهران‬ ‫دانشگاه‬ ‫اطالعات‬ ‫فناوری‬ ‫مدیریت‬ ‫ارشد‬ ‫کارشناسی‬ ‫دانشجوی‬
‫قلندری‬ ‫قدمی‬ ‫پروین‬‫تهران‬ ‫دانشگاه‬ ‫اطالعات‬ ‫فناوری‬ ‫مدیریت‬ ‫دکتری‬ ‫دانشجوی‬
‫آهی‬ ‫عسگری‬ ‫میثم‬‫تهران‬ ‫دانشگاه‬ ‫اطالعات‬ ‫فناوری‬ ‫مدیریت‬ ‫ارشد‬ ‫کارشناسی‬ ‫دانشجوی‬
‫وردی‬ ‫اله‬ ‫فرشته‬‫تهران‬ ‫دانشگاه‬ ‫انسانی‬ ‫منابع‬ ‫مدیریت‬ ‫ارشد‬ ‫کارشناسی‬ ‫آموخته‬ ‫دانش‬
‫صداقت‬ ‫هادی‬‫دانشگاه‬ ‫اطالعات‬ ‫فناوری‬ ‫مدیریت‬ ‫ارشد‬ ‫کارشناسی‬ ‫دانشجوی‬‫تهران‬

4. ‫داده‬ ‫عظیم‬ ‫اهمیت‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬

5. ‫سنتی‬ ‫دیدگاه‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬

6. ‫داده‬ ‫عظیم‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬

7. ‫داده‬ ‫عظیم‬ ‫های‬ ‫ویژگی‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬

8. ‫داده‬ ‫تولید‬ ‫نرخ‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬

9. ‫تنوع‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬

10. ‫پراکندگی‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬

11. ‫درستی‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬

12. ‫اعتبار‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬

13. ‫پذیری‬ ‫آسیب‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬

14. ‫تغییرپذیری‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬

15. ‫سازی‬ ‫بصری‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬

16. ‫ارزش‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬

17. ‫ارزش‬ ‫استخراج‬
‫قیمتها‬ ‫کاهش‬
‫بهتر‬ ‫و‬ ‫سریعتر‬ ‫گیری‬ ‫تصمیم‬
‫جدید‬ ‫خدمات‬ ‫و‬ ‫محصوالت‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬

18. ‫داده‬ ‫عظیم‬ ‫کلیدی‬ ‫های‬ ‫الیه‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬

19. ‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬

20. ‫صنعت‬ ‫و‬ ‫داده‬ ‫عظیم‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬

21. ‫بانکداری‬ ‫و‬ ‫داده‬ ‫عظیم‬
‫کاربردها‬:
‫تقلب‬ ‫کشف‬
‫مشتریان‬ ‫بندی‬ ‫تقسیم‬
‫سفارشی‬ ‫بازاریابی‬
‫ریسک‬ ‫مدیریت‬
‫نمونه‬:‫آلمان‬ ‫بانک‬ ‫دویچه‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬

22. ‫سرگرمی‬ ‫و‬ ‫رسانه‬ ،‫ارتباطات‬ ‫و‬ ‫داده‬ ‫عظیم‬
‫چالشها‬:
‫جمع‬،‫آوری‬‫تحلیل‬‫و‬‫بکارگیری‬‫بینش‬‫مشتریان‬
‫بهره‬‫گیری‬‫از‬‫محتوای‬‫موبایل‬‫و‬‫شبکه‬‫های‬‫اجتماعی‬
‫درک‬‫الگوهای‬real-time‫و‬‫کاربرد‬‫محتوای‬‫رسانه‬‫ها‬
‫نمونه‬:
‫مسابقات‬‫ق‬‫ه‬‫رمانی‬‫تنیس‬‫ویمبلدون‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬

23. ‫و‬ ‫داده‬ ‫عظیم‬‫پزشکی‬ ‫خدمات‬
‫چالشها‬:
‫درمانی‬ ‫های‬ ‫هزینه‬ ‫افزایش‬
‫ها‬ ‫داده‬ ‫بودن‬ ‫استفاده‬ ‫قابل‬ ‫غیر‬ ‫و‬ ‫دسترسی‬ ‫عدم‬ ،‫کمبود‬
‫نمونه‬:
‫پنسیلوانیا‬ ‫دانشگاه‬ ‫بیمارستان‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬

24. ‫و‬ ‫داده‬ ‫عظیم‬‫آموزش‬
‫چالشها‬:
‫مختلف‬ ‫منابع‬ ‫از‬ ‫ها‬ ‫داده‬ ‫ادغام‬
‫داده‬ ‫عظیم‬ ‫درباره‬ ‫ندیده‬ ‫آموزش‬ ‫ارگانهای‬ ‫و‬ ‫کارکنان‬
‫ها‬ ‫داده‬ ‫از‬ ‫نگهداری‬ ‫و‬ ‫محرمانگی‬ ‫به‬ ‫مربوط‬ ‫مسائل‬
‫نمونه‬:
‫تاسمانیا‬ ‫دانشگاه‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬

25. ‫و‬ ‫داده‬ ‫عظیم‬‫دولت‬
‫چالشها‬:
‫ها‬ ‫داده‬ ‫سازی‬ ‫یکپارچه‬
‫داده‬ ‫عظیم‬ ‫سازی‬ ‫همسو‬ ‫و‬ ‫همکاری‬
‫نمونه‬:
‫دوبی‬ ‫هوشمند‬ ‫شهر‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬

26. ‫و‬ ‫داده‬ ‫عظیم‬‫نقل‬ ‫و‬ ‫حمل‬
‫چالشها‬:
‫داده‬‫های‬‫حاصل‬‫از‬‫شبکه‬‫های‬‫اجتماعی‬‫مبتنی‬‫بر‬‫مکان‬‫و‬‫پهنای‬‫باند‬‫با‬‫سرعت‬‫باالی‬‫مخابراتی‬
‫رفتارهای‬‫سفری‬‫افراد‬‫را‬‫تحت‬‫تاثیر‬‫قرار‬‫داده‬‫است‬
‫مدلهای‬‫تقاضای‬‫حمل‬‫و‬‫نقل‬‫هنوز‬‫بر‬‫اساس‬‫درک‬‫ضعیف‬‫از‬‫ساختارهای‬‫شبکه‬‫های‬‫اجتم‬‫اعی‬
‫جدید‬‫هستند‬
‫کاربردهای‬‫دولتی‬‫عظیم‬‫داده‬:‫کنترل‬،‫ترافیک‬‫بررنامه‬‫ریزی‬،‫راهها‬‫سیستمهای‬‫حمل‬‫و‬‫نقل‬
،‫هوشمند‬‫مدیریت‬‫ازدحام‬‫و‬‫تراکم‬
‫کاربردهای‬‫بخش‬‫خصوصی‬:‫مدیریت‬،‫درآمد‬‫بهبوئ‬،‫فناوری‬‫ترابری‬‫و‬‫ایجاد‬‫مزیت‬‫رقاب‬‫تی‬
‫کاربردهای‬‫فردی‬:‫انتخاب‬‫مسیر‬‫بهینه‬‫برای‬‫صرفه‬‫جویی‬‫در‬‫وقت‬‫و‬،‫سوخت‬‫برنامه‬‫ری‬‫زی‬
‫مسافرت‬‫و‬‫غیره‬
‫نمونه‬:‫شرکت‬‫اتوبوسرانی‬‫شهر‬‫آخن‬‫آلمان‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬

27. ‫و‬ ‫داده‬ ‫عظیم‬‫انرژی‬
•‫چالشها‬:
‫بسیاری‬‫از‬‫تاسیسات‬‫برق‬‫و‬‫آب‬‫نیاز‬‫به‬‫تعویض‬‫دارند‬
‫کنتورهای‬‫هوشمند‬‫بخوبی‬‫عمل‬‫می‬‫کنند‬‫اما‬‫مصر‬‫ف‬
‫کنندگان‬‫نیاز‬‫به‬‫بینش‬‫بهتر‬‫وکنترل‬‫بیش‬‫تر‬‫بر‬‫مصرف‬
‫انرژی‬‫دارند‬
•‫نمونه‬:
‫شرکت‬‫برق‬‫منطقه‬‫بارسلون‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬

28. ‫و‬ ‫داده‬ ‫عظیم‬‫کشاورزی‬
•‫چالشها‬:
•‫میزان‬‫مصرف‬‫آب‬
•‫زمین‬‫حاصلخیز‬‫در‬‫مقابل‬‫زمینهای‬‫بایر‬
•‫پیش‬‫بینی‬‫وضعیت‬‫آب‬‫و‬‫هوایی‬
•‫نمونه‬:
•IBM‫در‬‫جورجیا‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬

29. ‫داده‬ ‫اهمیت‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬

30. ‫داده‬ ‫عظیم‬ ‫تحلیل‬ ‫تاریخچه‬
1985 20072000
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬

31. ‫گیری‬ ‫تصمیم‬ ‫فرایند‬ ‫و‬ ‫داده‬ ‫علم‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬

32. ‫کار‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬ ‫عظیم‬ ‫از‬ ‫استفاده‬ ‫نحوه‬
‫محتاط‬ ‫سازمانهای‬ ‫و‬ ‫شرکتها‬
‫آگاه‬ ‫نیمه‬ ‫سازمانهای‬ ‫و‬ ‫شرکتها‬
‫آگاه‬ ‫سازمانهای‬ ‫و‬ ‫شرکتها‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬

33. ‫جویی‬ ‫علت‬ ‫مرگ‬
•‫مشتری‬ ‫و‬ ‫کاربر‬ ‫ک‬ ‫و‬ ‫کسب‬ ‫هوشمندی‬‫ار‬
•‫بینش‬(Insight)
•‫توصیه‬(Recommendation)
‫داده‬ ‫عظیم‬ ‫تحلیل‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬

34. ‫مشتری‬ ‫تجربه‬ ‫و‬ ‫داده‬ ‫علم‬
‫رسانی‬ ‫اطالع‬ ‫در‬ ‫مشتری‬ ‫تجربه‬ ‫بهبود‬‫و‬
‫اپراتوره‬ ‫حوزه‬ ‫در‬ ‫اینترنتی‬ ‫خدمات‬ ‫ارائه‬‫ای‬
‫موبایل‬
‫بهبود‬‫از‬ ‫خرید‬ ‫در‬ ‫مشتری‬ ‫تجربه‬
‫فروشگاهها‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬

35. ‫مقدمه‬
‫فناوری‬ ‫مسائل‬ ‫و‬ ‫بزرگ‬ ‫تولیدی‬ ‫داغ‬ ‫موضوعات‬ ‫و‬ ‫ها‬‫روند‬ ‫ای‬ ‫دهه‬ ‫هر‬
‫دارد‬ ‫را‬ ‫خود‬ ‫خاص‬ ‫اطالعات‬.‫بحث‬ ‫که‬ ‫دارند‬ ‫وجود‬ ‫موضوع‬ ‫چندین‬ ‫امروزه‬
‫باش‬‫می‬ ‫صنعتی‬ ‫اتوماسیون‬ ‫زمینه‬ ‫در‬ ‫بسیاری‬ ‫های‬ ‫پژوهش‬ ‫اصلی‬‫ند‬:
‫یا‬ ‫اشیا‬ ‫اینترنت‬Internet of Thing
‫یا‬ ‫بزرگ‬ ‫های‬ ‫داده‬Big Data
‫یا‬ ‫ابری‬ ‫رایانش‬Cloud Computing
‫صنعت‬4.0‫یا‬Industry 4.0
‫متحول‬ ‫را‬ ‫صنعتی‬ ‫اتوماسیون‬ ‫آینده‬ ‫توانند‬ ‫می‬ ‫فناوری‬ ‫چهار‬ ‫این‬‫کنند‬.
‫تولی‬ ‫دستگاه‬ ‫بین‬ ‫ارتباط‬ ‫برقراری‬ ‫با‬ ‫ترتیب‬ ‫به‬ ‫ها‬ ‫فناوری‬ ‫این‬،‫صنعتی‬ ‫د‬
‫برروی‬ ‫گسترده‬ ‫محاسبات‬ ،‫آن‬ ‫سازی‬ ‫ذخیره‬ ‫و‬ ‫بزرگ‬ ‫های‬ ‫داده‬ ‫آوری‬ ‫جمع‬
‫د‬ ‫مخصوصا‬ ‫صنعت‬ ‫تحول‬ ‫باعث‬ ‫جدید‬ ‫صنعتی‬ ‫انقالب‬ ‫ایده‬ ‫و‬ ‫ها‬ ‫داده‬‫ر‬
‫صن‬ ‫مانیتورینگ‬ ‫های‬ ‫سیستم‬ ‫و‬ ‫ها‬ ‫داده‬ ‫مخابره‬ ،‫اتوماسیون‬ ‫حوزه‬‫در‬ ‫عتی‬
‫شد‬ ‫خواهند‬ ‫نزدیک‬ ‫آینده‬.
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬

36. ‫اشیا‬ ‫اینترنت‬
•‫اینترنت‬‫اشیا‬‫یا‬‫چیزنت‬( Internet of Things)‫به‬‫طور‬‫کلی‬‫اشاره‬‫دارد‬‫به‬‫بسیاری‬‫از‬‫اشیا‬‫و‬‫وسایل‬
‫محیط‬‫مان‬‫پیرامون‬‫که‬‫به‬‫شبکه‬‫اینترنت‬‫متصل‬‫شده‬‫و‬‫بتوان‬‫توسط‬‫های‬‫اپلیکیشن‬‫موجود‬‫در‬‫ت‬‫لفن‬‫های‬
‫هوشمند‬‫و‬‫تبلت‬‫کنترل‬‫و‬‫مدیریت‬‫شوند‬.
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬

37. ‫پارادیم‬Any
•‫هدف‬‫اینترنت‬‫در‬‫گذشته‬‫ارتباط‬‫هر‬‫شخص‬‫با‬‫شخص‬‫دیگر‬‫بود‬.‫اما‬‫اکنون‬‫هدف‬‫اینترنت‬‫اشیاء‬
‫ارتباط‬‫هر‬‫چیز‬‫با‬‫چیز‬‫دیگر‬‫است‬!!!
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬

38. ‫اینترنت‬ ‫به‬ ‫متصل‬ ‫اشیا‬ ‫تعداد‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬

39. ‫انسانها‬ ‫تعداد‬ ‫و‬ ‫متصل‬ ‫اشیا‬ ‫تعداد‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬

40. The role of Big DataAnalytics in IoT
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬

41. ‫الزامات‬Big Data‫و‬Analytics‫در‬IoT
•‫اتصال‬
•‫سازی‬ ‫ذخیره‬
•‫خدمات‬ ‫کیفیت‬
•‫هنگام‬ ‫به‬ ‫تحلیل‬ ‫و‬ ‫تجزیه‬
•‫بنچمارک‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬

42. ‫حلهای‬ ‫راه‬ ‫بندی‬ ‫طبقه‬Big Data‫و‬Analytics‫های‬ ‫سیستم‬ ‫برای‬IoT
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬

43. ‫جریان‬Big Data‫در‬IoT
‫دیتا‬ ‫بیگ‬ ‫پلتفرم‬ ‫دیتا‬ ‫بیگ‬ ‫آنالیز‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬

44. ‫حوزه‬ ‫در‬ ‫سازمان‬ ‫یک‬ ‫شکست‬ ‫یا‬ ‫اقبال‬IoT‫تحلیل‬ ‫مدیریت‬ ‫گرو‬ ‫در‬
Big Data‫است‬.
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬

45. ‫های‬ ‫چالش‬ ‫و‬ ‫ها‬ ‫فرصت‬IoT‫برای‬Big Data Analytics
، ‫تکنولوژی‬ ‫عصر‬ ‫در‬‫ها‬ ‫داده‬‫حکم‬ ‫واقع‬ ‫در‬‫نفت‬‫دارند‬ ‫را‬ ‫گذشته‬ ‫صنعت‬ ‫در‬.
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬

46. ‫مقدمه‬
•‫که‬ ‫دیدیم‬‫عظیم‬‫داده‬‫آفرینا‬ ‫ارزش‬ ‫و‬ ‫کاربردهاا‬ ‫چه‬ ‫به‬ ‫منجر‬‫ی‬
‫میشود‬ ‫وکارها‬ ‫کسب‬ ‫برای‬ ‫هایی‬.
•‫البته‬ ‫و‬‫رویکرد‬ ‫این‬‫است‬ ‫ناپذیر‬ ‫اجتناب‬‫عظا‬ ‫زیارا‬‫داده‬ ‫یم‬
‫و‬ ‫شاده‬ ‫تبدیل‬ ‫ها‬ ‫شرکت‬ ‫برای‬ ‫دارایی‬ ‫یک‬ ‫به‬‫نادیاده‬‫گا‬‫رفتن‬
‫دارایی‬ ‫این‬‫موجب‬‫کارهاا‬ ‫و‬ ‫کسب‬ ‫شکست‬‫رقااب‬ ‫فضاای‬ ‫در‬‫تی‬
‫میشود‬.
•‫در‬ ‫لذا‬‫شاهد‬ ‫آینده‬‫هجوم‬‫داده‬ ‫عظیم‬ ‫تحلیل‬ ‫به‬‫خاواه‬‫یم‬
‫یعنی‬ ‫بود‬...
•‫پیشا‬ ‫هاای‬ ‫تحلیال‬ ‫از‬ ‫هستند‬ ‫مایل‬ ‫بسیاری‬ ‫های‬ ‫سازمان‬‫رفته‬
‫کنند‬ ‫استقبال‬ ‫بار‬ ‫اولین‬ ‫برای‬ ‫داده‬ ‫عظیم‬‫ولی‬...
•‫درباره‬‫شده‬ ‫سردرگم‬ ‫کار‬ ‫این‬ ‫انجام‬ ‫چگونگی‬‫اند‬!
•‫دنباال‬ ‫به‬ ‫قسمت‬ ‫این‬ ‫در‬ ‫ما‬‫راه‬ ‫نقشکه‬ ‫یک‬ ‫ارائه‬‫بارای‬
‫است‬ ‫و‬ ‫سازی‬ ‫پیاده‬ ‫مسیر‬ ‫در‬ ‫ها‬ ‫سازمان‬ ‫و‬ ‫ها‬ ‫شرکت‬ ‫هدایت‬‫فاده‬
‫هستیم‬ ‫داده‬ ‫عظیم‬ ‫تحلیل‬ ‫از‬.
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬

47. ‫داده‬ ‫عظیم‬ ‫تحلیل‬ ‫تاریخچه‬
•‫تحلیل‬ ‫مسئله‬‫حجیم‬ ‫های‬ ‫داده‬‫نوظهوری‬ ‫پدیده‬‫نیست‬!
•‫با‬‫طبق‬ ‫افزاری‬ ‫سخت‬ ‫و‬ ‫پردازشی‬ ‫توان‬ ‫اینکه‬‫مور‬ ‫قانون‬‫پارداز‬ ‫از‬ ‫آسانتر‬ ‫همیشه‬ ‫داده‬ ‫سازی‬ ‫ذخیره‬ ‫که‬ ‫آنجا‬ ‫از‬ ‫اما‬ ‫میشود‬ ‫برابر‬ ‫دو‬ ‫سال‬ ‫هر‬‫باوده‬ ‫آن‬ ‫ش‬
‫کند‬ ‫پردازش‬ ‫را‬ ‫ها‬ ‫داده‬ ‫حجم‬ ‫این‬ ‫بتواند‬ ‫تا‬ ‫بوده‬ ‫هایی‬ ‫راه‬ ‫دنبال‬ ‫همواره‬ ‫بشر‬ ‫لذا‬.
•‫ایجاد‬ ‫باعث‬ ‫داده‬ ‫زیاد‬ ‫حجم‬‫گلوگاه‬‫سرور‬ ‫روی‬‫میشود‬!
•‫در‬ ‫را‬ ‫نگاشت‬ ‫کاهش‬ ‫تکنیک‬ ‫بار‬ ‫اولین‬ ‫برای‬ ‫گوگل‬‫سیستم‬ ‫فایل‬ ‫گوگل‬‫خاتمه‬ ‫بزرگ‬ ‫چالش‬ ‫این‬ ‫به‬ ‫تا‬ ‫برد‬ ‫کار‬ ‫به‬‫دهد‬.
•‫اما‬ ‫نداد‬ ‫ادامه‬ ‫را‬ ‫جدید‬ ‫سیستم‬ ‫فایل‬ ‫این‬ ‫روی‬ ‫بر‬ ‫کار‬ ‫گوگل‬‫آپاچی‬‫ابداع‬ ‫را‬ ‫هدوپ‬ ‫شده‬ ‫توزیع‬ ‫سیستم‬ ‫فایل‬ ‫ایده‬ ‫همین‬ ‫از‬‫کرد‬.
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬

48. ‫بود‬ ‫چه‬ ‫ایده‬ ‫این‬‫هدوپ‬ ‫و‬‫چیست؟‬
•‫سارور‬ ‫چندین‬ ‫در‬ ‫را‬ ‫اطالعات‬ ‫سازی‬ ‫ذخیره‬ ‫امکان‬ ‫هدوپ‬
(‫پی‬‫سی‬)‫مای‬ ‫فاراهم‬ ‫پایین‬ ‫ای‬ ‫هزینه‬ ‫با‬‫آورد‬( .‫بسات‬‫ری‬
‫برای‬‫شده‬ ‫توزیع‬ ‫رایانش‬)
•‫کلی‬ ‫بخش‬ ‫دو‬ ‫از‬ ‫هدوپ‬ ‫تکنولوژی‬
1.‫اچ‬‫اس‬ ‫اف‬ ‫دی‬‫یا‬‫یافته‬ ‫توزیع‬ ‫فایل‬‫هدوپ‬
Hadoop Distribition File System
2.‫و‬‫با‬ ‫اطالعاات‬ ‫پردازی‬ ‫کیفیت‬ ‫با‬ ‫تکنیک‬ ‫همچنین‬‫ناام‬ ‫ه‬
‫کاهشی‬ ‫نگاشت‬MapReduce‫استفاده‬‫کند‬ ‫می‬.
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬

49. ‫سیستم‬ ‫فایل‬
•‫سیسااتم‬‫فایاال‬File system‫روشاای‬‫و‬ ‫ذخیااره‬ ‫باارای‬
‫دهی‬‫سازمان‬‫های‬ ‫فایل‬‫تاا‬ ‫اسات‬ ‫هایشاان‬‫داده‬ ‫و‬ ‫ای‬‫رایانه‬
‫کند‬ ‫آسان‬ ‫را‬ ‫ها‬‫آن‬ ‫به‬ ‫دسترسی‬ ‫و‬ ‫یافتن‬.
•‫سیستم‬‫گونا‬ ‫هاای‬ ‫سیساتم‬ ‫فایل‬ ‫از‬ ،‫مختلف‬ ‫های‬ ‫عامل‬‫اگونی‬
‫کنند‬ ‫می‬ ‫پشتیبانی‬.
•‫نیستند‬ ‫یکسان‬ ‫ها‬ ‫سیستم‬ ‫فایل‬ ‫ی‬ ‫همه‬‫ها‬ ‫و‬‫از‬ ‫کادام‬ ‫ر‬
‫دارناد‬ ‫هاا‬ ‫داده‬ ‫ساازماندهی‬ ‫بارای‬ ‫گوناگونی‬ ‫های‬ ‫روش‬ ،‫آنها‬.
‫بع‬ ،‫هساتند‬ ‫ساریعتر‬ ‫بقیاه‬ ‫از‬ ‫هاا‬ ‫سیستم‬ ‫فایل‬ ‫برخی‬‫نیاز‬ ‫ضای‬
‫فضاای‬ ‫از‬ ‫تعادادی‬ ،‫دارناد‬ ‫بیشاتری‬ ‫امنیتی‬ ‫های‬ ‫ویژگی‬‫زیااد‬
‫ح‬ ‫در‬ ‫کنناد‬ ‫مای‬ ‫پشاتیبانی‬ ‫اطالعات‬ ‫سازی‬ ‫ذخیره‬ ‫برای‬‫الیکاه‬
‫کوچا‬ ‫بسایار‬ ‫ساازی‬ ‫ذخیاره‬ ‫فضااهای‬ ‫باا‬ ‫فقط‬ ‫دیگر‬ ‫برخی‬‫ک‬
‫دارند‬ ‫سازگاری‬.‫ف‬ ‫برابر‬ ‫در‬ ‫ها‬ ‫سیستم‬ ‫فایل‬ ‫از‬ ‫بعضی‬‫هاای‬ ‫ایل‬
‫برخی‬ ‫حالیکه‬ ‫در‬ ،‫هستند‬ ‫مقاوم‬ ‫بسیار‬ ‫ویروسها‬ ‫و‬ ‫مخرب‬‫دیگر‬
‫دستر‬ ‫سرعت‬ ‫ی‬ ‫ارائه‬ ‫فدای‬ ‫را‬ ‫شده‬ ‫یاد‬ ‫های‬ ‫ویژگی‬ ‫سایر‬‫سای‬
‫نمایند‬ ‫می‬ ‫کاربران‬ ‫به‬ ‫بیشتر‬.
•‫ر‬ ‫از‬ ‫پشتیبانی‬ ‫برای‬ ‫سیستمی‬ ‫فایل‬ ‫ایجاد‬ ‫به‬ ‫لزوم‬‫موازی‬ ‫ایانش‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬

50. ‫هدوپ‬ ‫شده‬ ‫توزیع‬ ‫سیستم‬ ‫فایل‬
•‫معماری‬HDFS‫بصورت‬Master-Slave‫می‬‫باشد‬.
•‫هر‬‫کالستر‬HDFS‫شامل‬‫ناام‬ ‫باه‬ ‫گره‬ ‫یک‬NameNode‫مای‬
‫بعنوان‬ ‫که‬ ‫باشد‬Master‫کااری‬ ‫فضاای‬ ‫و‬ ‫کناد‬ ‫می‬ ‫عمل‬ ‫سیستم‬
‫به‬ ‫کاربران‬ ‫دسترسی‬ ‫و‬ ‫کند‬ ‫می‬ ‫مدیریت‬ ‫را‬ ‫فایل‬ ‫سیستم‬‫را‬ ‫هاا‬ ‫فایل‬
‫کند‬ ‫می‬ ‫گذاری‬ ‫قانون‬.
•‫در‬‫بناام‬ ‫گاره‬ ‫چندین‬ ‫گره‬ ‫این‬ ‫کنار‬DataNode‫وجاود‬‫کاه‬ ‫دارد‬
‫یک‬ ‫گره‬ ‫هر‬ ‫ازای‬ ‫به‬ ‫معموال‬DataNode‫داریم‬ ‫کالستر‬ ‫در‬.
•HDFS‫داده‬‫چنا‬ ‫باه‬ ‫هرفایل‬ ‫و‬ ‫کند‬ ‫می‬ ‫ذخیره‬ ‫فایل‬ ‫بصورت‬ ‫را‬ ‫ها‬‫د‬
‫از‬ ‫ای‬ ‫مجموعااه‬ ‫در‬ ‫هااا‬ ‫تکااه‬ ‫ایاان‬ ‫کااه‬ ‫شااود‬ ‫ماای‬ ‫تقساایم‬ ‫تکااه‬
DataNode‫ها‬‫شوند‬ ‫می‬ ‫ذخیره‬.
•NameNode‫وظیفه‬،‫باازکردن‬ ‫همچاون‬ ‫هاایی‬ ‫عملیاات‬ ‫انجام‬
‫دارد‬ ‫عهاده‬ ‫باه‬ ‫را‬ ‫مسایرها‬ ‫و‬ ‫ها‬ ‫نام‬ ‫تغییر‬ ،‫بستن‬.‫تعیا‬ ‫همچناین‬‫ین‬
‫به‬ ‫ها‬ ‫فایل‬ ‫های‬ ‫تکه‬ ‫نگاشت‬ ‫کننده‬DataNode‫ها‬‫باشد‬ ‫می‬ ‫نیز‬.
•DataNode‫ها‬‫و‬ ‫خوانادن‬ ‫هاای‬ ‫درخواسات‬ ‫به‬ ‫رسیدگی‬ ‫وظیفه‬
‫دارند‬ ‫برعهده‬ ‫را‬ ‫فایل‬ ‫سیستم‬ ‫کاربران‬ ‫از‬ ‫نوشتن‬.‫و‬ ‫همچناین‬‫ظیفاه‬
‫اتور‬‫ا‬‫دس‬ ‫اه‬‫ا‬‫ب‬ ‫ای‬ ‫داده‬ ‫اای‬‫ا‬‫ه‬ ‫االک‬‫ا‬‫ب‬ ‫اازی‬‫ا‬‫س‬ ‫ای‬‫ا‬‫کپ‬ ‫و‬ ‫اذف‬‫ا‬‫ح‬ ،‫ااخت‬‫ا‬‫س‬
NameNode‫دارند‬ ‫برعهده‬ ‫نیز‬ ‫را‬.
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬

51. ‫کاهشی‬ ‫نگاشت‬
•‫برناماه‬ ‫مادل‬ ‫یاک‬ ‫واقاع‬ ‫در‬ ‫کاهشی‬ ‫نگاشت‬
‫توزیا‬ ‫رایاانش‬ ‫از‬ ‫پشتیبانی‬ ‫برای‬ ‫ریزی‬‫شاده‬ ‫ع‬
‫ها‬ ‫شاده‬ ‫توزیع‬ ‫سیستم‬ ‫فایل‬ ‫در‬ ‫که‬ ‫است‬‫دوپ‬
‫میشود‬ ‫گرفته‬ ‫کار‬ ‫به‬.
•‫نگاشااات‬ ‫فرآیناااد‬ ‫دو‬ ‫از‬map‫و‬‫کااااهش‬
reduce‫تشکیل‬‫شده‬‫است‬.
•‫ابتدا‬‫را‬ ‫ورودی‬ ‫های‬ ‫داده‬ ‫مجموعه‬‫اسااس‬ ‫بار‬
namenode‫ساپس‬ ‫شده‬ ‫بندی‬ ‫خوشه‬ ‫ها‬
‫پردازش‬ ‫و‬ ‫سازی‬ ‫ذخیره‬ ‫مجزا‬ ‫سرورهای‬ ‫روی‬
‫ار‬‫ا‬‫آخ‬ ‫در‬ ‫و‬ ‫اوند‬‫ا‬‫میش‬namenode‫ای‬‫ا‬‫خروج‬
datanode‫و‬ ‫فراخاوانی‬ ‫را‬ ‫نظر‬ ‫مورد‬ ‫های‬
‫میکند‬ ‫ادغام‬.
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬

52. ‫داده‬ ‫عظیم‬ ‫تحلیل‬ ‫فرآیند‬
•‫کار‬ ‫و‬ ‫کسب‬ ‫های‬ ‫نیازمندی‬ ‫و‬ ‫ها‬ ‫سوال‬ ‫بندی‬ ‫اولویت‬ ‫و‬ ‫تعیین‬
•‫میدانی‬ ‫تحقیقات‬(‫نیاز‬ ‫مورد‬ ‫داده‬ ‫منابع‬ ،‫مغزی‬ ‫طوفان‬ ،‫تطبیقی‬ ‫الگوی‬)
•‫تحلیل‬ ‫عملیاتی‬ ‫مرحله‬(‫داده‬ ‫عظیم‬ ‫تحلیل‬ ‫و‬ ‫سازی‬ ‫پیاده‬)
•‫کار‬ ‫و‬ ‫کسب‬ ‫بر‬ ‫داده‬ ‫عظیم‬ ‫تحلیل‬ ‫تاثیر‬ ‫و‬ ‫تغییر‬ ‫مدیریت‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬

53. ‫عظیم‬ ‫دنیای‬ ‫انداز‬ ‫چشم‬‫داده‬
‫گفتیم‬
‫سازمان‬‫کنن‬ ‫حرکت‬ ‫داده‬ ‫عظیم‬ ‫تحلیل‬ ‫سمت‬ ‫به‬ ‫باید‬ ‫ناچار‬ ‫به‬ ‫کارها‬ ‫و‬ ‫کسب‬ ‫و‬ ‫ها‬‫د‬
‫ندارند‬ ‫نیز‬ ‫را‬ ‫تحلیل‬ ‫قدیمی‬ ‫های‬ ‫روش‬ ‫و‬ ‫ابزار‬ ‫از‬ ‫استفاده‬ ‫امکان‬.
‫مختلف‬ ‫های‬ ‫معماری‬ ‫و‬ ‫ابزار‬ ‫و‬ ‫پلتفرمها‬ ‫از‬ ‫ای‬ ‫گسترده‬ ‫طیف‬ ‫وارد‬ ‫بنابراین‬‫میش‬‫وند‬.
‫چشم‬ ‫این‬‫عظیم‬ ‫دنیای‬ ‫از‬ ‫اندازی‬‫است‬ ‫داده‬‫برندهای‬ ‫و‬ ‫محصوالت‬ ‫اسامی‬ ‫با‬‫مختل‬‫ف‬.
‫شرکتها‬‫کنند‬ ‫انتخاب‬ ‫را‬ ‫محصوالت‬ ‫کدام‬ ‫و‬ ‫شوند‬ ‫وارد‬ ‫حوزه‬ ‫این‬ ‫به‬ ‫چگونه‬ ‫باید‬.
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬

54. ‫داده‬ ‫عظیم‬ ‫تحلیل‬ ‫معماری‬(‫فرآیندها‬)
•‫داده‬ ‫سازی‬ ‫ذخیره‬(‫و‬ ‫فلینک‬ ،‫استورم‬ ،‫اسپارک‬ ،‫هدوپ‬ ‫شامل‬ ‫پردازشی‬ ‫موتور‬)...
•‫مدیریت‬‫داده‬(‫های‬ ‫داده‬ ‫پایگاه‬ ‫انواع‬ ‫شامل‬ ‫ای‬ ‫داده‬ ‫پایگاه‬ ‫موتور‬NoSQL)
•‫ها‬ ‫داده‬ ‫ورود‬ ‫و‬ ‫سازی‬ ‫یکپارچه‬ ،‫پاکسازی‬(‫و‬ ‫اسکوپ‬ ‫و‬ ‫فلوم‬)...
•‫کاوی‬ ‫داده‬(‫نایم‬ ،‫اس‬ ‫اس‬ ‫پی‬ ‫اس‬ ،‫رپیدماینر‬‫و‬)...
•‫داده‬ ‫تحلیل‬ ‫و‬ ‫تجزیه‬‫ها‬(‫و‬ ‫اسکااللب‬ ،‫ریسرچ‬ ‫الستیک‬ ،‫کافکا‬)...
•‫بصری‬‫سازی‬(‫و‬ ‫چاکارتو‬ ،‫سیلک‬ ،‫تبلئو‬)...
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬

55. Big Data Landscape 2017
‫داده‬ ‫منابع‬
‫ابزارها‬
‫مدیریت‬ ‫راهکارهای‬
‫سازی‬ ‫ذخیره‬ ‫و‬
‫راهکارهای‬
‫تحلیلی‬
‫و‬ ‫تحویل‬ ‫راهکارهای‬
‫سازی‬ ‫بصری‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬

56. ‫داده‬ ‫منابع‬
•‫حسگرها‬ ‫های‬ ‫داده‬(‫و‬ ‫اشیاء‬ ‫اینترنت‬)...
•‫اجتماعی‬ ‫های‬ ‫شبکه‬ ‫های‬ ‫داده‬
•‫بایگانی‬ ‫و‬ ‫آرشیو‬ ‫های‬ ‫داده‬
•‫باز‬ ‫های‬ ‫داده‬(‫و‬ ‫سالمت‬ ، ‫انرژی‬ ،‫شهری‬)...
•‫مختلف‬ ‫صنایع‬ ‫های‬ ‫داده‬(‫ها‬ ‫و‬ ‫آب‬ ،‫هواپیمایی‬‫وا‬
‫و‬ ‫آموزش‬ ،)...
•‫کارها‬ ‫و‬ ‫کسب‬ ‫و‬ ‫بازار‬ ‫های‬ ‫داده‬
•‫هوشمند‬ ‫های‬ ‫تلفن‬ ‫های‬ ‫داده‬
•‫ها‬ ‫کننده‬ ‫کنترل‬ ‫و‬ ‫ها‬ ‫ماشین‬ ‫الگ‬ ‫های‬ ‫داده‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬

57. ‫ها‬ ‫داده‬ ‫پردازش‬ ‫موتور‬
•‫هدوپ‬:‫کاهشی‬ ‫نگاشت‬ ‫از‬ ‫استفاده‬
•‫اسپارک‬:‫کتابخ‬ ‫و‬ ‫پردازش‬ ‫سرعت‬‫انه‬
‫برن‬ ‫زباان‬ ، ‫تحلیلای‬ ‫بیشاتر‬ ‫های‬‫اماه‬
‫دلخواه‬ ‫نویسی‬
•‫اک‬‫ا‬‫فلین‬:‫اای‬‫ا‬‫ه‬ ‫داده‬ ‫اردازش‬‫ا‬‫پ‬ ‫ارای‬‫ا‬‫ب‬
‫باالتر‬ ‫بسیار‬ ‫سرعت‬ ، ‫حجیم‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬

58. ‫داده‬ ‫عظیم‬ ‫مدیریت‬ ‫ابزار‬
•‫در‬ ‫شما‬ ‫موفقیت‬ ‫برای‬ ‫ای‬ ‫داده‬ ‫پایگاه‬ ‫موتور‬ ‫انتخاب‬‫زمینه‬
‫داده‬ ‫عظیم‬ ‫سازی‬ ‫پیاده‬
•‫سیساتم‬ ‫از‬ ‫سانتی‬ ‫طور‬ ‫به‬ ‫کارها‬ ‫و‬ ‫کسب‬ ‫بیشتر‬‫مادیریت‬
‫میکنند‬ ‫استفاده‬ ‫ای‬ ‫رابطه‬ ‫های‬ ‫داده‬ ‫پایگاه‬
•‫با‬ ‫زماانبر‬ ‫و‬ ‫ای‬ ‫رابطاه‬ ‫مادل‬ ‫پیچیادگی‬ ‫دلیل‬ ‫به‬ ‫باید‬‫ودن‬
‫ای‬ ‫داده‬ ‫هاای‬ ‫پایگااه‬ ‫باه‬ ‫مهااجرت‬ ‫باه‬ ‫نیااز‬ ‫ها‬ ‫کوئری‬
‫ای‬ ‫غیررابطه‬
•‫با‬ ‫ای‬ ‫رابطاه‬ ‫ای‬ ‫داده‬ ‫های‬ ‫پایگاه‬ ‫های‬ ‫قابلیت‬ ‫بر‬ ‫عالوه‬‫ا‬
‫اازی‬‫ا‬‫س‬ ‫اره‬‫ا‬‫ذخی‬ ‫اایی‬‫ا‬‫توان‬ ، ‫ااختاریافته‬‫ا‬‫س‬ ‫اوئری‬‫ا‬‫ک‬ ‫اان‬‫ا‬‫زب‬‫و‬
‫داشته‬ ‫را‬ ‫داده‬ ‫عظیم‬ ‫متنوع‬ ‫های‬ ‫داده‬ ‫مدیریت‬‫باشند‬.
•‫نگهاداری‬ ‫مادل‬ ‫در‬ ‫ای‬ ‫رابطاه‬ ‫های‬ ‫داده‬ ‫پایگاه‬ ‫با‬ ‫تفاوت‬
‫و‬ ‫پذیری‬ ‫مقیاس‬ ،‫اسکیما‬ ،‫ها‬ ‫داده‬...
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬

59. ‫نواسکیوال‬ ‫داده‬ ‫پایگاه‬ ‫انواع‬
•‫های‬ ‫داده‬ ‫پایگاه‬NoSQL‫بر‬‫و‬ ‫سازی‬ ‫ذخیره‬ ‫نوع‬ ‫اساس‬
‫به‬ ‫ها‬ ‫داده‬ ‫ارتباط‬4‫شوند‬ ‫می‬ ‫تقسیم‬ ‫دسته‬:
1. Key-Value Store ‫کلید‬-‫مقدار‬
2. Column Family Store ‫ستونی‬
3. Document Store ‫سندگرا‬
4. Graph Based ‫مبتنی‬‫بر‬‫گراف‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬

60. ‫کلید‬ ‫داده‬ ‫پایگاه‬-‫مقدار‬
•‫های‬‫بندی‬‫اته‬‫ا‬‫دس‬ ‫از‬ ‫ات‬‫ا‬‫حال‬ ‫ترین‬‫ااده‬‫ا‬‫س‬NoSQL،‫اته‬‫ا‬‫دس‬
‫کلید‬-‫مقدار‬‫ما‬ ‫هاایی‬ ‫سیساتم‬ ‫در‬ ‫معماوال‬ ‫و‬ ‫باشد‬‫می‬‫ورد‬
‫متمای‬ ‫یکدیگر‬ ‫از‬ ‫ها‬‫داده‬ ‫که‬ ‫گیرد‬ ‫می‬ ‫قرار‬ ‫استفاده‬‫هستند‬ ‫ز‬
‫نظ‬ ‫مواردی‬ ‫به‬ ‫نسبت‬ ‫ها‬‫داده‬ ‫بودن‬ ‫دسترس‬ ‫در‬ ‫اصوال‬ ‫و‬‫یر‬
‫دارد‬ ‫بیشتری‬ ‫اهمیت‬ ‫پایائی‬.‫یا‬ ‫فقاط‬ ‫معمااری‬ ‫این‬ ‫در‬‫ک‬
‫داریم‬ ‫کلید‬(‫داده‬ ‫پایگااه‬ ‫در‬ ‫اصالی‬ ‫کلیاد‬ ‫مانند‬ ‫که‬‫هاای‬
‫کنند‬ ‫می‬ ‫عمل‬ ‫ای‬ ‫رابطه‬)‫مقادار‬ ‫کاه‬ ‫داریام‬ ‫مقدار‬ ‫یک‬ ‫و‬
‫گرداند‬ ‫می‬ ‫باز‬ ‫را‬ ‫کلید‬ ‫آن‬ ‫معادل‬.
•‫در‬ ‫در‬ ‫بااال‬ ‫سارعت‬ ‫باه‬ ‫تاوان‬ ‫می‬ ‫دسته‬ ‫این‬ ‫مزایای‬ ‫از‬
‫توسا‬ ‫قابلیات‬ ‫و‬ ‫سازی‬ ‫پیاده‬ ،‫اطالعات‬ ‫خواندن‬ ‫و‬ ‫کردن‬‫عه‬
‫کرد‬ ‫اشاره‬ ‫آسان‬ ‫پذیری‬.
•‫نمونه‬ ‫چند‬:
Aerospike , Redis , LevelDB , …
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬

61. ‫ستونی‬ ‫داده‬ ‫پایگاه‬
•‫کلید‬ ‫توسعه‬ ‫با‬ ‫ستونی‬ ‫داده‬ ‫های‬ ‫پایگاه‬-‫ب‬ ‫مقادارها‬‫وجاود‬
‫اند‬ ‫آمده‬.‫ک‬ ‫جفت‬ ‫یک‬ ‫بجای‬ ‫واقع‬ ‫در‬ ‫ها‬ ‫سیستم‬ ‫این‬‫لیاد‬-
‫کلیا‬ ‫جفات‬ ‫چنادین‬ ‫رکاورد‬ ‫هر‬ ‫برای‬ ‫توانند‬ ‫می‬ ،‫مقدار‬‫د‬-
‫باشند‬ ‫داشته‬ ‫مقدار‬.‫نا‬ ‫ساختار‬ ‫به‬ ‫نیازی‬ ‫نوع‬ ‫این‬ ‫در‬‫و‬ ‫داریم‬
‫م‬ ‫صفات‬ ‫تعداد‬ ‫با‬ ‫ستون‬ ‫چندین‬ ‫تواند‬ ‫می‬ ‫رکورد‬ ‫هر‬‫تفاوت‬
‫باشند‬ ‫داشته‬.
•‫وسا‬ ‫میزان‬ ‫سازی‬ ‫ذخیره‬ ‫تواند‬ ‫می‬ ‫دسته‬ ‫این‬ ‫مزایای‬ ‫از‬‫یع‬
‫باشد‬ ‫بسیار‬ ‫مقادیر‬ ‫با‬ ‫رکوردها‬ ‫از‬ ‫متفاوتی‬ ‫و‬.
•‫نمونه‬ ‫چند‬:
Hadoop/Hbase , Cassandra , Amazon
SimpleDB , …
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬

62. ‫سندگرا‬ ‫داده‬ ‫پایگاه‬
•‫این‬‫یع‬ ‫اول‬ ‫دساته‬ ‫مانناد‬ ‫نیاز‬ ‫ها‬ ‫داده‬ ‫پایگاه‬ ‫از‬ ‫دسته‬‫نای‬
‫کلید‬-‫با‬ ‫ولای‬ ‫باشاند‬ ‫می‬ ‫ستونی‬ ‫دوم‬ ‫دسته‬ ‫و‬ ‫مقدار‬‫ایان‬ ‫ا‬
‫م‬ ‫های‬ ‫داده‬ ‫بندی‬ ‫دسته‬ ‫سیستم‬ ‫این‬ ‫در‬ ‫که‬ ‫تفاوت‬‫با‬ ‫رتبط‬
‫باشند‬ ‫می‬ ‫سند‬ ‫فایل‬ ‫یک‬ ‫قالب‬ ‫در‬ ‫یکدیگر‬.‫مات‬ ‫از‬‫سااده‬ ‫ن‬
‫و‬ ‫عکس‬ ‫یا‬ ‫ایمیل‬ ‫یک‬ ‫تا‬ ‫گرفته‬...‫ب‬ ‫مای‬ ‫سند‬ ‫یک‬‫اشاند‬.
‫پایگا‬ ‫نوع‬ ‫این‬ ‫که‬ ‫باالیی‬ ‫بسیار‬ ‫قدرت‬ ‫وجود‬ ‫با‬ ‫اما‬‫هاای‬ ‫اه‬
‫گی‬ ‫وقت‬ ‫بسیار‬ ‫آنها‬ ‫در‬ ‫نوشتن‬ ‫و‬ ‫خواندن‬ ،‫دارند‬ ‫داده‬‫است‬ ‫ر‬.
•‫از‬‫د‬ ‫زیادی‬ ‫مقدار‬ ‫ذخیره‬ ‫به‬ ‫توان‬ ‫می‬ ‫دسته‬ ‫این‬ ‫مزایای‬‫اده‬
‫برد‬ ‫نام‬ ‫ربط‬ ‫بی‬ ‫های‬.
•‫نمونه‬ ‫چند‬:
MongoDB , Elastic Search , CouchDB ,
RavenDB , …
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬

63. ‫گراف‬ ‫داده‬ ‫پایگاه‬
•‫این‬‫باه‬ ‫نسابت‬ ‫متفاوتی‬ ‫کامال‬ ‫دید‬ ‫از‬ ،‫ها‬ ‫داده‬ ‫به‬ ‫دسته‬‫دساته‬
‫کند‬ ‫می‬ ‫نگاه‬ ‫قبلی‬ ‫های‬.‫ها‬ ‫باه‬ ‫گاراف‬ ‫یک‬ ‫مانند‬ ‫را‬ ‫ها‬ ‫داده‬‫م‬
‫ها‬ ‫داده‬ ‫باه‬ ‫را‬ ‫گاراف‬ ‫یا‬ ‫درخت‬ ‫یک‬ ‫ساختار‬ ‫و‬ ،‫کند‬ ‫می‬ ‫مرتبط‬‫ا‬
‫دهد‬ ‫می‬.‫در‬ ‫شادن‬ ‫در‬ ‫هنگاام‬ ‫رکوردهاا‬ ،‫داده‬ ‫پایگاه‬ ‫این‬ ‫در‬
‫می‬ ‫مرتبط‬ ‫هم‬ ‫به‬ ‫صفت‬ ‫چند‬ ‫یا‬ ‫یک‬ ‫توسط‬ ‫دیتابیس‬‫و‬ ‫شاوند‬
‫ریاضی‬ ‫عملیات‬ ‫انجام‬ ‫اینکه‬‫دساته‬ ‫از‬ ‫تار‬ ‫سااده‬ ‫بسایار‬‫هاای‬
‫است‬ ‫دیگر‬.‫ارتباطات‬ ‫که‬ ‫زمانی‬ ‫برای‬ ‫دسته‬ ‫این‬ ‫کاربرد‬‫و‬ ‫معین‬
‫باشاد‬ ‫مای‬ ،‫دارد‬ ‫وجود‬ ‫رکوردها‬ ‫میان‬ ‫مشخصی‬.‫شابک‬ ‫مانناد‬‫ه‬
‫اجتماعی‬ ‫های‬
•‫تح‬ ‫برای‬ ‫بودن‬ ‫مناسب‬ ‫به‬ ‫توان‬ ‫می‬ ‫دسته‬ ‫این‬ ‫مزایای‬ ‫از‬‫قیقاات‬
‫کرد‬ ‫اشاره‬ ‫فنی‬ ‫و‬ ‫علمی‬.
•‫نمونه‬ ‫چند‬:
•Neo4J , Sparksee , InfoGrid,AllegroGraph
, …
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬

64. ‫نظریه‬‫کپ‬
•‫راهنمای‬‫انتخاب‬‫پایگاده‬‫داده‬‫مناسب‬‫با‬‫نیازهای‬‫نرم‬‫افزار‬
‫می‬،‫باشد‬‫نظریه‬CAP‫است‬.
•Availability‫به‬‫کااربران‬ ‫کاه‬ ‫باشاد‬ ‫مای‬ ‫معنی‬ ‫این‬
‫داشات‬ ‫را‬ ‫خوانادن‬ ‫و‬ ‫کاردن‬ ‫در‬ ‫عملیاات‬ ‫بتوانند‬ ‫همیشه‬‫ه‬
‫ساروردیگر‬ ‫یاک‬ ‫یاا‬ ‫و‬ ‫اصلی‬ ‫سرور‬ ‫اگر‬ ‫یعنی‬ ‫باشند‬‫دچاار‬
‫اان‬‫ا‬‫همچن‬ ‫و‬ ‫اود‬‫ا‬‫نش‬ ‫اع‬‫ا‬‫قط‬ ‫ااربران‬‫ا‬‫ک‬ ‫ااط‬‫ا‬‫ارتب‬ ‫اد‬‫ا‬‫ش‬ ‫اکل‬‫ا‬‫مش‬
‫باشند‬ ‫داشته‬ ‫دسترسی‬.
•Consistency‫کاه‬ ‫هایی‬ ‫داده‬ ‫باشد‬ ‫می‬ ‫معنا‬ ‫این‬ ‫به‬
‫آنها‬ ‫تماام‬ ‫برای‬ ‫جا‬ ‫هر‬ ‫از‬ ‫کنند‬ ‫می‬ ‫مشاهده‬ ‫کاربران‬ ‫تمام‬‫ا‬
‫نس‬ ‫کاربری‬ ‫هیچ‬ ‫و‬ ‫شود‬ ‫داده‬ ‫نمایش‬ ‫یکسان‬ ‫های‬ ‫داده‬‫بت‬
‫نب‬ ‫اشاتباهی‬ ‫یا‬ ‫بیشتر‬ ،‫کمتر‬ ‫های‬ ‫داده‬ ‫دیگری‬ ‫به‬‫کاه‬ ‫یناد‬
‫هم‬ ‫اطالعات‬ ‫که‬ ‫کند‬ ‫می‬ ‫تضمین‬ ‫داده‬ ‫پایگاه‬ ‫یعنی‬‫و‬ ‫یشاه‬
‫باشد‬ ‫می‬ ‫یکسان‬ ‫جا‬ ‫همه‬.
•Partition-telorance‫کاه‬ ‫باشاد‬ ‫می‬ ‫معنا‬ ‫این‬ ‫به‬
‫با‬ ‫جغرافیاایی‬ ‫مختلف‬ ‫های‬ ‫مکان‬ ‫در‬ ‫مختلف‬ ‫های‬ ‫سرور‬‫ه‬
‫یکپارچ‬ ‫طور‬ ‫به‬ ‫سیستم‬ ‫که‬ ‫میشوند‬ ‫توزیع‬ ‫طوری‬‫هماه‬ ‫با‬ ‫ه‬
‫کند‬ ‫می‬ ‫کار‬ ‫و‬ ‫باشد‬ ‫می‬ ‫ارتباط‬ ‫در‬ ‫نودها‬.
•
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬

65. ‫ابزار‬-‫ها‬ ‫تکنی‬-‫های‬ ‫الگوریتم‬‫کاوی‬ ‫داده‬
•RapidMiner
•SPSS Modeler
•Oracle Data Mining
•Knime
•SAS
•Teradata
•Machine Learning
•Neural Networks
•Decision Trees
•Natural Language Processing
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬

66. ‫تحلیل‬ ‫نوع‬‫عظیم‬‫داده‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬

67. ‫ها‬ ‫داده‬ ‫تحلیل‬ ‫تجزیه‬ ‫ابزارهای‬
•Kafka
•ScalaLab
•ElasticResearch
•BigML
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬

68. ‫ها‬ ‫داده‬ ‫سازی‬ ‫بصری‬ ‫ابزارهای‬
•Tableau
•Silk
•ChaCartoDB
•rtio
•Beaker
•Rodeo
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬

69. ‫ابزار‬ ‫ماتریس‬-‫صنایع‬
Cloudera
Quantum
Informatica
Alteryx
RapidMiner
SPSS Modeler
Kafka
ElasticResearch
Tableau
Silk
‫فناوری‬ ‫مالی‬ ‫پژوهش‬ ‫سالمت‬ ‫بیزینس‬
‫سبک‬
‫زندگی‬
‫حمل‬
‫نقل‬ ‫و‬
‫بیمه‬ ‫آموزش‬ ‫انرژی‬ ‫جغرافیا‬ ‫امالک‬ ‫غذا‬ ‫رسانه‬ ‫فضا‬ ‫هوا‬ ‫گردشگری‬ ‫ورزش‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬

70. Management & Monitoring
(Ambari)
Coordinat
ion
(ZooKeep
er)
Workflow
&
Schedulin
g (Oozie)
Scripting
(Pig)
Machine
Learning
(Mahout)
Query
(Hive)
NoSQL
Database
(HBase)
Data
Integratio
n(Sqoop/
REST/OD
BC)
Distributed Processing
(Mapreduce)
Distributed Storage
(HDFS)
‫هدوپ‬ ‫اکوسیستم‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬

71. ‫اسپارک‬ ‫اکوسیستم‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬

72. ‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬

73. ‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬

74. ‫متدولوژی‬
‫روش‬‫انتخاب‬ ‫داده‬ ‫عظیم‬ ‫تحلیل‬ ‫فرآیند‬‫ها‬(‫ابزار‬)
‫سواالت‬ ‫اساس‬ ‫بر‬‫ها‬ ‫شاخص‬ ‫و‬ ‫کار‬ ‫و‬ ‫کسب‬ ‫ها‬ ‫دیتاست‬ ‫و‬ ‫داده‬ ‫منابع‬ 0
‫داده‬ ‫نوع‬ ‫اساس‬ ‫بر‬‫پردازشی‬ ‫موتور‬ ‫های‬ ‫ویژگی‬ ‫و‬ ‫ذخیره‬‫داده‬ ‫عظیم‬ ‫پردازش‬ ‫و‬ ‫سازی‬ 1
‫کپ‬ ‫نظریه‬ ‫اساس‬ ‫بر‬ ‫عظیم‬ ‫مدیریت‬‫داده‬ 2
‫و‬ ‫تحلیل‬ ‫نوع‬ ‫و‬ ‫آماری‬ ‫و‬ ‫ریاضی‬ ‫های‬ ‫مدل‬ ‫اساس‬ ‫بر‬
‫کار‬ ‫و‬ ‫کسب‬ ‫سواالت‬
‫کاوی‬ ‫داده‬ 3
‫اساس‬ ‫بر‬‫صنعت‬ ‫حوزه‬ ‫و‬ ‫قبل‬ ‫مرحله‬ ‫الگوهای‬ ‫داده‬ ‫عظیم‬ ‫تحلیل‬ ‫تجزیه‬ 4
‫تجزیه‬ ‫اساس‬ ‫بر‬‫صنعت‬ ‫حوزه‬ ‫و‬ ‫ها‬ ‫تحلیل‬ ‫سازی‬ ‫بصری‬ 5
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬

75. ‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
 The world is looking for big data scientists, and there just aren't enough
to go around.
(Gurjeet Singh)
Chairman of the Board of Directors, Ayasdi
 I keep saying that the hot job in the next 10 years will be statisticians,
and I’m not kidding.
(Hal Varian)
Chief Economist at Google
‫عظی‬ ‫های‬‫تحلیل‬ ‫با‬ ‫مرتبط‬ ‫انسانی‬ ‫های‬‫مهارت‬‫داده‬‫م‬

76. ‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫عظی‬ ‫های‬‫تحلیل‬ ‫با‬ ‫مرتبط‬ ‫انسانی‬ ‫های‬‫مهارت‬‫داده‬‫م‬

77. ‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫عظی‬ ‫های‬‫تحلیل‬ ‫با‬ ‫مرتبط‬ ‫انسانی‬ ‫های‬‫مهارت‬‫داده‬‫م‬
‫سخت‬ ‫های‬ ‫مهارت‬ ‫مهارت‬‫نرم‬ ‫های‬
‫آشنایی‬‫داده‬ ‫پایگاه‬ ‫با‬ ‫رهبری‬
‫کاوی‬ ‫داده‬ ‫تیمی‬ ‫کار‬
‫مهارت‬‫آماری‬ ‫های‬ ‫یادگیری‬
‫تصمیم‬ ‫مدلسازی‬ ‫مثبت‬ ‫نگرش‬
‫تحلیل‬‫ریسک‬ ‫ارتباطی‬ ‫های‬ ‫مهارت‬
‫سازی‬ ‫بصری‬ ‫شخصی‬ ‫بین‬ ‫های‬ ‫مهارت‬
‫بهینه‬‫سازی‬ ‫شکیبایی‬
‫متغیره‬ ‫چند‬ ‫گیری‬ ‫تصمیم‬ ‫شوق‬ ‫و‬ ‫شور‬
‫نویسی‬ ‫برنامه‬ ‫با‬ ‫داده‬ ‫دادن‬ ‫ارتباط‬‫کار‬ ‫و‬ ‫کسب‬ ‫اهداف‬
‫انتقادی‬ ‫تفکر‬
‫ارتباط‬ ‫برقراری‬‫تک‬ ‫اطالعات‬ ‫بین‬ ‫موثر‬‫نیکی‬
‫تکنیکی‬ ‫غیر‬ ‫مخاطب‬ ‫و‬
‫خالقیت‬
‫درونی‬ ‫حس‬(‫شهود‬)
‫تیزبینی‬
‫کنجکاوی‬
‫تقسیم‬‫بندی‬‫مهارت‬‫ها‬‫به‬‫دو‬‫د‬‫سته‬
‫نرم‬‫و‬‫سخت‬

78. ‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫عظی‬ ‫های‬‫تحلیل‬ ‫با‬ ‫مرتبط‬ ‫انسانی‬ ‫های‬‫مهارت‬‫داده‬‫م‬
‫تقسیم‬‫بندی‬‫مهارت‬‫ها‬‫به‬‫دو‬‫د‬‫سته‬
‫نرم‬‫و‬‫سخت‬‫و‬‫ارتباط‬‫آن‬‫ها‬‫با‬
‫نیمکره‬‫های‬‫مغز‬

79. ‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
،‫داده‬ ‫عظیم‬ ‫تحلیلگران‬ ‫پایه‬ ‫حقوق‬ ‫میانگین‬117‫ارقام‬ ‫بین‬ ‫ما‬ ‫عدد‬ ‫این‬ ‫که‬ ‫است‬ ‫سال‬ ‫در‬ ‫دالر‬ ‫هزار‬89‫الی‬242‫باشد‬‫می‬ ‫دالر‬ ‫هزار‬
‫عظی‬ ‫های‬‫تحلیل‬ ‫با‬ ‫مرتبط‬ ‫انسانی‬ ‫های‬‫مهارت‬‫داده‬‫م‬

80. ‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫عظی‬ ‫های‬‫تحلیل‬ ‫با‬ ‫مرتبط‬ ‫انسانی‬ ‫های‬‫مهارت‬‫داده‬‫م‬
‫ت‬ ‫به‬ ،‫داده‬ ‫عظیم‬ ‫تحلیلگران‬ ‫ساالنه‬ ‫حقوق‬ ‫میانگین‬‫ها‬ ‫مهارت‬ ‫فکیک‬

81. ‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫عظی‬ ‫های‬‫تحلیل‬ ‫با‬ ‫مرتبط‬ ‫انسانی‬ ‫های‬‫مهارت‬‫داده‬‫م‬
‫تحلیلگری‬ ‫با‬ ‫رابطه‬ ‫در‬ ‫موجود‬ ‫ارقام‬ ‫و‬ ‫آمار‬ ‫به‬ ‫کلی‬ ‫نگاهی‬‫داده‬ ‫عظیم‬

82. ‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫عظی‬ ‫های‬‫تحلیل‬ ‫با‬ ‫مرتبط‬ ‫انسانی‬ ‫های‬‫مهارت‬‫داده‬‫م‬
‫میزان‬‫رشد‬‫تقاضا‬‫برای‬
‫استخدام‬‫تحلیلگران‬‫عظیم‬
،‫داده‬‫به‬‫تفکیک‬‫مهار‬‫ت‬‫ها‬

83. ‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫عظی‬ ‫های‬‫تحلیل‬ ‫با‬ ‫مرتبط‬ ‫انسانی‬ ‫های‬‫مهارت‬‫داده‬‫م‬
‫باالترین‬‫مهارتهای‬‫مورد‬‫نیاز‬‫در‬‫تحلیلگری‬‫عظی‬‫م‬‫داده‬

84. ‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
Coursera – Data-Driven Decision Making
EdX – Data Science Essentials
Udacity – Intro to Machine Learning
IBM – Data Science Fundamentals
California Institute of Technology – Learning from Data
Dataquest – Become a Data Scientist
KDNuggets – Data Mining Course
‫عظی‬ ‫های‬‫تحلیل‬ ‫با‬ ‫مرتبط‬ ‫انسانی‬ ‫های‬‫مهارت‬‫داده‬‫م‬
‫معرفی‬‫برخی‬‫منابع‬‫آنالین‬‫آموزش‬‫مهارت‬‫های‬‫تحلیلگری‬‫عظ‬‫یم‬‫داده‬

85. ‫کار‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫تحلیلگری‬ ‫گروه‬
‫شما‬ ‫توجه‬ ‫از‬ ‫سپاس‬
@BigData_BusinessAnalytics