این ارائه توسط مهدی نصیری و راجع به داده کاوی و کلان داده انجام شده است

3. ‫داده‬ ‫چرا‬‫کاوی‬-‫حجم‬ ‫نمایی‬ ‫رشد‬
‫داده‬
•‫از‬1950‫که‬‫ايانه‬‫ر‬‫در‬‫تحليل‬‫و‬‫ذخيره‬‫ي‬‫ساز‬‫داده‬‫ها‬‫د‬‫ر‬‫مو‬‫استفاده‬‫و‬‫بهره‬‫ی‬‫بردار‬‫ار‬‫ر‬‫ق‬،‫گرفت‬‫تا‬‫سال‬1970‫حجم‬
‫داده‬‫ها‬‫در‬‫پايگاه‬‫داده‬‫ها‬‫دو‬‫ابر‬‫ر‬‫ب‬‫گردید‬.‫با‬‫پیشرفت‬‫فن‬‫ي‬‫ر‬‫آو‬‫اطالعات‬‫هر‬‫سال‬1990‫هر‬‫دو‬‫سال‬‫يکبار‬‫حجم‬
‫داده‬،‫ها‬‫دو‬‫ابر‬‫ر‬‫ب‬‫شد‬.(TAN94)
•90‫صد‬‫ر‬‫د‬‫دادگان‬‫مربوط‬‫به‬‫دو‬‫سال‬‫اخير‬‫است‬.(IBM 2011)
•‫حجم‬‫دادگان‬3.2‫تابایت‬‫ز‬‫به‬40‫تابایت‬‫ز‬‫در‬2020‫خواهد‬‫سید‬‫ر‬.(PETERSEN 2012)

5. ‫تاثیرگذارترین‬
‫تا‬10‫آینده‬‫سال‬

6. ‫چرا‬‫داده‬‫کاوی‬
•‫رشد‬‫نمایی‬‫داده‬
•‫نیاز‬‫به‬‫استخراج‬‫اطالعات‬‫از‬‫داده‬‫برای‬‫تصمیم‬‫گیری‬‫بهتر‬
•‫تعداد‬‫متخصصین‬‫تحلیل‬‫داده‬‫با‬‫این‬‫سرعت‬‫هماهنگ‬‫نیست‬.
•‫امکان‬‫تحلیل‬‫و‬‫استخراج‬‫اطالعات‬‫با‬‫روش‬‫هاي‬‫معمول‬‫آماري‬‫از‬‫دل‬‫انبوه‬‫داده‬
‫مستلزم‬‫مدتها‬‫کار‬‫با‬‫رایانه‬‫هاي‬‫موجود‬‫است‬.
•‫رایانه‬‫ها‬‫ارزانتر‬‫و‬‫قویتر‬‫می‬‫شوند‬.
•‫شدت‬‫رقابت‬‫قوی‬‫برای‬‫فراهم‬‫کردن‬‫بهتر‬‫سرویس‬‫دهی‬‫به‬‫مشتری‬‫زیاد‬‫است‬.
•‫پایگاه‬‫داده‬‫ها‬‫براي‬،‫مدیران‬‫برنامه‬،‫ریزان‬‫پژوهشگران‬‫و‬...‫جهت‬‫تصمیم‬
‫مي‬‫تواند‬‫مفید‬‫باشد‬.

7. ‫کاوی‬ ‫داده‬ ‫تعریف‬
‫ی‬‫کاو‬‫داده‬
‫آمار‬
‫هوش‬
‫مصنوعی‬
‫تشخیص‬‫الگ‬‫و‬
‫و‬‫نرم‬ ‫محاسبات‬
‫ی‬‫یادگير‬
‫ماشين‬
‫پایگاه‬‫داده‬
‫از‬ ‫غیرمنتظره‬ ‫و‬ ‫باارزش‬ ‫دانش‬ ‫کشف‬
‫داده‬ ‫از‬ ‫وسیعی‬ ‫مجموعه‬

8. ‫داد‬ ‫بازیابی‬ ‫و‬ ‫کاوی‬ ‫داده‬ ‫تفاوت‬‫ه‬
‫ی‬‫کاو‬‫داده‬ ‫یابی‬‫ز‬‫با‬‫داده‬IR))
‫قبل‬‫از‬ ‫شناختی‬ ‫مینه‬‫ز‬‫ن‬‫بدو‬‫گيرد‬‫صورت‬ ‫تواند‬‫می‬ ‫اساس‬ ‫بر‬‫شود‬‫می‬ ‫مشخص‬ ‫داده‬ ‫پایگاه‬ ‫ساختار‬ ‫ها‬‫ر‬‫معیا‬
‫متفاوت‬ ‫کلی‬ ‫به‬ ‫تواند‬‫می‬‫با‬ ‫تحلیل‬ ‫داده‬ ‫پایگاه‬ ‫ساختار‬‫از‬‫شد‬
‫ه‬‫ر‬‫هموا‬‫ای‬‫یرمجموعه‬‫ز‬‫منطب‬‫و‬ ‫تحلیل‬ ‫داده‬ ‫پایگاه‬ ‫از‬‫بر‬ ‫ق‬
‫است‬ ‫آن‬ ‫ساختار‬
‫نتایج‬
‫ای‬‫ر‬‫ب‬‫فیلترینگ‬ ‫و‬ ‫ی‬‫پاکساز‬ ‫به‬ ‫نیاز‬ ‫دانش‬ ‫اج‬‫ر‬‫استخ‬ ‫ایند‬‫ر‬‫ف‬‫است‬ ‫داده‬. ‫ذخيره‬‫که‬ ‫همانگونه‬‫داده‬‫گردد‬‫می‬ ‫یابی‬‫ز‬‫با‬ ‫میشود‬ ‫ش‬‫ز‬‫پردا‬
‫مشخص‬ ‫احتمال‬ ‫با‬ ‫دقیق‬ ‫کامال‬ ‫نتایج‬‫دقت‬

9. ‫آمار‬ ‫و‬ ‫کاوی‬ ‫داده‬ ‫تفاوت‬‫ی‬‫کاو‬‫داده‬ ‫آمار‬
‫کشف‬‫به‬‫قادر‬ ‫و‬ ‫فرضیه‬‫به‬ ‫نیاز‬ ‫عدم‬‫الگوها‬ ‫نیاز‬‫تحقیق‬ ‫فرضیه‬‫به‬ ‫ت‬‫ر‬‫صو‬‫مساله‬
‫باال‬ ‫به‬ ‫پایين‬ ‫باال‬‫پایين‬ ‫به‬ ‫تحلیل‬‫نوع‬
‫اند‬‫نبوده‬ ‫توجه‬ ‫مورد‬‫که‬ ‫اطالعاتی‬ ‫کشف‬ ‫گسترش‬‫توجه‬ ‫مورد‬ ‫پدیده‬ ‫مورد‬‫در‬ ‫آگاهی‬ ‫هدف‬
‫ای‬‫ر‬‫ب‬‫گرفته‬‫شکل‬ ‫بزرگ‬ ‫بسیار‬ ‫های‬ ‫داده‬ ‫تنها‬‫است‬ ‫ا‬‫ر‬‫کا‬ ‫محدود‬‫داده‬‫حجم‬ ‫روی‬‫بر‬ ‫ایی‬‫ر‬‫کا‬
‫ی‬‫گير‬‫بهره‬ ‫توانایی‬‫نامرتب‬ ‫داده‬ ‫از‬(‫اینترنت‬ ‫داده‬ ‫نظير‬) ‫مرسوم‬ ‫های‬‫ر‬‫ساختا‬‫به‬ ‫نیاز‬‫د‬ ‫ی‬‫ساز‬‫ذخيره‬‫کالسیک‬‫و‬‫اده‬
‫وابستگی‬‫ساخ‬ ‫به‬‫تار‬
‫داده‬
‫ای‬ ‫مشاهده‬ ‫مرجع‬‫نمونه‬ ‫تجربی‬
‫ی‬‫ر‬‫آو‬‫جمع‬‫اساس‬
‫داده‬
‫ای‬‫ر‬‫ب‬‫گرفته‬‫شکل‬ ‫بزرگ‬ ‫بسیار‬ ‫های‬ ‫داده‬ ‫است‬ ‫بر‬ ‫مان‬‫ز‬ ‫بسیار‬‫دهد‬‫نمی‬‫جواب‬ ‫کلی‬ ‫به‬ ‫یا‬‫و‬
‫داده‬‫از‬ ‫ی‬‫گير‬‫ش‬‫ر‬‫ا‬‫ز‬‫گ‬
‫انبوه‬
‫مشخص‬ ‫احتمال‬ ‫با‬ ‫دقیق‬ ‫نتایج‬ ‫دقت‬

10. ‫کاوی‬ ‫داده‬ ‫تعریف‬‫جوک‬ ‫صورت‬ ‫به‬
•‫اگر‬‫تعداد‬‫متغيرها‬‫بیشتر‬‫از‬3‫باشد‬=‫آمار‬
•‫اگر‬‫مساله‬NP-HARD‫باشد‬=‫ی‬‫یادگير‬‫ماشين‬
•‫اگر‬‫مساله‬‫محدود‬‫باشد‬=‫هوش‬‫مصنوعی‬
•‫اگر‬‫ندانیم‬‫در‬‫کجا‬‫دنبال‬‫چی‬‫هستیم‬=‫داده‬‫ی‬‫کاو‬

11. ‫نیست‬ ‫کاوی‬ ‫داده‬ ‫که‬ ‫آنچه‬
•‫ش‬‫ر‬‫ا‬‫ز‬‫گ‬‫های‬‫مرسوم‬
•‫ش‬‫ر‬‫ا‬‫ز‬‫گ‬‫های‬‫نتیجه‬‫اثبات‬‫فرضیه‬

12. ‫کاوی‬ ‫داده‬ ‫وظایف‬

13. ‫کاوی‬ ‫داده‬ ‫فرآیند‬(CRISP)

14. ‫کاوی‬ ‫داده‬ ‫های‬ ‫چالش‬•‫دامنه‬‫ابعاد‬‫داده‬
•‫پیچیدگی‬‫و‬‫همگن‬‫بودن‬‫داده‬
•‫کیفیت‬‫داده‬
•‫یع‬‫ز‬‫تو‬‫داده‬
•‫محرمانگی‬‫داده‬
•‫داده‬‫جریانی‬
•‫سخت‬‫ار‬‫ز‬‫اف‬‫و‬‫نرم‬‫ار‬‫ز‬‫اف‬‫م‬‫ز‬‫ال‬‫و‬‫موقعیت‬‫بانک‬‫اطالعاتی‬
•‫در‬‫دسترس‬‫بودن‬‫نيروی‬‫انسانی‬‫ماهر‬‫در‬‫داده‬‫ی‬‫کاو‬
•‫ضعف‬‫ذاتی‬‫نهفته‬‫در‬‫های‬‫ر‬‫ا‬‫ز‬‫اب‬‫ی‬‫نظر‬‫مثل‬‫مانند‬‫ی‬‫یادگير‬‫ماشینی‬‫و‬‫یتم‬‫ر‬‫الگو‬‫های‬‫نتیکی‬‫ژ‬‫به‬‫کار‬‫گ‬‫رفته‬‫شده‬
‫در‬‫فعالیت‬‫های‬‫داده‬‫ی‬‫کاو‬

15. ‫داده‬ ‫های‬ ‫چالش‬ ‫مهمترین‬‫کاوی‬2007-2013
•‫کثیف‬‫بودن‬‫داده‬(‫ی‬ ‫چالش‬‫ین‬‫ر‬‫ت‬‫موضوع‬)
•‫ائه‬‫ر‬‫ا‬‫داده‬‫ی‬‫کاو‬‫و‬‫برد‬‫ر‬‫کا‬‫آن‬‫به‬‫ان‬‫ر‬‫دیگ‬(‫جز‬4‫چالش‬‫ل‬‫او‬)
•‫سخت‬‫بودن‬‫ی‬ ‫دسترس‬‫به‬‫داده‬‫ها‬(‫جز‬3‫چالش‬‫ل‬‫او‬)

16. ‫کاوی‬ ‫داده‬ ‫های‬ ‫چالش‬
‫کم‬ ‫مان‬‫ز‬‫در‬ ‫کاه‬‫انبار‬‫در‬ ‫ن‬‫ز‬‫سو‬ ‫کردن‬ ‫پیدا‬

17. ‫کاوی‬ ‫وداده‬ ‫اجتماعی‬ ‫شبکه‬

18. ‫کاوی‬ ‫وداده‬ ‫اجتماعی‬ ‫شبکه‬

19. ‫داده‬ ‫کاربرد‬‫کاوی‬
•‫تحلیل‬‫توصیفی‬‫سنجی‬‫ر‬‫افکا‬
•‫واقعیت‬‫ی‬‫کاو‬(REALITY MINING):‫کشف‬‫ی‬‫الگو‬‫ی‬‫فتار‬‫ر‬‫اجتماعی‬‫اد‬‫ر‬‫اف‬‫از‬‫طریق‬‫تباط‬‫ر‬‫ا‬‫بی‬‫سیم‬
•‫پیش‬‫بینی‬‫فتار‬‫ر‬
•‫ائه‬‫ر‬‫ا‬‫به‬‫عنوان‬‫یکی‬‫از‬10‫تکنولوژی‬‫برتر‬‫تغییر‬‫سبک‬‫ندگی‬‫ز‬(MIT 2008)
•‫بانک‬
•‫تباط‬‫ر‬‫ا‬‫با‬‫ی‬‫مشتر‬
•‫یسک‬‫ر‬
•‫مدیریت‬‫ار‬‫ز‬‫اب‬

20. ‫کاوی‬ ‫داده‬ ‫کاربردهای‬ ‫از‬ ‫مثالهایی‬
•‫مان‬‫ز‬‫ل‬‫طو‬‫در‬‫انتی‬‫ر‬‫گا‬ ‫د‬‫ر‬‫موا‬‫بين‬‫تباط‬‫ر‬‫ا‬
•‫ب‬ ‫به‬‫کمک‬‫ر‬‫منظو‬‫به‬،‫چين‬‫ر‬‫کشو‬‫در‬‫و‬‫خودر‬‫ی‬‫ساز‬‫ز‬‫با‬‫ویژگیهای‬ ‫از‬‫استفاده‬‫تولیدات‬‫شدن‬‫هتر‬
•‫خاص‬‫یهای‬‫ر‬‫بیما‬‫بینی‬ ‫پیش‬‫و‬ ‫تشخیص‬
•‫کتابخانه‬‫مانند‬ ‫ی‬‫مشتر‬‫با‬‫تباط‬‫ر‬‫ا‬
•‫منابع‬‫بازگشت‬ ‫روند‬ ‫بینی‬‫پیش‬ ‫برای‬
•‫شده‬ ‫یافت‬‫ر‬‫د‬ ‫شهای‬‫ر‬‫سفا‬‫و‬ ‫شده‬ ‫داده‬ ‫پاسخ‬ ‫شهای‬‫ر‬‫سفا‬‫تحلیل‬ ‫برای‬
•‫یسم‬‫ر‬‫تو‬‫در‬‫مشتریان‬ ‫بندی‬‫ده‬‫ر‬
•‫مالی‬‫محدودیت‬ ‫خاطر‬‫به‬‫بیشتر‬ ‫انعطاف‬‫ای‬‫ر‬‫دا‬ ‫ده‬‫ر‬
•‫تر‬ ‫پایين‬ ‫قیمت‬ ‫و‬ ‫مشخص‬ ‫مقصد‬
•‫مشتریان‬‫عالیق‬ ‫تحلیل‬
•‫ی‬‫ر‬‫جمهو‬‫یاست‬‫ر‬ ‫یا‬ ‫مجلس‬‫انتخابات‬ ‫بینی‬‫پیش‬

21. ‫کاوی‬ ‫داده‬ ‫کاربردهای‬ ‫از‬ ‫مثالهایی‬•‫بورس‬ ‫تحلیل‬
•‫قیمت‬ ‫بینی‬‫پیش‬
•‫قیمت‬ ‫ی‬‫تاثيرگذار‬ ‫در‬ ‫ها‬ ‫سهام‬‫منفی‬ ‫و‬‫مثبت‬ ‫ارتباط‬
•‫دات‬‫ر‬‫وا‬ ‫و‬‫ات‬‫ر‬‫صاد‬ ‫تحلیل‬(‫گمرک‬)
•‫هوایی‬ ‫های‬‫ز‬‫پروا‬ ‫ی‬‫ساز‬ ‫بهینه‬
•‫هوا‬ ‫و‬ ‫آب‬ ‫وضعیت‬ ‫تحلیل‬
•‫ی‬‫ز‬‫ر‬‫کشاو‬
•‫تخمير‬ ‫بینی‬‫پیش‬
•‫حیوانات‬ ‫صداهای‬‫از‬ ‫ی‬‫بیمار‬ ‫کشف‬
•‫ها‬‫کش‬ ‫آفت‬‫از‬‫استفاده‬‫ی‬‫ساز‬ ‫بهینه‬
•‫بیمه‬
•‫مالیات‬
•‫آمدی‬‫ر‬‫د‬‫منابع‬ ‫اختصاص‬‫ای‬‫ر‬‫ب‬ ‫مالیات‬ ‫بینی‬‫پیش‬
•‫مالیات‬ ‫تقلب‬

22. ‫کاوی‬ ‫داده‬ ‫کاربرد‬
•‫از‬ ‫درآمد‬2015‫تا‬2017‫از‬ ‫برابری‬ ‫دو‬ ‫تخمین‬
28.5‫به‬ ‫دالر‬ ‫میلیارد‬50.1‫میلیارد‬
‫دالر‬(ANMOL RAJPUROHIT30‫اکتبر‬2014)
•‫و‬ ‫هادوپ‬ ‫حوزه‬ ‫در‬NO SQL‫از‬1.4‫به‬ ‫دالر‬ ‫میلیارد‬
3.4‫میلیارد‬‫دالر‬
•‫ایجاد‬1.9‫و‬ ‫مستقیم‬ ‫شغل‬ ‫میلیون‬3‫آن‬ ‫برابر‬
‫سال‬ ‫در‬ ‫مستقیم‬ ‫غیر‬2015‫آمریکا‬ ‫در‬

24. ‫داده‬ ‫کالن‬

25. ‫داده‬ ‫کالن‬

26. ‫داده‬ ‫کالن‬

27. ‫داده‬ ‫کالن‬

28. ‫داده‬ ‫کالن‬

32. ‫گارتنر‬ ‫دید‬ ‫از‬‫برتر‬ ‫ابزارهای‬2014

33. ‫ابزارها‬

34. ‫ابزارها‬

35. ‫ابزارها‬

36. ‫ابزارها‬

37. ‫ابزارها‬

38. ‫ابزارها‬

39. R‫پایتون‬ ‫و‬

40. ‫سال‬ ‫در‬ ‫کاربرد‬ ‫پر‬ ‫افزارهای‬ ‫نرم‬2013

41. ‫داده‬ ‫کاربردهای‬‫سال‬ ‫در‬ ‫صنعت‬ ‫در‬ ‫کاوی‬
2010

42. ‫در‬ ‫کاوی‬ ‫داده‬ ‫در‬ ‫ها‬ ‫صنعت‬ ‫پرکاربردترین‬
‫سال‬2012CRM/Consumer analytics (56) 28.6%
25.0%
Health care/ HR (32) 16.3%
16.7%
Retail (29) 14.8%
10.5%
Banking (28) 14.3%
18.9%
Education (28) 14.3%
16.2%
Advertising (26) 13.3%
7.0%
Fraud Detection (25) 12.8%
14.0%
Social Media / Social Networks (24) 12.2%
13.2%
Science (23) 11.7%
13.6%
Finance (20) 10.2%
11.4%
Direct Marketing/ Fundraising (19) 9.7%
12.3%

43. ‫در‬ ‫کاوان‬ ‫داده‬ ‫فعالیت‬2013‫و‬2011

44. ‫در‬ ‫کاربردها‬ ‫مقایسه‬2013‫و‬2011

46. ‫برفت‬ ‫من‬ ‫یاد‬ ‫از‬‫همه‬ ‫ام‬‫خوانده‬‫که‬ ‫آنها‬
‫دوست‬ ‫حدیث‬‫اال‬...
‫تشکر‬ ‫با‬