‫الن‬ ‫اهلل‬ ‫بسم‬‫ور‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫دانشجویی‬ ‫سمینار‬
‫کار‬ ‫و‬ ‫کسب‬ ‫در‬ ‫داده‬‫عظیم‬ ‫تحلیل‬ ‫کاربردهای‬
‫جلسه‬ ‫مسئول‬:‫روحانی‬ ‫سعید‬ ‫دکتر‬‫ت‬ ‫دانشگاه‬ ‫اطالعات‬ ‫فناوری‬ ‫مدیریت‬ ‫گروه‬ ‫علمی‬ ‫هیأت‬ ‫عضو‬‫هران‬
‫امیرصادقی‬ ‫مهدی‬‫تهران‬ ‫دانشگاه‬ ‫اطالعات‬ ‫فناوری‬ ‫مدیریت‬ ‫ارشد‬ ‫کارشناسی‬ ‫دانشجوی‬
‫قلندری‬ ‫قدمی‬ ‫پروین‬‫دانشجوی‬‫دکتری‬‫دانشگاه‬ ‫بازرگانی‬ ‫گذاری‬‫سیاست‬ ‫مدیریت‬‫تهران‬
‫آهی‬ ‫عسگری‬ ‫میثم‬‫تهران‬ ‫دانشگاه‬ ‫اطالعات‬ ‫فناوری‬ ‫مدیریت‬ ‫ارشد‬ ‫کارشناسی‬ ‫دانشجوی‬
‫وردی‬ ‫اله‬ ‫فرشته‬‫تهران‬ ‫دانشگاه‬ ‫انسانی‬ ‫منابع‬ ‫مدیریت‬ ‫ارشد‬ ‫کارشناسی‬ ‫آموخته‬ ‫دانش‬
‫صداقت‬ ‫هادی‬‫دانشگاه‬ ‫اطالعات‬ ‫فناوری‬ ‫مدیریت‬ ‫ارشد‬ ‫کارشناسی‬ ‫دانشجوی‬‫تهران‬
‫داده‬ ‫عظیم‬ ‫اهمیت‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫سنتی‬ ‫دیدگاه‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫داده‬ ‫عظیم‬
•‫دسترسی‬ ‫و‬ ‫پردازش‬ ،‫سازی‬ ‫درذخیره‬ ‫شرکت‬ ‫یک‬ ‫توانایی‬ ‫مرز‬ ‫داده‬ ‫عظیم‬(SPA)‫داده‬ ‫تمام‬ ‫به‬
•‫زیاد‬ ‫بسیار‬ ‫تنوع‬ ‫و‬ ‫سرعت‬ ،‫حجم‬ ‫با‬ ‫اطالعاتی‬
•‫معمولی‬ ‫داده‬ ‫پایگاه‬ ‫های‬ ‫سیستم‬ ‫پردازش‬ ‫ظرفیت‬ ‫از‬ ‫بیش‬ ‫هایی‬ ‫داده‬ ،‫داده‬ ‫عظیم‬
•‫چیست؟‬ ‫داده‬ ‫عظیم‬ ‫واقعا‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫داده‬ ‫عظیم‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫داده‬ ‫عظیم‬ ‫های‬ ‫ویژگی‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫داده‬ ‫تولید‬ ‫نرخ‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫تنوع‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫پراکندگی‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫درستی‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫اعتبار‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫پذیری‬ ‫آسیب‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫تغییرپذیری‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫سازی‬ ‫بصری‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫ارزش‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫ارزش‬ ‫استخراج‬
‫قیمتها‬ ‫کاهش‬
‫بهتر‬ ‫و‬ ‫سریعتر‬ ‫گیری‬ ‫تصمیم‬
‫جدید‬ ‫خدمات‬ ‫و‬ ‫محصوالت‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫داده‬ ‫عظیم‬ ‫کلیدی‬ ‫های‬ ‫الیه‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫صنعت‬ ‫و‬ ‫داده‬ ‫عظیم‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫بانکداری‬ ‫و‬ ‫داده‬ ‫عظیم‬
‫کاربردها‬:
‫تقلب‬ ‫کشف‬
‫مشتریان‬ ‫بندی‬ ‫تقسیم‬
‫سفارشی‬ ‫بازاریابی‬
‫ریسک‬ ‫مدیریت‬
‫نمونه‬:‫آلمان‬ ‫بانک‬ ‫دویچه‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫سرگرمی‬ ‫و‬ ‫رسانه‬ ،‫ارتباطات‬ ‫و‬ ‫داده‬ ‫عظیم‬
‫چالشها‬:
‫جمع‬،‫آوری‬‫تحلیل‬‫و‬‫بکارگیری‬‫بینش‬‫مشتریان‬
‫بهره‬‫گیری‬‫از‬‫محتوای‬‫موبایل‬‫و‬‫شبکه‬‫های‬‫اجتماعی‬
‫درک‬‫الگوهای‬real-time‫و‬‫کاربرد‬‫محتوای‬‫رسانه‬‫ها‬
‫نمونه‬:
‫مسابقات‬‫قهرمانی‬‫تنیس‬‫ویمبلدون‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫و‬ ‫داده‬ ‫عظیم‬‫پزشکی‬ ‫خدمات‬
‫چالشها‬:
‫درمانی‬ ‫های‬ ‫هزینه‬ ‫افزایش‬
‫ها‬ ‫داده‬ ‫بودن‬ ‫استفاده‬ ‫قابل‬ ‫غیر‬ ‫و‬ ‫دسترسی‬ ‫عدم‬ ،‫کمبود‬
‫نمونه‬:
‫پنسیلوانیا‬ ‫دانشگاه‬ ‫بیمارستان‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫و‬ ‫داده‬ ‫عظیم‬‫آموزش‬
‫چالشها‬:
‫مختلف‬ ‫منابع‬ ‫از‬ ‫ها‬ ‫داده‬ ‫ادغام‬
‫داده‬ ‫عظیم‬ ‫درباره‬ ‫ندیده‬ ‫آموزش‬ ‫ارگانهای‬ ‫و‬ ‫کارکنان‬
‫ها‬ ‫داده‬ ‫از‬ ‫نگهداری‬ ‫و‬ ‫محرمانگی‬ ‫به‬ ‫مربوط‬ ‫مسائل‬
‫نمونه‬:
‫تاسمانیا‬ ‫دانشگاه‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫و‬ ‫داده‬ ‫عظیم‬‫دولت‬
‫چالشها‬:
‫ها‬ ‫داده‬ ‫سازی‬ ‫یکپارچه‬
‫داده‬ ‫عظیم‬ ‫سازی‬ ‫همسو‬ ‫و‬ ‫همکاری‬
‫نمونه‬:
‫دوبی‬ ‫هوشمند‬ ‫شهر‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫و‬ ‫داده‬ ‫عظیم‬‫نقل‬ ‫و‬ ‫حمل‬
‫چالشها‬:
‫داده‬‫های‬‫حاصل‬‫از‬‫شبکه‬‫های‬‫اجتماعی‬‫مبتنی‬‫بر‬‫مکان‬‫و‬‫پهنای‬‫باند‬‫با‬‫سرعت‬‫باالی‬‫مخابراتی‬
‫رفتارهای‬‫سفری‬‫افراد‬‫را‬‫تحت‬‫تاثیر‬‫قرار‬‫داده‬‫است‬
‫مدلهای‬‫تقاضای‬‫حمل‬‫و‬‫نقل‬‫هنوز‬‫بر‬‫اساس‬‫درک‬‫ضعیف‬‫از‬‫ساختارهای‬‫شبکه‬‫های‬‫اجتم‬‫اعی‬
‫جدید‬‫هستند‬
‫کاربردهای‬‫دولتی‬‫عظیم‬‫داده‬:‫کنترل‬،‫ترافیک‬‫بررنامه‬‫ریزی‬،‫راهها‬‫سیستمهای‬‫حمل‬‫و‬‫نقل‬
،‫هوشمند‬‫مدیریت‬‫ازدحام‬‫و‬‫تراکم‬
‫کاربردهای‬‫بخش‬‫خصوصی‬:‫مدیریت‬،‫درآمد‬‫بهبوئ‬،‫فناوری‬‫ترابری‬‫و‬‫ایجاد‬‫مزیت‬‫رقاب‬‫تی‬
‫کاربردهای‬‫فردی‬:‫انتخاب‬‫مسیر‬‫بهینه‬‫برای‬‫صرفه‬‫جویی‬‫در‬‫وقت‬‫و‬،‫سوخت‬‫برنامه‬‫ری‬‫زی‬
‫مسافرت‬‫و‬‫غیره‬
‫نمونه‬:‫شرکت‬‫اتوبوسرانی‬‫شهر‬‫آخن‬‫آلمان‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫و‬ ‫داده‬ ‫عظیم‬‫انرژی‬
•‫چالشها‬:
‫بسیاری‬‫از‬‫تاسیسات‬‫برق‬‫و‬‫آب‬‫نیاز‬‫به‬‫تعویض‬‫دارند‬
‫کنتورهای‬‫هوشمند‬‫بخوبی‬‫عمل‬‫می‬‫کنند‬‫اما‬‫مصر‬‫ف‬
‫کنندگان‬‫نیاز‬‫به‬‫بینش‬‫بهتر‬‫وکنترل‬‫بیش‬‫تر‬‫بر‬‫مصرف‬
‫انرژی‬‫دارند‬
•‫نمونه‬:
‫شرکت‬‫برق‬‫منطقه‬‫بارسلون‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫و‬ ‫داده‬ ‫عظیم‬‫کشاورزی‬
•‫چالشها‬:
•‫میزان‬‫مصرف‬‫آب‬
•‫زمین‬‫حاصلخیز‬‫در‬‫مقابل‬‫زمینهای‬‫بایر‬
•‫پیش‬‫بینی‬‫وضعیت‬‫آب‬‫و‬‫هوایی‬
•‫نمونه‬:
•IBM‫در‬‫جورجیا‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫داده‬ ‫اهمیت‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫داده‬ ‫عظیم‬ ‫تحلیل‬ ‫تاریخچه‬
1985 20072000
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫گیری‬ ‫تصمیم‬ ‫فرایند‬ ‫و‬ ‫داده‬ ‫علم‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫کار‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬ ‫عظیم‬ ‫از‬ ‫استفاده‬ ‫نحوه‬
‫محتاط‬ ‫سازمانهای‬ ‫و‬ ‫شرکتها‬
‫آگاه‬ ‫نیمه‬ ‫سازمانهای‬ ‫و‬ ‫شرکتها‬
‫آگاه‬ ‫سازمانهای‬ ‫و‬ ‫شرکتها‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫جویی‬ ‫علت‬ ‫مرگ‬
•‫مشتری‬ ‫و‬ ‫کاربر‬ ‫ک‬ ‫و‬ ‫کسب‬ ‫هوشمندی‬‫ار‬
•‫بینش‬(Insight)
•‫توصیه‬(Recommendation) ‫داده‬ ‫عظیم‬ ‫تحلیل‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫مشتری‬ ‫تجربه‬ ‫و‬ ‫داده‬ ‫علم‬
‫رسانی‬ ‫اطالع‬ ‫در‬ ‫مشتری‬ ‫تجربه‬ ‫بهبود‬‫و‬
‫اپراتوره‬ ‫حوزه‬ ‫در‬ ‫اینترنتی‬ ‫خدمات‬ ‫ارائه‬‫ای‬
‫موبایل‬
‫بهبود‬‫از‬ ‫خرید‬ ‫در‬ ‫مشتری‬ ‫تجربه‬
‫فروشگاهها‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫اشیا‬ ‫اینترنت‬ ‫بر‬ ‫ای‬‫مقدمه‬
‫فناوری‬ ‫مسائل‬ ‫و‬ ‫بزرگ‬ ‫تولیدی‬ ‫داغ‬ ‫موضوعات‬ ‫و‬ ‫ها‬‫روند‬ ‫ای‬ ‫دهه‬ ‫هر‬
‫دارد‬ ‫را‬ ‫خود‬ ‫خاص‬ ‫اطالعات‬.‫بحث‬ ‫که‬ ‫دارند‬ ‫وجود‬ ‫موضوع‬ ‫چندین‬ ‫امروزه‬
‫باش‬‫می‬ ‫صنعتی‬ ‫اتوماسیون‬ ‫زمینه‬ ‫در‬ ‫بسیاری‬ ‫های‬ ‫پژوهش‬ ‫اصلی‬‫ند‬:
‫یا‬ ‫اشیا‬ ‫اینترنت‬Internet of Thing
‫یا‬ ‫بزرگ‬ ‫های‬ ‫داده‬Big Data
‫یا‬ ‫ابری‬ ‫رایانش‬Cloud Computing
‫صنعت‬4.0‫یا‬Industry 4.0
‫متحول‬ ‫را‬ ‫صنعتی‬ ‫اتوماسیون‬ ‫آینده‬ ‫توانند‬ ‫می‬ ‫فناوری‬ ‫چهار‬ ‫این‬‫کنند‬.
‫تولی‬ ‫دستگاه‬ ‫بین‬ ‫ارتباط‬ ‫برقراری‬ ‫با‬ ‫ترتیب‬ ‫به‬ ‫ها‬ ‫فناوری‬ ‫این‬،‫صنعتی‬ ‫د‬
‫برروی‬ ‫گسترده‬ ‫محاسبات‬ ،‫آن‬ ‫سازی‬ ‫ذخیره‬ ‫و‬ ‫بزرگ‬ ‫های‬ ‫داده‬ ‫آوری‬ ‫جمع‬
‫د‬ ‫مخصوصا‬ ‫صنعت‬ ‫تحول‬ ‫باعث‬ ‫جدید‬ ‫صنعتی‬ ‫انقالب‬ ‫ایده‬ ‫و‬ ‫ها‬ ‫داده‬‫ر‬
‫صن‬ ‫مانیتورینگ‬ ‫های‬ ‫سیستم‬ ‫و‬ ‫ها‬ ‫داده‬ ‫مخابره‬ ،‫اتوماسیون‬ ‫حوزه‬‫در‬ ‫عتی‬
‫شد‬ ‫خواهند‬ ‫نزدیک‬ ‫آینده‬.
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫اشیا‬ ‫اینترنت‬
•‫اینترنت‬‫اشیا‬‫یا‬‫چیزنت‬( Internet of Things)‫به‬‫طور‬‫کلی‬‫اشاره‬‫دارد‬‫به‬‫بسیاری‬‫از‬‫اشیا‬‫و‬‫وسایل‬
‫محیط‬‫مان‬‫پیرامون‬‫که‬‫به‬‫شبکه‬‫اینترنت‬‫متصل‬‫شده‬‫و‬‫بتوان‬‫توسط‬‫های‬‫اپلیکیشن‬‫موجود‬‫در‬‫ت‬‫لفن‬‫های‬
‫هوشمند‬‫و‬‫تبلت‬‫کنترل‬‫و‬‫مدیریت‬‫شوند‬.
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫پارادیم‬Any
•‫هدف‬‫اینترنت‬‫در‬‫گذشته‬‫ارتباط‬‫هر‬‫شخص‬‫با‬‫شخص‬‫دیگر‬‫بود‬.‫اما‬‫اکنون‬‫هدف‬‫اینترنت‬‫اشیاء‬
‫ارتباط‬‫هر‬‫چیز‬‫با‬‫چیز‬‫دیگر‬‫است‬!!!
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫اینترنت‬ ‫به‬ ‫متصل‬ ‫اشیا‬ ‫تعداد‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫انسانها‬ ‫تعداد‬ ‫و‬ ‫متصل‬ ‫اشیا‬ ‫تعداد‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
The role of Big DataAnalytics in IoT
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫الزامات‬Big Data‫و‬Analytics‫در‬IoT
•‫اتصال‬
•‫سازی‬ ‫ذخیره‬
•‫خدمات‬ ‫کیفیت‬
•‫هنگام‬ ‫به‬ ‫تحلیل‬ ‫و‬ ‫تجزیه‬
•‫بنچمارک‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫حلهای‬ ‫راه‬ ‫بندی‬ ‫طبقه‬Big Data‫و‬Analytics‫های‬ ‫سیستم‬ ‫برای‬IoT
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫جریان‬Big Data‫در‬IoT
‫دیتا‬ ‫بیگ‬ ‫پلتفرم‬ ‫دیتا‬ ‫بیگ‬ ‫آنالیز‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫حوزه‬ ‫در‬ ‫سازمان‬ ‫یک‬ ‫شکست‬ ‫یا‬ ‫اقبال‬IoT‫تحلیل‬ ‫مدیریت‬ ‫گرو‬ ‫در‬
Big Data‫است‬.
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫های‬ ‫چالش‬ ‫و‬ ‫ها‬ ‫فرصت‬IoT‫برای‬Big Data Analytics
، ‫تکنولوژی‬ ‫عصر‬ ‫در‬‫ها‬ ‫داده‬‫حکم‬ ‫واقع‬ ‫در‬‫نفت‬‫دارند‬ ‫را‬ ‫گذشته‬ ‫صنعت‬ ‫در‬.
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫د‬ ‫عظیم‬ ‫تحلیل‬ ‫های‬‫تکنیک‬ ‫و‬ ‫ابزار‬ ،‫پلتفرم‬ ‫بر‬ ‫ای‬‫مقدمه‬‫اده‬
•‫که‬ ‫دیدیم‬‫عظیم‬‫داده‬‫آفرینا‬ ‫ارزش‬ ‫و‬ ‫کاربردهاا‬ ‫چه‬ ‫به‬ ‫منجر‬‫ی‬
‫میشود‬ ‫وکارها‬ ‫کسب‬ ‫برای‬ ‫هایی‬.
•‫البته‬ ‫و‬‫رویکرد‬ ‫این‬‫است‬ ‫ناپذیر‬ ‫اجتناب‬‫عظا‬ ‫زیارا‬‫داده‬ ‫یم‬
‫و‬ ‫شاده‬ ‫تبدیل‬ ‫ها‬ ‫شرکت‬ ‫برای‬ ‫دارایی‬ ‫یک‬ ‫به‬‫نادیاده‬‫گا‬‫رفتن‬
‫دارایی‬ ‫این‬‫موجب‬‫کارهاا‬ ‫و‬ ‫کسب‬ ‫شکست‬‫رقااب‬ ‫فضاای‬ ‫در‬‫تی‬
‫میشود‬.
•‫در‬ ‫لذا‬‫شاهد‬ ‫آینده‬‫هجوم‬‫داده‬ ‫عظیم‬ ‫تحلیل‬ ‫به‬‫خاواه‬‫یم‬
‫یعنی‬ ‫بود‬...
•‫پیشا‬ ‫هاای‬ ‫تحلیال‬ ‫از‬ ‫هستند‬ ‫مایل‬ ‫بسیاری‬ ‫های‬ ‫سازمان‬‫رفته‬
‫کنند‬ ‫استقبال‬ ‫بار‬ ‫اولین‬ ‫برای‬ ‫داده‬ ‫عظیم‬‫ولی‬...
•‫درباره‬‫شده‬ ‫سردرگم‬ ‫کار‬ ‫این‬ ‫انجام‬ ‫چگونگی‬‫اند‬!
•‫دنباال‬ ‫به‬ ‫قسمت‬ ‫این‬ ‫در‬ ‫ما‬‫راه‬ ‫نقشکه‬ ‫یکک‬ ‫ارائه‬‫بارای‬
‫است‬ ‫و‬ ‫سازی‬ ‫پیاده‬ ‫مسیر‬ ‫در‬ ‫ها‬ ‫سازمان‬ ‫و‬ ‫ها‬ ‫شرکت‬ ‫هدایت‬‫فاده‬
‫هستیم‬ ‫داده‬ ‫عظیم‬ ‫تحلیل‬ ‫از‬.
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫داده‬ ‫عظیم‬ ‫تحلیل‬ ‫تاریخچه‬
•‫تحلیل‬ ‫مسئله‬‫حجیم‬ ‫های‬ ‫داده‬‫نوظهوری‬ ‫پدیده‬‫نیست‬!
•‫با‬‫طبق‬ ‫افزاری‬ ‫سخت‬ ‫و‬ ‫پردازشی‬ ‫توان‬ ‫اینکه‬‫مور‬ ‫قانون‬‫پارداز‬ ‫از‬ ‫آسانتر‬ ‫همیشه‬ ‫داده‬ ‫سازی‬ ‫ذخیره‬ ‫که‬ ‫آنجا‬ ‫از‬ ‫اما‬ ‫میشود‬ ‫برابر‬ ‫دو‬ ‫سال‬ ‫هر‬‫باوده‬ ‫آن‬ ‫ش‬
‫کند‬ ‫پردازش‬ ‫را‬ ‫ها‬ ‫داده‬ ‫حجم‬ ‫این‬ ‫بتواند‬ ‫تا‬ ‫بوده‬ ‫هایی‬ ‫راه‬ ‫دنبال‬ ‫همواره‬ ‫بشر‬ ‫لذا‬.
•‫ایجاد‬ ‫باعث‬ ‫داده‬ ‫زیاد‬ ‫حجم‬‫گلوگاه‬‫سرور‬ ‫روی‬‫میشود‬!
•‫در‬ ‫را‬ ‫نگاشت‬ ‫کاهش‬ ‫تکنیک‬ ‫بار‬ ‫اولین‬ ‫برای‬ ‫گوگل‬‫سیستم‬ ‫فایل‬ ‫گوگل‬‫خاتمه‬ ‫بزرگ‬ ‫چالش‬ ‫این‬ ‫به‬ ‫تا‬ ‫برد‬ ‫کار‬ ‫به‬‫دهد‬.
•‫اما‬ ‫نداد‬ ‫ادامه‬ ‫را‬ ‫جدید‬ ‫سیستم‬ ‫فایل‬ ‫این‬ ‫روی‬ ‫بر‬ ‫کار‬ ‫گوگل‬‫آپاچی‬‫ابداع‬ ‫را‬ ‫هدوپ‬ ‫شده‬ ‫توزیع‬ ‫سیستم‬ ‫فایل‬ ‫ایده‬ ‫همین‬ ‫از‬‫کرد‬.
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫بود‬ ‫چه‬ ‫ایده‬ ‫این‬‫هدوپ‬ ‫و‬‫چیست؟‬
•‫سارور‬ ‫چندین‬ ‫در‬ ‫را‬ ‫اطالعات‬ ‫سازی‬ ‫ذخیره‬ ‫امکان‬ ‫هدوپ‬
(‫پی‬‫سی‬)‫مای‬ ‫فاراهم‬ ‫پایین‬ ‫ای‬ ‫هزینه‬ ‫با‬‫آورد‬( .‫بسات‬‫ری‬
‫برای‬‫شده‬ ‫توزیع‬ ‫رایانش‬)
•‫کلی‬ ‫بخش‬ ‫دو‬ ‫از‬ ‫هدوپ‬ ‫تکنولوژی‬
1.‫اچ‬‫اس‬ ‫اف‬ ‫دی‬‫یا‬‫یافته‬ ‫توزیع‬ ‫فایل‬‫هدوپ‬
Hadoop Distribition File System
2.‫و‬‫با‬ ‫اطالعاات‬ ‫پردازی‬ ‫کیفیت‬ ‫با‬ ‫تکنیک‬ ‫همچنین‬‫ناام‬ ‫ه‬
‫کاهشی‬ ‫نگاشت‬MapReduce‫استفاده‬‫کند‬ ‫می‬.
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫سیستم‬ ‫فایل‬
•‫سیسااتم‬‫فایاال‬File system‫روشاای‬‫و‬ ‫ذخیااره‬ ‫باارای‬
‫دهی‬‫سازمان‬‫های‬ ‫فایل‬‫تاا‬ ‫اسات‬ ‫هایشاان‬‫داده‬ ‫و‬ ‫ای‬‫رایانه‬
‫کند‬ ‫آسان‬ ‫را‬ ‫ها‬‫آن‬ ‫به‬ ‫دسترسی‬ ‫و‬ ‫یافتن‬.
•‫سیستم‬‫گونا‬ ‫هاای‬ ‫سیساتم‬ ‫فایل‬ ‫از‬ ،‫مختلف‬ ‫های‬ ‫عامل‬‫اگونی‬
‫کنند‬ ‫می‬ ‫پشتیبانی‬.
•‫نیستند‬ ‫یکسان‬ ‫ها‬ ‫سیستم‬ ‫فایل‬ ‫ی‬ ‫همه‬‫ها‬ ‫و‬‫از‬ ‫کادام‬ ‫ر‬
‫دارناد‬ ‫هاا‬ ‫داده‬ ‫ساازماندهی‬ ‫بارای‬ ‫گوناگونی‬ ‫های‬ ‫روش‬ ،‫آنها‬.
‫بع‬ ،‫هساتند‬ ‫ساریعتر‬ ‫بقیاه‬ ‫از‬ ‫هاا‬ ‫سیستم‬ ‫فایل‬ ‫برخی‬‫نیاز‬ ‫ضای‬
‫فضاای‬ ‫از‬ ‫تعادادی‬ ،‫دارناد‬ ‫بیشاتری‬ ‫امنیتی‬ ‫های‬ ‫ویژگی‬‫زیااد‬
‫ح‬ ‫در‬ ‫کنناد‬ ‫مای‬ ‫پشاتیبانی‬ ‫اطالعات‬ ‫سازی‬ ‫ذخیره‬ ‫برای‬‫الیکاه‬
‫کوچا‬ ‫بسایار‬ ‫ساازی‬ ‫ذخیاره‬ ‫فضااهای‬ ‫باا‬ ‫فقط‬ ‫دیگر‬ ‫برخی‬‫ک‬
‫دارند‬ ‫سازگاری‬.‫ف‬ ‫برابر‬ ‫در‬ ‫ها‬ ‫سیستم‬ ‫فایل‬ ‫از‬ ‫بعضی‬‫هاای‬ ‫ایل‬
‫برخی‬ ‫حالیکه‬ ‫در‬ ،‫هستند‬ ‫مقاوم‬ ‫بسیار‬ ‫ویروسها‬ ‫و‬ ‫مخرب‬‫دیگر‬
‫دستر‬ ‫سرعت‬ ‫ی‬ ‫ارائه‬ ‫فدای‬ ‫را‬ ‫شده‬ ‫یاد‬ ‫های‬ ‫ویژگی‬ ‫سایر‬‫سای‬
‫نمایند‬ ‫می‬ ‫کاربران‬ ‫به‬ ‫بیشتر‬.
•‫ر‬ ‫از‬ ‫پشتیبانی‬ ‫برای‬ ‫سیستمی‬ ‫فایل‬ ‫ایجاد‬ ‫به‬ ‫لزوم‬‫موازی‬ ‫ایانش‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫هدوپ‬ ‫شده‬ ‫توزیع‬ ‫سیستم‬ ‫فایل‬
•‫معماری‬HDFS‫بصورت‬Master-Slave‫می‬‫باشد‬.
•‫هر‬‫کالستر‬HDFS‫شامل‬‫ناام‬ ‫باه‬ ‫گره‬ ‫یک‬NameNode‫مای‬
‫بعنوان‬ ‫که‬ ‫باشد‬Master‫کااری‬ ‫فضاای‬ ‫و‬ ‫کناد‬ ‫می‬ ‫عمل‬ ‫سیستم‬
‫به‬ ‫کاربران‬ ‫دسترسی‬ ‫و‬ ‫کند‬ ‫می‬ ‫مدیریت‬ ‫را‬ ‫فایل‬ ‫سیستم‬‫را‬ ‫هاا‬ ‫فایل‬
‫کند‬ ‫می‬ ‫گذاری‬ ‫قانون‬.
•‫در‬‫بناام‬ ‫گاره‬ ‫چندین‬ ‫گره‬ ‫این‬ ‫کنار‬DataNode‫وجاود‬‫کاه‬ ‫دارد‬
‫یک‬ ‫گره‬ ‫هر‬ ‫ازای‬ ‫به‬ ‫معموال‬DataNode‫داریم‬ ‫کالستر‬ ‫در‬.
•HDFS‫داده‬‫چنا‬ ‫باه‬ ‫هرفایل‬ ‫و‬ ‫کند‬ ‫می‬ ‫ذخیره‬ ‫فایل‬ ‫بصورت‬ ‫را‬ ‫ها‬‫د‬
‫از‬ ‫ای‬ ‫مجموعااه‬ ‫در‬ ‫هااا‬ ‫تکااه‬ ‫ایاان‬ ‫کااه‬ ‫شااود‬ ‫ماای‬ ‫تقساایم‬ ‫تکااه‬
DataNode‫ها‬‫شوند‬ ‫می‬ ‫ذخیره‬.
•NameNode‫وظیفه‬،‫باازکردن‬ ‫همچاون‬ ‫هاایی‬ ‫عملیاات‬ ‫انجام‬
‫دارد‬ ‫عهاده‬ ‫باه‬ ‫را‬ ‫مسایرها‬ ‫و‬ ‫ها‬ ‫نام‬ ‫تغییر‬ ،‫بستن‬.‫تعیا‬ ‫همچناین‬‫ین‬
‫به‬ ‫ها‬ ‫فایل‬ ‫های‬ ‫تکه‬ ‫نگاشت‬ ‫کننده‬DataNode‫ها‬‫باشد‬ ‫می‬ ‫نیز‬.
•DataNode‫ها‬‫و‬ ‫خوانادن‬ ‫هاای‬ ‫درخواسات‬ ‫به‬ ‫رسیدگی‬ ‫وظیفه‬
‫دارند‬ ‫برعهده‬ ‫را‬ ‫فایل‬ ‫سیستم‬ ‫کاربران‬ ‫از‬ ‫نوشتن‬.‫و‬ ‫همچناین‬‫ظیفاه‬
‫اتور‬‫ا‬‫دس‬ ‫اه‬‫ا‬‫ب‬ ‫ای‬ ‫داده‬ ‫اای‬‫ا‬‫ه‬ ‫االک‬‫ا‬‫ب‬ ‫اازی‬‫ا‬‫س‬ ‫ای‬‫ا‬‫کپ‬ ‫و‬ ‫اذف‬‫ا‬‫ح‬ ،‫ااخت‬‫ا‬‫س‬
NameNode‫دارند‬ ‫برعهده‬ ‫نیز‬ ‫را‬.
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫کاهشی‬ ‫نگاشت‬
•‫برناماه‬ ‫مادل‬ ‫یاک‬ ‫واقاع‬ ‫در‬ ‫کاهشی‬ ‫نگاشت‬
‫توزیا‬ ‫رایاانش‬ ‫از‬ ‫پشتیبانی‬ ‫برای‬ ‫ریزی‬‫شاده‬ ‫ع‬
‫ها‬ ‫شاده‬ ‫توزیع‬ ‫سیستم‬ ‫فایل‬ ‫در‬ ‫که‬ ‫است‬‫دوپ‬
‫میشود‬ ‫گرفته‬ ‫کار‬ ‫به‬.
•‫نگاشااات‬ ‫فرآیناااد‬ ‫دو‬ ‫از‬map‫و‬‫کااااهش‬
reduce‫تشکیل‬‫شده‬‫است‬.
•‫ابتدا‬‫را‬ ‫ورودی‬ ‫های‬ ‫داده‬ ‫مجموعه‬‫اسااس‬ ‫بار‬
namenode‫ساپس‬ ‫شده‬ ‫بندی‬ ‫خوشه‬ ‫ها‬
‫پردازش‬ ‫و‬ ‫سازی‬ ‫ذخیره‬ ‫مجزا‬ ‫سرورهای‬ ‫روی‬
‫ار‬‫ا‬‫آخ‬ ‫در‬ ‫و‬ ‫اوند‬‫ا‬‫میش‬namenode‫ای‬‫ا‬‫خروج‬
datanode‫و‬ ‫فراخاوانی‬ ‫را‬ ‫نظر‬ ‫مورد‬ ‫های‬
‫میکند‬ ‫ادغام‬.
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫داده‬ ‫عظیم‬ ‫تحلیل‬ ‫فرآیند‬
•‫کار‬ ‫و‬ ‫کسب‬ ‫های‬ ‫نیازمندی‬ ‫و‬ ‫ها‬ ‫سوال‬ ‫بندی‬ ‫اولویت‬ ‫و‬ ‫تعیین‬
•‫میدانی‬ ‫تحقیقات‬(‫نیاز‬ ‫مورد‬ ‫داده‬ ‫منابع‬ ،‫مغزی‬ ‫طوفان‬ ،‫تطبیقی‬ ‫الگوی‬)
•‫تحلیل‬ ‫عملیاتی‬ ‫مرحله‬(‫داده‬ ‫عظیم‬ ‫تحلیل‬ ‫و‬ ‫سازی‬ ‫پیاده‬)
•‫کار‬ ‫و‬ ‫کسب‬ ‫بر‬ ‫داده‬ ‫عظیم‬ ‫تحلیل‬ ‫تاثیر‬ ‫و‬ ‫تغییر‬ ‫مدیریت‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫عظیم‬ ‫دنیای‬ ‫انداز‬ ‫چشم‬‫داده‬
‫گفتیم‬
‫سازمان‬‫کنن‬ ‫حرکت‬ ‫داده‬ ‫عظیم‬ ‫تحلیل‬ ‫سمت‬ ‫به‬ ‫باید‬ ‫ناچار‬ ‫به‬ ‫کارها‬ ‫و‬ ‫کسب‬ ‫و‬ ‫ها‬‫د‬
‫ندارند‬ ‫نیز‬ ‫را‬ ‫تحلیل‬ ‫قدیمی‬ ‫های‬ ‫روش‬ ‫و‬ ‫ابزار‬ ‫از‬ ‫استفاده‬ ‫امکان‬.
‫مختلف‬ ‫های‬ ‫معماری‬ ‫و‬ ‫ابزار‬ ‫و‬ ‫پلتفرمها‬ ‫از‬ ‫ای‬ ‫گسترده‬ ‫طیف‬ ‫وارد‬ ‫بنابراین‬‫میش‬‫وند‬.
‫چشم‬ ‫این‬‫عظیم‬ ‫دنیای‬ ‫از‬ ‫اندازی‬‫است‬ ‫داده‬‫برندهای‬ ‫و‬ ‫محصوالت‬ ‫اسامی‬ ‫با‬‫مختل‬‫ف‬.
‫شرکتها‬‫کنند‬ ‫انتخاب‬ ‫را‬ ‫محصوالت‬ ‫کدام‬ ‫و‬ ‫شوند‬ ‫وارد‬ ‫حوزه‬ ‫این‬ ‫به‬ ‫چگونه‬ ‫باید‬.
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
Big Data Landscape 2017
‫داده‬ ‫منابع‬
‫ابزارها‬
‫مدیریت‬ ‫راهکارهای‬
‫سازی‬ ‫ذخیره‬ ‫و‬
‫راهکارهای‬
‫تحلیلی‬
‫و‬ ‫تحویل‬ ‫راهکارهای‬
‫سازی‬ ‫بصری‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫داده‬ ‫منابع‬
•‫حسگرها‬ ‫های‬ ‫داده‬(‫و‬ ‫اشیاء‬ ‫اینترنت‬)...
•‫اجتماعی‬ ‫های‬ ‫شبکه‬ ‫های‬ ‫داده‬
•‫بایگانی‬ ‫و‬ ‫آرشیو‬ ‫های‬ ‫داده‬
•‫باز‬ ‫های‬ ‫داده‬(‫و‬ ‫سالمت‬ ، ‫انرژی‬ ،‫شهری‬)...
•‫مختلف‬ ‫صنایع‬ ‫های‬ ‫داده‬(‫ها‬ ‫و‬ ‫آب‬ ،‫هواپیمایی‬‫وا‬
‫و‬ ‫آموزش‬ ،)...
•‫کارها‬ ‫و‬ ‫کسب‬ ‫و‬ ‫بازار‬ ‫های‬ ‫داده‬
•‫هوشمند‬ ‫های‬ ‫تلفن‬ ‫های‬ ‫داده‬
•‫ها‬ ‫کننده‬ ‫کنترل‬ ‫و‬ ‫ها‬ ‫ماشین‬ ‫الگ‬ ‫های‬ ‫داده‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫ها‬ ‫داده‬ ‫پردازش‬ ‫موتور‬
•‫هدوپ‬:‫کاهشی‬ ‫نگاشت‬ ‫از‬ ‫استفاده‬
•‫اسپارک‬:‫کتابخ‬ ‫و‬ ‫پردازش‬ ‫سرعت‬‫انه‬
‫برن‬ ‫زباان‬ ، ‫تحلیلای‬ ‫بیشاتر‬ ‫های‬‫اماه‬
‫دلخواه‬ ‫نویسی‬
•‫اک‬‫ا‬‫فلین‬:‫اای‬‫ا‬‫ه‬ ‫داده‬ ‫اردازش‬‫ا‬‫پ‬ ‫ارای‬‫ا‬‫ب‬
‫باالتر‬ ‫بسیار‬ ‫سرعت‬ ، ‫حجیم‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫داده‬ ‫عظیم‬ ‫مدیریت‬ ‫ابزار‬
•‫در‬ ‫شما‬ ‫موفقیت‬ ‫برای‬ ‫ای‬ ‫داده‬ ‫پایگاه‬ ‫موتور‬ ‫انتخاب‬‫زمینه‬
‫داده‬ ‫عظیم‬ ‫سازی‬ ‫پیاده‬
•‫سیساتم‬ ‫از‬ ‫سانتی‬ ‫طور‬ ‫به‬ ‫کارها‬ ‫و‬ ‫کسب‬ ‫بیشتر‬‫مادیریت‬
‫میکنند‬ ‫استفاده‬ ‫ای‬ ‫رابطه‬ ‫های‬ ‫داده‬ ‫پایگاه‬
•‫با‬ ‫زماانبر‬ ‫و‬ ‫ای‬ ‫رابطاه‬ ‫مادل‬ ‫پیچیادگی‬ ‫دلیل‬ ‫به‬ ‫باید‬‫ودن‬
‫ای‬ ‫داده‬ ‫هاای‬ ‫پایگااه‬ ‫باه‬ ‫مهااجرت‬ ‫باه‬ ‫نیااز‬ ‫ها‬ ‫کوئری‬
‫ای‬ ‫غیررابطه‬
•‫با‬ ‫ای‬ ‫رابطاه‬ ‫ای‬ ‫داده‬ ‫های‬ ‫پایگاه‬ ‫های‬ ‫قابلیت‬ ‫بر‬ ‫عالوه‬‫ا‬
‫اازی‬‫ا‬‫س‬ ‫اره‬‫ا‬‫ذخی‬ ‫اایی‬‫ا‬‫توان‬ ، ‫ااختاریافته‬‫ا‬‫س‬ ‫اوئری‬‫ا‬‫ک‬ ‫اان‬‫ا‬‫زب‬‫و‬
‫داشته‬ ‫را‬ ‫داده‬ ‫عظیم‬ ‫متنوع‬ ‫های‬ ‫داده‬ ‫مدیریت‬‫باشند‬.
•‫نگهاداری‬ ‫مادل‬ ‫در‬ ‫ای‬ ‫رابطاه‬ ‫های‬ ‫داده‬ ‫پایگاه‬ ‫با‬ ‫تفاوت‬
‫و‬ ‫پذیری‬ ‫مقیاس‬ ،‫اسکیما‬ ،‫ها‬ ‫داده‬...
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫نواسکیوال‬ ‫داده‬ ‫پایگاه‬ ‫انواع‬
•‫های‬ ‫داده‬ ‫پایگاه‬NoSQL‫بر‬‫و‬ ‫سازی‬ ‫ذخیره‬ ‫نوع‬ ‫اساس‬
‫به‬ ‫ها‬ ‫داده‬ ‫ارتباط‬4‫شوند‬ ‫می‬ ‫تقسیم‬ ‫دسته‬:
1. Key-Value Store ‫کلید‬-‫مقدار‬
2. Column Family Store ‫ستونی‬
3. Document Store ‫سندگرا‬
4. Graph Based ‫مبتنی‬‫بر‬‫گراف‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫کلید‬ ‫داده‬ ‫پایگاه‬-‫مقدار‬
•‫هاای‬‫بنادی‬‫دساته‬ ‫از‬ ‫حالات‬ ‫ترین‬‫ساده‬NoSQL،‫دساته‬
‫کلید‬-‫مقدار‬‫ما‬ ‫هاایی‬ ‫سیساتم‬ ‫در‬ ‫معماوال‬ ‫و‬ ‫باشد‬‫می‬‫ورد‬
‫متمای‬ ‫یکدیگر‬ ‫از‬ ‫ها‬‫داده‬ ‫که‬ ‫گیرد‬ ‫می‬ ‫قرار‬ ‫استفاده‬‫هستند‬ ‫ز‬
‫نظ‬ ‫مواردی‬ ‫به‬ ‫نسبت‬ ‫ها‬‫داده‬ ‫بودن‬ ‫دسترس‬ ‫در‬ ‫اصوال‬ ‫و‬‫یر‬
‫دارد‬ ‫بیشتری‬ ‫اهمیت‬ ‫پایائی‬.‫یا‬ ‫فقاط‬ ‫معمااری‬ ‫این‬ ‫در‬‫ک‬
‫داریم‬ ‫کلید‬(‫داده‬ ‫پایگااه‬ ‫در‬ ‫اصالی‬ ‫کلیاد‬ ‫مانند‬ ‫که‬‫هاای‬
‫کنند‬ ‫می‬ ‫عمل‬ ‫ای‬ ‫رابطه‬)‫مقادار‬ ‫کاه‬ ‫داریام‬ ‫مقدار‬ ‫یک‬ ‫و‬
‫گرداند‬ ‫می‬ ‫باز‬ ‫را‬ ‫کلید‬ ‫آن‬ ‫معادل‬.
•‫در‬ ‫در‬ ‫بااال‬ ‫سارعت‬ ‫باه‬ ‫تاوان‬ ‫می‬ ‫دسته‬ ‫این‬ ‫مزایای‬ ‫از‬
‫توسا‬ ‫قابلیات‬ ‫و‬ ‫سازی‬ ‫پیاده‬ ،‫اطالعات‬ ‫خواندن‬ ‫و‬ ‫کردن‬‫عه‬
‫کرد‬ ‫اشاره‬ ‫آسان‬ ‫پذیری‬.
•‫نمونه‬ ‫چند‬:
Aerospike , Redis , LevelDB , …
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫ستونی‬ ‫داده‬ ‫پایگاه‬
•‫کلید‬ ‫توسعه‬ ‫با‬ ‫ستونی‬ ‫داده‬ ‫های‬ ‫پایگاه‬-‫ب‬ ‫مقادارها‬‫وجاود‬
‫اند‬ ‫آمده‬.‫ک‬ ‫جفت‬ ‫یک‬ ‫بجای‬ ‫واقع‬ ‫در‬ ‫ها‬ ‫سیستم‬ ‫این‬‫لیاد‬-
‫کلیا‬ ‫جفات‬ ‫چنادین‬ ‫رکاورد‬ ‫هر‬ ‫برای‬ ‫توانند‬ ‫می‬ ،‫مقدار‬‫د‬-
‫باشند‬ ‫داشته‬ ‫مقدار‬.‫نا‬ ‫ساختار‬ ‫به‬ ‫نیازی‬ ‫نوع‬ ‫این‬ ‫در‬‫و‬ ‫داریم‬
‫م‬ ‫صفات‬ ‫تعداد‬ ‫با‬ ‫ستون‬ ‫چندین‬ ‫تواند‬ ‫می‬ ‫رکورد‬ ‫هر‬‫تفاوت‬
‫باشند‬ ‫داشته‬.
•‫وسا‬ ‫میزان‬ ‫سازی‬ ‫ذخیره‬ ‫تواند‬ ‫می‬ ‫دسته‬ ‫این‬ ‫مزایای‬ ‫از‬‫یع‬
‫باشد‬ ‫بسیار‬ ‫مقادیر‬ ‫با‬ ‫رکوردها‬ ‫از‬ ‫متفاوتی‬ ‫و‬.
•‫نمونه‬ ‫چند‬:
Hadoop/Hbase , Cassandra , Amazon
SimpleDB , …
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫سندگرا‬ ‫داده‬ ‫پایگاه‬
•‫این‬‫یع‬ ‫اول‬ ‫دساته‬ ‫مانناد‬ ‫نیاز‬ ‫ها‬ ‫داده‬ ‫پایگاه‬ ‫از‬ ‫دسته‬‫نای‬
‫کلید‬-‫با‬ ‫ولای‬ ‫باشاند‬ ‫می‬ ‫ستونی‬ ‫دوم‬ ‫دسته‬ ‫و‬ ‫مقدار‬‫ایان‬ ‫ا‬
‫م‬ ‫های‬ ‫داده‬ ‫بندی‬ ‫دسته‬ ‫سیستم‬ ‫این‬ ‫در‬ ‫که‬ ‫تفاوت‬‫با‬ ‫رتبط‬
‫باشند‬ ‫می‬ ‫سند‬ ‫فایل‬ ‫یک‬ ‫قالب‬ ‫در‬ ‫یکدیگر‬.‫مات‬ ‫از‬‫سااده‬ ‫ن‬
‫و‬ ‫عکس‬ ‫یا‬ ‫ایمیل‬ ‫یک‬ ‫تا‬ ‫گرفته‬...‫ب‬ ‫مای‬ ‫سند‬ ‫یک‬‫اشاند‬.
‫پایگا‬ ‫نوع‬ ‫این‬ ‫که‬ ‫باالیی‬ ‫بسیار‬ ‫قدرت‬ ‫وجود‬ ‫با‬ ‫اما‬‫هاای‬ ‫اه‬
‫گی‬ ‫وقت‬ ‫بسیار‬ ‫آنها‬ ‫در‬ ‫نوشتن‬ ‫و‬ ‫خواندن‬ ،‫دارند‬ ‫داده‬‫است‬ ‫ر‬.
•‫از‬‫د‬ ‫زیادی‬ ‫مقدار‬ ‫ذخیره‬ ‫به‬ ‫توان‬ ‫می‬ ‫دسته‬ ‫این‬ ‫مزایای‬‫اده‬
‫برد‬ ‫نام‬ ‫ربط‬ ‫بی‬ ‫های‬.
•‫نمونه‬ ‫چند‬:
MongoDB , Elastic Search , CouchDB ,
RavenDB , …
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫گراف‬ ‫داده‬ ‫پایگاه‬
•‫این‬‫باه‬ ‫نسابت‬ ‫متفاوتی‬ ‫کامال‬ ‫دید‬ ‫از‬ ،‫ها‬ ‫داده‬ ‫به‬ ‫دسته‬‫دساته‬
‫کند‬ ‫می‬ ‫نگاه‬ ‫قبلی‬ ‫های‬.‫ها‬ ‫باه‬ ‫گاراف‬ ‫یک‬ ‫مانند‬ ‫را‬ ‫ها‬ ‫داده‬‫م‬
‫ها‬ ‫داده‬ ‫باه‬ ‫را‬ ‫گاراف‬ ‫یا‬ ‫درخت‬ ‫یک‬ ‫ساختار‬ ‫و‬ ،‫کند‬ ‫می‬ ‫مرتبط‬‫ا‬
‫دهد‬ ‫می‬.‫در‬ ‫شادن‬ ‫در‬ ‫هنگاام‬ ‫رکوردهاا‬ ،‫داده‬ ‫پایگاه‬ ‫این‬ ‫در‬
‫می‬ ‫مرتبط‬ ‫هم‬ ‫به‬ ‫صفت‬ ‫چند‬ ‫یا‬ ‫یک‬ ‫توسط‬ ‫دیتابیس‬‫و‬ ‫شاوند‬
‫ریاضی‬ ‫عملیات‬ ‫انجام‬ ‫اینکه‬‫دساته‬ ‫از‬ ‫تار‬ ‫سااده‬ ‫بسایار‬‫هاای‬
‫است‬ ‫دیگر‬.‫ارتباطات‬ ‫که‬ ‫زمانی‬ ‫برای‬ ‫دسته‬ ‫این‬ ‫کاربرد‬‫و‬ ‫معین‬
‫باشاد‬ ‫مای‬ ،‫دارد‬ ‫وجود‬ ‫رکوردها‬ ‫میان‬ ‫مشخصی‬.‫شابک‬ ‫مانناد‬‫ه‬
‫اجتماعی‬ ‫های‬
•‫تح‬ ‫برای‬ ‫بودن‬ ‫مناسب‬ ‫به‬ ‫توان‬ ‫می‬ ‫دسته‬ ‫این‬ ‫مزایای‬ ‫از‬‫قیقاات‬
‫کرد‬ ‫اشاره‬ ‫فنی‬ ‫و‬ ‫علمی‬.
•‫نمونه‬ ‫چند‬:
•Neo4J , Sparksee , InfoGrid,AllegroGraph
, …
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫نظریه‬‫کپ‬
•‫راهنمای‬‫انتخاب‬‫پایگاده‬‫داده‬‫مناسب‬‫با‬‫نیازهای‬‫نرم‬‫افزار‬
‫می‬،‫باشد‬‫نظریه‬CAP‫است‬.
•Availability‫به‬‫کااربران‬ ‫کاه‬ ‫باشاد‬ ‫مای‬ ‫معنی‬ ‫این‬
‫داشات‬ ‫را‬ ‫خوانادن‬ ‫و‬ ‫کاردن‬ ‫در‬ ‫عملیاات‬ ‫بتوانند‬ ‫همیشه‬‫ه‬
‫ساروردیگر‬ ‫یاک‬ ‫یاا‬ ‫و‬ ‫اصلی‬ ‫سرور‬ ‫اگر‬ ‫یعنی‬ ‫باشند‬‫دچاار‬
‫اان‬‫ا‬‫همچن‬ ‫و‬ ‫اود‬‫ا‬‫نش‬ ‫اع‬‫ا‬‫قط‬ ‫ااربران‬‫ا‬‫ک‬ ‫ااط‬‫ا‬‫ارتب‬ ‫اد‬‫ا‬‫ش‬ ‫اکل‬‫ا‬‫مش‬
‫باشند‬ ‫داشته‬ ‫دسترسی‬.
•Consistency‫کاه‬ ‫هایی‬ ‫داده‬ ‫باشد‬ ‫می‬ ‫معنا‬ ‫این‬ ‫به‬
‫آنها‬ ‫تماام‬ ‫برای‬ ‫جا‬ ‫هر‬ ‫از‬ ‫کنند‬ ‫می‬ ‫مشاهده‬ ‫کاربران‬ ‫تمام‬‫ا‬
‫نس‬ ‫کاربری‬ ‫هیچ‬ ‫و‬ ‫شود‬ ‫داده‬ ‫نمایش‬ ‫یکسان‬ ‫های‬ ‫داده‬‫بت‬
‫نب‬ ‫اشاتباهی‬ ‫یا‬ ‫بیشتر‬ ،‫کمتر‬ ‫های‬ ‫داده‬ ‫دیگری‬ ‫به‬‫کاه‬ ‫یناد‬
‫هم‬ ‫اطالعات‬ ‫که‬ ‫کند‬ ‫می‬ ‫تضمین‬ ‫داده‬ ‫پایگاه‬ ‫یعنی‬‫و‬ ‫یشاه‬
‫باشد‬ ‫می‬ ‫یکسان‬ ‫جا‬ ‫همه‬.
•Partition-telorance‫کاه‬ ‫باشاد‬ ‫می‬ ‫معنا‬ ‫این‬ ‫به‬
‫با‬ ‫جغرافیاایی‬ ‫مختلف‬ ‫های‬ ‫مکان‬ ‫در‬ ‫مختلف‬ ‫های‬ ‫سرور‬‫ه‬
‫یکپارچ‬ ‫طور‬ ‫به‬ ‫سیستم‬ ‫که‬ ‫میشوند‬ ‫توزیع‬ ‫طوری‬‫هماه‬ ‫با‬ ‫ه‬
‫کند‬ ‫می‬ ‫کار‬ ‫و‬ ‫باشد‬ ‫می‬ ‫ارتباط‬ ‫در‬ ‫نودها‬.
•
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫ابزار‬-‫ها‬ ‫تکنیک‬-‫های‬ ‫الگوریتم‬‫کاوی‬ ‫داده‬
•RapidMiner
•SPSS Modeler
•Oracle Data Mining
•Knime
•SAS
•Teradata
•Machine Learning
•Neural Networks
•Decision Trees
•Natural Language Processing
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫تحلیل‬ ‫نوع‬‫عظیم‬‫داده‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫ها‬ ‫داده‬ ‫تحلیل‬ ‫تجزیه‬ ‫ابزارهای‬
•Kafka
•ScalaLab
•ElasticResearch
•BigML
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫ها‬ ‫داده‬ ‫سازی‬ ‫بصری‬ ‫ابزارهای‬
•Tableau
•Silk
•ChaCartoDB
•rtio
•Beaker
•Rodeo
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫ابزار‬ ‫ماتریس‬-‫صنایع‬
Cloudera
Quantum
Informatica
Alteryx
RapidMiner
SPSS Modeler
Kafka
ElasticResearch
Tableau
Silk
‫فناوری‬ ‫مالی‬ ‫پژوهش‬ ‫سالمت‬ ‫بیزینس‬
‫سبک‬
‫زندگی‬
‫حمل‬
‫نقل‬ ‫و‬
‫بیمه‬ ‫آموزش‬ ‫انرژی‬ ‫جغرافیا‬ ‫امالک‬ ‫غذا‬ ‫رسانه‬ ‫فضا‬ ‫هوا‬ ‫گردشگری‬ ‫ورزش‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
Management & Monitoring
(Ambari)
Coordinat
ion
(ZooKeep
er)
Workflow
&
Schedulin
g (Oozie)
Scripting
(Pig)
Machine
Learning
(Mahout)
Query
(Hive)
NoSQL
Database
(HBase)
Data
Integratio
n(Sqoop/
REST/OD
BC)
Distributed Processing
(Mapreduce)
Distributed Storage
(HDFS)
‫هدوپ‬ ‫اکوسیستم‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫اسپارک‬ ‫اکوسیستم‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫متدولوژی‬
‫روش‬‫انتخاب‬ ‫داده‬ ‫عظیم‬ ‫تحلیل‬ ‫فرآیند‬‫ها‬(‫ابزار‬)
‫سواالت‬ ‫اساس‬ ‫بر‬‫ها‬ ‫شاخص‬ ‫و‬ ‫کار‬ ‫و‬ ‫کسب‬ ‫ها‬ ‫دیتاست‬ ‫و‬ ‫داده‬ ‫منابع‬ 0
‫داده‬ ‫نوع‬ ‫اساس‬ ‫بر‬‫پردازشی‬ ‫موتور‬ ‫های‬ ‫ویژگی‬ ‫و‬ ‫ذخیره‬‫داده‬ ‫عظیم‬ ‫پردازش‬ ‫و‬ ‫سازی‬ 1
‫کپ‬ ‫نظریه‬ ‫اساس‬ ‫بر‬ ‫عظیم‬ ‫مدیریت‬‫داده‬ 2
‫و‬ ‫تحلیل‬ ‫نوع‬ ‫و‬ ‫آماری‬ ‫و‬ ‫ریاضی‬ ‫های‬ ‫مدل‬ ‫اساس‬ ‫بر‬
‫کار‬ ‫و‬ ‫کسب‬ ‫سواالت‬
‫کاوی‬ ‫داده‬ 3
‫اساس‬ ‫بر‬‫صنعت‬ ‫حوزه‬ ‫و‬ ‫قبل‬ ‫مرحله‬ ‫الگوهای‬ ‫داده‬ ‫عظیم‬ ‫تحلیل‬ ‫تجزیه‬ 4
‫تجزیه‬ ‫اساس‬ ‫بر‬‫صنعت‬ ‫حوزه‬ ‫و‬ ‫ها‬ ‫تحلیل‬ ‫سازی‬ ‫بصری‬ 5
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
 The world is looking for big data scientists, and there just aren't enough
to go around.
(Gurjeet Singh)
Chairman of the Board of Directors, Ayasdi
 I keep saying that the hot job in the next 10 years will be statisticians,
and I’m not kidding.
(Hal Varian)
Chief Economist at Google
‫عظی‬ ‫های‬‫تحلیل‬ ‫با‬ ‫مرتبط‬ ‫انسانی‬ ‫های‬‫مهارت‬‫داده‬‫م‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫عظی‬ ‫های‬‫تحلیل‬ ‫با‬ ‫مرتبط‬ ‫انسانی‬ ‫های‬‫مهارت‬‫داده‬‫م‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫عظی‬ ‫های‬‫تحلیل‬ ‫با‬ ‫مرتبط‬ ‫انسانی‬ ‫های‬‫مهارت‬‫داده‬‫م‬
‫سخت‬ ‫های‬ ‫مهارت‬ ‫مهارت‬‫نرم‬ ‫های‬
‫آشنایی‬‫داده‬ ‫پایگاه‬ ‫با‬ ‫رهبری‬
‫کاوی‬ ‫داده‬ ‫تیمی‬ ‫کار‬
‫مهارت‬‫آماری‬ ‫های‬ ‫یادگیری‬
‫تصمیم‬ ‫مدلسازی‬ ‫مثبت‬ ‫نگرش‬
‫تحلیل‬‫ریسک‬ ‫ارتباطی‬ ‫های‬ ‫مهارت‬
‫سازی‬ ‫بصری‬ ‫شخصی‬ ‫بین‬ ‫های‬ ‫مهارت‬
‫بهینه‬‫سازی‬ ‫شکیبایی‬
‫متغیره‬ ‫چند‬ ‫گیری‬ ‫تصمیم‬ ‫شوق‬ ‫و‬ ‫شور‬
‫نویسی‬ ‫برنامه‬ ‫با‬ ‫داده‬ ‫دادن‬ ‫ارتباط‬‫کار‬ ‫و‬ ‫کسب‬ ‫اهداف‬
‫انتقادی‬ ‫تفکر‬
‫ارتباط‬ ‫برقراری‬‫تک‬ ‫اطالعات‬ ‫بین‬ ‫موثر‬‫نیکی‬
‫تکنیکی‬ ‫غیر‬ ‫مخاطب‬ ‫و‬
‫خالقیت‬
‫درونی‬ ‫حس‬(‫شهود‬)
‫تیزبینی‬
‫کنجکاوی‬
‫تقسیم‬‫بندی‬‫مهارت‬‫ها‬‫به‬‫دو‬‫د‬‫سته‬
‫نرم‬‫و‬‫سخت‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫عظی‬ ‫های‬‫تحلیل‬ ‫با‬ ‫مرتبط‬ ‫انسانی‬ ‫های‬‫مهارت‬‫داده‬‫م‬
‫تقسیم‬‫بندی‬‫مهارت‬‫ها‬‫به‬‫دو‬‫د‬‫سته‬
‫نرم‬‫و‬‫سخت‬‫و‬‫ارتباط‬‫آن‬‫ها‬‫با‬
‫نیمکره‬‫های‬‫مغز‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
،‫داده‬ ‫عظیم‬ ‫تحلیلگران‬ ‫پایه‬ ‫حقوق‬ ‫میانگین‬117‫ارقام‬ ‫بین‬ ‫ما‬ ‫عدد‬ ‫این‬ ‫که‬ ‫است‬ ‫سال‬ ‫در‬ ‫دالر‬ ‫هزار‬89‫الی‬242‫باشد‬‫می‬ ‫دالر‬ ‫هزار‬
‫عظی‬ ‫های‬‫تحلیل‬ ‫با‬ ‫مرتبط‬ ‫انسانی‬ ‫های‬‫مهارت‬‫داده‬‫م‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫عظی‬ ‫های‬‫تحلیل‬ ‫با‬ ‫مرتبط‬ ‫انسانی‬ ‫های‬‫مهارت‬‫داده‬‫م‬
‫ت‬ ‫به‬ ،‫داده‬ ‫عظیم‬ ‫تحلیلگران‬ ‫ساالنه‬ ‫حقوق‬ ‫میانگین‬‫ها‬ ‫مهارت‬ ‫فکیک‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫عظی‬ ‫های‬‫تحلیل‬ ‫با‬ ‫مرتبط‬ ‫انسانی‬ ‫های‬‫مهارت‬‫داده‬‫م‬
‫تحلیلگری‬ ‫با‬ ‫رابطه‬ ‫در‬ ‫موجود‬ ‫ارقام‬ ‫و‬ ‫آمار‬ ‫به‬ ‫کلی‬ ‫نگاهی‬‫داده‬ ‫عظیم‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫عظی‬ ‫های‬‫تحلیل‬ ‫با‬ ‫مرتبط‬ ‫انسانی‬ ‫های‬‫مهارت‬‫داده‬‫م‬
‫میزان‬‫رشد‬‫تقاضا‬‫برای‬
‫استخدام‬‫تحلیلگران‬‫عظیم‬
،‫داده‬‫به‬‫تفکیک‬‫مهار‬‫ت‬‫ها‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
‫عظی‬ ‫های‬‫تحلیل‬ ‫با‬ ‫مرتبط‬ ‫انسانی‬ ‫های‬‫مهارت‬‫داده‬‫م‬
‫باالترین‬‫مهارتهای‬‫مورد‬‫نیاز‬‫در‬‫تحلیلگری‬‫عظی‬‫م‬‫داده‬
‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
Coursera – Data-Driven Decision Making
EdX – Data Science Essentials
Udacity – Intro to Machine Learning
IBM – Data Science Fundamentals
California Institute of Technology – Learning from Data
Dataquest – Become a Data Scientist
KDNuggets – Data Mining Course
‫عظی‬ ‫های‬‫تحلیل‬ ‫با‬ ‫مرتبط‬ ‫انسانی‬ ‫های‬‫مهارت‬‫داده‬‫م‬
‫معرفی‬‫برخی‬‫منابع‬‫آنالین‬‫آموزش‬‫مهارت‬‫های‬‫تحلیلگری‬‫عظ‬‫یم‬‫داده‬
‫کار‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫تحلیلگری‬ ‫گروه‬
‫شما‬ ‫توجه‬ ‫از‬ ‫سپاس‬
@BigData_BusinessAnalytics

سمینار کاربردهای تحلیل عظیم داده

  • 1.
  • 2.
    ‫ک‬ ‫و‬ ‫کسب‬‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬ ‫دانشجویی‬ ‫سمینار‬ ‫کار‬ ‫و‬ ‫کسب‬ ‫در‬ ‫داده‬‫عظیم‬ ‫تحلیل‬ ‫کاربردهای‬ ‫جلسه‬ ‫مسئول‬:‫روحانی‬ ‫سعید‬ ‫دکتر‬‫ت‬ ‫دانشگاه‬ ‫اطالعات‬ ‫فناوری‬ ‫مدیریت‬ ‫گروه‬ ‫علمی‬ ‫هیأت‬ ‫عضو‬‫هران‬ ‫امیرصادقی‬ ‫مهدی‬‫تهران‬ ‫دانشگاه‬ ‫اطالعات‬ ‫فناوری‬ ‫مدیریت‬ ‫ارشد‬ ‫کارشناسی‬ ‫دانشجوی‬ ‫قلندری‬ ‫قدمی‬ ‫پروین‬‫دانشجوی‬‫دکتری‬‫دانشگاه‬ ‫بازرگانی‬ ‫گذاری‬‫سیاست‬ ‫مدیریت‬‫تهران‬ ‫آهی‬ ‫عسگری‬ ‫میثم‬‫تهران‬ ‫دانشگاه‬ ‫اطالعات‬ ‫فناوری‬ ‫مدیریت‬ ‫ارشد‬ ‫کارشناسی‬ ‫دانشجوی‬ ‫وردی‬ ‫اله‬ ‫فرشته‬‫تهران‬ ‫دانشگاه‬ ‫انسانی‬ ‫منابع‬ ‫مدیریت‬ ‫ارشد‬ ‫کارشناسی‬ ‫آموخته‬ ‫دانش‬ ‫صداقت‬ ‫هادی‬‫دانشگاه‬ ‫اطالعات‬ ‫فناوری‬ ‫مدیریت‬ ‫ارشد‬ ‫کارشناسی‬ ‫دانشجوی‬‫تهران‬
  • 3.
    ‫داده‬ ‫عظیم‬ ‫اهمیت‬ ‫ک‬‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
  • 4.
    ‫سنتی‬ ‫دیدگاه‬ ‫ک‬ ‫و‬‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
  • 5.
    ‫داده‬ ‫عظیم‬ •‫دسترسی‬ ‫و‬‫پردازش‬ ،‫سازی‬ ‫درذخیره‬ ‫شرکت‬ ‫یک‬ ‫توانایی‬ ‫مرز‬ ‫داده‬ ‫عظیم‬(SPA)‫داده‬ ‫تمام‬ ‫به‬ •‫زیاد‬ ‫بسیار‬ ‫تنوع‬ ‫و‬ ‫سرعت‬ ،‫حجم‬ ‫با‬ ‫اطالعاتی‬ •‫معمولی‬ ‫داده‬ ‫پایگاه‬ ‫های‬ ‫سیستم‬ ‫پردازش‬ ‫ظرفیت‬ ‫از‬ ‫بیش‬ ‫هایی‬ ‫داده‬ ،‫داده‬ ‫عظیم‬ •‫چیست؟‬ ‫داده‬ ‫عظیم‬ ‫واقعا‬ ‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
  • 6.
    ‫داده‬ ‫عظیم‬ ‫ک‬ ‫و‬‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
  • 7.
    ‫داده‬ ‫عظیم‬ ‫های‬‫ویژگی‬ ‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
  • 8.
    ‫داده‬ ‫تولید‬ ‫نرخ‬ ‫ک‬‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
  • 9.
    ‫تنوع‬ ‫ک‬ ‫و‬ ‫کسب‬‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
  • 10.
    ‫پراکندگی‬ ‫ک‬ ‫و‬ ‫کسب‬‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
  • 11.
    ‫درستی‬ ‫ک‬ ‫و‬ ‫کسب‬‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
  • 12.
    ‫اعتبار‬ ‫ک‬ ‫و‬ ‫کسب‬‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
  • 13.
    ‫پذیری‬ ‫آسیب‬ ‫ک‬ ‫و‬‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
  • 14.
    ‫تغییرپذیری‬ ‫ک‬ ‫و‬ ‫کسب‬‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
  • 15.
    ‫سازی‬ ‫بصری‬ ‫ک‬ ‫و‬‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
  • 16.
    ‫ارزش‬ ‫ک‬ ‫و‬ ‫کسب‬‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
  • 17.
    ‫ارزش‬ ‫استخراج‬ ‫قیمتها‬ ‫کاهش‬ ‫بهتر‬‫و‬ ‫سریعتر‬ ‫گیری‬ ‫تصمیم‬ ‫جدید‬ ‫خدمات‬ ‫و‬ ‫محصوالت‬ ‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
  • 18.
    ‫داده‬ ‫عظیم‬ ‫کلیدی‬‫های‬ ‫الیه‬ ‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
  • 19.
    ‫ک‬ ‫و‬ ‫کسب‬‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
  • 20.
    ‫صنعت‬ ‫و‬ ‫داده‬‫عظیم‬ ‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
  • 21.
    ‫بانکداری‬ ‫و‬ ‫داده‬‫عظیم‬ ‫کاربردها‬: ‫تقلب‬ ‫کشف‬ ‫مشتریان‬ ‫بندی‬ ‫تقسیم‬ ‫سفارشی‬ ‫بازاریابی‬ ‫ریسک‬ ‫مدیریت‬ ‫نمونه‬:‫آلمان‬ ‫بانک‬ ‫دویچه‬ ‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
  • 22.
    ‫سرگرمی‬ ‫و‬ ‫رسانه‬،‫ارتباطات‬ ‫و‬ ‫داده‬ ‫عظیم‬ ‫چالشها‬: ‫جمع‬،‫آوری‬‫تحلیل‬‫و‬‫بکارگیری‬‫بینش‬‫مشتریان‬ ‫بهره‬‫گیری‬‫از‬‫محتوای‬‫موبایل‬‫و‬‫شبکه‬‫های‬‫اجتماعی‬ ‫درک‬‫الگوهای‬real-time‫و‬‫کاربرد‬‫محتوای‬‫رسانه‬‫ها‬ ‫نمونه‬: ‫مسابقات‬‫قهرمانی‬‫تنیس‬‫ویمبلدون‬ ‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
  • 23.
    ‫و‬ ‫داده‬ ‫عظیم‬‫پزشکی‬‫خدمات‬ ‫چالشها‬: ‫درمانی‬ ‫های‬ ‫هزینه‬ ‫افزایش‬ ‫ها‬ ‫داده‬ ‫بودن‬ ‫استفاده‬ ‫قابل‬ ‫غیر‬ ‫و‬ ‫دسترسی‬ ‫عدم‬ ،‫کمبود‬ ‫نمونه‬: ‫پنسیلوانیا‬ ‫دانشگاه‬ ‫بیمارستان‬ ‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
  • 24.
    ‫و‬ ‫داده‬ ‫عظیم‬‫آموزش‬ ‫چالشها‬: ‫مختلف‬‫منابع‬ ‫از‬ ‫ها‬ ‫داده‬ ‫ادغام‬ ‫داده‬ ‫عظیم‬ ‫درباره‬ ‫ندیده‬ ‫آموزش‬ ‫ارگانهای‬ ‫و‬ ‫کارکنان‬ ‫ها‬ ‫داده‬ ‫از‬ ‫نگهداری‬ ‫و‬ ‫محرمانگی‬ ‫به‬ ‫مربوط‬ ‫مسائل‬ ‫نمونه‬: ‫تاسمانیا‬ ‫دانشگاه‬ ‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
  • 25.
    ‫و‬ ‫داده‬ ‫عظیم‬‫دولت‬ ‫چالشها‬: ‫ها‬‫داده‬ ‫سازی‬ ‫یکپارچه‬ ‫داده‬ ‫عظیم‬ ‫سازی‬ ‫همسو‬ ‫و‬ ‫همکاری‬ ‫نمونه‬: ‫دوبی‬ ‫هوشمند‬ ‫شهر‬ ‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
  • 26.
    ‫و‬ ‫داده‬ ‫عظیم‬‫نقل‬‫و‬ ‫حمل‬ ‫چالشها‬: ‫داده‬‫های‬‫حاصل‬‫از‬‫شبکه‬‫های‬‫اجتماعی‬‫مبتنی‬‫بر‬‫مکان‬‫و‬‫پهنای‬‫باند‬‫با‬‫سرعت‬‫باالی‬‫مخابراتی‬ ‫رفتارهای‬‫سفری‬‫افراد‬‫را‬‫تحت‬‫تاثیر‬‫قرار‬‫داده‬‫است‬ ‫مدلهای‬‫تقاضای‬‫حمل‬‫و‬‫نقل‬‫هنوز‬‫بر‬‫اساس‬‫درک‬‫ضعیف‬‫از‬‫ساختارهای‬‫شبکه‬‫های‬‫اجتم‬‫اعی‬ ‫جدید‬‫هستند‬ ‫کاربردهای‬‫دولتی‬‫عظیم‬‫داده‬:‫کنترل‬،‫ترافیک‬‫بررنامه‬‫ریزی‬،‫راهها‬‫سیستمهای‬‫حمل‬‫و‬‫نقل‬ ،‫هوشمند‬‫مدیریت‬‫ازدحام‬‫و‬‫تراکم‬ ‫کاربردهای‬‫بخش‬‫خصوصی‬:‫مدیریت‬،‫درآمد‬‫بهبوئ‬،‫فناوری‬‫ترابری‬‫و‬‫ایجاد‬‫مزیت‬‫رقاب‬‫تی‬ ‫کاربردهای‬‫فردی‬:‫انتخاب‬‫مسیر‬‫بهینه‬‫برای‬‫صرفه‬‫جویی‬‫در‬‫وقت‬‫و‬،‫سوخت‬‫برنامه‬‫ری‬‫زی‬ ‫مسافرت‬‫و‬‫غیره‬ ‫نمونه‬:‫شرکت‬‫اتوبوسرانی‬‫شهر‬‫آخن‬‫آلمان‬ ‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
  • 27.
  • 28.
  • 29.
    ‫داده‬ ‫اهمیت‬ ‫ک‬ ‫و‬‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
  • 30.
    ‫داده‬ ‫عظیم‬ ‫تحلیل‬‫تاریخچه‬ 1985 20072000 ‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
  • 31.
    ‫گیری‬ ‫تصمیم‬ ‫فرایند‬‫و‬ ‫داده‬ ‫علم‬ ‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
  • 32.
    ‫کار‬ ‫و‬ ‫کسب‬‫و‬ ‫داده‬ ‫عظیم‬ ‫از‬ ‫استفاده‬ ‫نحوه‬ ‫محتاط‬ ‫سازمانهای‬ ‫و‬ ‫شرکتها‬ ‫آگاه‬ ‫نیمه‬ ‫سازمانهای‬ ‫و‬ ‫شرکتها‬ ‫آگاه‬ ‫سازمانهای‬ ‫و‬ ‫شرکتها‬ ‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
  • 33.
    ‫جویی‬ ‫علت‬ ‫مرگ‬ •‫مشتری‬‫و‬ ‫کاربر‬ ‫ک‬ ‫و‬ ‫کسب‬ ‫هوشمندی‬‫ار‬ •‫بینش‬(Insight) •‫توصیه‬(Recommendation) ‫داده‬ ‫عظیم‬ ‫تحلیل‬ ‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
  • 34.
    ‫مشتری‬ ‫تجربه‬ ‫و‬‫داده‬ ‫علم‬ ‫رسانی‬ ‫اطالع‬ ‫در‬ ‫مشتری‬ ‫تجربه‬ ‫بهبود‬‫و‬ ‫اپراتوره‬ ‫حوزه‬ ‫در‬ ‫اینترنتی‬ ‫خدمات‬ ‫ارائه‬‫ای‬ ‫موبایل‬ ‫بهبود‬‫از‬ ‫خرید‬ ‫در‬ ‫مشتری‬ ‫تجربه‬ ‫فروشگاهها‬ ‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
  • 35.
    ‫اشیا‬ ‫اینترنت‬ ‫بر‬‫ای‬‫مقدمه‬ ‫فناوری‬ ‫مسائل‬ ‫و‬ ‫بزرگ‬ ‫تولیدی‬ ‫داغ‬ ‫موضوعات‬ ‫و‬ ‫ها‬‫روند‬ ‫ای‬ ‫دهه‬ ‫هر‬ ‫دارد‬ ‫را‬ ‫خود‬ ‫خاص‬ ‫اطالعات‬.‫بحث‬ ‫که‬ ‫دارند‬ ‫وجود‬ ‫موضوع‬ ‫چندین‬ ‫امروزه‬ ‫باش‬‫می‬ ‫صنعتی‬ ‫اتوماسیون‬ ‫زمینه‬ ‫در‬ ‫بسیاری‬ ‫های‬ ‫پژوهش‬ ‫اصلی‬‫ند‬: ‫یا‬ ‫اشیا‬ ‫اینترنت‬Internet of Thing ‫یا‬ ‫بزرگ‬ ‫های‬ ‫داده‬Big Data ‫یا‬ ‫ابری‬ ‫رایانش‬Cloud Computing ‫صنعت‬4.0‫یا‬Industry 4.0 ‫متحول‬ ‫را‬ ‫صنعتی‬ ‫اتوماسیون‬ ‫آینده‬ ‫توانند‬ ‫می‬ ‫فناوری‬ ‫چهار‬ ‫این‬‫کنند‬. ‫تولی‬ ‫دستگاه‬ ‫بین‬ ‫ارتباط‬ ‫برقراری‬ ‫با‬ ‫ترتیب‬ ‫به‬ ‫ها‬ ‫فناوری‬ ‫این‬،‫صنعتی‬ ‫د‬ ‫برروی‬ ‫گسترده‬ ‫محاسبات‬ ،‫آن‬ ‫سازی‬ ‫ذخیره‬ ‫و‬ ‫بزرگ‬ ‫های‬ ‫داده‬ ‫آوری‬ ‫جمع‬ ‫د‬ ‫مخصوصا‬ ‫صنعت‬ ‫تحول‬ ‫باعث‬ ‫جدید‬ ‫صنعتی‬ ‫انقالب‬ ‫ایده‬ ‫و‬ ‫ها‬ ‫داده‬‫ر‬ ‫صن‬ ‫مانیتورینگ‬ ‫های‬ ‫سیستم‬ ‫و‬ ‫ها‬ ‫داده‬ ‫مخابره‬ ،‫اتوماسیون‬ ‫حوزه‬‫در‬ ‫عتی‬ ‫شد‬ ‫خواهند‬ ‫نزدیک‬ ‫آینده‬. ‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
  • 36.
    ‫اشیا‬ ‫اینترنت‬ •‫اینترنت‬‫اشیا‬‫یا‬‫چیزنت‬( Internetof Things)‫به‬‫طور‬‫کلی‬‫اشاره‬‫دارد‬‫به‬‫بسیاری‬‫از‬‫اشیا‬‫و‬‫وسایل‬ ‫محیط‬‫مان‬‫پیرامون‬‫که‬‫به‬‫شبکه‬‫اینترنت‬‫متصل‬‫شده‬‫و‬‫بتوان‬‫توسط‬‫های‬‫اپلیکیشن‬‫موجود‬‫در‬‫ت‬‫لفن‬‫های‬ ‫هوشمند‬‫و‬‫تبلت‬‫کنترل‬‫و‬‫مدیریت‬‫شوند‬. ‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
  • 37.
  • 38.
    ‫اینترنت‬ ‫به‬ ‫متصل‬‫اشیا‬ ‫تعداد‬ ‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
  • 39.
    ‫انسانها‬ ‫تعداد‬ ‫و‬‫متصل‬ ‫اشیا‬ ‫تعداد‬ ‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
  • 40.
    The role ofBig DataAnalytics in IoT ‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
  • 41.
    ‫الزامات‬Big Data‫و‬Analytics‫در‬IoT •‫اتصال‬ •‫سازی‬ ‫ذخیره‬ •‫خدمات‬‫کیفیت‬ •‫هنگام‬ ‫به‬ ‫تحلیل‬ ‫و‬ ‫تجزیه‬ •‫بنچمارک‬ ‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
  • 42.
    ‫حلهای‬ ‫راه‬ ‫بندی‬‫طبقه‬Big Data‫و‬Analytics‫های‬ ‫سیستم‬ ‫برای‬IoT ‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
  • 43.
    ‫جریان‬Big Data‫در‬IoT ‫دیتا‬ ‫بیگ‬‫پلتفرم‬ ‫دیتا‬ ‫بیگ‬ ‫آنالیز‬ ‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
  • 44.
    ‫حوزه‬ ‫در‬ ‫سازمان‬‫یک‬ ‫شکست‬ ‫یا‬ ‫اقبال‬IoT‫تحلیل‬ ‫مدیریت‬ ‫گرو‬ ‫در‬ Big Data‫است‬. ‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
  • 45.
    ‫های‬ ‫چالش‬ ‫و‬‫ها‬ ‫فرصت‬IoT‫برای‬Big Data Analytics ، ‫تکنولوژی‬ ‫عصر‬ ‫در‬‫ها‬ ‫داده‬‫حکم‬ ‫واقع‬ ‫در‬‫نفت‬‫دارند‬ ‫را‬ ‫گذشته‬ ‫صنعت‬ ‫در‬. ‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
  • 46.
    ‫د‬ ‫عظیم‬ ‫تحلیل‬‫های‬‫تکنیک‬ ‫و‬ ‫ابزار‬ ،‫پلتفرم‬ ‫بر‬ ‫ای‬‫مقدمه‬‫اده‬ •‫که‬ ‫دیدیم‬‫عظیم‬‫داده‬‫آفرینا‬ ‫ارزش‬ ‫و‬ ‫کاربردهاا‬ ‫چه‬ ‫به‬ ‫منجر‬‫ی‬ ‫میشود‬ ‫وکارها‬ ‫کسب‬ ‫برای‬ ‫هایی‬. •‫البته‬ ‫و‬‫رویکرد‬ ‫این‬‫است‬ ‫ناپذیر‬ ‫اجتناب‬‫عظا‬ ‫زیارا‬‫داده‬ ‫یم‬ ‫و‬ ‫شاده‬ ‫تبدیل‬ ‫ها‬ ‫شرکت‬ ‫برای‬ ‫دارایی‬ ‫یک‬ ‫به‬‫نادیاده‬‫گا‬‫رفتن‬ ‫دارایی‬ ‫این‬‫موجب‬‫کارهاا‬ ‫و‬ ‫کسب‬ ‫شکست‬‫رقااب‬ ‫فضاای‬ ‫در‬‫تی‬ ‫میشود‬. •‫در‬ ‫لذا‬‫شاهد‬ ‫آینده‬‫هجوم‬‫داده‬ ‫عظیم‬ ‫تحلیل‬ ‫به‬‫خاواه‬‫یم‬ ‫یعنی‬ ‫بود‬... •‫پیشا‬ ‫هاای‬ ‫تحلیال‬ ‫از‬ ‫هستند‬ ‫مایل‬ ‫بسیاری‬ ‫های‬ ‫سازمان‬‫رفته‬ ‫کنند‬ ‫استقبال‬ ‫بار‬ ‫اولین‬ ‫برای‬ ‫داده‬ ‫عظیم‬‫ولی‬... •‫درباره‬‫شده‬ ‫سردرگم‬ ‫کار‬ ‫این‬ ‫انجام‬ ‫چگونگی‬‫اند‬! •‫دنباال‬ ‫به‬ ‫قسمت‬ ‫این‬ ‫در‬ ‫ما‬‫راه‬ ‫نقشکه‬ ‫یکک‬ ‫ارائه‬‫بارای‬ ‫است‬ ‫و‬ ‫سازی‬ ‫پیاده‬ ‫مسیر‬ ‫در‬ ‫ها‬ ‫سازمان‬ ‫و‬ ‫ها‬ ‫شرکت‬ ‫هدایت‬‫فاده‬ ‫هستیم‬ ‫داده‬ ‫عظیم‬ ‫تحلیل‬ ‫از‬. ‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
  • 47.
    ‫داده‬ ‫عظیم‬ ‫تحلیل‬‫تاریخچه‬ •‫تحلیل‬ ‫مسئله‬‫حجیم‬ ‫های‬ ‫داده‬‫نوظهوری‬ ‫پدیده‬‫نیست‬! •‫با‬‫طبق‬ ‫افزاری‬ ‫سخت‬ ‫و‬ ‫پردازشی‬ ‫توان‬ ‫اینکه‬‫مور‬ ‫قانون‬‫پارداز‬ ‫از‬ ‫آسانتر‬ ‫همیشه‬ ‫داده‬ ‫سازی‬ ‫ذخیره‬ ‫که‬ ‫آنجا‬ ‫از‬ ‫اما‬ ‫میشود‬ ‫برابر‬ ‫دو‬ ‫سال‬ ‫هر‬‫باوده‬ ‫آن‬ ‫ش‬ ‫کند‬ ‫پردازش‬ ‫را‬ ‫ها‬ ‫داده‬ ‫حجم‬ ‫این‬ ‫بتواند‬ ‫تا‬ ‫بوده‬ ‫هایی‬ ‫راه‬ ‫دنبال‬ ‫همواره‬ ‫بشر‬ ‫لذا‬. •‫ایجاد‬ ‫باعث‬ ‫داده‬ ‫زیاد‬ ‫حجم‬‫گلوگاه‬‫سرور‬ ‫روی‬‫میشود‬! •‫در‬ ‫را‬ ‫نگاشت‬ ‫کاهش‬ ‫تکنیک‬ ‫بار‬ ‫اولین‬ ‫برای‬ ‫گوگل‬‫سیستم‬ ‫فایل‬ ‫گوگل‬‫خاتمه‬ ‫بزرگ‬ ‫چالش‬ ‫این‬ ‫به‬ ‫تا‬ ‫برد‬ ‫کار‬ ‫به‬‫دهد‬. •‫اما‬ ‫نداد‬ ‫ادامه‬ ‫را‬ ‫جدید‬ ‫سیستم‬ ‫فایل‬ ‫این‬ ‫روی‬ ‫بر‬ ‫کار‬ ‫گوگل‬‫آپاچی‬‫ابداع‬ ‫را‬ ‫هدوپ‬ ‫شده‬ ‫توزیع‬ ‫سیستم‬ ‫فایل‬ ‫ایده‬ ‫همین‬ ‫از‬‫کرد‬. ‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
  • 48.
    ‫بود‬ ‫چه‬ ‫ایده‬‫این‬‫هدوپ‬ ‫و‬‫چیست؟‬ •‫سارور‬ ‫چندین‬ ‫در‬ ‫را‬ ‫اطالعات‬ ‫سازی‬ ‫ذخیره‬ ‫امکان‬ ‫هدوپ‬ (‫پی‬‫سی‬)‫مای‬ ‫فاراهم‬ ‫پایین‬ ‫ای‬ ‫هزینه‬ ‫با‬‫آورد‬( .‫بسات‬‫ری‬ ‫برای‬‫شده‬ ‫توزیع‬ ‫رایانش‬) •‫کلی‬ ‫بخش‬ ‫دو‬ ‫از‬ ‫هدوپ‬ ‫تکنولوژی‬ 1.‫اچ‬‫اس‬ ‫اف‬ ‫دی‬‫یا‬‫یافته‬ ‫توزیع‬ ‫فایل‬‫هدوپ‬ Hadoop Distribition File System 2.‫و‬‫با‬ ‫اطالعاات‬ ‫پردازی‬ ‫کیفیت‬ ‫با‬ ‫تکنیک‬ ‫همچنین‬‫ناام‬ ‫ه‬ ‫کاهشی‬ ‫نگاشت‬MapReduce‫استفاده‬‫کند‬ ‫می‬. ‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
  • 49.
    ‫سیستم‬ ‫فایل‬ •‫سیسااتم‬‫فایاال‬File system‫روشاای‬‫و‬‫ذخیااره‬ ‫باارای‬ ‫دهی‬‫سازمان‬‫های‬ ‫فایل‬‫تاا‬ ‫اسات‬ ‫هایشاان‬‫داده‬ ‫و‬ ‫ای‬‫رایانه‬ ‫کند‬ ‫آسان‬ ‫را‬ ‫ها‬‫آن‬ ‫به‬ ‫دسترسی‬ ‫و‬ ‫یافتن‬. •‫سیستم‬‫گونا‬ ‫هاای‬ ‫سیساتم‬ ‫فایل‬ ‫از‬ ،‫مختلف‬ ‫های‬ ‫عامل‬‫اگونی‬ ‫کنند‬ ‫می‬ ‫پشتیبانی‬. •‫نیستند‬ ‫یکسان‬ ‫ها‬ ‫سیستم‬ ‫فایل‬ ‫ی‬ ‫همه‬‫ها‬ ‫و‬‫از‬ ‫کادام‬ ‫ر‬ ‫دارناد‬ ‫هاا‬ ‫داده‬ ‫ساازماندهی‬ ‫بارای‬ ‫گوناگونی‬ ‫های‬ ‫روش‬ ،‫آنها‬. ‫بع‬ ،‫هساتند‬ ‫ساریعتر‬ ‫بقیاه‬ ‫از‬ ‫هاا‬ ‫سیستم‬ ‫فایل‬ ‫برخی‬‫نیاز‬ ‫ضای‬ ‫فضاای‬ ‫از‬ ‫تعادادی‬ ،‫دارناد‬ ‫بیشاتری‬ ‫امنیتی‬ ‫های‬ ‫ویژگی‬‫زیااد‬ ‫ح‬ ‫در‬ ‫کنناد‬ ‫مای‬ ‫پشاتیبانی‬ ‫اطالعات‬ ‫سازی‬ ‫ذخیره‬ ‫برای‬‫الیکاه‬ ‫کوچا‬ ‫بسایار‬ ‫ساازی‬ ‫ذخیاره‬ ‫فضااهای‬ ‫باا‬ ‫فقط‬ ‫دیگر‬ ‫برخی‬‫ک‬ ‫دارند‬ ‫سازگاری‬.‫ف‬ ‫برابر‬ ‫در‬ ‫ها‬ ‫سیستم‬ ‫فایل‬ ‫از‬ ‫بعضی‬‫هاای‬ ‫ایل‬ ‫برخی‬ ‫حالیکه‬ ‫در‬ ،‫هستند‬ ‫مقاوم‬ ‫بسیار‬ ‫ویروسها‬ ‫و‬ ‫مخرب‬‫دیگر‬ ‫دستر‬ ‫سرعت‬ ‫ی‬ ‫ارائه‬ ‫فدای‬ ‫را‬ ‫شده‬ ‫یاد‬ ‫های‬ ‫ویژگی‬ ‫سایر‬‫سای‬ ‫نمایند‬ ‫می‬ ‫کاربران‬ ‫به‬ ‫بیشتر‬. •‫ر‬ ‫از‬ ‫پشتیبانی‬ ‫برای‬ ‫سیستمی‬ ‫فایل‬ ‫ایجاد‬ ‫به‬ ‫لزوم‬‫موازی‬ ‫ایانش‬ ‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
  • 50.
    ‫هدوپ‬ ‫شده‬ ‫توزیع‬‫سیستم‬ ‫فایل‬ •‫معماری‬HDFS‫بصورت‬Master-Slave‫می‬‫باشد‬. •‫هر‬‫کالستر‬HDFS‫شامل‬‫ناام‬ ‫باه‬ ‫گره‬ ‫یک‬NameNode‫مای‬ ‫بعنوان‬ ‫که‬ ‫باشد‬Master‫کااری‬ ‫فضاای‬ ‫و‬ ‫کناد‬ ‫می‬ ‫عمل‬ ‫سیستم‬ ‫به‬ ‫کاربران‬ ‫دسترسی‬ ‫و‬ ‫کند‬ ‫می‬ ‫مدیریت‬ ‫را‬ ‫فایل‬ ‫سیستم‬‫را‬ ‫هاا‬ ‫فایل‬ ‫کند‬ ‫می‬ ‫گذاری‬ ‫قانون‬. •‫در‬‫بناام‬ ‫گاره‬ ‫چندین‬ ‫گره‬ ‫این‬ ‫کنار‬DataNode‫وجاود‬‫کاه‬ ‫دارد‬ ‫یک‬ ‫گره‬ ‫هر‬ ‫ازای‬ ‫به‬ ‫معموال‬DataNode‫داریم‬ ‫کالستر‬ ‫در‬. •HDFS‫داده‬‫چنا‬ ‫باه‬ ‫هرفایل‬ ‫و‬ ‫کند‬ ‫می‬ ‫ذخیره‬ ‫فایل‬ ‫بصورت‬ ‫را‬ ‫ها‬‫د‬ ‫از‬ ‫ای‬ ‫مجموعااه‬ ‫در‬ ‫هااا‬ ‫تکااه‬ ‫ایاان‬ ‫کااه‬ ‫شااود‬ ‫ماای‬ ‫تقساایم‬ ‫تکااه‬ DataNode‫ها‬‫شوند‬ ‫می‬ ‫ذخیره‬. •NameNode‫وظیفه‬،‫باازکردن‬ ‫همچاون‬ ‫هاایی‬ ‫عملیاات‬ ‫انجام‬ ‫دارد‬ ‫عهاده‬ ‫باه‬ ‫را‬ ‫مسایرها‬ ‫و‬ ‫ها‬ ‫نام‬ ‫تغییر‬ ،‫بستن‬.‫تعیا‬ ‫همچناین‬‫ین‬ ‫به‬ ‫ها‬ ‫فایل‬ ‫های‬ ‫تکه‬ ‫نگاشت‬ ‫کننده‬DataNode‫ها‬‫باشد‬ ‫می‬ ‫نیز‬. •DataNode‫ها‬‫و‬ ‫خوانادن‬ ‫هاای‬ ‫درخواسات‬ ‫به‬ ‫رسیدگی‬ ‫وظیفه‬ ‫دارند‬ ‫برعهده‬ ‫را‬ ‫فایل‬ ‫سیستم‬ ‫کاربران‬ ‫از‬ ‫نوشتن‬.‫و‬ ‫همچناین‬‫ظیفاه‬ ‫اتور‬‫ا‬‫دس‬ ‫اه‬‫ا‬‫ب‬ ‫ای‬ ‫داده‬ ‫اای‬‫ا‬‫ه‬ ‫االک‬‫ا‬‫ب‬ ‫اازی‬‫ا‬‫س‬ ‫ای‬‫ا‬‫کپ‬ ‫و‬ ‫اذف‬‫ا‬‫ح‬ ،‫ااخت‬‫ا‬‫س‬ NameNode‫دارند‬ ‫برعهده‬ ‫نیز‬ ‫را‬. ‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
  • 51.
    ‫کاهشی‬ ‫نگاشت‬ •‫برناماه‬ ‫مادل‬‫یاک‬ ‫واقاع‬ ‫در‬ ‫کاهشی‬ ‫نگاشت‬ ‫توزیا‬ ‫رایاانش‬ ‫از‬ ‫پشتیبانی‬ ‫برای‬ ‫ریزی‬‫شاده‬ ‫ع‬ ‫ها‬ ‫شاده‬ ‫توزیع‬ ‫سیستم‬ ‫فایل‬ ‫در‬ ‫که‬ ‫است‬‫دوپ‬ ‫میشود‬ ‫گرفته‬ ‫کار‬ ‫به‬. •‫نگاشااات‬ ‫فرآیناااد‬ ‫دو‬ ‫از‬map‫و‬‫کااااهش‬ reduce‫تشکیل‬‫شده‬‫است‬. •‫ابتدا‬‫را‬ ‫ورودی‬ ‫های‬ ‫داده‬ ‫مجموعه‬‫اسااس‬ ‫بار‬ namenode‫ساپس‬ ‫شده‬ ‫بندی‬ ‫خوشه‬ ‫ها‬ ‫پردازش‬ ‫و‬ ‫سازی‬ ‫ذخیره‬ ‫مجزا‬ ‫سرورهای‬ ‫روی‬ ‫ار‬‫ا‬‫آخ‬ ‫در‬ ‫و‬ ‫اوند‬‫ا‬‫میش‬namenode‫ای‬‫ا‬‫خروج‬ datanode‫و‬ ‫فراخاوانی‬ ‫را‬ ‫نظر‬ ‫مورد‬ ‫های‬ ‫میکند‬ ‫ادغام‬. ‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
  • 52.
    ‫داده‬ ‫عظیم‬ ‫تحلیل‬‫فرآیند‬ •‫کار‬ ‫و‬ ‫کسب‬ ‫های‬ ‫نیازمندی‬ ‫و‬ ‫ها‬ ‫سوال‬ ‫بندی‬ ‫اولویت‬ ‫و‬ ‫تعیین‬ •‫میدانی‬ ‫تحقیقات‬(‫نیاز‬ ‫مورد‬ ‫داده‬ ‫منابع‬ ،‫مغزی‬ ‫طوفان‬ ،‫تطبیقی‬ ‫الگوی‬) •‫تحلیل‬ ‫عملیاتی‬ ‫مرحله‬(‫داده‬ ‫عظیم‬ ‫تحلیل‬ ‫و‬ ‫سازی‬ ‫پیاده‬) •‫کار‬ ‫و‬ ‫کسب‬ ‫بر‬ ‫داده‬ ‫عظیم‬ ‫تحلیل‬ ‫تاثیر‬ ‫و‬ ‫تغییر‬ ‫مدیریت‬ ‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
  • 53.
    ‫عظیم‬ ‫دنیای‬ ‫انداز‬‫چشم‬‫داده‬ ‫گفتیم‬ ‫سازمان‬‫کنن‬ ‫حرکت‬ ‫داده‬ ‫عظیم‬ ‫تحلیل‬ ‫سمت‬ ‫به‬ ‫باید‬ ‫ناچار‬ ‫به‬ ‫کارها‬ ‫و‬ ‫کسب‬ ‫و‬ ‫ها‬‫د‬ ‫ندارند‬ ‫نیز‬ ‫را‬ ‫تحلیل‬ ‫قدیمی‬ ‫های‬ ‫روش‬ ‫و‬ ‫ابزار‬ ‫از‬ ‫استفاده‬ ‫امکان‬. ‫مختلف‬ ‫های‬ ‫معماری‬ ‫و‬ ‫ابزار‬ ‫و‬ ‫پلتفرمها‬ ‫از‬ ‫ای‬ ‫گسترده‬ ‫طیف‬ ‫وارد‬ ‫بنابراین‬‫میش‬‫وند‬. ‫چشم‬ ‫این‬‫عظیم‬ ‫دنیای‬ ‫از‬ ‫اندازی‬‫است‬ ‫داده‬‫برندهای‬ ‫و‬ ‫محصوالت‬ ‫اسامی‬ ‫با‬‫مختل‬‫ف‬. ‫شرکتها‬‫کنند‬ ‫انتخاب‬ ‫را‬ ‫محصوالت‬ ‫کدام‬ ‫و‬ ‫شوند‬ ‫وارد‬ ‫حوزه‬ ‫این‬ ‫به‬ ‫چگونه‬ ‫باید‬. ‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
  • 54.
    Big Data Landscape2017 ‫داده‬ ‫منابع‬ ‫ابزارها‬ ‫مدیریت‬ ‫راهکارهای‬ ‫سازی‬ ‫ذخیره‬ ‫و‬ ‫راهکارهای‬ ‫تحلیلی‬ ‫و‬ ‫تحویل‬ ‫راهکارهای‬ ‫سازی‬ ‫بصری‬ ‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
  • 55.
    ‫داده‬ ‫منابع‬ •‫حسگرها‬ ‫های‬‫داده‬(‫و‬ ‫اشیاء‬ ‫اینترنت‬)... •‫اجتماعی‬ ‫های‬ ‫شبکه‬ ‫های‬ ‫داده‬ •‫بایگانی‬ ‫و‬ ‫آرشیو‬ ‫های‬ ‫داده‬ •‫باز‬ ‫های‬ ‫داده‬(‫و‬ ‫سالمت‬ ، ‫انرژی‬ ،‫شهری‬)... •‫مختلف‬ ‫صنایع‬ ‫های‬ ‫داده‬(‫ها‬ ‫و‬ ‫آب‬ ،‫هواپیمایی‬‫وا‬ ‫و‬ ‫آموزش‬ ،)... •‫کارها‬ ‫و‬ ‫کسب‬ ‫و‬ ‫بازار‬ ‫های‬ ‫داده‬ •‫هوشمند‬ ‫های‬ ‫تلفن‬ ‫های‬ ‫داده‬ •‫ها‬ ‫کننده‬ ‫کنترل‬ ‫و‬ ‫ها‬ ‫ماشین‬ ‫الگ‬ ‫های‬ ‫داده‬ ‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
  • 56.
    ‫ها‬ ‫داده‬ ‫پردازش‬‫موتور‬ •‫هدوپ‬:‫کاهشی‬ ‫نگاشت‬ ‫از‬ ‫استفاده‬ •‫اسپارک‬:‫کتابخ‬ ‫و‬ ‫پردازش‬ ‫سرعت‬‫انه‬ ‫برن‬ ‫زباان‬ ، ‫تحلیلای‬ ‫بیشاتر‬ ‫های‬‫اماه‬ ‫دلخواه‬ ‫نویسی‬ •‫اک‬‫ا‬‫فلین‬:‫اای‬‫ا‬‫ه‬ ‫داده‬ ‫اردازش‬‫ا‬‫پ‬ ‫ارای‬‫ا‬‫ب‬ ‫باالتر‬ ‫بسیار‬ ‫سرعت‬ ، ‫حجیم‬ ‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
  • 57.
    ‫داده‬ ‫عظیم‬ ‫مدیریت‬‫ابزار‬ •‫در‬ ‫شما‬ ‫موفقیت‬ ‫برای‬ ‫ای‬ ‫داده‬ ‫پایگاه‬ ‫موتور‬ ‫انتخاب‬‫زمینه‬ ‫داده‬ ‫عظیم‬ ‫سازی‬ ‫پیاده‬ •‫سیساتم‬ ‫از‬ ‫سانتی‬ ‫طور‬ ‫به‬ ‫کارها‬ ‫و‬ ‫کسب‬ ‫بیشتر‬‫مادیریت‬ ‫میکنند‬ ‫استفاده‬ ‫ای‬ ‫رابطه‬ ‫های‬ ‫داده‬ ‫پایگاه‬ •‫با‬ ‫زماانبر‬ ‫و‬ ‫ای‬ ‫رابطاه‬ ‫مادل‬ ‫پیچیادگی‬ ‫دلیل‬ ‫به‬ ‫باید‬‫ودن‬ ‫ای‬ ‫داده‬ ‫هاای‬ ‫پایگااه‬ ‫باه‬ ‫مهااجرت‬ ‫باه‬ ‫نیااز‬ ‫ها‬ ‫کوئری‬ ‫ای‬ ‫غیررابطه‬ •‫با‬ ‫ای‬ ‫رابطاه‬ ‫ای‬ ‫داده‬ ‫های‬ ‫پایگاه‬ ‫های‬ ‫قابلیت‬ ‫بر‬ ‫عالوه‬‫ا‬ ‫اازی‬‫ا‬‫س‬ ‫اره‬‫ا‬‫ذخی‬ ‫اایی‬‫ا‬‫توان‬ ، ‫ااختاریافته‬‫ا‬‫س‬ ‫اوئری‬‫ا‬‫ک‬ ‫اان‬‫ا‬‫زب‬‫و‬ ‫داشته‬ ‫را‬ ‫داده‬ ‫عظیم‬ ‫متنوع‬ ‫های‬ ‫داده‬ ‫مدیریت‬‫باشند‬. •‫نگهاداری‬ ‫مادل‬ ‫در‬ ‫ای‬ ‫رابطاه‬ ‫های‬ ‫داده‬ ‫پایگاه‬ ‫با‬ ‫تفاوت‬ ‫و‬ ‫پذیری‬ ‫مقیاس‬ ،‫اسکیما‬ ،‫ها‬ ‫داده‬... ‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
  • 58.
    ‫نواسکیوال‬ ‫داده‬ ‫پایگاه‬‫انواع‬ •‫های‬ ‫داده‬ ‫پایگاه‬NoSQL‫بر‬‫و‬ ‫سازی‬ ‫ذخیره‬ ‫نوع‬ ‫اساس‬ ‫به‬ ‫ها‬ ‫داده‬ ‫ارتباط‬4‫شوند‬ ‫می‬ ‫تقسیم‬ ‫دسته‬: 1. Key-Value Store ‫کلید‬-‫مقدار‬ 2. Column Family Store ‫ستونی‬ 3. Document Store ‫سندگرا‬ 4. Graph Based ‫مبتنی‬‫بر‬‫گراف‬ ‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
  • 59.
    ‫کلید‬ ‫داده‬ ‫پایگاه‬-‫مقدار‬ •‫هاای‬‫بنادی‬‫دساته‬‫از‬ ‫حالات‬ ‫ترین‬‫ساده‬NoSQL،‫دساته‬ ‫کلید‬-‫مقدار‬‫ما‬ ‫هاایی‬ ‫سیساتم‬ ‫در‬ ‫معماوال‬ ‫و‬ ‫باشد‬‫می‬‫ورد‬ ‫متمای‬ ‫یکدیگر‬ ‫از‬ ‫ها‬‫داده‬ ‫که‬ ‫گیرد‬ ‫می‬ ‫قرار‬ ‫استفاده‬‫هستند‬ ‫ز‬ ‫نظ‬ ‫مواردی‬ ‫به‬ ‫نسبت‬ ‫ها‬‫داده‬ ‫بودن‬ ‫دسترس‬ ‫در‬ ‫اصوال‬ ‫و‬‫یر‬ ‫دارد‬ ‫بیشتری‬ ‫اهمیت‬ ‫پایائی‬.‫یا‬ ‫فقاط‬ ‫معمااری‬ ‫این‬ ‫در‬‫ک‬ ‫داریم‬ ‫کلید‬(‫داده‬ ‫پایگااه‬ ‫در‬ ‫اصالی‬ ‫کلیاد‬ ‫مانند‬ ‫که‬‫هاای‬ ‫کنند‬ ‫می‬ ‫عمل‬ ‫ای‬ ‫رابطه‬)‫مقادار‬ ‫کاه‬ ‫داریام‬ ‫مقدار‬ ‫یک‬ ‫و‬ ‫گرداند‬ ‫می‬ ‫باز‬ ‫را‬ ‫کلید‬ ‫آن‬ ‫معادل‬. •‫در‬ ‫در‬ ‫بااال‬ ‫سارعت‬ ‫باه‬ ‫تاوان‬ ‫می‬ ‫دسته‬ ‫این‬ ‫مزایای‬ ‫از‬ ‫توسا‬ ‫قابلیات‬ ‫و‬ ‫سازی‬ ‫پیاده‬ ،‫اطالعات‬ ‫خواندن‬ ‫و‬ ‫کردن‬‫عه‬ ‫کرد‬ ‫اشاره‬ ‫آسان‬ ‫پذیری‬. •‫نمونه‬ ‫چند‬: Aerospike , Redis , LevelDB , … ‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
  • 60.
    ‫ستونی‬ ‫داده‬ ‫پایگاه‬ •‫کلید‬‫توسعه‬ ‫با‬ ‫ستونی‬ ‫داده‬ ‫های‬ ‫پایگاه‬-‫ب‬ ‫مقادارها‬‫وجاود‬ ‫اند‬ ‫آمده‬.‫ک‬ ‫جفت‬ ‫یک‬ ‫بجای‬ ‫واقع‬ ‫در‬ ‫ها‬ ‫سیستم‬ ‫این‬‫لیاد‬- ‫کلیا‬ ‫جفات‬ ‫چنادین‬ ‫رکاورد‬ ‫هر‬ ‫برای‬ ‫توانند‬ ‫می‬ ،‫مقدار‬‫د‬- ‫باشند‬ ‫داشته‬ ‫مقدار‬.‫نا‬ ‫ساختار‬ ‫به‬ ‫نیازی‬ ‫نوع‬ ‫این‬ ‫در‬‫و‬ ‫داریم‬ ‫م‬ ‫صفات‬ ‫تعداد‬ ‫با‬ ‫ستون‬ ‫چندین‬ ‫تواند‬ ‫می‬ ‫رکورد‬ ‫هر‬‫تفاوت‬ ‫باشند‬ ‫داشته‬. •‫وسا‬ ‫میزان‬ ‫سازی‬ ‫ذخیره‬ ‫تواند‬ ‫می‬ ‫دسته‬ ‫این‬ ‫مزایای‬ ‫از‬‫یع‬ ‫باشد‬ ‫بسیار‬ ‫مقادیر‬ ‫با‬ ‫رکوردها‬ ‫از‬ ‫متفاوتی‬ ‫و‬. •‫نمونه‬ ‫چند‬: Hadoop/Hbase , Cassandra , Amazon SimpleDB , … ‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
  • 61.
    ‫سندگرا‬ ‫داده‬ ‫پایگاه‬ •‫این‬‫یع‬‫اول‬ ‫دساته‬ ‫مانناد‬ ‫نیاز‬ ‫ها‬ ‫داده‬ ‫پایگاه‬ ‫از‬ ‫دسته‬‫نای‬ ‫کلید‬-‫با‬ ‫ولای‬ ‫باشاند‬ ‫می‬ ‫ستونی‬ ‫دوم‬ ‫دسته‬ ‫و‬ ‫مقدار‬‫ایان‬ ‫ا‬ ‫م‬ ‫های‬ ‫داده‬ ‫بندی‬ ‫دسته‬ ‫سیستم‬ ‫این‬ ‫در‬ ‫که‬ ‫تفاوت‬‫با‬ ‫رتبط‬ ‫باشند‬ ‫می‬ ‫سند‬ ‫فایل‬ ‫یک‬ ‫قالب‬ ‫در‬ ‫یکدیگر‬.‫مات‬ ‫از‬‫سااده‬ ‫ن‬ ‫و‬ ‫عکس‬ ‫یا‬ ‫ایمیل‬ ‫یک‬ ‫تا‬ ‫گرفته‬...‫ب‬ ‫مای‬ ‫سند‬ ‫یک‬‫اشاند‬. ‫پایگا‬ ‫نوع‬ ‫این‬ ‫که‬ ‫باالیی‬ ‫بسیار‬ ‫قدرت‬ ‫وجود‬ ‫با‬ ‫اما‬‫هاای‬ ‫اه‬ ‫گی‬ ‫وقت‬ ‫بسیار‬ ‫آنها‬ ‫در‬ ‫نوشتن‬ ‫و‬ ‫خواندن‬ ،‫دارند‬ ‫داده‬‫است‬ ‫ر‬. •‫از‬‫د‬ ‫زیادی‬ ‫مقدار‬ ‫ذخیره‬ ‫به‬ ‫توان‬ ‫می‬ ‫دسته‬ ‫این‬ ‫مزایای‬‫اده‬ ‫برد‬ ‫نام‬ ‫ربط‬ ‫بی‬ ‫های‬. •‫نمونه‬ ‫چند‬: MongoDB , Elastic Search , CouchDB , RavenDB , … ‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
  • 62.
    ‫گراف‬ ‫داده‬ ‫پایگاه‬ •‫این‬‫باه‬‫نسابت‬ ‫متفاوتی‬ ‫کامال‬ ‫دید‬ ‫از‬ ،‫ها‬ ‫داده‬ ‫به‬ ‫دسته‬‫دساته‬ ‫کند‬ ‫می‬ ‫نگاه‬ ‫قبلی‬ ‫های‬.‫ها‬ ‫باه‬ ‫گاراف‬ ‫یک‬ ‫مانند‬ ‫را‬ ‫ها‬ ‫داده‬‫م‬ ‫ها‬ ‫داده‬ ‫باه‬ ‫را‬ ‫گاراف‬ ‫یا‬ ‫درخت‬ ‫یک‬ ‫ساختار‬ ‫و‬ ،‫کند‬ ‫می‬ ‫مرتبط‬‫ا‬ ‫دهد‬ ‫می‬.‫در‬ ‫شادن‬ ‫در‬ ‫هنگاام‬ ‫رکوردهاا‬ ،‫داده‬ ‫پایگاه‬ ‫این‬ ‫در‬ ‫می‬ ‫مرتبط‬ ‫هم‬ ‫به‬ ‫صفت‬ ‫چند‬ ‫یا‬ ‫یک‬ ‫توسط‬ ‫دیتابیس‬‫و‬ ‫شاوند‬ ‫ریاضی‬ ‫عملیات‬ ‫انجام‬ ‫اینکه‬‫دساته‬ ‫از‬ ‫تار‬ ‫سااده‬ ‫بسایار‬‫هاای‬ ‫است‬ ‫دیگر‬.‫ارتباطات‬ ‫که‬ ‫زمانی‬ ‫برای‬ ‫دسته‬ ‫این‬ ‫کاربرد‬‫و‬ ‫معین‬ ‫باشاد‬ ‫مای‬ ،‫دارد‬ ‫وجود‬ ‫رکوردها‬ ‫میان‬ ‫مشخصی‬.‫شابک‬ ‫مانناد‬‫ه‬ ‫اجتماعی‬ ‫های‬ •‫تح‬ ‫برای‬ ‫بودن‬ ‫مناسب‬ ‫به‬ ‫توان‬ ‫می‬ ‫دسته‬ ‫این‬ ‫مزایای‬ ‫از‬‫قیقاات‬ ‫کرد‬ ‫اشاره‬ ‫فنی‬ ‫و‬ ‫علمی‬. •‫نمونه‬ ‫چند‬: •Neo4J , Sparksee , InfoGrid,AllegroGraph , … ‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
  • 63.
    ‫نظریه‬‫کپ‬ •‫راهنمای‬‫انتخاب‬‫پایگاده‬‫داده‬‫مناسب‬‫با‬‫نیازهای‬‫نرم‬‫افزار‬ ‫می‬،‫باشد‬‫نظریه‬CAP‫است‬. •Availability‫به‬‫کااربران‬ ‫کاه‬ ‫باشاد‬‫مای‬ ‫معنی‬ ‫این‬ ‫داشات‬ ‫را‬ ‫خوانادن‬ ‫و‬ ‫کاردن‬ ‫در‬ ‫عملیاات‬ ‫بتوانند‬ ‫همیشه‬‫ه‬ ‫ساروردیگر‬ ‫یاک‬ ‫یاا‬ ‫و‬ ‫اصلی‬ ‫سرور‬ ‫اگر‬ ‫یعنی‬ ‫باشند‬‫دچاار‬ ‫اان‬‫ا‬‫همچن‬ ‫و‬ ‫اود‬‫ا‬‫نش‬ ‫اع‬‫ا‬‫قط‬ ‫ااربران‬‫ا‬‫ک‬ ‫ااط‬‫ا‬‫ارتب‬ ‫اد‬‫ا‬‫ش‬ ‫اکل‬‫ا‬‫مش‬ ‫باشند‬ ‫داشته‬ ‫دسترسی‬. •Consistency‫کاه‬ ‫هایی‬ ‫داده‬ ‫باشد‬ ‫می‬ ‫معنا‬ ‫این‬ ‫به‬ ‫آنها‬ ‫تماام‬ ‫برای‬ ‫جا‬ ‫هر‬ ‫از‬ ‫کنند‬ ‫می‬ ‫مشاهده‬ ‫کاربران‬ ‫تمام‬‫ا‬ ‫نس‬ ‫کاربری‬ ‫هیچ‬ ‫و‬ ‫شود‬ ‫داده‬ ‫نمایش‬ ‫یکسان‬ ‫های‬ ‫داده‬‫بت‬ ‫نب‬ ‫اشاتباهی‬ ‫یا‬ ‫بیشتر‬ ،‫کمتر‬ ‫های‬ ‫داده‬ ‫دیگری‬ ‫به‬‫کاه‬ ‫یناد‬ ‫هم‬ ‫اطالعات‬ ‫که‬ ‫کند‬ ‫می‬ ‫تضمین‬ ‫داده‬ ‫پایگاه‬ ‫یعنی‬‫و‬ ‫یشاه‬ ‫باشد‬ ‫می‬ ‫یکسان‬ ‫جا‬ ‫همه‬. •Partition-telorance‫کاه‬ ‫باشاد‬ ‫می‬ ‫معنا‬ ‫این‬ ‫به‬ ‫با‬ ‫جغرافیاایی‬ ‫مختلف‬ ‫های‬ ‫مکان‬ ‫در‬ ‫مختلف‬ ‫های‬ ‫سرور‬‫ه‬ ‫یکپارچ‬ ‫طور‬ ‫به‬ ‫سیستم‬ ‫که‬ ‫میشوند‬ ‫توزیع‬ ‫طوری‬‫هماه‬ ‫با‬ ‫ه‬ ‫کند‬ ‫می‬ ‫کار‬ ‫و‬ ‫باشد‬ ‫می‬ ‫ارتباط‬ ‫در‬ ‫نودها‬. • ‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
  • 64.
    ‫ابزار‬-‫ها‬ ‫تکنیک‬-‫های‬ ‫الگوریتم‬‫کاوی‬‫داده‬ •RapidMiner •SPSS Modeler •Oracle Data Mining •Knime •SAS •Teradata •Machine Learning •Neural Networks •Decision Trees •Natural Language Processing ‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
  • 65.
    ‫تحلیل‬ ‫نوع‬‫عظیم‬‫داده‬ ‫ک‬ ‫و‬‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
  • 66.
    ‫ها‬ ‫داده‬ ‫تحلیل‬‫تجزیه‬ ‫ابزارهای‬ •Kafka •ScalaLab •ElasticResearch •BigML ‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
  • 67.
    ‫ها‬ ‫داده‬ ‫سازی‬‫بصری‬ ‫ابزارهای‬ •Tableau •Silk •ChaCartoDB •rtio •Beaker •Rodeo ‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
  • 68.
    ‫ابزار‬ ‫ماتریس‬-‫صنایع‬ Cloudera Quantum Informatica Alteryx RapidMiner SPSS Modeler Kafka ElasticResearch Tableau Silk ‫فناوری‬‫مالی‬ ‫پژوهش‬ ‫سالمت‬ ‫بیزینس‬ ‫سبک‬ ‫زندگی‬ ‫حمل‬ ‫نقل‬ ‫و‬ ‫بیمه‬ ‫آموزش‬ ‫انرژی‬ ‫جغرافیا‬ ‫امالک‬ ‫غذا‬ ‫رسانه‬ ‫فضا‬ ‫هوا‬ ‫گردشگری‬ ‫ورزش‬ ‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
  • 69.
    Management & Monitoring (Ambari) Coordinat ion (ZooKeep er) Workflow & Schedulin g(Oozie) Scripting (Pig) Machine Learning (Mahout) Query (Hive) NoSQL Database (HBase) Data Integratio n(Sqoop/ REST/OD BC) Distributed Processing (Mapreduce) Distributed Storage (HDFS) ‫هدوپ‬ ‫اکوسیستم‬ ‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
  • 70.
    ‫اسپارک‬ ‫اکوسیستم‬ ‫ک‬ ‫و‬‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
  • 71.
    ‫ک‬ ‫و‬ ‫کسب‬‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
  • 72.
    ‫ک‬ ‫و‬ ‫کسب‬‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
  • 73.
    ‫متدولوژی‬ ‫روش‬‫انتخاب‬ ‫داده‬ ‫عظیم‬‫تحلیل‬ ‫فرآیند‬‫ها‬(‫ابزار‬) ‫سواالت‬ ‫اساس‬ ‫بر‬‫ها‬ ‫شاخص‬ ‫و‬ ‫کار‬ ‫و‬ ‫کسب‬ ‫ها‬ ‫دیتاست‬ ‫و‬ ‫داده‬ ‫منابع‬ 0 ‫داده‬ ‫نوع‬ ‫اساس‬ ‫بر‬‫پردازشی‬ ‫موتور‬ ‫های‬ ‫ویژگی‬ ‫و‬ ‫ذخیره‬‫داده‬ ‫عظیم‬ ‫پردازش‬ ‫و‬ ‫سازی‬ 1 ‫کپ‬ ‫نظریه‬ ‫اساس‬ ‫بر‬ ‫عظیم‬ ‫مدیریت‬‫داده‬ 2 ‫و‬ ‫تحلیل‬ ‫نوع‬ ‫و‬ ‫آماری‬ ‫و‬ ‫ریاضی‬ ‫های‬ ‫مدل‬ ‫اساس‬ ‫بر‬ ‫کار‬ ‫و‬ ‫کسب‬ ‫سواالت‬ ‫کاوی‬ ‫داده‬ 3 ‫اساس‬ ‫بر‬‫صنعت‬ ‫حوزه‬ ‫و‬ ‫قبل‬ ‫مرحله‬ ‫الگوهای‬ ‫داده‬ ‫عظیم‬ ‫تحلیل‬ ‫تجزیه‬ 4 ‫تجزیه‬ ‫اساس‬ ‫بر‬‫صنعت‬ ‫حوزه‬ ‫و‬ ‫ها‬ ‫تحلیل‬ ‫سازی‬ ‫بصری‬ 5 ‫ک‬ ‫و‬ ‫کسب‬ ‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬
  • 74.
    ‫ک‬ ‫و‬ ‫کسب‬‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬  The world is looking for big data scientists, and there just aren't enough to go around. (Gurjeet Singh) Chairman of the Board of Directors, Ayasdi  I keep saying that the hot job in the next 10 years will be statisticians, and I’m not kidding. (Hal Varian) Chief Economist at Google ‫عظی‬ ‫های‬‫تحلیل‬ ‫با‬ ‫مرتبط‬ ‫انسانی‬ ‫های‬‫مهارت‬‫داده‬‫م‬
  • 75.
    ‫ک‬ ‫و‬ ‫کسب‬‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬ ‫عظی‬ ‫های‬‫تحلیل‬ ‫با‬ ‫مرتبط‬ ‫انسانی‬ ‫های‬‫مهارت‬‫داده‬‫م‬
  • 76.
    ‫ک‬ ‫و‬ ‫کسب‬‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬ ‫عظی‬ ‫های‬‫تحلیل‬ ‫با‬ ‫مرتبط‬ ‫انسانی‬ ‫های‬‫مهارت‬‫داده‬‫م‬ ‫سخت‬ ‫های‬ ‫مهارت‬ ‫مهارت‬‫نرم‬ ‫های‬ ‫آشنایی‬‫داده‬ ‫پایگاه‬ ‫با‬ ‫رهبری‬ ‫کاوی‬ ‫داده‬ ‫تیمی‬ ‫کار‬ ‫مهارت‬‫آماری‬ ‫های‬ ‫یادگیری‬ ‫تصمیم‬ ‫مدلسازی‬ ‫مثبت‬ ‫نگرش‬ ‫تحلیل‬‫ریسک‬ ‫ارتباطی‬ ‫های‬ ‫مهارت‬ ‫سازی‬ ‫بصری‬ ‫شخصی‬ ‫بین‬ ‫های‬ ‫مهارت‬ ‫بهینه‬‫سازی‬ ‫شکیبایی‬ ‫متغیره‬ ‫چند‬ ‫گیری‬ ‫تصمیم‬ ‫شوق‬ ‫و‬ ‫شور‬ ‫نویسی‬ ‫برنامه‬ ‫با‬ ‫داده‬ ‫دادن‬ ‫ارتباط‬‫کار‬ ‫و‬ ‫کسب‬ ‫اهداف‬ ‫انتقادی‬ ‫تفکر‬ ‫ارتباط‬ ‫برقراری‬‫تک‬ ‫اطالعات‬ ‫بین‬ ‫موثر‬‫نیکی‬ ‫تکنیکی‬ ‫غیر‬ ‫مخاطب‬ ‫و‬ ‫خالقیت‬ ‫درونی‬ ‫حس‬(‫شهود‬) ‫تیزبینی‬ ‫کنجکاوی‬ ‫تقسیم‬‫بندی‬‫مهارت‬‫ها‬‫به‬‫دو‬‫د‬‫سته‬ ‫نرم‬‫و‬‫سخت‬
  • 77.
    ‫ک‬ ‫و‬ ‫کسب‬‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬ ‫عظی‬ ‫های‬‫تحلیل‬ ‫با‬ ‫مرتبط‬ ‫انسانی‬ ‫های‬‫مهارت‬‫داده‬‫م‬ ‫تقسیم‬‫بندی‬‫مهارت‬‫ها‬‫به‬‫دو‬‫د‬‫سته‬ ‫نرم‬‫و‬‫سخت‬‫و‬‫ارتباط‬‫آن‬‫ها‬‫با‬ ‫نیمکره‬‫های‬‫مغز‬
  • 78.
    ‫ک‬ ‫و‬ ‫کسب‬‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬ ،‫داده‬ ‫عظیم‬ ‫تحلیلگران‬ ‫پایه‬ ‫حقوق‬ ‫میانگین‬117‫ارقام‬ ‫بین‬ ‫ما‬ ‫عدد‬ ‫این‬ ‫که‬ ‫است‬ ‫سال‬ ‫در‬ ‫دالر‬ ‫هزار‬89‫الی‬242‫باشد‬‫می‬ ‫دالر‬ ‫هزار‬ ‫عظی‬ ‫های‬‫تحلیل‬ ‫با‬ ‫مرتبط‬ ‫انسانی‬ ‫های‬‫مهارت‬‫داده‬‫م‬
  • 79.
    ‫ک‬ ‫و‬ ‫کسب‬‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬ ‫عظی‬ ‫های‬‫تحلیل‬ ‫با‬ ‫مرتبط‬ ‫انسانی‬ ‫های‬‫مهارت‬‫داده‬‫م‬ ‫ت‬ ‫به‬ ،‫داده‬ ‫عظیم‬ ‫تحلیلگران‬ ‫ساالنه‬ ‫حقوق‬ ‫میانگین‬‫ها‬ ‫مهارت‬ ‫فکیک‬
  • 80.
    ‫ک‬ ‫و‬ ‫کسب‬‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬ ‫عظی‬ ‫های‬‫تحلیل‬ ‫با‬ ‫مرتبط‬ ‫انسانی‬ ‫های‬‫مهارت‬‫داده‬‫م‬ ‫تحلیلگری‬ ‫با‬ ‫رابطه‬ ‫در‬ ‫موجود‬ ‫ارقام‬ ‫و‬ ‫آمار‬ ‫به‬ ‫کلی‬ ‫نگاهی‬‫داده‬ ‫عظیم‬
  • 81.
    ‫ک‬ ‫و‬ ‫کسب‬‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬ ‫عظی‬ ‫های‬‫تحلیل‬ ‫با‬ ‫مرتبط‬ ‫انسانی‬ ‫های‬‫مهارت‬‫داده‬‫م‬ ‫میزان‬‫رشد‬‫تقاضا‬‫برای‬ ‫استخدام‬‫تحلیلگران‬‫عظیم‬ ،‫داده‬‫به‬‫تفکیک‬‫مهار‬‫ت‬‫ها‬
  • 82.
    ‫ک‬ ‫و‬ ‫کسب‬‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬ ‫عظی‬ ‫های‬‫تحلیل‬ ‫با‬ ‫مرتبط‬ ‫انسانی‬ ‫های‬‫مهارت‬‫داده‬‫م‬ ‫باالترین‬‫مهارتهای‬‫مورد‬‫نیاز‬‫در‬‫تحلیلگری‬‫عظی‬‫م‬‫داده‬
  • 83.
    ‫ک‬ ‫و‬ ‫کسب‬‫و‬ ‫داده‬‫عظیم‬ ‫گری‬‫تحلیل‬ ‫گروه‬‫ار‬ Coursera – Data-Driven Decision Making EdX – Data Science Essentials Udacity – Intro to Machine Learning IBM – Data Science Fundamentals California Institute of Technology – Learning from Data Dataquest – Become a Data Scientist KDNuggets – Data Mining Course ‫عظی‬ ‫های‬‫تحلیل‬ ‫با‬ ‫مرتبط‬ ‫انسانی‬ ‫های‬‫مهارت‬‫داده‬‫م‬ ‫معرفی‬‫برخی‬‫منابع‬‫آنالین‬‫آموزش‬‫مهارت‬‫های‬‫تحلیلگری‬‫عظ‬‫یم‬‫داده‬
  • 84.
    ‫کار‬ ‫و‬ ‫کسب‬‫و‬ ‫داده‬‫عظیم‬ ‫تحلیلگری‬ ‫گروه‬ ‫شما‬ ‫توجه‬ ‫از‬ ‫سپاس‬ @BigData_BusinessAnalytics