Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Introduction to Apache Hadoop in Persian - آشنایی با هدوپ

38,925 views

Published on

آشنایی با هدوپ - مرجع هدوپ ایران - شرکت مهندسی نرم افزار ایده پردازان فرافکر
www.hadoop.ir

Published in: Technology

Introduction to Apache Hadoop in Persian - آشنایی با هدوپ

  1. 1. ‫هدوپ‬ ‫با‬ ‫آشنایی‬ }‫ایران‬ ‫هدوپ‬ ‫مرجع‬ (‫فرافکر‬ ‫پردازان‬ ‫ایده‬ ‫افزار‬‫نرم‬ ‫مهندسی‬ ‫)شرکت‬ . . . . . .www hadoop ir www farafekr co hello@hadoop ir info@farafekr co INTRODUCTION TO HADOOP
  2. 2. WHO AM I ‫رنجبر‬ ‫مبین‬ ●‫افزار‬‫نرم‬ ‫مهندسی‬ ‫ارشد‬ ‫کارشناس‬ ‫فرافکر‬ ‫پردازان‬ ‫ایده‬ ‫افزار‬‫نرم‬ ‫مهندسی‬ ‫شرکت‬ ‫مدیره‬ ‫هیئت‬ ‫رئیس‬ ‫ایران‬ ‫هدوپ‬ ‫مرجع‬ ‫مؤسس‬ ‫دارای‬2‫های‬ ‫شرکت‬ ‫از‬ ‫داده‬ ‫کلن‬ ‫حوزه‬ ‫در‬ ‫رسمی‬ ‫مدرک‬MapR‫و‬ MongoDB Inc. ‫های‬ ‫پروژه‬ ‫کننده‬ ‫مشارکت‬Cloudera Hue‫و‬Apache Hadoop ‫سایت‬ ‫برتر‬ ‫کاربر‬StackOverfow‫هدوپ‬ ‫موضوع‬ ‫در‬
  3. 3. ‫بندی‬ ‫زمان‬ ●‫داده‬ ‫کلن‬ ‫با‬ ‫آشنایی‬ ●‫هدوپ‬ ‫معرفی‬ ●‫کلن‬ ‫های‬‫داده‬ ‫بندی‬ ‫طبقه‬ ●‫چیست‬ ‫هدوپ‬ ●‫هدوپ‬ ‫شده‬ ‫توزیع‬ ‫سیستم‬ ‫فایل‬ ●‫نویسی‬ ‫برنامه‬ ‫مدل‬MapReduce ●‫پاسخ‬ ‫و‬ ‫پرسش‬
  4. 4. ‫چیست؟‬ ‫داده‬ ‫کلن‬ ‫جدید‬ ‫های‬ ‫چالش‬ = ‫جدید‬ ‫های‬‫حل‬ ‫راه‬ ‫از‬ ‫خارج‬ ‫ها‬‫آن‬ ‫پردازش‬ ‫و‬ ‫مدیریت‬ ‫که‬ ‫شود‬‫می‬ ‫گفته‬ ‫هایی‬‫داده‬ ‫به‬ .‫است‬ ‫موجود‬ ‫های‬‫سیستم‬ ‫و‬ ‫ها‬‫حل‬ ‫راه‬ ‫توانایی‬
  5. 5. ‫در‬ ‫مجازی‬ ‫فضای‬۶۰‫ثانیه‬
  6. 6. ‫ها‬ ‫داده‬ ‫رشد‬ 2013 2015 Unstructured Data 88% 300 Exabytes 80 Exabytes Structured Data 12% DatabaseApplicaton Backup & Archive Backup Storage Optons
  7. 7. ‫چیست؟‬ ‫داده‬ ‫کلن‬ ‫یاد‬ ‫به‬ ‫شنوند‬ ‫می‬ ‫را‬ ‫واژه‬ ‫این‬ ‫که‬ ‫زمانی‬ ‫افراد‬ ‫از‬ ‫بسیاری‬ ‫زیاد‬ ‫وسعت‬‫یا‬ ‫و‬‫همان‬‫زیاد‬ ‫حجم‬.‫افتند‬‫می‬ ‫کلن‬ ‫های‬‫داده‬ ‫در‬‫فقط‬‫مو‬.‫نیست‬ ‫مطرح‬ ‫حجم‬ ‫ضوع‬
  8. 8. ‫اصلی‬ ‫فرعی‬ ‫ارزش‬‫درستی‬‫تنوع‬‫سرعت‬‫حجم‬
  9. 9. ‫کلن‬ ‫های‬‫داده‬ ‫بندی‬ ‫طبقه‬
  10. 10. ‫چیست؟‬ ‫هدوپ‬ ‫است‬ ‫هایی‬ ‫کتابخانه‬ ‫و‬ ‫افزارها‬ ‫نرم‬ ‫از‬ ‫ای‬ ‫مجموعه‬ ‫یا‬ ‫ورک‬ ‫فریم‬ ‫یک‬ ‫هدوپ‬ ‫فراهم‬ ‫را‬ ‫شده‬ ‫توزیع‬ ‫های‬ ‫داده‬ ‫از‬ ‫عظیمی‬ ‫حجم‬ ‫پردازش‬ ‫کار‬ ‫و‬ ‫ساز‬ ‫که‬ ‫واقع‬ ‫در‬ .‫میکند‬Hadoop‫کرد‬ ‫تشبیه‬ ‫عامل‬ ‫سیستم‬ ‫یک‬ ‫به‬ ‫توان‬ ‫می‬ ‫را‬ ‫های‬ ‫ماشین‬ ‫روی‬ ‫بر‬ ‫را‬ ‫ها‬ ‫داده‬ ‫از‬ ‫زیادی‬ ‫حجم‬ ‫بتواند‬ ‫تا‬ ‫شده‬ ‫طراحی‬ ‫که‬ ‫قیمت‬ ‫گران‬ ‫کامپیوترهای‬ ‫نیازمند‬ ‫هدوپ‬ .‫کند‬ ‫مدیریت‬ ‫و‬ ‫پردازش‬ ‫مختلف‬ ‫مورد‬ ‫معمول‬ ‫و‬ ‫ارزان‬ ‫کامپیوترهای‬ ‫از‬ ‫استفاده‬ ‫ا‬ ‫ب‬ ‫توان‬ ‫ی‬ ‫م‬ ‫و‬ ‫ت‬ ‫نیس‬ .‫گیرد‬ ‫قرار‬ ‫استفاده‬ ‫چیست؟‬ ‫هدوپ‬
  11. 11. ‫یکم‬ ‫و‬ ‫بیست‬ ‫قرن‬ ‫سوئیسی‬ ‫چاقوی‬
  12. 12. Big Data != Hadoop Hadoop != Database Hadoop != A software
  13. 13. ‫یا‬ ‫هدوپ‬ ‫شده‬ ‫توزیع‬ ‫سیستم‬ ‫فایل‬HDFS HDFS‫ی‬ ‫م‬ ‫ذخیره‬ ‫جداگانه‬‫صصصورت‬ ‫بصصصه‬ ‫را‬ ‫ا‬‫ه‬ ‫صصصرنامه‬‫ب‬‫ای‬‫ه‬ ‫داده‬ ‫و‬ ‫فصصراداده‬ ‫ثل‬ ‫م‬ ‫دیگر‬‫ای‬‫ه‬‫ل‬ ‫فصصای‬ ‫سصصصیستم‬ ‫د‬‫همانن‬ .‫کصصند‬PVFS ، Lustre‫و‬GFS ، HDFS‫نصصام‬ ‫صصصه‬‫ب‬‫اختصاصی‬ ‫سصصرور‬‫صصک‬‫ی‬‫روی‬ ‫صصصر‬‫ب‬ ‫را‬ ‫فصصراداده‬NameNode ‫نصصام‬ ‫صصصه‬‫ب‬ ‫دیگر‬‫ای‬‫ه‬ ‫سصصرور‬‫روی‬ ‫صصصر‬‫ب‬ ‫نصصیز‬ ‫ا‬‫ه‬ ‫صصصرنامه‬‫ب‬‫ای‬‫ه‬ ‫داده‬ .‫کصصند‬‫ی‬ ‫م‬ ‫ذخیره‬ DataNodes‫طریق‬ ‫از‬ ‫هم‬ ‫بصصصا‬‫صصصروری‬‫س‬‫ن‬ ‫ای‬‫ی‬ ‫صصصمام‬‫ت‬ .‫شصصوند‬‫مصصی‬ ‫ذخیره‬ ‫صصصر‬‫ب‬‫بتنی‬ ‫م‬‫ای‬‫ه‬‫پصصروتکل‬TCP‫هستند‬ ‫ارتباط‬ ‫در‬‫هم‬ ‫صصصا‬‫ب‬
  14. 14. ‫یا‬ ‫هدوپ‬ ‫شده‬ ‫توزیع‬ ‫سیستم‬ ‫فایل‬HDFS ‫ورودی‬ ‫فایل‬
  15. 15. ‫نویسی‬ ‫برنامه‬ ‫مدل‬MapReduce MapReduce‫صصصه‬‫ب‬‫کصصلن‬‫ای‬‫ه‬ ‫داده‬‫صصصحلیل‬‫ت‬‫صصصرای‬‫ب‬ ‫نصصویسی‬ ‫ه‬‫صصصرنام‬‫ب‬‫دل‬‫م‬‫یصصک‬ .‫صصصاشد‬‫ب‬‫ی‬ ‫م‬‫وازی‬‫م‬‫صصصورت‬ ‫بصصصه‬ ‫شصصبکه‬‫ای‬‫ه‬‫اشین‬‫م‬‫روی‬ ‫صصصر‬‫ب‬ ‫شصصده‬‫تصصوزیع‬‫صصصورت‬ ‫این‬ ‫سال‬ ‫در‬ ‫گوگل‬ ‫توسط‬ ‫مدل‬2۰۰۴‫شد‬ ‫ارائه‬ ‫از‬ ‫مدل‬ ‫این‬2‫اصلی‬ ‫تابع‬Map‫و‬Reduce.‫است‬ ‫شده‬ ‫تشکیل‬ MapReduce => Map() , Reduce()
  16. 16. ‫مثال‬ ‫یک‬ ‫با‬ ‫تر‬‫دقیق‬ ‫نگاه‬
  17. 17. ...‫نیست‬ ‫افزار‬‫نرم‬ ‫یک‬ ‫فقط‬ ‫هدوپ‬
  18. 18. ‫شما‬ ‫توجه‬ ‫از‬ ‫سپاس‬ ‫با‬ ‫سوال؟‬

×