اسلاید وبینار آشنایی با اسپارک - Introduction to Apache Spark in Persian برای تهیه ویدیو این وبینار به لینک زیر مراجعه فرمایید: http://download.hadoop.ir مرجع هدوپ ایران www.hadoop.ir

1. ‫با‬ ‫آشنایی‬ ‫ٍبینار‬
‫ایران‬ ‫يدٍپ‬ ‫نرجع‬
(‫فرافکر‬ ‫پردازان‬ ‫ایدى‬ ‫افزار‬ ‫نرم‬ ‫نًندسی‬ ‫شرکت‬)
www.hadoop.ir
hello@hadoop.ir {
}
‫يهکاری‬ ‫با‬: www.farafekr.co info@farafekr.co

2. ‫سخنران‬
‫نبین‬‫رنجبر‬
‫رئیس‬‫يیئت‬‫ندیرى‬‫شرکت‬‫فرافکر‬
‫ایران‬ ‫يدٍپ‬ ‫نرجع‬
www.hadoop.ir

3. ‫چیست؟‬ ‫اسپارک‬ ‫آپاچی‬
‫آپاچی‬‫اسپارک‬‫یک‬‫فریو‬‫ٍرک‬‫پردازش‬‫نقیو‬‫در‬‫رم‬‫نی‬‫باشد‬
ٌ‫ک‬‫نی‬‫تَان‬‫با‬‫استفادى‬‫از‬،‫آن‬‫دادى‬‫يا‬‫را‬‫در‬ٌ‫حافظ‬‫اصلی‬
‫نَرد‬‫پردازش‬‫قرار‬‫داد‬ٍ‫با‬‫اینکار‬‫سرعت‬‫تحلیل‬‫دادى‬‫يا‬ٌ‫ب‬
‫شکل‬‫قابل‬‫تَجًی‬‫افزایش‬‫نی‬‫یابد‬.ٌ‫خصیص‬‫اصلی‬‫این‬
‫نَتَرپردازشی‬،‫سریع‬،‫بَدن‬‫راحتی‬‫استفادى‬ٍ‫ٍاسط‬‫يای‬
‫نرم‬‫افزاری‬‫نی‬‫باشد‬ٌ‫ک‬‫این‬‫ابزار‬‫را‬‫از‬‫دیگر‬‫رقیبانش‬‫نتهایز‬
ٌ‫ساخت‬‫است‬.
‫این‬‫فریو‬‫ٍرک‬‫در‬‫سال‬2014‫تَسط‬‫آزنایشگاى‬AMPLab
‫در‬‫دانشگاى‬‫برکلی‬‫آنریکا‬ٌ‫تَسع‬ٍ‫نعرفی‬‫گردید‬.
‫ایران‬ ‫يدٍپ‬ ‫نرجع‬
www.hadoop.ir

4. ‫اسپارک‬ ‫نعهاری‬
‫ایران‬ ‫يدٍپ‬ ‫نرجع‬
www.hadoop.ir

5. ‫اسپارک‬ ‫اصلی‬ ‫اجزای‬
•Spark SQL:‫با‬‫این‬ٌ‫کتابخان‬‫نی‬‫تَان‬‫با‬‫دادى‬‫يای‬
ٌ‫رابط‬‫ای‬ٍ‫باساختار‬‫نظیر‬‫فایل‬‫يای‬CSVٍ‫یا‬‫دیتابیس‬
‫يای‬ٌ‫رابط‬‫ای‬‫کار‬‫کرد‬ٍ‫بررٍی‬‫این‬‫دادى‬‫يا‬‫پرس‬ٍ
‫جَيای‬SQL‫اجرا‬‫کرد‬.
•Spark Streaming:‫با‬‫استفادى‬‫از‬‫این‬ٌ‫کتابخان‬‫نی‬
‫تَان‬‫دادى‬‫يایی‬ٌ‫ک‬‫با‬‫نرخ‬‫تَلید‬‫باال‬ٌٍ‫ب‬‫صَرت‬‫جریانی‬ٍ
‫یا‬‫بالدرنگ‬‫تَلید‬‫نی‬‫شَد‬‫را‬‫نَرد‬‫پردازش‬‫قرار‬‫داد‬.
‫ایران‬ ‫يدٍپ‬ ‫نرجع‬
www.hadoop.ir

6. ‫اسپارک‬ ‫اصلی‬ ‫اجزای‬
•Mllib:‫با‬‫استفادى‬‫از‬‫این‬ٌ‫کتابخان‬‫نی‬‫تَان‬‫الگَریتو‬
‫يای‬‫دادى‬‫کاٍی‬ٍ‫یادگیری‬‫ناشین‬‫را‬‫در‬‫اسپارک‬‫پیادى‬
‫سازی‬‫کرد‬ٍ‫آنًا‬‫را‬‫بررٍی‬‫دادى‬‫يا‬‫اجرا‬‫کرد‬.
•GraphX:‫با‬‫استفادى‬‫از‬‫این‬ٌ‫کتابخان‬‫نی‬‫تَان‬‫بر‬‫طبق‬
‫تئَری‬‫گراف‬(‫یال‬‫يا‬ٍ‫گرى‬‫يا‬)‫دادى‬‫يا‬‫را‬‫نَرد‬‫پردازش‬
‫قرار‬‫داد‬.
‫ایران‬ ‫يدٍپ‬ ‫نرجع‬
www.hadoop.ir

7. ‫اسپارک‬ ‫نزایای‬
•‫سرعت‬‫پردازش‬100‫برابری‬‫نسبت‬ٌ‫ب‬‫نَتَريای‬
‫پردازشی‬‫نَجَد‬
•‫پشتیبانی‬‫درٍن‬‫ساختی‬‫از‬‫زبان‬‫يای‬ٌ‫برنان‬‫نَیسی‬
،‫پایتَن‬‫جاٍا،اسکاال‬ٍR
•‫پشتیبانی‬‫از‬‫زبان‬‫پرس‬ٍ‫جَی‬SQL
•‫عدم‬‫ٍجَد‬‫عهلیات‬I/O‫در‬‫ينگام‬‫تحلیل‬
‫ایران‬ ‫يدٍپ‬ ‫نرجع‬
www.hadoop.ir

8. ‫اسپارک‬ ‫نعایب‬
•ٌ‫تشن‬‫رم‬‫است‬.
•‫عدم‬‫ٍجَد‬ٌ‫الی‬‫ذخیرى‬‫سازی‬ٍ‫ناندگاری‬‫دادى‬
•‫عدم‬‫ٍجَد‬‫زنان‬‫بند‬‫تَزیع‬‫شدى‬
•‫عدم‬‫استفادى‬ٌ‫بًین‬‫از‬‫ننابع‬‫در‬‫حالت‬‫پیش‬‫فرض‬
‫ایران‬ ‫يدٍپ‬ ‫نرجع‬
www.hadoop.ir

9. ‫اسپارک‬ ‫در‬ ٌ‫برنان‬ ‫اجرای‬ ‫رٍند‬
‫ایران‬ ‫يدٍپ‬ ‫نرجع‬
www.hadoop.ir

10. ‫نفًَم‬RDD
‫یک‬RDDٌ‫نجهَع‬‫ای‬‫از‬‫اقالم‬‫دادى‬‫است‬ٌ‫ک‬‫بررٍی‬‫ناشین‬
‫يای‬ٌ‫شبک‬ٌ‫ب‬‫صَرت‬‫تَزیع‬‫شدى‬‫قرار‬‫نی‬‫گیرد‬.
lines = sc.textFile("README.md")
lines.count()
127
lines.first()
u'# Apache Spark'
‫ایران‬ ‫يدٍپ‬ ‫نرجع‬
www.hadoop.ir

11. ‫نفًَم‬DataFrame
‫یک‬DataFrame‫یا‬ٌ‫ب‬‫اختصار‬DF،‫يهانند‬‫نفًَم‬‫جدٍل‬
‫در‬‫دیتابیس‬‫يای‬ٌ‫غیررابط‬‫ای‬‫است‬‫با‬‫این‬‫تفاٍت‬ٌ‫ک‬‫این‬
‫جدٍل‬‫نی‬‫تَاند‬‫در‬‫یک‬‫فریو‬‫ٍرک‬‫تَزیع‬‫شدى‬‫کالن‬‫دادى‬
‫ایجاد‬‫نی‬‫شَد‬ٍ‫نی‬‫تَان‬‫این‬‫دادى‬‫يا‬‫را‬‫با‬‫دادى‬‫يای‬‫بی‬
‫ساختار‬‫ترکیب‬‫کرد‬.
myDF = spark.read.format(…)
‫ایران‬ ‫يدٍپ‬ ‫نرجع‬
www.hadoop.ir

12. ‫چیست؟‬ ‫در‬ ‫يدٍپ‬ ‫با‬ ‫اسپارک‬ ‫ارتباط‬
‫ایران‬ ‫يدٍپ‬ ‫نرجع‬
www.hadoop.ir

13. ‫اسپارک؟‬ ‫یا‬ ‫است‬ ‫بًتر‬ ‫يدٍپ‬
Hadoop = ‫دادى‬ ‫کالن‬ ‫سازی‬ ‫ذخیرى‬ ٍ ‫پردازش‬ ‫ٍرک‬ ‫فریو‬
=/=
Spark = ‫دادى‬ ‫کالن‬ ‫پردازش‬ ‫ٍرک‬ ‫فریو‬
‫ایران‬ ‫يدٍپ‬ ‫نرجع‬
www.hadoop.ir

14. ‫عهل‬ ‫در‬ ‫يدٍپ‬ ٍ ‫اسپارک‬ ‫از‬ ‫استفادى‬
‫ایران‬ ‫يدٍپ‬ ‫نرجع‬
www.hadoop.ir

15. ‫سَال؟‬
‫ایران‬ ‫يدٍپ‬ ‫نرجع‬
www.hadoop.ir

16. ‫شها‬ ٌ‫تَج‬ ‫از‬ ‫سپاس‬ ‫با‬
‫ایران‬ ‫يدٍپ‬ ‫نرجع‬
www.hadoop.ir