مجموعه ارائه های بنده درباره موضوع تکنولوژیهای برنامه نویسی موازی و همگرایی آن با بیگ دیتا HPC and Big Data دکتر امین نظارات aminnezarat@gmail.com

1. ‫درس‬4–HPC Libraries
Fundamentals of Parallelism & Code Optimization
(C/C++,Fortran)
‫در‬ ‫کدها‬ ‫سازی‬ ‫بهینه‬ ‫و‬ ‫سازی‬ ‫موازی‬ ‫مبانی‬
‫زبانهای‬C/C++,Fortran
Amin Nezarat (Ph.D.)
Assistant Professor at Payame Noor University
aminnezarat@gmail.com www.astek.ir - www.hpclab.ir

2. ‫عناوین‬
‫دوره‬
1.‫های‬ ‫پردازنده‬ ‫معماری‬ ‫با‬ ‫آشنایی‬
‫اینتل‬
2.Vectorization‫معماری‬ ‫در‬
‫اینتل‬ ‫کامپایلرهای‬
3.‫نویسی‬ ‫برنامه‬ ‫با‬ ‫کار‬ ‫و‬ ‫آشنایی‬
‫در‬OpenMP
4.‫با‬ ‫داده‬ ‫تبادل‬ ‫قواعد‬ ‫و‬ ‫اصول‬
‫حافظه‬(Memory Traffic)

3. ‫های‬ ‫کتابخانه‬
HPC

4. ‫آماده‬ ‫های‬ ‫کتابخانه‬ ‫از‬ ‫چرا‬
‫کنیم؟‬ ‫استفاده‬
‫نیست‬ ‫چرخ‬ ‫مجدد‬ ‫اختراع‬ ‫به‬ ‫نیازی‬!!
-‫کتابخانه‬‫های‬‫آماده‬‫باگ‬‫کمتری‬‫دارند‬
-‫در‬‫بسیاری‬‫از‬‫زبانهای‬‫سطح‬‫باال‬‫قابل‬‫استفاده‬
‫هستند‬
C++, Fortran, Python, Perl, Matlab, Mathematica
-‫باعث‬‫جابجایی‬‫پذیری‬‫بیشتر‬‫کد‬‫می‬‫شوند‬(‫حتی‬‫به‬
GPU)

5. ‫کتابخانه‬ ‫انتخاب‬
•‫برای‬‫انتخاب‬‫یک‬‫کتابخانه‬‫مناسب‬‫در‬‫برنامه‬‫نویسی‬HPC‫نکات‬
‫زیر‬‫در‬‫نظر‬‫گرفته‬‫شود‬:
o‫عملکرد‬‫و‬‫کارایی‬
o‫دقت‬
o‫قیمت‬‫و‬‫الیسنس‬
o،‫زبانها‬‫پلتفرم‬‫ها‬‫و‬‫میزان‬‫جابجایی‬‫پذیری‬‫که‬
‫پشتیبانی‬‫می‬‫کند‬
o‫سادگی‬‫استفاده‬
o‫موازی‬‫سازی‬‫و‬‫مقیاس‬‫پذیری‬

6. ‫های‬ ‫کتابخانه‬
Numerical

7. ‫خطی‬ ‫جبر‬
•‫های‬ ‫کتابخانه‬“Netlib”‫های‬ ‫کتابخانه‬ ‫ترین‬ ‫شده‬ ‫شناخته‬ ‫از‬ ‫یکی‬
Dense linear algebra‫هستند‬
o‫ها‬ ‫ترین‬ ‫معروف‬ ‫جمله‬ ‫از‬:BLAS, LAPACK, BLACS, PBLAS, ScaLAPACK
o‫دانشگاه‬ ‫در‬Tennessee‫اند‬ ‫شده‬ ‫داده‬ ‫توسعه‬
o‫آدرس‬ ‫در‬ ‫آنها‬ ‫کد‬ ‫سورس‬ ‫و‬ ‫منابع‬http://netlib.org‫دسترس‬ ‫قابل‬
‫هستند‬
•‫آنها‬ ‫از‬ ‫که‬ ‫هستند‬ ‫دسترس‬ ‫قابل‬ ‫هم‬ ‫دیگر‬ ‫کتابخانه‬ ‫دیگری‬ ‫تعداد‬
‫استفاده‬ ‫توان‬ ‫می‬ ‫نیز‬‫کرد‬
oATLAS, GOTO, ACML, MKL, LibSci, …

8. ‫کتابخانه‬ ‫سیستم‬ ‫اکو‬
‫های‬Netlib

9. BLAS(Basic Linear Algebra Subroutines)
•‫می‬ ‫انجام‬ ‫کتابخانه‬ ‫این‬ ‫در‬ ‫زیر‬ ‫قبیل‬ ‫از‬ ‫ماتریس‬ ‫اصلی‬ ‫عملیاتهای‬
‫شود‬
oMultiplication, Addition, Rank update, triangular solve
•‫است‬ ‫شده‬ ‫بندی‬ ‫دسته‬ ‫سطح‬ ‫سه‬ ‫به‬

10. LAPACK(Linear Algebra PACKage)
•‫قبیال‬ ‫از‬ ‫ماتریسی‬ ‫حلهای‬ ‫راه‬
oSimultaneous linear equation, least-squares solutions, eigenvalue problems
oMatrix factorizations (LU, Cholesky, QR, SVD, Schur)
•‫به‬ ‫زیادی‬ ‫میزان‬ ‫به‬ ‫محاسبات‬ ‫انجام‬ ‫برای‬BLAS‫کند‬ ‫می‬ ‫تکیه‬

11. ScaLAPACK(Scalable LAPACK)
•BLACS
o‫قابلیت‬Message Passing Interface‫ماشینهای‬ ‫در‬ ‫خطی‬ ‫جبر‬ ‫برای‬
‫شده‬ ‫توزیع‬ ‫حافظه‬
o‫های‬ ‫آرایه‬2D‫ها‬ ‫پردازه‬ ‫بعدی‬ ‫دو‬ ‫گریدهای‬ ‫و‬
o‫گریدی‬ ‫های‬ ‫پردازه‬ ‫تولید‬
o‫ها‬ ‫ماتریس‬ ‫بین‬ ‫ارتباطات‬
•‫سازی‬ ‫موازی‬LAPACK‫توابع‬ ‫و‬BLAS
•‫نویسی‬ ‫برنامه‬ ‫واسطهای‬ ‫توسعه‬BLAS/LAPACK
o‫پیشوند‬ ‫شده‬ ‫اضافه‬P‫توابع‬ ‫تمامی‬ ‫به‬
o‫مانند‬PDGEMM

12. ‫جالب‬ ‫های‬ ‫سازی‬ ‫پیاده‬
‫دیگر‬•PLASMA
o‫برای‬ ‫خطی‬ ‫جبر‬ ‫شده‬ ‫سازی‬ ‫بهینه‬ ‫توابع‬Manycore‫ها‬
o‫برای‬ ‫احتمالی‬ ‫جایگزین‬LAPACK
ohttp://icl.cs.utk.edu/plasma/
•MAGMA & CULA
o‫توابع‬ ‫مشابه‬ ‫توابعی‬LAPCK‫برای‬GPU
ohttp://icl.cs.utk.edu/magma/
ohttp://www.culatools.com/

13. ‫تنک‬ ‫های‬ ‫ماتریس‬
•‫پس‬ ‫داریم‬ ‫آنها‬ ‫به‬ ‫کردن‬ ‫توجه‬ ‫برای‬ ‫صفر‬ ‫کافی‬ ‫اندازه‬ ‫به‬:
‫کنید‬ ‫ذخیره‬ ‫را‬ ‫صفر‬ ‫غیر‬ ‫عناصر‬ ‫فقط‬
•‫گذارد‬ ‫می‬ ‫اثر‬ ‫عملکرد‬ ‫و‬ ‫کارایی‬ ‫روی‬ ‫بر‬ ‫چگالی‬ ‫و‬ ‫تنکی‬ ‫الگوی‬
o‫متفاوت‬ ‫و‬ ‫بهینه‬ ‫الگوریتم‬ ‫و‬ ‫سازی‬ ‫ذخیره‬ ‫فرمت‬ ‫از‬ ‫استفاده‬
o‫ندارد‬ ‫وجود‬ ‫کاره‬ ‫همه‬ ‫و‬ ‫یکسان‬ ‫حل‬ ‫راه‬ ‫یک‬
o‫روش‬ ‫دو‬ ‫هر‬ ‫شامل‬ ‫که‬ ‫هستند‬ ‫دسترس‬ ‫در‬ ‫زیادی‬ ‫های‬ ‫کننده‬ ‫حل‬
‫هستند‬ ‫مستقیم‬ ‫غیر‬ ‫و‬ ‫مستقیم‬

14. ‫های‬ ‫کتابخانه‬
‫تنک‬ ‫سیستمهای‬•Hypre (preconditioners)
•KLU, Paraklete, AztecOO (parts of Trilinos)
o‫تنک‬ ‫سیستمهای‬ ‫برای‬ ‫مستقیم‬ ‫غیر‬ ‫و‬ ‫مستقیم‬ ‫های‬ ‫کننده‬ ‫حل‬
•SuperLU, UMFPACK, MUMPS
o‫تنک‬ ‫سیستمهای‬ ‫برای‬ ‫مستقیم‬ ‫های‬ ‫کننده‬ ‫حل‬
•CuSP, CuSPARSE
o‫در‬ ‫استفاده‬ ‫برای‬ ‫هایی‬ ‫کننده‬ ‫حل‬Nvidia GPU
•‫دیگر‬ ‫بسیاری‬ ‫و‬....

15. ‫کتابخانه‬(Fastest Fourier
Transform)FFT
•‫در‬ ‫بعدی‬ ‫سه‬ ‫و‬ ‫دو‬ ،‫یک‬ ‫های‬ ‫مجموعه‬FFTs
•‫شود‬ ‫می‬ ‫استفاده‬ ‫نسخه‬ ‫دو‬ ‫از‬ ‫معمول‬ ‫طور‬ ‫به‬:
o‫نسخه‬2‫از‬ ‫پشتیبانی‬ ‫با‬MPI
o‫نسخه‬3‫از‬ ‫پشتیبانی‬ ،‫بیشتر‬ ‫بسیار‬ ‫کارایی‬ ‫با‬MPI‫حال‬ ‫در‬
‫است‬ ‫سازی‬ ‫پیاده‬
•‫شامل‬ ‫آن‬ ‫های‬ ‫سازی‬ ‫پیاده‬ ‫سایر‬
•Cray CRAFFT
o‫تابع‬ ‫بهترین‬ ‫خودکار‬ ‫صورت‬ ‫به‬FFT‫کند‬ ‫می‬ ‫انتخاب‬ ‫را‬
o‫است‬ ‫توابع‬ ‫از‬ ‫موازی‬ ‫و‬ ‫سلایر‬ ‫نسخه‬ ‫دو‬ ‫هر‬ ‫دارای‬
oInfo_crafft‫ببینید‬ ‫را‬
•AMD ACML
•Intel MKL and IPP
•CuFFT
o‫توابع‬FFT‫برای‬Nvidia GPU

16. ‫کتابخانه‬ ‫سایر‬
‫ها‬

17. ‫تخصصی‬ ‫های‬ ‫کتابخانه‬
•OpenMM
oMolecular dynamics
o‫از‬ ‫پشتیانی‬GPUs
•Libint
oTwo-body molecular integrals
•Overture
o‫های‬ ‫کننده‬ ‫حل‬PDE‫برای‬ ‫که‬CFD‫اند‬ ‫شده‬ ‫طراحی‬
•Libgenometools
o‫توابع‬Genome Analysis

18. ‫های‬ ‫کتابخانه‬I/O
•‫های‬ ‫داده‬HPC‫شوند؟‬ ‫ذخیره‬ ‫باید‬ ‫چگونه‬
o‫و‬ ‫دیتا‬ ‫متا‬ ،‫مبهم‬ ،‫غیرهمگن‬ ،‫پیچیده‬ ،‫بزرگ‬...
o‫تصادفی‬ ‫و‬ ‫موازی‬ ‫دسترسی‬
•‫توانند‬ ‫می‬ ‫سختی‬ ‫به‬ ‫معمول‬ ‫و‬ ‫سنتی‬ ‫داده‬ ‫های‬ ‫پایگاه‬
‫باشند‬ ‫پاسخگو‬
o‫ندارند‬ ‫را‬ ‫بزرگ‬ ‫اشیاء‬ ‫مدیریت‬ ‫امکان‬
o‫برای‬ ‫ضروری‬ ‫غیر‬ ‫خصوصیات‬ ‫زیادی‬ ‫تعداد‬HPC‫آنها‬ ‫در‬
‫شود‬ ‫می‬ ‫نگهداری‬
•‫دارد‬ ‫وجود‬ ‫بهتری‬ ‫راهکار‬ ‫یک‬ ‫به‬ ‫نیاز‬
oNetCDF
oHDF5

19. ‫های‬ ‫کتابخانه‬I/O:
HDF5•‫فایل‬ ‫و‬ ‫ای‬ ‫داده‬ ‫مدل‬ ،‫کتابخانه‬ ‫یک‬-‫ذخیره‬ ‫برای‬ ‫فرمت‬
‫بعدی‬ ‫چند‬ ‫های‬ ‫داده‬ ‫مدیریت‬ ‫و‬ ‫سازی‬
•‫را‬ ‫ها‬ ‫داده‬ ‫متا‬ ‫و‬ ‫پیچیده‬ ‫ای‬ ‫داده‬ ‫اجزاء‬ ‫تواند‬ ‫می‬
‫کند‬ ‫ذخیره‬
•‫فایل‬-‫هستند‬ ‫جابجایی‬ ‫قابل‬ ‫فایلها‬ ‫و‬ ‫فرمت‬
•‫امکان‬I/O‫از‬ ‫استفاده‬ ‫با‬ ‫موازی‬MPI-IO‫دارد‬ ‫وجود‬
•‫برای‬ ‫نویسی‬ ‫برنامه‬ ‫واسطهای‬C,C++,Fortran , Java‫دارد‬

20. ‫های‬ ‫کتابخانه‬I/O:
NetCDF•‫می‬ ‫استفاده‬ ‫زمین‬ ‫علوم‬ ‫دانشمندان‬ ‫توسط‬ ‫گستره‬ ‫طور‬ ‫به‬
‫شود‬
•‫شده‬ ‫بهینه‬ ‫بزرگ‬ ‫های‬ ‫داده‬ ‫بخشهای‬ ‫زیر‬ ‫به‬ ‫دسترسی‬ ‫برای‬
‫است‬
o‫ترتیبی‬ ‫دسترسی‬ ‫نه‬ ‫دارد‬ ‫داده‬ ‫به‬ ‫مستقیم‬ ‫دسترسی‬
•‫نسخه‬4‫بر‬ ‫مبتنی‬ ‫آن‬HDF5‫است‬ ‫شده‬ ‫سازی‬ ‫پیاده‬
o‫فایلهای‬ ‫با‬ ‫سازگار‬HDF5‫است‬
•‫دارد‬ ‫موازی‬ ‫نسخه‬Parallel NetCDF(pNetCDF)
o‫از‬MPI-IO‫کند‬ ‫می‬ ‫پشتیانی‬

21. ‫ها‬ ‫چارچوب‬

22. ‫ها‬ ‫چارچوب‬
‫عددی‬ ‫مسائل‬ ‫حل‬ ‫برای‬ ‫توابع‬ ‫از‬ ‫وسیعی‬ ‫مجموعه‬ ‫ها‬ ‫چارچوب‬
‫کنند‬ ‫می‬ ‫ارائه‬ ‫را‬
•‫را‬ ‫آنها‬ ‫از‬ ‫بسیاری‬ ‫اما‬ ،‫نیستند‬ ‫ساده‬ ‫کتابخانه‬ ‫یک‬
‫دارند‬ ‫اختیار‬ ‫در‬ ‫مختلف‬ ‫کارهای‬ ‫برای‬
o‫حل‬ ،‫موازی‬ ‫های‬ ‫ماتریس‬ ‫برای‬ ‫هایی‬ ‫داده‬ ‫انواع‬
،‫موازی‬ ‫ارتباطات‬ ،‫خطی‬ ‫غیر‬ ‫و‬ ‫خطی‬ ‫های‬ ‫کننده‬IO‫و‬
...
•‫هم‬ ‫با‬ ‫خوبی‬ ‫صورت‬ ‫به‬ ‫را‬ ‫مختلف‬ ‫بخشهای‬ ‫معمول‬ ‫طور‬ ‫به‬
‫استفاده‬ ‫نحوه‬ ‫نگران‬ ‫دیگر‬ ‫کاربر‬ ‫و‬ ‫اند‬ ‫کرده‬ ‫یکپارچه‬
‫بود‬ ‫نخواهد‬ ‫ماتریس‬ ‫نمایش‬ ‫روشهای‬ ‫و‬ ‫ها‬ ‫داده‬ ‫انواع‬ ‫از‬

23. Trilions
‫به‬ ‫که‬ ‫هایی‬ ‫کتابخانه‬ ‫و‬ ‫ها‬ ‫بسته‬ ‫از‬ ‫جامع‬ ‫مجموعه‬ ‫یک‬
‫صورت‬loosly‫تحقیقاتی‬ ‫مرکز‬ ‫در‬ ‫که‬ ‫اند‬ ‫شده‬ ‫مرتبط‬ ‫هم‬ ‫به‬
Sandia‫است‬ ‫شده‬ ‫داده‬ ‫توسعه‬
•‫امکان‬ ‫که‬ ‫است‬ ‫شده‬ ‫طراحی‬ ‫باال‬ ‫به‬ ‫پایین‬ ‫صورت‬ ‫به‬
‫را‬ ‫اشتراکی‬ ‫حافظه‬ ‫نویسی‬ ‫برنامه‬ ‫مدل‬ ‫از‬ ‫استفاده‬
‫کند‬ ‫می‬ ‫فراهم‬
•‫هر‬‫صورت‬ ‫به‬ ‫توان‬ ‫می‬ ‫را‬ ‫ماژولها‬ ‫و‬ ‫ها‬ ‫بسته‬ ‫از‬ ‫یک‬
‫کرد‬ ‫کامپایل‬ ‫مجزا‬
•‫دارای‬‫است‬ ‫خوب‬ ‫بسیار‬ ‫رایت‬ ‫کپی‬LGPL , BSD
•‫از‬ ‫بیش‬ ‫شامل‬50‫است‬ ‫مختلف‬ ‫کارهای‬ ‫برای‬ ‫ماژول‬
oLinear solvers, mesh partitioning, utilities for FEM solvers,
optimization, automatic differentiation