يتناول عرضنا موضوع الهادوب وماهيته، وهو عبارة عن عملية يتم من خلالها تخزين وتحليل البيانات المختلفة بما في ذلك الصور والصوت والفيديو والمستندات والبيانات الأخرى. ويتكون الهادوب من 3 مكونات أساسية وهي: Hadoop Distributed File System (HDFS): هو نظام ملفات موزع يستخدم لتخزين الملفات والبيانات في الهادوب. MapReduce: يستخدم هذا المكون لمعالجة البيانات والتعامل معها بشكل موزع على عدة خوادم في وقت واحد. YARN (Yet Another Resource Negotiator): هو مدير موارد يستخدم لتخصيص الموارد المتاحة للهادوب وتوزيع العمليات بين الخوادم. يتميز العرض بالرسومات التوضيحية والأمثلة العملية، مما يساعد على فهم الأفكار والمفاهيم بسهولة، ويمكنه أن يكون مفيداً للأشخاص الذين يرغبون في فهم الهادوب واستخداماته في حياتهم الشخصية أو في مجال الأعمال.

1. Apache Hadoop
‫إعداد‬
/
‫ابرآم‬
‫سمير‬ ‫عماد‬
‫المعلومات‬ ‫وتقنية‬ ‫والوثائق‬ ‫المكتبات‬ ‫بقسم‬ ‫عيد‬ُ‫م‬
‫اآلداب‬ ‫كلية‬
–
‫القاهرة‬ ‫جامعة‬

2. •
Apache Hadoop
‫المصدر‬ ‫مفتوح‬ ‫برمجيات‬ ‫إطار‬ ‫هو‬
،
‫البيانات‬ ‫لتخزين‬ ‫مصمم‬
‫الضخمة‬
‫ومعالجتها‬
‫اإلنترنت‬ ‫بشبكة‬ ‫المتصلة‬ ‫األجهزة‬ ‫من‬ ‫كبيرة‬ ‫مجموعة‬ ‫على‬
.
•
‫يتميز‬
Hadoop
‫البيانات‬ ‫مع‬ ‫التعامل‬ ‫على‬ ‫بقدرته‬
‫الضخمة‬
(
Big
Data
)
‫بسرعة‬
‫ا‬ ‫المعلومات‬ ‫واستخراج‬ ‫البيانات‬ ‫لتحليل‬ ‫عادة‬ ‫استخدامه‬ ‫ويتم‬ ،‫عالية‬ ‫وكفاءة‬
‫لقيمة‬
‫منها‬
.
•
‫يستخدم‬
Hadoop
‫مثل‬ ‫البرمجة‬ ‫لغات‬
Java
‫و‬
Python
،‫وغيرها‬

3. •
‫هم‬ ‫أساسية‬ ‫مكونات‬ ‫ثالث‬ ‫من‬ ‫ويتكون‬
:
1. (HDFS)
2. Map-Reduce
3. (YARN)

4. • Hadoop Distributed File System
•
‫األساسي‬ ‫النظام‬ ‫يعتبر‬
‫البيانات‬ ‫لتخزين‬
‫بنية‬ ‫في‬
Hadoop
.
•
‫ويتميز‬
HDFS
‫الب‬ ‫إلى‬ ‫يصل‬ ‫كبير‬ ‫بحجم‬ ‫الملفات‬ ‫تخزين‬ ‫يدعم‬ ‫بأنه‬
‫يتابايت‬
(
1000
‫تيرابايت‬
)
‫الشبكة‬ ‫في‬ ‫أجهزة‬ ‫دة‬ِ‫ع‬ ‫على‬ ‫بتوزيعها‬ ‫ويقوم‬
.
•
Java
‫لـ‬ ‫األصلية‬ ‫اللغة‬ ‫هي‬
HDFS
.

5. •
‫تسمى‬ ‫صغيرة‬ ‫قطع‬ ‫إلى‬ ‫الملفات‬ ‫بتقسيم‬ ‫يقوم‬
blocks
‫ويتم‬
‫نظام‬ ‫ويسمح‬ ،‫ا‬ً‫ق‬‫ساب‬ ‫ذكرنا‬ ‫كما‬ ‫أجهزة‬ ‫عدة‬ ‫على‬ ‫توزيعها‬
HDFS
‫التخزين‬ ‫سعة‬ ‫لزيادة‬ ‫الشبكة‬ ‫إلى‬ ‫أجهزة‬ ‫بإضافة‬
‫األداء‬ ‫وتحسين‬
.
•
‫يتميز‬
HDFS
‫والتح‬ ‫البيانات‬ ‫توفير‬ ‫على‬ ‫العالية‬ ‫بقدرته‬
‫مل‬
‫بالتخزين‬ ‫يقوم‬ ‫ألنه‬ ،‫لألخطاء‬
‫كرر‬ُ‫م‬‫ال‬
‫لكل‬
block
‫دة‬ِ‫ع‬ ‫على‬
‫الشبكة‬ ‫في‬ ‫أجهزة‬
.

6. •
‫يقوم‬
(HDFS)
‫بعمليتين‬
:
•
‫لـ‬ ‫واحدة‬
master node
(Name Node)
‫يتم‬ ‫حيث‬ ،
‫الـ‬ ‫تخزين‬
Meta data
.
•
‫لـ‬ ‫واألخرى‬
slave nodes
(
Data Nodes
)
‫يتم‬ ‫حيث‬ ،
‫الـ‬ ‫تخزين‬
Blocks
.

8. •
‫برمجة‬ ‫نظام‬
‫البيانات‬ ‫لمعالجة‬
‫الضخمة‬
(Big Data)
.
•
‫بيئ‬ ‫في‬ ‫ومعالجتها‬ ‫أجهزة‬ ‫عدة‬ ‫على‬ ‫المهام‬ ‫لتوزيع‬ ‫يستخدم‬
‫ة‬
‫موزعة‬
.
•
‫ويوزع‬ ‫صغيرة‬ ‫مهام‬ ‫إلى‬ ‫الكبيرة‬ ‫المهام‬ ‫بتجزئة‬ ‫يقوم‬ ‫حيث‬
‫ها‬
‫والتحليل‬ ‫المعالجة‬ ‫عملية‬ ‫لتسريع‬ ‫أجهزة‬ ‫دة‬ِ‫ع‬ ‫على‬
.

9. •
‫مرحلتين‬ ‫في‬ ‫البيانات‬ ‫بمعالجة‬ ‫هذا‬ ‫العمل‬ ‫إطار‬ ‫يقوم‬
:
1
.
Map Phase
‫مفاتي‬ ‫إلى‬ ‫وفصلها‬ ‫البيانات‬ ‫تحليل‬ ‫فيها‬ ‫يتم‬
‫وقيم‬ ‫ح‬
key-value
‫القيم‬ ‫هذه‬ ‫على‬ ‫مخصصة‬ ‫عمليات‬ ‫بإجراء‬ ‫يقوم‬ ‫ثم‬ ،
.
2
.
‫مرحلة‬ ‫إلى‬ ‫العمليات‬ ‫هذه‬ ‫نتائج‬ ‫إرسال‬ ‫يتم‬
Reduce Phase
‫لمزيد‬
‫والتحليل‬ ‫المعالجة‬ ‫من‬
.

11. • Yet Another Resource Negotiator
•
‫عن‬ ‫مسؤول‬ ‫نظام‬ ‫هو‬
‫الموارد‬ ‫إدارة‬
(CPU, memory, disk, network and so on)
،‫الخوادم‬ ‫من‬ ‫كبيرة‬ ‫مجموعة‬ ‫في‬ ‫المهام‬ ‫وجدولة‬
‫تم‬
‫إلى‬ ‫إضافته‬
Apache Hadoop
‫اإلصدار‬ ‫في‬
2.0

12. •
‫يتكون‬
YARN
‫رئيسيين‬ ‫مكونين‬ ‫من‬
:
.1
Resource-Manager
:
‫الموارد‬ ‫وجدولة‬ ‫بإدارة‬ ‫يقوم‬
‫تطبيقات‬ ‫لجميع‬
Hadoop
‫المتزامنة‬
.
.2
Node-Manager
:
‫على‬ ‫المتاحة‬ ‫الموارد‬ ‫بإدارة‬ ‫يقوم‬
‫قبل‬ ‫من‬ ‫المحددة‬ ‫المهام‬ ‫ويشغل‬ ‫الفردي‬ ‫الخادم‬
Resource
Manager
.