Presentation on Apache Sqoop, presented by Mohammad Bany Almarjh

2. ‫لظهور‬ ‫أدت‬ ‫التي‬ ‫المشكلة‬ ‫ما‬Sqoop‫؟‬
‫الكبير‬ ‫االزدياد‬ ‫مع‬‫في‬ ‫مؤخرا‬‫البيانات‬ ‫حجم‬‫وتنوعها‬‫الـ‬ ‫مفهوم‬ ‫ظهر‬Big Data‫تقنيات‬ ‫تستخدم‬ ‫الشركات‬ ‫وبدأت‬‫بيئة‬ ‫مثل‬
‫الموزعة‬ ‫والمعالجة‬ ‫التخزين‬Hadoop
Hadoop‫الـ‬ ‫وتعالج‬ ‫تخزن‬Big Data‫معالجة‬ ‫بيئات‬ ‫باستخدام‬‫مثل‬:MapReduce ,Hive ,Hbase ,Pig‫وبيئات‬
‫تخزين‬‫م‬‫ث‬‫ل‬:HDFS‫من‬ ‫لالستفادة‬ ‫وذلك‬‫والتخزين‬ ‫المعالجة‬‫الموزع‬.
‫باستخدام‬ ‫البيانات‬ ‫هذه‬ ‫بتحليل‬ ‫نقوم‬ ‫أن‬ ‫يمكن‬ ‫كيف‬ ‫عالئقية‬ ‫معطيات‬ ‫قاعدة‬ ‫ضمن‬ ‫بيانات‬ ‫لدينا‬ ‫بفرض‬Hadoop‫؟‬
‫بكتابة‬ ‫يقوموا‬ ‫أن‬ ‫المطورون‬ ‫اعتاد‬scripts‫إلى‬ ‫البيانات‬ ‫لتحمل‬Hadoop‫فعالة‬ ‫غير‬ ‫طريقة‬ ‫لكنها‬
‫طريق‬ ‫عن‬ ‫معطيات‬ ‫قاعدة‬ ‫ضمن‬ ‫المخزنة‬ ‫للبيانات‬ ‫الوصول‬MapReduce‫للخطأ‬ ‫وعرضة‬ ‫أيضا‬ ‫فعال‬ ‫غير‬ ‫أمر‬ ‫هو‬
‫قبل‬ ‫من‬ ‫إليها‬ ‫الوصول‬ ‫قبل‬ ‫المعطيات‬ ‫قاعدة‬ ‫ضمن‬ ‫للبيانات‬ ‫مسبق‬ ‫بتحضير‬ ‫القيام‬ ‫يجب‬Hadoop
‫نقل‬ ‫أن‬ ‫نالحظ‬‫و‬ ‫العالئقية‬ ‫المعطيات‬ ‫قواعد‬ ‫بين‬ ‫البيانات‬Hadoop‫التقليدية‬ ‫بالطرق‬‫وتعقيدات‬ ‫صعوبة‬ ‫يحوي‬‫تقنية‬
‫الحل‬:‫ظهرت‬Apache Sqoop

3. ‫األداة‬ ‫هي‬ ‫ما‬Sqoop‫؟‬
Sqoop‫لـ‬ ‫اختصار‬SQL + Hadoop
open source framework‫مقدمة‬‫قبل‬ ‫من‬Apache
‫إلى‬ ‫العالئقية‬ ‫المعطيات‬ ‫قواعد‬ ‫من‬ ‫البيانات‬ ‫لنقل‬ ‫أداة‬Hadoop‫وبالعكس‬.
‫مثل‬ ‫العالئقية‬ ‫المعطيات‬ ‫قواعد‬:Oracle, MySQL, Postgres, Teradata
‫وإلى‬ ‫من‬ ‫البيانات‬ ‫وتصدير‬ ‫استيراد‬ ‫يتم‬Hadoop Distributed File System (HDFS)
‫جانب‬ ‫إلى‬HDFS‫وإلى‬ ‫من‬ ‫البيانات‬ ‫وتصدير‬ ‫استيراد‬ ‫يمكن‬Hadoop eco-systems‫مثل‬Hive‫و‬HBase
‫تستخدم‬MapReduce‫وإلى‬ ‫من‬ ‫البيانات‬ ‫لنقل‬Hadoop‫التوازي‬ ‫على‬ ‫نقل‬ ‫يوفر‬ ‫مما‬(‫الوقت‬ ‫بنفس‬)‫للبيانات‬

4. ‫استخدام‬ ‫حاالت‬Use Cases
‫العالئقية‬ ‫المعطيات‬ ‫قواعد‬ ‫ضمن‬ ‫المرضى‬ ‫معلومات‬ ‫بتخزين‬ ‫تقوم‬ ‫اليوم‬ ‫المستشفيات‬ ‫معظم‬
‫المعلومات‬ ‫لهذه‬ ‫تحليل‬ ‫إجراء‬ ‫يتم‬ ‫لكي‬,‫إلى‬ ‫البيانات‬ ‫بنقل‬ ‫نقوم‬ ‫أن‬ ‫يجب‬Hadoop
Sqoop‫ذلك‬ ‫إلجراء‬ ‫فعال‬ ‫حل‬ ‫تقدم‬
‫استخدام‬ ‫يتم‬Sqoop‫الـ‬ ‫شركات‬ ‫قبل‬ ‫من‬ ‫كبير‬ ‫بشكل‬Big Data‫المعطيات‬ ‫قواعد‬ ‫بين‬ ‫البيانات‬ ‫لنقل‬
‫و‬Hadoop
‫اإللكترونية‬ ‫التسويق‬ ‫شركة‬ ‫مثال‬Coupons.com‫تستخدم‬Sqoop‫بين‬ ‫البيانات‬ ‫لنقل‬Hadoop‫وبين‬
‫البيانات‬ ‫مستودع‬IBM Netezza

5. ‫يميز‬ ‫الذي‬ ‫ما‬Sqoop‫؟‬
‫االستخدام‬ ‫سهلة‬
‫المعطيات‬ ‫قواعد‬ ‫مختلف‬ ‫تدعم‬
‫عالي‬ ‫أمان‬ ‫تقدم‬
‫مكونات‬ ‫مع‬ ‫جيد‬ ‫بشكل‬ ‫تتكامل‬Hadoop ecosystem‫مثل‬ ‫المختلفة‬:HiveHbase,,Oozie
‫األداء‬ ‫في‬ ‫تحسين‬ ‫يعطي‬ ‫مما‬ ‫التوازي‬ ‫على‬ ‫البيانات‬ ‫تنقل‬
‫إمكانية‬‫مباشرة‬ ‫االستيراد‬‫إلى‬Hive‫أو‬Hbase
‫تدعم‬Accumulo(key/value Database)
‫تستخدم‬JDBC connectors‫المعطيات‬ ‫بقواعد‬ ‫لالتصال‬,‫الـ‬ ‫هذه‬connectors‫للبيانات‬ ‫فعال‬ ‫نقل‬ ‫تؤمن‬
‫سالمتها‬ ‫يضمن‬ ‫بشكل‬‫واتساقها‬
‫بناء‬ ‫سهل‬ ‫بشكل‬ ‫يمكن‬connectors‫مختلفة‬ ‫معطيات‬ ‫قواعد‬ ‫مع‬ ‫لالتصال‬ ‫جديدة‬
‫جيد‬ ‫بشكل‬ ‫لألخطاء‬ ‫معالجة‬ ‫وتقدم‬ ‫العبء‬ ‫تتحمل‬

6. ‫تؤمن‬Sqoop‫للمستخدم‬Command line interface
‫يتم‬ ‫أمر‬ ‫إدخال‬ ‫عند‬‫إطالق‬Hadoop Map only job
‫مالحظة‬:‫مهمات‬ ‫إطالق‬ ‫يتم‬ ‫ال‬Reduce‫فقط‬ ‫البيانات‬ ‫لتجميع‬ ‫ألنها‬
‫الـ‬Map job‫يطلق‬‫الـ‬ ‫من‬ ‫عدد‬mappers(‫يحدده‬‫المستخدم‬)
‫كل‬mapper task‫الـ‬ ‫على‬ ‫اعتمادا‬ ‫البيانات‬ ‫من‬ ‫جزء‬ ‫لها‬ ‫إسناد‬ ‫يتم‬
primary key‫الخاص‬‫بالجدول‬
‫تقوم‬Sqoop‫الـ‬ ‫على‬ ‫البيانات‬ ‫بتوزيع‬mappers‫وذلك‬ ‫بالتساوي‬
‫عالي‬ ‫أداء‬ ‫على‬ ‫للحصول‬
‫كل‬mapper‫باستخدام‬ ‫المعطيات‬ ‫لقاعدة‬ ‫اتصال‬ ‫ينشأ‬JDBC‫ويقوم‬
‫إلى‬ ‫بكتابته‬ ‫ويقوم‬ ‫له‬ ‫المسند‬ ‫البيانات‬ ‫من‬ ‫الجزء‬ ‫بجلب‬HDFS‫أو‬Hive
‫أو‬HBase
‫تعمل‬ ‫كيف‬Sqoop‫؟‬

7. Sqoop Tools
Sqoop‫األدوات‬ ‫من‬ ‫مجموعة‬ ‫عن‬ ‫عبارة‬
‫ما‬ ‫أداة‬ ‫استخدام‬ ‫صيغة‬:sqoop tool-name [tool-arguments]
‫ضمن‬ ‫المتاحة‬ ‫باألدوات‬ ‫قائمة‬ ‫عرض‬Sqoop

8. ‫األداة‬import‫إلى‬ ‫المعطيات‬ ‫قاعدة‬ ‫من‬ ‫جدول‬ ‫باستيراد‬ ‫تقوم‬HDFS
‫كل‬row‫كـ‬ ‫يمثل‬ ‫الجدول‬ ‫ضمن‬record‫ضمن‬HDFS
‫الـ‬ ‫خزن‬ُ‫ت‬records‫كل‬ ‫وضع‬ ‫ويتم‬ ‫آخر‬ ‫بمحرف‬ ‫أو‬ ‫بفاصلة‬ ‫القيم‬ ‫فصل‬ُ‫ت‬ ‫حيث‬ ‫نصية‬ ‫كملفات‬row‫جديد‬ ‫سطر‬ ‫في‬
‫المعطيات‬ ‫بقاعدة‬ ‫االتصال‬:
‫نحدد‬‫الـ‬argument:--connect(‫تصف‬‫الـ‬server‫باالتصال‬ ‫سنقوم‬ ‫التي‬ ‫المعطيات‬ ‫وقاعدة‬‫بها‬)
‫مثال‬:$ sqoop import --connect jdbc:mysql://database.example.com/employees
‫باالتصال‬ ‫نقوم‬‫بقاعدة‬‫معطيات‬MySQL‫باسم‬employees‫الجهاز‬ ‫على‬database.example.com
•‫الجهاز‬ ‫عنوان‬ ‫يكون‬ ‫أن‬ ‫يصح‬ ‫ال‬localhost‫نستخدم‬ ‫كنا‬ ‫إذا‬Sqoop‫على‬Hadoop cluster(‫كل‬ ‫ستتصل‬ ‫وإال‬node‫إلى‬
‫االتصال‬ ‫يفشل‬ ‫أو‬ ‫مختلفة‬ ‫معطيات‬ ‫قاعدة‬)
‫الـ‬ ‫نحدد‬arguments:‫الـ‬--username‫والـ‬--password
‫الـ‬ ‫نحدد‬argument:--table‫المعطيات‬ ‫قاعدة‬ ‫ضمن‬ ‫الجدول‬ ‫لنحدد‬‫الستيراده‬
‫الـ‬ ‫نحدد‬argument:--columns‫الستيرادها‬ ‫جدول‬ ‫من‬ ‫محددة‬ ‫عواميد‬ ‫لتحديد‬
‫الـ‬ ‫عملية‬import

9. ‫متوازي‬ ‫بشكل‬ ‫االستيراد‬ ‫عمل‬ ‫آلية‬:
‫تقوم‬Sqoop‫بشكل‬ ‫البيانات‬ ‫باستيراد‬‫متوازي‬
‫نحدد‬‫الـ‬ ‫عدد‬map tasks‫الـ‬ ‫طريق‬ ‫عن‬ ‫االستيراد‬ ‫بعمليات‬ ‫ستقوم‬ ‫التي‬argument:--num-mappers
‫استخدام‬ ‫يتم‬ ‫افتراضي‬ ‫بشكل‬4‫مهمات‬.‫العمل‬ ‫بيئة‬ ‫إعدادات‬ ‫على‬ ‫يعتمد‬ ‫القيمة‬ ‫هذه‬ ‫زيادة‬.‫إلى‬ ‫القيمة‬ ‫هذه‬ ‫زيادة‬ ‫يؤدي‬ ‫قد‬
‫األداء‬ ‫في‬ ‫ضعف‬ ‫وبالتالي‬ ‫المعطيات‬ ‫قاعدة‬ ‫على‬ ‫الحمل‬ ‫زيادة‬
‫لتوزيع‬‫بين‬ ‫البيانات‬‫الـ‬map tasks‫تقوم‬Sqoop‫التقسيم‬ ‫إلجراء‬ ‫المعطيات‬ ‫قاعدة‬ ‫ضمن‬ ‫األعمدة‬ ‫أحد‬ ‫باستخدام‬(‫غالب‬‫ا‬
‫الـ‬ ‫عمود‬primary key)
‫اختيار‬ ‫يمكن‬‫الـ‬ ‫باستخدام‬ ‫آخر‬ ‫عمود‬argument:--split-by
‫تقوم‬Sqoop‫الـ‬ ‫على‬ ‫متساوي‬ ‫بشكل‬ ‫البيانات‬ ‫بتوزيع‬map tasks
‫مثال‬:‫الـ‬ ‫عمود‬ ‫فيه‬ ‫جدول‬ ‫من‬ ‫االستيراد‬ ‫أردنا‬ ‫أننا‬ ‫بفرض‬primary key‫من‬ ‫القيم‬ ‫يأخذ‬0‫إلى‬1000.‫ستقوم‬Sqoop
‫أربعة‬ ‫بإنشاء‬map tasks‫منها‬ ‫لكل‬ ‫بإسناد‬ ‫وتقوم‬250 rows
‫الـ‬ ‫عملية‬import

10. ‫األداة‬ ‫استخدام‬ ‫على‬ ‫مثال‬import
$ sqoop import --connect jdbc:mysql://db.foo.com/corp --table EMPLOYEES
‫سيتم‬‫الجدول‬ ‫استيراد‬EMPLOYEES‫المعطيات‬ ‫قاعدة‬ ‫ضمن‬corp
‫إلى‬ ‫للبيانات‬ ‫استيراد‬ ‫إجراء‬ ‫على‬ ‫مثال‬Hive:
$ sqoop import --connect jdbc:mysql://db.foo.com/corp --table EMPLOYEES
--hive-import
‫طريق‬ ‫عن‬–hive-import‫نخبر‬Sqoop‫إلى‬ ‫االستيراد‬ ‫نريد‬ ‫أننا‬Hive
‫الـ‬ ‫عملية‬import

11. ‫الـ‬ ‫عملية‬import
‫عملية‬ ‫إلجراء‬ ‫المتبعة‬ ‫اآللية‬import:
‫تقوم‬Sqoop‫بجمع‬metadata‫الخاصة‬ ‫المعطيات‬ ‫قاعدة‬ ‫من‬
‫ستقوم‬ ‫التي‬ ‫بالبيانات‬‫باستيرادها‬
‫الـ‬ ‫على‬ ‫اعتمادا‬metadata‫توليد‬ ‫سيتم‬java classes‫خاصة‬
‫معه‬ ‫بالتعامل‬ ‫نقوم‬ ‫الذي‬ ‫بالجدول‬
‫إطالق‬ ‫يتم‬Hadoop map only job‫لنقل‬‫البيانات‬
‫الـ‬ ‫على‬ ‫اعتمادا‬ ‫الجدول‬ ‫تقسيم‬ ‫يتم‬primary key
‫الـ‬map job‫بإطالق‬ ‫يقوم‬‫الـ‬ ‫من‬ ‫عدد‬map tasks‫إسناد‬ ‫ويتم‬
‫سيتم‬ ‫التي‬ ‫الملفات‬ ‫من‬ ‫أجزاء‬ ‫إليها‬‫استيرادها‬
‫الـ‬map tasks‫التوازي‬ ‫على‬ ‫تعمل‬,‫وكل‬‫يقوم‬ ‫منها‬‫عدد‬ ‫بإجراء‬
‫الـ‬ ‫من‬transactions‫لضمان‬‫البيانات‬ ‫في‬ ‫ضياع‬ ‫حدوث‬ ‫عدم‬
‫استهالك‬ ‫من‬ ‫والتقليل‬‫الموارد‬
‫الـ‬ ‫عملية‬ ‫أن‬ ‫بما‬import‫التوازي‬ ‫على‬ ‫تنفذ‬,‫ضم‬ ‫الخرج‬ ‫سيكون‬‫ن‬
‫عدة‬‫ملفات‬

12. ‫بعد‬‫معالجة‬‫الـ‬records‫تم‬ ‫التي‬‫إلى‬ ‫استيرادها‬HDFS(‫طريق‬ ‫عن‬MapReduce‫أو‬Hive‫مثال‬)‫في‬ ‫نرغب‬ ‫بيانات‬ ‫لدينا‬ ‫ينتج‬
‫المعطيات‬ ‫قاعدة‬ ‫إلى‬ ‫أخرى‬ ‫مرة‬ ‫تصديرها‬
‫األداة‬export‫من‬ ‫الملفات‬ ‫من‬ ‫مجموعة‬ ‫لتصدير‬ ‫استخدامها‬ ‫يتم‬HDFS‫المعطيات‬ ‫قاعدة‬ ‫إلى‬
‫المعطيات‬ ‫قاعدة‬ ‫ضمن‬ ‫إليه‬ ‫النقل‬ ‫سيتم‬ ‫الذي‬ ‫الجدول‬ ‫يتواجد‬ ‫أن‬ ‫يجب‬
‫قراءة‬ ‫سيتم‬‫على‬ ‫الملفات‬HDFS‫الـ‬ ‫من‬ ‫مجموعة‬ ‫إلى‬ ‫وتحويلها‬records‫لـ‬ ‫وفقا‬delimiters(‫المستخدم‬ ‫قبل‬ ‫من‬ ‫تحديدها‬ ‫يتم‬)
‫المعطيات‬ ‫قاعدة‬ ‫ضمن‬ ‫البيانات‬ ‫إدراج‬ ‫طريقة‬:
‫الـ‬ ‫نقل‬ ‫يتم‬ ‫افتراضي‬ ‫بشكل‬records‫طريق‬ ‫عن‬ ‫المعطيات‬ ‫قاعدة‬ ‫إلى‬INSERT statements
‫عن‬‫الـ‬ ‫طريق‬UPDATE mode‫يتم‬‫استخدام‬UPDATE statements
•‫الـ‬argument:--update-key‫الـ‬ ‫لتحديد‬ ‫ستستخدم‬ ‫التي‬ ‫األعمدة‬ ‫يحدد‬rows‫تعديلها‬ ‫سيتم‬ ‫التي‬
‫طريق‬ ‫عن‬call mode‫استدعاء‬ ‫سيتم‬stored procedure‫كل‬ ‫أجل‬ ‫من‬record‫نقله‬ ‫يتم‬
‫الجدول‬ ‫ضمن‬ ‫األعمدة‬ ‫كل‬ ‫تصدير‬ ‫سيتم‬ ‫افتراضي‬ ‫بشكل‬,‫الـ‬ ‫طريق‬ ‫عن‬ ‫لتصديرها‬ ‫أعمدة‬ ‫تحديد‬ ‫يمكن‬arguement:--columns
‫الـ‬ ‫عملية‬export

13. Arguments‫األداة‬ ‫استخدام‬ ‫عند‬ ‫إلزامية‬export:
--export-dir:‫الـ‬ ‫يحدد‬directory‫ضمن‬HDFS‫نريد‬ ‫التي‬ ‫البيانات‬ ‫ملفات‬ ‫يحوي‬ ‫الذي‬‫تصديرها‬
--table:‫الـ‬ ‫اسم‬ ‫يحدد‬table‫البيانات‬ ‫نقل‬ ‫سيتم‬ ‫الذي‬‫له‬
‫أو‬–call:‫الـ‬ ‫اسم‬ ‫يحدد‬stored procedure‫استدعائها‬ ‫سيتم‬ ‫التي‬
‫الـ‬ ‫عملية‬ ‫أداء‬export‫على‬ ‫النقل‬ ‫يكون‬ ‫درجة‬ ‫أي‬ ‫إلى‬ ‫على‬ ‫يعتمد‬‫التوازي‬
‫تستخدم‬Sqoop‫أربعة‬tasks‫الـ‬ ‫عملية‬ ‫إلجراء‬ ‫التوازي‬ ‫على‬export
‫البيئة‬ ‫إعدادت‬ ‫حسب‬,‫للـ‬ ‫يمكن‬tasks‫األداء‬ ‫في‬ ‫انخفاض‬ ‫إلى‬ ‫تؤدي‬ ‫أن‬ ‫يمكن‬ ‫أو‬ ‫التزامن‬ ‫من‬ ‫تحسن‬ ‫أن‬ ‫اإلضافية‬
‫الـ‬ ‫عدد‬ ‫تحديد‬ ‫يمكن‬map tasks‫الـ‬ ‫طريق‬ ‫عن‬argument:--num-mappers
‫توليد‬ ‫تلقائيا‬ ‫يتم‬code‫يستخدم‬‫البيانات‬ ‫تحوي‬ ‫التي‬ ‫الملفات‬ ‫لمعالجة‬‫تصديرها‬ ‫نريد‬ ‫التي‬‫المعطيات‬ ‫قاعدة‬ ‫إلى‬
•‫يمكن‬‫إعادة‬ ‫الحاالت‬ ‫بعض‬ ‫في‬‫الـ‬ ‫استخدام‬code‫لعملية‬ ‫كنتيجة‬ ‫توليده‬ ‫تم‬ ‫الذي‬import‫سابقة‬
‫الـ‬ ‫عملية‬ ‫كانت‬ ‫إذا‬insert‫الـ‬ ‫سيفشل‬ ‫المعطيات‬ ‫قاعدة‬ ‫على‬ ‫الموجودة‬ ‫القيود‬ ‫توافق‬ ‫ال‬export job
(‫مثال‬‫الـ‬primary key‫الجدول‬ ‫ضمن‬ ‫مسبقا‬ ‫موجود‬)
‫الـ‬ ‫عملية‬export

14. ‫الـ‬ ‫عملية‬export
‫استخدام‬staging table‫المعطيات‬ ‫قاعدة‬ ‫إلى‬ ‫البيانات‬ ‫تصدير‬ ‫عند‬:
‫فشل‬‫الـ‬ ‫أحد‬export jobs‫قاعدة‬ ‫إلى‬ ‫للبيانات‬ ‫جزئي‬ ‫لنقل‬ ‫يؤدي‬ ‫قد‬‫المعطيات‬
‫تحديد‬ ‫طريق‬ ‫عن‬ ‫المشكلة‬ ‫هذه‬ ‫عالج‬ ‫يمكن‬staging table‫الـ‬ ‫باستخدام‬option:--staging-table
‫الـ‬ ‫ستقوم‬map tasks‫الـ‬ ‫ضمن‬ ‫البيانات‬ ‫بتعبئة‬staging table
‫الـ‬ ‫إلى‬ ‫نقلها‬ ‫سيتم‬ ‫كاملة‬ ‫البيانات‬ ‫وصول‬ ‫بعد‬table‫طريق‬ ‫عن‬ ‫المعطيات‬ ‫قاعدة‬ ‫في‬transaction‫وحيدة‬
‫الـ‬ ‫استخدام‬ ‫يؤدي‬ ‫الفشل‬ ‫حال‬ ‫في‬staging table‫البيانات‬ ‫سالمة‬ ‫حفظ‬ ‫إلى‬‫واتساقها‬
‫الـ‬ ‫إنشاء‬ ‫يجب‬staging table‫الـ‬ ‫تنفيذ‬ ‫قبل‬export job
‫األساسي‬ ‫الجدول‬ ‫لبنية‬ ‫مطابقة‬ ‫تكون‬ ‫أن‬ ‫يجب‬ ‫الجدول‬ ‫هذا‬ ‫بنية‬
‫الـ‬ ‫يكون‬ ‫أن‬ ‫يجب‬staging table‫الـ‬ ‫استخدام‬ ‫يتم‬ ‫أو‬ ‫فارغ‬option:--clear-staging-table

15. ‫األداة‬ ‫استخدام‬ ‫على‬ ‫مثال‬export
$ sqoop export --connect jdbc:mysql://db.example.com/foo --table bar
--export-dir /results/bar_data
‫سيتم‬‫محتوى‬ ‫تصدير‬‫ضمن‬ ‫الموجودة‬ ‫الملفات‬/results/bar_data‫الجدول‬ ‫إلى‬bar‫المعطيات‬ ‫قاعدة‬ ‫ضمن‬foo
‫الـ‬ ‫عملية‬export

16. ‫عملية‬ ‫إلجراء‬ ‫المتبعة‬ ‫اآللية‬export:
‫تقوم‬Sqoop‫بجمع‬metadata‫الخاصة‬ ‫المعطيات‬ ‫قاعدة‬ ‫من‬
‫بتصديرها‬ ‫ستقوم‬ ‫التي‬ ‫بالبيانات‬
‫الـ‬ ‫على‬ ‫اعتمادا‬metadata‫توليد‬ ‫سيتم‬java classes‫خاصة‬
‫بالتعامل‬ ‫نقوم‬ ‫الذي‬ ‫بالجدول‬‫معه‬
‫يتم‬‫إطالق‬Hadoop map only job‫البيانات‬ ‫لنقل‬
‫الـ‬map job‫يقوم‬‫من‬ ‫عدد‬ ‫بإطالق‬‫الـ‬map tasks‫إسناد‬ ‫ويتم‬
‫تصديرها‬ ‫سيتم‬ ‫التي‬ ‫الملفات‬ ‫من‬ ‫أجزاء‬ ‫إليها‬
‫الـ‬map tasks‫التوازي‬ ‫على‬ ‫تعمل‬,‫يستخدم‬ ‫منها‬ ‫وكل‬
connection‫ا‬ ‫من‬ ‫عدد‬ ‫بإجراء‬ ‫ويقوم‬ ‫المعطيات‬ ‫لقاعدة‬ ‫منفصل‬‫لـ‬
transactions‫والتقل‬ ‫البيانات‬ ‫في‬ ‫ضياع‬ ‫حدوث‬ ‫عدم‬ ‫لضمان‬‫يل‬
‫الموارد‬ ‫استهالك‬ ‫من‬
‫الـ‬ ‫عملية‬export

17. Incremental Imports
‫غالبا‬‫ل‬ ‫بحاجة‬ ‫نكون‬ ‫ال‬‫نقل‬‫كاملة‬ ‫جداول‬,‫بل‬‫تعديل‬ ‫عليها‬ ‫جرى‬ ‫أسطر‬ ‫عدة‬ ‫لنقل‬‫أو‬‫تمت‬‫إضافتها‬
‫تقدم‬ ‫ذلك‬ ‫لتحقيق‬Sqoop‫إجراء‬ ‫إمكانية‬:incremental imports
‫األسطر‬ ‫بإحضار‬ ‫الميزة‬ ‫هذه‬ ‫تقوم‬‫إحضارها‬ ‫تم‬ ‫التي‬ ‫األسطر‬ ‫عن‬ ‫تختلف‬ ‫التي‬‫سابقا‬‫الجدول‬ ‫من‬‫المطلوب‬
arguments:--check-column‫إحضارها‬ ‫سيتم‬ ‫التي‬ ‫األسطر‬ ‫لتحديد‬ ‫سيستخدم‬ ‫الذي‬ ‫العمود‬ ‫تحدد‬
--last-value‫ضمن‬ ‫القيمة‬ ‫تحدد‬check column‫سابقا‬ ‫إحضاره‬ ‫تم‬ ‫سطر‬ ‫آلخر‬
‫الـ‬ ‫من‬ ‫نوعان‬ ‫هناك‬incremental imports:
append:‫إحضارها‬ ‫ونريد‬ ‫المطلوب‬ ‫للجدول‬ ‫إضافتها‬ ‫تمت‬ ‫قد‬ ‫جديدة‬ ‫أسطر‬ ‫هناك‬ ‫تكون‬ ‫عندما‬
‫سطر‬ ‫لكل‬ ‫يكون‬ ‫الجدول‬ ‫ضمن‬id,‫بالـ‬ ‫الخاص‬ ‫العمود‬ ‫نحدد‬ids‫طريق‬ ‫عن‬–check-column
‫قيمة‬ ‫لها‬ ‫التي‬ ‫األسطر‬ ‫استيراد‬ ‫يتم‬‫الـ‬ ‫ضمن‬check column‫القيمة‬ ‫من‬ ‫أكبر‬–last-value
‫مثال‬:--chech column id
--last-value 100
‫لها‬ ‫التي‬ ‫المعطيات‬ ‫قاعدة‬ ‫من‬ ‫األسطر‬ ‫استيراد‬ ‫سيتم‬id‫من‬ ‫أكبر‬100‫حصرا‬

18. lastmodified:‫إحضارها‬ ‫ونريد‬ ‫المطلوب‬ ‫الجدول‬ ‫ضمن‬ ‫تعديلها‬ ‫تم‬ ‫قد‬ ‫أسطر‬ ‫هناك‬ ‫يكون‬ ‫عندما‬ ‫يستخدم‬
‫إجراء‬ ‫يتم‬ ‫عندما‬update‫العمود‬ ‫ضمن‬ ‫الحالي‬ ‫الوقت‬ ‫وضع‬ ‫سيتم‬last-modified column
‫استيراد‬ ‫سيتم‬‫طريق‬ ‫عن‬ ‫المحدد‬ ‫التوقيت‬ ‫من‬ ‫أكبر‬ ‫توقيت‬ ‫تحوي‬ ‫التي‬ ‫األسطر‬–last-value
‫إجراء‬ ‫عند‬incremental import‫الـ‬ ‫نحدد‬ ‫أن‬ ‫يجب‬--last-value‫األسطر‬ ‫الستيراد‬ ‫مرجعية‬ ‫كقيمة‬ ‫تستخدم‬ ‫حتى‬
‫لـ‬ ‫الجديدة‬ ‫القيمة‬ ‫على‬ ‫التعديل‬ ‫يتم‬–last-value‫استيراد‬ ‫عملية‬ ‫كل‬ ‫عند‬
‫الـ‬ ‫عملية‬ ‫بتخزين‬ ‫قمنا‬ ‫حال‬ ‫في‬incremental import‫كـ‬saved job‫قيمة‬ ‫تعديل‬ ‫سيتم‬–last-value‫تلقائيا‬
Incremental Imports

19. Saved Jobs
‫الـ‬ ‫عمليات‬import‫والـ‬export‫غالبا‬ ‫نفذ‬ُ‫ت‬‫من‬ ‫الكثير‬‫المرات‬,‫مرة‬ ‫كل‬ ‫في‬ ‫األمر‬ ‫نفس‬ ‫تنفيذ‬ ‫عاد‬ُ‫ي‬ ‫وبالتالي‬
‫النظام‬ ‫لمدير‬ ‫صعوبة‬ ‫ذلك‬ ‫يمثل‬,‫إجراء‬ ‫عند‬ ‫خاص‬ ‫وبشكل‬incremental update
‫تسمح‬ ‫أكبر‬ ‫بفاعلية‬ ‫للتعامل‬Sqoop‫بتعريف‬saved jobs
‫الـ‬ ‫يقوم‬job‫الـ‬ ‫معلومات‬ ‫بتسجيل‬configuration‫بتنفيذ‬ ‫الخاصة‬‫ما‬ ‫أمر‬‫وقت‬ ‫في‬ ‫تنفيذه‬ ‫ليتم‬‫الحق‬
‫األداة‬ ‫طريق‬ ‫عن‬ ‫ذلك‬ ‫يكون‬:sqoop job
‫الـ‬ ‫كان‬ ‫إذا‬job‫بـ‬ ‫يقوم‬incremental import‫الـ‬ ‫تحديث‬ ‫فسيتم‬state‫ب‬ ‫الخاصة‬‫آخر‬‫تنفيذ‬ ‫أجل‬ ‫من‬ ‫استيرادها‬ ‫تم‬ ‫أسطر‬
‫المرة‬ ‫في‬ ‫الجديدة‬ ‫االستيرادات‬‫القادمة‬
‫تعريف‬saved job:
$ sqoop job --create myjob -- import --connect jdbc:mysql://example.com/db --table
mytable
‫استخدمنا‬–create‫إلنشاء‬job‫باسم‬myjob‫ثم‬‫األمر‬ ‫حددنا‬‫الـ‬ ‫هذا‬ ‫سيقوم‬ ‫الذي‬job‫بتنفيذه‬

20. ‫الـ‬ ‫مراجعة‬configuration‫الخاصة‬‫بـ‬job‫معين‬:
$ sqoop job --show myjob
‫تنفيذ‬job‫معين‬:
$ sqoop job --exec myjob
‫الـ‬ ‫جميع‬ ‫عرض‬saved jobs‫المتاحة‬:
$ sqoop job –list
Saved Jobs

21. Sqoop metastore
‫األداة‬metastore‫تقوم‬‫بإعداد‬‫للـ‬ ‫مستودع‬metadata‫بـ‬ ‫الخاصة‬Sqoop
‫مشترك‬ ‫المستودع‬ ‫هذا‬ ‫يكون‬‫المستخدمين‬ ‫جميع‬ ‫بين‬.
‫تنفيذ‬ ‫إمكانية‬ ‫للمستخدمين‬ ‫تاح‬ُ‫ي‬saved jobs‫الـ‬ ‫ضمن‬ ‫مسبقا‬ ‫معرفة‬metastore‫تعريف‬ ‫أو‬saved jobs‫جديدة‬
‫الـ‬metastore‫معطيات‬ ‫قاعدة‬ ‫عن‬ ‫عبارة‬ ‫يكون‬HSQLDB
‫األمر‬ ‫تنفيذ‬ ‫عند‬sqoop-metastore‫المعطيات‬ ‫قاعدة‬ ‫من‬ ‫نسخة‬ ‫إطالق‬ ‫يتم‬HSQLDB‫الـ‬ ‫على‬machine‫الحالية‬
‫بالـ‬ ‫االتصال‬metastore‫عن‬ ‫يكون‬‫طريق‬TCP/IP‫المنفذ‬ ‫باستخدام‬16000
‫الـ‬ ‫استضافة‬ ‫يمكن‬metastore‫على‬machine‫الـ‬ ‫ضمن‬Hadoop cluster‫الشبكة‬ ‫ضمن‬ ‫آخر‬ ‫مكان‬ ‫أي‬ ‫على‬ ‫أو‬
‫بالـ‬ ‫االتصال‬metastore‫الـ‬ ‫طريق‬ ‫عن‬ ‫يكون‬argument:--meta-connect‫مثال‬:
--meta-connect jdbc:hsqldb:hsql://metaserver.example.com:16000/sqoop

22. Sqoop codegen
‫له‬ ‫المعطيات‬ ‫قاعدة‬ ‫في‬ ‫جدول‬ ‫كل‬DAO class‫توابع‬ ‫يحوي‬getters‫و‬setters
‫األداة‬ ‫تقوم‬codegen‫الـ‬ ‫هذا‬ ‫بتوليد‬class‫تلقائي‬ ‫بشكل‬
‫الـ‬ ‫هذا‬ ‫توليد‬class‫الـ‬ ‫عملية‬ ‫من‬ ‫جزء‬ ‫عتبر‬ُ‫ي‬import‫نفسها‬
‫الـ‬ ‫ملف‬ ‫ضياع‬ ‫حال‬ ‫في‬ ‫لكن‬class‫توليده‬ ‫بإعادة‬ ‫نقوم‬ ‫أن‬ ‫نحتاج‬ ‫المثال‬ ‫سبيل‬ ‫على‬
‫مثال‬:
$ sqoop codegen --connect jdbc:mysql://localhost/userdb
--username root --table emp
‫الـ‬ ‫بتوليد‬ ‫قمنا‬ ‫السابق‬ ‫األمر‬ ‫طريق‬ ‫عن‬java class‫للجدول‬empl‫المعطيات‬ ‫قاعدة‬ ‫ضمن‬userdb

23. Sqoop eval
‫األداة‬eval‫استعالمات‬ ‫بتنفيذ‬ ‫للمستخدمين‬ ‫تسمح‬SQL‫قاعدة‬ ‫على‬ ‫بسيطة‬‫المعطيات‬
‫يتم‬‫الـ‬ ‫إلى‬ ‫الخرج‬ ‫طباعة‬console
‫تعطي‬‫المستخدمين‬‫فرصة‬‫لمراجعة‬‫التي‬ ‫االستعالمات‬‫ستستخدم‬‫البيانات‬ ‫الستيراد‬‫ي‬ ‫أن‬ ‫قبل‬‫استخدامها‬ ‫تم‬
‫من‬ ‫للتأكد‬ ‫أيضا‬ ‫نستخدمها‬‫قاعدة‬ ‫مع‬ ‫االتصال‬ ‫توافر‬‫المعطيات‬
‫مثال‬:
$ sqoop eval --connect jdbc:mysql://db.example.com/corp --query
"SELECT * FROM employees LIMIT 10”
‫قاعدة‬ ‫على‬ ‫استعالم‬ ‫بتنفيذ‬ ‫قمنا‬‫المعطيات‬
‫حددنا‬‫الـ‬ ‫طريق‬ ‫عن‬ ‫تنفيذه‬ ‫نريد‬ ‫الذي‬ ‫االستعالم‬argument:--query

24. Sqoop list-databases & list-tables
‫األداة‬ ‫باستخدام‬list-databases‫الـ‬ ‫جميع‬ ‫بسرد‬ ‫نقوم‬databases‫قواعد‬ ‫مخدم‬ ‫ضمن‬ ‫المتاحة‬‫المعطيات‬
‫ضمن‬ ‫المتاحة‬ ‫المعطيات‬ ‫قواعد‬ ‫جميع‬ ‫بسرد‬ ‫نقوم‬ ‫مثال‬MySQL server:
$ sqoop list-databases --connect jdbc:mysql://database.example.com/
‫األداة‬ ‫باستخدام‬list-tables‫الـ‬ ‫جميع‬ ‫بسرد‬ ‫نقوم‬tables‫ضمن‬ ‫الموجودة‬database‫معينة‬
‫المعطيات‬ ‫قاعدة‬ ‫ضمن‬ ‫الموجودة‬ ‫الجداول‬ ‫جميع‬ ‫بسرد‬ ‫نقوم‬ ‫مثال‬corporation:
$ sqoop list-tables --connect jdbc:mysql://database.example.com/corporation

25. Databases Connectors
‫تحوي‬Sqoop‫الـ‬ ‫من‬ ‫عدد‬ ‫افتراضي‬ ‫بشكل‬connectors‫المعروفة‬ ‫المعطيات‬ ‫قواعد‬ ‫مع‬ ‫لالتصال‬
‫إنشاء‬ ‫إمكانية‬ ‫تتيح‬connectors‫جديدة‬ ‫معطيات‬ ‫قواعد‬ ‫أنظمة‬ ‫ولدعم‬ ‫النقل‬ ‫أداء‬ ‫لتحسين‬ ‫جديدة‬
‫كل‬connector‫معينة‬ ‫معطيات‬ ‫بقاعدة‬ ‫خاص‬(MySQL connector‫مع‬ ‫يتصل‬ ‫ال‬PostgreSQL)
‫الـ‬ ‫مجال‬ ‫في‬ ‫الشركات‬ ‫من‬ ‫العديد‬IT‫تقدم‬connectors‫بها‬ ‫الخاصة‬ ‫المعطيات‬ ‫قواعد‬ ‫مع‬ ‫للتعامل‬ ‫خصصة‬ُ‫م‬
Microsoft‫تستخدم‬connector‫بين‬ ‫للنقل‬ ‫مخصص‬Microsoft SQL Server‫و‬Hadoop
‫الـ‬JDBC drivers‫مع‬ ‫جاهزة‬ ‫تأتي‬ ‫ال‬Sqoop‫يجب‬ ‫بل‬‫يدوي‬ ‫بشكل‬ ‫إضافتها‬
‫الـ‬Connectors‫والـ‬drivers‫فقط‬ ‫توجد‬‫الـ‬ ‫على‬machine‫بتنفيذ‬ ‫تقوم‬ ‫التي‬Sqoop
•‫جميع‬ ‫على‬ ‫توجد‬ ‫ال‬nodes‫الـ‬ ‫ضمن‬Hadoop cluster

26. ‫المعطيات‬ ‫قاعدة‬ ‫مع‬ ‫االتصال‬ ‫آلية‬:
‫تبحث‬ ‫ما‬ ‫معطيات‬ ‫بقاعدة‬ ‫لالتصال‬Sqoop‫أوال‬‫عن‬connector‫بشكل‬ ‫تحميله‬ ‫تم‬ ‫مناسب‬‫يدوي‬
‫الـ‬ ‫ضمن‬ ‫تبحث‬ ‫تجد‬ ‫لم‬ ‫إذا‬connectors‫طريق‬ ‫عن‬ ‫االفتراضية‬JDBC URL(‫بـ‬ ‫يبدأ‬jdbc:)
‫لم‬ ‫إذا‬‫تجد‬‫الـ‬ ‫استخدام‬ ‫يتم‬connector‫االفتراضي‬Generic JDBC Connector
‫الـ‬ ‫اختيار‬ ‫بعد‬connector‫الـ‬ ‫اختيار‬ ‫يتم‬JDBC driver
‫هناك‬ ‫معطيات‬ ‫قاعدة‬ ‫كل‬ ‫أجل‬ ‫من‬JDBC driver‫استخدامه‬ ‫يتم‬ ‫وحيد‬
•‫مثال‬MySQL connector‫باستخدام‬ ‫سيقوم‬MySQL JDBC Driver(‫يدعى‬ ‫والذي‬Connector/J)
‫الـ‬ ‫نستخدم‬ ‫عندما‬Generic JDBC Connector‫الـ‬ ‫تحديد‬ ‫يجب‬driver‫الـ‬ ‫طريق‬ ‫عن‬parameter:-driver
‫الـ‬ ‫تحديد‬ ‫تم‬ ‫أن‬ ‫بعد‬connector‫والـ‬driver
‫يتم‬‫الـ‬ ‫بين‬ ‫االتصال‬ ‫إنشاء‬Sqoop client‫المعطيات‬ ‫وقاعدة‬.
Databases Connectors

27. Demo