عنقدة البيانات الضخمة باستخدام الإسقاط العشوائي و العنقدة الضبابية التعاونية https://shamra.sy/academia/show/5cf469148feb9

1. ‫الضخمة‬ ‫البيانات‬ ‫عنقدة‬
‫العشوائي‬ ‫اإلسقاط‬ ‫باستخدام‬
‫التعاوني‬ ‫الضبابية‬ ‫والعنقدة‬‫ة‬
‫إعداد‬:
‫قصيدة‬ ‫رغد‬
‫شبيب‬ ‫علي‬

2. ‫مقدمة‬
‫تت‬ ‫ضخمة‬ ‫بيانات‬ ‫مجموعات‬ ‫ظهور‬ ‫إلى‬ ‫الرقمي‬ ‫والتسويق‬ ‫التكنولوجيا‬ ‫في‬ ‫الحديثة‬ ‫التطورات‬ ‫أدت‬‫بين‬ ‫راوح‬
‫من‬ ‫العديد‬‫الصناعات‬.
‫إ‬‫مهيكلة‬ ‫شبه‬ ‫بيانات‬ ‫أو‬ ‫مهيكلة‬ ‫بيانات‬ ‫تكون‬ ‫أن‬ ‫يمكن‬ ‫التي‬ ‫البيانات‬ ‫على‬ ‫االعتماد‬ ‫إلى‬ ‫الحاجة‬ ‫ن‬‫و‬‫تعقيد‬ ‫ا‬ً‫ض‬‫أي‬
‫الضخمة‬ ‫البيانات‬ ‫وراء‬ ‫الدافع‬ ‫هو‬ ‫العمل‬ ‫قرار‬ ‫اتخاذ‬.
‫في‬ ‫الضخمة‬ ‫البيانات‬ ‫تمييز‬ ‫تم‬4’Vs‫المصداقية‬ ‫و‬ ‫والسرعة‬ ‫والتنوع‬ ‫الحجم‬ ‫لتشمل‬
(volume, variety, velocity and veracity)

3. ‫المقترحة‬ ‫الطريقة‬
‫الشكل‬ ‫يوضح‬‫مخطط‬ ‫التالي‬‫ا‬ ‫البيانات‬ ‫لتجميع‬ ‫المقترحة‬ ‫الطريقة‬‫لضخمة‬:
1-‫البيانات‬ ‫ميزات‬ ‫تقليل‬
2-‫تقسيم‬‫األصلية‬ ‫الداتا‬‫الفرعية‬ ‫البيانات‬ ‫مجموعات‬ ‫إلى‬N
3-‫ا‬ً‫ي‬‫محل‬ ‫الفرعية‬ ‫البيانات‬ ‫مجموعات‬ ‫تجميع‬‫بواسطة‬FCM
4-‫التعاوني‬ ‫التكتل‬ ‫تطبيق‬

4. ‫المستخدمة‬ ‫الخوارزميات‬
Random Projection Features Reduction
Fuzzy C-Means clustering
Collaborative Fuzzy Clustering

5. Random Projection Features
Reduction
‫الشهيرة‬ ‫النظرية‬ ‫من‬ ‫تأتي‬ ‫العشوائي‬ ‫اإلسقاط‬ ‫هذا‬ ‫وراء‬ ‫الرئيسية‬ ‫الفكرة‬Johnson Lindenstrauss (JL) lemma‫تقول‬ ‫والتي‬:
‫المنتهية‬ ‫المجموعة‬ ‫لدينا‬ ‫ليكن‬𝑋 ⊂ 𝑅 𝑛 𝑜𝑓 𝑠𝑖𝑧𝑒 𝑋 = 𝐾
‫بالشكل‬ ‫معرفة‬ ‫خطية‬ ‫خريطة‬ ‫يوجد‬ ‫عندها‬:
𝑓: 𝑅 𝑛
→ 𝑅 𝑚
𝑤𝑖𝑡ℎ 𝑚 = 0 (ℰ−2
log(𝐾))
‫منه‬ ‫و‬:1 − ℰ 𝑥 − 𝑦 2 ≤ 𝑓 𝑥 − 𝑦 2 ≤ (1 + ℇ) 𝑥 − 𝑦 2
‫حيث‬𝑥,𝑦 𝜖 𝑅 𝑛
‫أي‬‫ا‬ً‫ي‬‫خط‬ ‫النقاط‬ ‫هذه‬ ‫تضمين‬ ‫يمكن‬ ، ‫اإلقليدي‬ ‫الفضاء‬ ‫في‬ ‫العالية‬ ‫األبعاد‬ ‫ذات‬ ‫النقاط‬ ‫من‬ ‫مجموعة‬ ‫لدينا‬ ‫يكون‬ ‫عندما‬
‫البنية‬ ‫معلومات‬ ‫فقدان‬ ‫وعدم‬ ‫النقاط‬ ‫بين‬ ‫المسافات‬ ‫على‬ ‫الحفاظ‬ ‫مع‬ ‫منخفضة‬ ‫أبعاد‬ ‫ذو‬ ‫فضاء‬ ‫في‬.
‫كالتالي‬ ‫عشوائية‬ ‫بمصفوفة‬ ‫األصلية‬ ‫البيانات‬ ‫متجه‬ ‫ضرب‬ ‫طريق‬ ‫عن‬ ‫ضة‬ّ‫ف‬‫المخ‬ ‫البيانات‬ ‫على‬ ‫الحصول‬ ‫يتم‬:
𝑋 𝑛 × 𝑅‫جديد‬ ‫متجه‬ ‫إلنتاج‬Y‫الجديدة‬ ‫المخفضة‬ ‫األبعاد‬ ‫مع‬

6. Random Projection Features
Reduction
‫نظرية‬ ‫تقوم‬JL‫التا‬ ‫المعادلة‬ ‫طريق‬ ‫عن‬ ‫منخفضة‬ ‫أبعاد‬ ‫في‬ ‫للبيانات‬ ‫العالية‬ ‫األبعاد‬ ‫إسقاط‬ ‫على‬ ‫العشوائي‬ ‫اإلسقاط‬ ‫في‬‫لية‬
‫حيث‬n‫البيانات‬ ‫مجموعة‬ ‫أسطر‬ ‫عدد‬ ‫هو‬.‫األبعاد‬ ‫من‬ ‫معين‬ ‫عدد‬ ‫على‬ ‫يعتمد‬ ‫ال‬ ‫التخفيض‬ ‫أن‬ ‫على‬ ‫يدل‬ ‫هذا‬
‫أنه‬ ‫ا‬ً‫ض‬‫أي‬ ‫ويوضح‬‫بإعطاء‬ε > 0‫أكثر‬ ‫نقطتين‬ ‫بين‬ ‫المشوهة‬ ‫المسافة‬ ‫تكون‬ ‫أن‬ ‫يمكن‬ ‫ال‬ ،‫من‬(1 ± 𝜀)
‫عليها‬ ‫الحفاظ‬ ‫يتم‬ ‫النقاط‬ ‫من‬ ‫زوجين‬ ‫بين‬ ‫المسافات‬ ‫جميع‬ ‫أن‬ ‫يعني‬ ‫مما‬‫اإلقليدي‬ ‫الفضاء‬ ‫في‬ ‫يكمن‬ ‫الحفاظ‬ ‫هذا‬ ‫لكن‬.

7. Fuzzy C-Means (FCM)
‫أشكال‬ ‫من‬ ‫شكل‬ ‫هو‬ ‫الضبابي‬ ‫التجميع‬‫العنقدة‬‫من‬ ‫أكثر‬ ‫إلى‬ ‫بيانات‬ ‫نقطة‬ ‫كل‬ ‫تنتمي‬ ‫أن‬ ‫يمكن‬ ‫حيث‬‫كالستر‬‫واحد‬.‫تتضمن‬
‫اإل‬ ‫قدر‬ ‫متشابهة‬ ‫المجموعة‬ ‫نفس‬ ‫في‬ ‫الموجودة‬ ‫العناصر‬ ‫أن‬ ‫أي‬ ‫مجموعات‬ ‫إلى‬ ‫بيانات‬ ‫نقاط‬ ‫تعيين‬ ‫الخوارزمية‬ ‫هذه‬، ‫مكان‬
‫اإلمكان‬ ‫قدر‬ ‫متباينة‬ ‫تكون‬ ‫مختلفة‬ ‫مجموعات‬ ‫إلى‬ ‫تنتمي‬ ‫التي‬ ‫العناصر‬ ‫أن‬ ‫حين‬ ‫في‬.‫تحديد‬ ‫يتم‬‫الكالسترات‬‫خالل‬ ‫من‬
‫التشابه‬ ‫مقاييس‬.‫والكثافة‬ ‫والترابط‬ ‫المسافة‬ ‫من‬ ‫كل‬ ‫التشابه‬ ‫مقاييس‬ ‫تتضمن‬.
‫من‬ ‫الهدف‬FCM‫التالي‬ ‫التابع‬ ‫وظيفة‬ ‫تقليل‬ ‫هو‬:
‫حيث‬: 𝑥𝑖 − 𝑣𝑗‫البيانات‬ ‫عنصر‬ ‫بين‬ ‫اإلقليدية‬ ‫المسافة‬ ‫عن‬ ‫تعبر‬i‫مركز‬ ‫و‬‫الكالستر‬j

8. Fuzzy C-Means (FCM)
‫أساس‬ ‫على‬ ‫كتلة‬ ‫مركز‬ ‫لكل‬ ‫مقابلة‬ ‫بيانات‬ ‫نقطة‬ ‫لكل‬ ‫عضوية‬ ‫تعيين‬ ‫طريق‬ ‫عن‬ ‫الخوارزمية‬ ‫هذه‬ ‫تعمل‬
‫البيانات‬ ‫ونقطة‬ ‫الكتلة‬ ‫مركز‬ ‫بين‬ ‫المسافة‬.‫التالية‬ ‫للمعادالت‬ ‫ا‬ً‫ق‬‫وف‬ ‫الكتلة‬ ‫ومراكز‬ ‫العضوية‬ ‫تحديث‬ ‫يتم‬ ‫تكرار‬ ‫كل‬ ‫بعد‬:
‫حيث‬:n:‫الداتا‬ ‫نقاط‬ ‫عدد‬
Vj:‫مركز‬‫الكالستر‬j
M:‫الضبابية‬ ‫درجة‬(𝑚 ∈ 1,∞)
C:‫مراكز‬ ‫عدد‬‫الكالسترات‬
𝜇𝑖𝑗:‫البيانات‬ ‫عنصر‬ ‫عضوية‬ ‫درجة‬i‫مركز‬ ‫إلى‬‫الكالستر‬j
𝑑𝑖𝑗:‫البيانات‬ ‫عنصر‬ ‫بين‬ ‫اإلقليدية‬ ‫المسافة‬i‫مركز‬ ‫و‬‫الكالستر‬j

9. Collaborative Fuzzy Clustering
‫العنقدة‬‫الضبابية‬ ‫التعاونية‬
‫ا‬ً‫ع‬‫جمي‬ ‫فيها‬ ‫مشتركة‬ ‫بنية‬ ‫إيجاد‬ ‫بهدف‬ ‫ا‬ً‫ع‬‫م‬ ‫األنماط‬ ‫من‬ ‫فرعية‬ ‫مجموعات‬ ‫عدة‬ ‫معالجة‬ ‫فيها‬ ‫يمكن‬ ‫جديدة‬ ‫تجميع‬ ‫بنية‬.
‫خالل‬ ‫من‬ ‫البيانات‬ ‫من‬ ‫منفصلة‬ ‫فرعية‬ ‫مجموعات‬ ‫على‬ ‫تعمل‬ ‫التي‬ ‫التجميع‬ ‫خوارزميات‬ ‫تتعاون‬ ، ‫الهيكل‬ ‫هذا‬ ‫عن‬ ‫للكشف‬
‫حول‬ ‫المعلومات‬ ‫تبادل‬partition matrices.
‫التقسيم‬ ‫مصفوفات‬ ‫تشكل‬ ‫التي‬ ‫الضبابية‬ ‫المجموعات‬ ‫مستوى‬ ‫على‬ ‫المطلوبة‬ ‫االتصال‬ ‫روابط‬ ‫إنشاء‬ ‫يتم‬ ‫أي‬
‫البيانات‬ ‫قواعد‬ ‫في‬ ‫مباشرة‬ ‫المتوفرة‬ ‫األنماط‬ ‫من‬ ً‫ال‬‫بد‬.

10. Collaborative Fuzzy Clustering
‫العنقدة‬‫الضبابية‬ ‫التعاونية‬
‫مشكلة‬ ‫تحويل‬ ‫يتم‬‫التكتل‬‫اختيار‬ ‫مشاكل‬ ‫إلى‬ ‫التعاوني‬‫األمثلية‬
‫التالية‬ ‫العضوية‬ ‫قيود‬ ‫مع‬:
‫حيث‬U‫مصفوفات‬ ‫جميع‬ ‫من‬ ‫عائلة‬ ‫هي‬‫التقسي‬‫وهي‬ ‫الضبابية‬ ‫م‬:

11. ‫والتجارب‬ ‫النتائج‬:
‫واستخد‬ ‫البيانات‬ ‫من‬ ‫مجموعتين‬ ‫باستخدام‬ ‫نقوم‬ ، ‫المقترحة‬ ‫الطريقة‬ ‫لتقييم‬‫ام‬‫التقييم‬ ‫أداتي‬Xie-Beni‫و‬Partition
Coefficient‫في‬ ‫المقترحة‬ ‫الخوارزمية‬ ‫أداء‬ ‫لمقارنة‬‫العنقدة‬BDC-RPFR-CFCM‫وخوارزمية‬FCM.
‫إلى‬ ‫البيانات‬ ‫بتقسيم‬ ‫قمنا‬ ، ‫الميزات‬ ‫تقليل‬ ‫بعد‬ ، ‫التعاونية‬ ‫للعنقدة‬ ‫بالنسبة‬10‫فرعية‬ ‫مجموعات‬
‫الجدول‬ ‫في‬ ‫التخفيض‬ ‫بعد‬ ‫والبعد‬ ‫إبسيلون‬ ‫قيمة‬ ‫بين‬ ‫العالقة‬ ‫نحدد‬

12. ‫والتجارب‬ ‫النتائج‬:
‫نصية‬ ‫وثائق‬ ‫على‬ ‫كانت‬ ‫األولى‬ ‫التجربة‬(NIPS):
‫نصية‬ ‫وثائق‬ ‫عن‬ ‫عبارة‬ ‫وهي‬‫من‬1987‫حتى‬2015
‫على‬ ‫تحتوي‬5811‫م‬‫لها‬ ‫المقابل‬ ‫البحثية‬ ‫الورقة‬ ‫ومعرف‬ ‫السنة‬ ‫تمثل‬ ‫والتي‬ ، ‫يزة‬..‫الخ‬
‫ال‬ ‫عدد‬ ‫تعيين‬ ‫تم‬clusters‫إلى‬12‫تعيين‬ ‫مع‬ ،epsilon 0.18‫البيانات‬ ‫تباين‬ ‫نسبة‬ ‫،وبلغت‬94٪
‫ت‬ ‫تم‬‫البعد‬ ‫خفيض‬‫من‬5811‫إلى‬288‫ميزة‬.

13. ‫والتجارب‬ ‫النتائج‬:
‫على‬ ‫الثانية‬ ‫التجربة‬Epileptic Seizure Recognition Dataset:
‫تتكون‬‫الداتا‬‫من‬5‫مجلدات‬‫مجلد‬ ‫كل‬ ‫يحتوي‬‫على‬100‫يمثل‬ ‫ملف‬
‫تسجيل‬ ‫موضوع‬ ‫كل‬23.6‫ثانية‬.‫اختيارها‬ ‫تم‬ ‫عينات‬ ‫من‬ ‫البيانات‬ ‫مجموعة‬ ‫تتكون‬
‫مع‬ ‫األصلية‬ ‫البيانات‬ ‫مجموعة‬ ‫من‬ ‫ا‬ً‫ي‬‫عشوائ‬11500‫ن‬ ‫من‬‫قاط‬‫ال‬‫و‬ ‫بيانات‬179‫ًا‬‫د‬‫عمو‬
‫عمود‬ ‫كل‬ ‫يمثل‬ ‫حيث‬‫الملف‬ ‫من‬ ‫واحدة‬ ‫ثانية‬ ‫لمدة‬ ‫ا‬ً‫ي‬‫عشوائ‬ ‫اختيارها‬ ‫تم‬ ‫عينة‬
‫نحاول‬‫تجميع‬‫في‬ ‫البيانات‬2clusters
‫اإلبسيلون‬ ‫تحديد‬ ‫تم‬0.37‫تساوي‬ ‫التباين‬ ‫درجة‬ ‫و‬ ،1‫البعد‬ ‫تخفيض‬ ‫تم‬ ،
‫من‬ ‫األصلي‬179‫إلى‬68.