تنقيب بيانات

1. ‫بخطوة‬ ‫خطوة‬ ‫البيانات‬ ‫تنقيب‬
Data mining step by step
‫اعداد‬
:
‫محمدعلي‬ ‫فائق‬ ‫مهابات‬

2. ‫عام‬ ‫تعريف‬
‫ال‬ ‫المفيـدة‬ ‫المعلومـات‬ ‫إليجـاد‬ ‫البيانـات‬ ‫مـن‬ ‫كميات‬ ‫بين‬ ‫ما‬ ‫غربلة‬ ‫عملية‬ ‫هي‬ ‫التـي‬ ‫البيانات‬ ‫تنقيب‬ ‫عملية‬
‫القـرار‬ ‫تخـا‬
‫البيانات‬ ‫تنقيب‬
:
‫االحص‬ ‫والعمليات‬ ‫االصطناعي‬ ‫كاء‬ ‫ال‬ ‫تقنيات‬ ‫مع‬ ‫ربطها‬ ‫خالل‬ ‫من‬ ‫للبيانات‬ ‫تحليل‬ ‫عملية‬ ‫هي‬
‫في‬ ‫ائيه‬
‫البيانات‬ ‫ه‬ ‫ه‬ ‫تحليل‬
,
‫ا‬ ‫من‬ ‫كبير‬ ‫حجم‬ ‫في‬ ‫ومفيده‬ ‫معينه‬ ‫معلومات‬ ‫عن‬ ‫وبحث‬ ‫تفتيش‬ ‫عملية‬ ‫هي‬ ‫وببساطه‬
‫لبيانات‬
,
‫وطبعا‬
‫ل‬
‫واكفئ‬ ‫اكثر‬ ‫لتصبح‬ ‫االصطناعي‬ ‫كاء‬ ‫ال‬ ‫وطرق‬ ‫البيانات‬ ‫ه‬ ‫ه‬ ‫تحليل‬ ‫بين‬ ‫الربط‬ ‫عملية‬ ‫خالل‬ ‫من‬ ‫يتم‬ ‫ك‬
‫عملية‬ ‫في‬
‫تسمى‬ ‫والتي‬ ‫التفتيش‬
(
knowledge discovery from data( KDD
‫استكشاف‬ ‫خطوات‬ ‫من‬ ‫خطوه‬ ‫تعتبر‬ ‫وهي‬
‫البيانات‬ ‫قواعد‬ ‫من‬ ‫المعرفه‬

3. 1. Data cleaning ‫(تنظيف‬to remove noise and inconsistent data ‫)المتناقضة‬
2. Data integration ‫تكامل‬ (where multiple data sources may be
3. combined)
‫والمفهومه‬ ‫والمفيده‬ ‫المهمه‬ ‫واالنساق‬ ‫االنماط‬ ‫لتحديد‬ ‫البيانات‬ ‫بها‬ ‫تمر‬ ‫والتي‬ ‫المعالجات‬ ‫من‬ ‫مراحل‬ ‫عدة‬
KDD
4. Data selection ‫(اختيار‬where data relevant ‫عالقة‬ to the analysis task are
retrieved from the database)
5. Data transformation (where data are transformed into forms
appropriate for mining by performing summary operations)
6. Data mining (process where intelligent methods are applied to data
patterns ‫البيانات‬ ‫)أنماط‬
7. Pattern evaluation ‫النمط‬ ‫تقييم‬ (to identify the truly interesting patterns
representing knowledge based on measures)
8. Knowledge presentation (where knowledge representation
techniques are used to present mined knowledge to users.

4. ‫العاديه‬ ‫االستعالم‬ ‫عملية‬ ‫بين‬ ‫الفرق‬ ‫اوضح‬ ‫ان‬ ‫اريد‬ ‫التنقيب‬ ‫في‬ ‫يحصل‬ ‫ي‬ ‫ال‬ ‫هو‬ ‫ما‬ ‫نفهم‬ ‫لكي‬
‫البيانات‬ ‫قواعد‬ ‫في‬
Data base
Query
‫المنقبه‬ ‫البيانات‬ ‫في‬ ‫واالستعالم‬
:
-
‫النوعين‬ ‫كال‬ ‫بين‬ ‫االستعالم‬ ‫في‬ ‫الفرق‬ ‫يوضح‬ ‫ي‬ ‫وال‬ ‫التالي‬ ‫المثال‬
Data base Query vs. Data mining Query ....
‫تجاري‬ ‫سوق‬ ‫في‬ ‫معلومات‬ ‫عن‬ ‫االستعالم‬
base Data
‫العاديه‬ ‫البيانات‬ ‫قاعدة‬ ‫في‬
.1
‫بخالد‬ ‫الثاني‬ ‫اسمهم‬ ‫ينتهي‬ ‫ين‬ ‫ال‬ ‫للزبائن‬ ‫الكامله‬ ‫المعلومات‬ ‫عن‬ ‫االستعالم‬
*
.2
‫من‬ ‫اكثر‬ ‫بمبلغ‬ ‫اشتروا‬ ‫ين‬ ‫ال‬ ‫الزبائن‬ ‫عن‬ ‫االستعالم‬
1000
‫الشهر‬ ‫اخر‬ ‫في‬ ‫دينار‬
*
.3
‫الحليب‬ ‫اشتروا‬ ‫ين‬ ‫ال‬ ‫الزبائن‬ ‫اسماء‬ ‫عن‬ ‫االستعالم‬
*
mining Data
‫البيانات‬ ‫عن‬ ‫التنقيب‬
.1
‫التصنيف‬
(
classification (
‫مشاكل‬ ‫عليها‬ ‫والتي‬ ‫االئتمانيه‬ ‫البطاقات‬ ‫كل‬ ‫عن‬ ‫االستعالم‬
.
.2
‫العناقيد‬ ‫او‬ ‫التجمع‬
(
clustering (
‫مماثله‬ ‫شرائيه‬ ‫عادات‬ ‫لديهم‬ ‫ين‬ ‫ال‬ ‫الزبائن‬ ‫عن‬ ‫االستعالم‬
.
.3
‫االرتباط‬ ‫وعالقات‬ ‫قواعد‬ ‫اكتشاف‬
(
rules association (
‫مع‬ ‫تزامني‬ ‫بشكل‬ ‫شراءها‬ ‫يتم‬ ‫التي‬ ‫السلع‬ ‫عن‬ ‫االستعالم‬
‫الحليب‬
.

5. DATA MINING MODELS ‫المستخدمه‬ ‫التقنيات‬ ‫بعض‬
‫البيانات‬ ‫تنقيب‬ ‫في‬
1- Neural Networks
2- Genetic Algorithms
3- Agent Technology
4- Decision Trees
5- Hybrid Models
6- Statistics

6. ‫تصنيفها‬ ‫تم‬ ‫الدم‬ ‫ضغط‬ ‫الرتفاع‬ ‫دراسة‬ ‫من‬ ‫ت‬ ‫اخ‬ ‫بيانات‬ ‫مجموعة‬ ‫يمثل‬ ‫ي‬ ‫وال‬ ‫التالي‬ ‫المثال‬
‫القرار‬ ‫شجرة‬ ‫طريقة‬ ‫بأستخدام‬
Decision Trees

7. ‫تض‬ ‫جديدة‬ ‫مجاالت‬ ‫الى‬ ‫الدخول‬ ‫في‬ ‫مستمرة‬ ‫زالت‬ ‫وال‬ ‫وواسعة‬ ‫عديدة‬ ‫مجاالت‬ ‫الى‬ ‫البيانات‬ ‫تنقيب‬ ‫تطبيقات‬ ‫امتدت‬
‫ما‬ ‫الى‬ ‫اف‬
‫كاآلتي‬ ‫وهي‬ ‫سبق‬
:
1
-
‫المصرفية‬ ‫األعمال‬
Banking :
‫القروض‬ ‫مخاطر‬ ‫كتحليل‬
2
–
‫المالية‬
Financial :
‫االسهم‬ ‫تبادل‬ ‫في‬ ‫الغش‬ ‫كتحديد‬
3
-
‫االتصاالت‬
Telecommunications :
‫لخدماتها‬ ‫المزيف‬ ‫االستخدام‬ ‫كتحديد‬
4
-
‫التسويق‬
Marketing :
‫للزبون‬ ‫الديموغرافية‬ ‫الخصائص‬ ‫بين‬ ‫العالقة‬ ‫كايجاد‬
5
-
‫الصحة‬ ‫ورعاية‬ ‫التامين‬
Care Health and Insurance :
‫الدعاوى‬ ‫كتحليل‬
6
-
‫الطب‬
Medicine :
‫المختلفة‬ ‫لألمراض‬ ‫الناجحة‬ ‫الطبية‬ ‫العالجات‬ ‫كتحديد‬
7
-
‫النقل‬
Transportation :
‫المناف‬ ‫بين‬ ‫التوزيع‬ ‫جدول‬ ‫كتحديد‬
8
-
‫بالتجزئة‬ ‫البيع‬
Retailing :
‫الترويج‬ ‫فاعلية‬ ‫كتقدير‬
9
-
‫الزبون‬ ‫عالقات‬ ‫ادارة‬
Management Relationship Customer :
‫كل‬ ‫اقل‬ ‫النه‬ ‫بالزبون‬ ‫لالحتفاظ‬ ‫الالزم‬ ‫الفعل‬ ‫كاتخا‬
‫فة‬
‫جديد‬ ‫زبون‬ ‫كسب‬ ‫من‬
.

8. ‫الواقعية‬ ‫االمثلة‬ ‫من‬
:
‫عل‬ ‫االدارة‬ ‫مساعدة‬ ‫لغـرض‬ ‫العراقـي‬ ‫الصناعي‬ ‫للمصرف‬ ‫القروض‬ ‫بيانات‬ ‫على‬ ‫البيانات‬ ‫تنقيب‬ ‫عملية‬ ‫اجراء‬ ‫تم‬
‫اتخا‬ ‫ى‬
‫خطرا‬ ‫يشكل‬ ‫معـه‬ ‫التعامـل‬ ‫كان‬ ‫ا‬ ‫ا‬ ‫فيما‬ ‫الزبون‬ ‫على‬ ‫الحكم‬ ‫من‬ ‫يمكنها‬ ‫ي‬ ‫ال‬ ‫القرار‬
"
‫ال‬ ‫أم‬ ‫المصرف‬ ‫على‬
.
‫تت‬ ‫لك‬ ‫وب‬
‫من‬ ‫مكن‬
‫المصرف‬ ‫يتحمله‬ ‫فيما‬ ‫السبب‬ ‫يكون‬ ‫ألنه‬ ‫به‬ ‫موثوق‬ ‫غير‬ ‫هو‬ ‫من‬ ‫واسـتبعاد‬ ‫بهم‬ ‫الموثوق‬ ‫الزبائن‬ ‫على‬ ‫التركيز‬
‫خسائر‬ ‫من‬
‫التسديد‬ ‫عدم‬ ‫بسب‬ ‫اقراضـه‬ ‫عـن‬ ‫ناجمة‬
‫المهيكلة‬ ‫االستفسـار‬ ‫لغـة‬ ‫خـادم‬ ‫يدعى‬ ‫حاسوبي‬ ‫برنامج‬ ‫استخدم‬ ‫التطبيق‬ ‫اجل‬ ‫ومن‬
SQL
‫ي‬ ‫ال‬ ‫يمكن‬ ‫تعريفـه‬
)
Structured Query Language Server 2000 ) Server 2000
‫البيانـات‬ ‫قاعدة‬ ‫ادارة‬ ‫نظام‬ ‫بانه‬
System
Management Database
‫وتحدي‬ ‫لمسح‬ ‫طرائق‬ ‫يقدم‬ ‫فهو‬ ‫المنظمة‬ ‫بيانات‬ ‫ادارة‬ ‫في‬ ‫للمساعدة‬ ‫تـصميمه‬ ‫تـم‬ ‫ي‬ ‫الـ‬
‫ث‬
‫متجددة‬ ‫بيانات‬ ‫قاعدة‬ ‫على‬ ‫الحفاظ‬ ‫خاللها‬ ‫من‬ ‫يمكن‬ ‫التي‬ ‫البيانات‬ ‫وادخال‬

10. ‫واحد‬ ‫بمستوى‬ ‫دائمـا‬ ‫تكـون‬ ‫هنـا‬ ‫الشجرة‬ ‫ان‬ ‫عدا‬ ‫تماما‬ ‫القرار‬ ‫شجرة‬ ‫اسلوب‬ ‫بنفس‬ ‫التجمعات‬ ‫تمثيل‬ ‫يتم‬
.
‫وال‬
‫صفة‬ ‫ختيار‬
‫العقـدة‬ ‫صفات‬ ‫مجموعة‬ ‫قائمة‬ ‫من‬ ‫لك‬ ‫يكون‬ ،‫الخطر‬ ‫كصفة‬ ‫معينة‬
Set Attribute Node
‫الـشاشة‬ ‫أسفل‬ ‫وسط‬ ‫في‬
.
‫امـا‬
‫واضـحة‬ ‫غيـر‬ ‫فهـي‬ ‫العقـد‬ ‫أسـماء‬
(
1
Cluster
،
2 Cluster ……
،
‫ا‬ ‫وهك‬
)
‫التجمعات‬ ‫ه‬ ‫ه‬ ‫من‬ ‫تجمع‬ ‫لكل‬ ‫لكن‬
‫على‬ ‫الضغط‬ ‫خالل‬ ‫من‬ ‫القواعد‬ ‫ه‬ ‫ه‬ ‫رؤية‬ ‫ويمكن‬ ،‫التجمع‬ ‫داخل‬ ‫الموجودة‬ ‫القيود‬ ‫تصف‬ ‫التي‬ ‫القواعد‬ ‫مـن‬ ‫مجموعـة‬
‫العقدة‬ ‫مسار‬ ‫محتويات‬ ‫الى‬ ‫والنظر‬ ‫العقدة‬
path Node
‫الشاشة‬ ‫يمين‬ ‫اسفل‬ ‫في‬
.
‫الخطر‬ ‫لصفــة‬ ‫وباختيارنا‬
Risk
‫االول‬ ‫التجـمع‬ ‫على‬ ‫والضغط‬
1
Cluster
‫السيئة‬ ‫الحاالت‬ ‫واختيـار‬
bad
‫الشكل‬ ‫يكون‬ ،‫التجمعات‬ ‫لون‬ ‫اساسها‬ ‫على‬ ‫لتبنى‬
(
3
(
‫هو‬ ‫الغامق‬ ‫اللون‬ ‫و‬ ‫التجمع‬ ‫ا‬ ‫ه‬ ‫في‬ ‫الحاالت‬ ‫عـدد‬ ‫ان‬ ‫يتـضح‬ ‫حيث‬
39
‫منها‬ ‫حالة‬
12
‫قرض‬ ‫مخاطر‬ ‫ات‬ ‫حالة‬
‫سـيئة‬
bad
‫احتمالية‬ ‫بنسبة‬
18.31
%
‫و‬
27
‫جيدة‬ ‫قرض‬ ‫مخاطر‬ ‫ات‬ ‫حالة‬
good
‫احتماليـة‬ ‫بنـسبة‬
82.68
%