مقدمه ای بر وب کاوی

1. ‫‌ای‬‫ه‬‫مقدم‬‫بر‌وب‌کاوی‬
‫عناصر‌اصلی‌وب‌کاوی‬
‫ساختاری‌سلسله‌مراتبی‌وب‌کاوی‬
‫عبدخدا‬ ‫دکترمحمدهیوا‬
‫مدیری‬ ‫دانشکده‬ ،‫پزشکی‬ ‫رسانی‬ ‫اطالع‬ ‫و‬ ‫کتابداری‬ ‫علوم‬ ‫آموزشی‬ ‫گروه‬ ‫استادیار‬‫و‬ ‫ت‬
‫تبریز‬ ‫پزشکی‬ ‫علوم‬ ‫دانشگاه‬ ‫پزشکی‬ ‫رسانی‬ ‫اطالع‬
Hiwaabdekhoda.ir
hiwaabdekhoda@gmail.com

2. ‫الهی‬‫دلی‬‫ده‬‫که‬‫در‬‫حرص‬‫و‬‫آز‬‫بر‬‫ما‬‫باز‬‫نشود‬‫و‬‫قناعتی‬‫ده‬‫که‬‫چشم‬‫امید‬
‫ما‬‫جز‬‫بروی‬‫تو‬‫باز‬‫نشود‬.‫الهی‬‫دستم‬‫گیر‬‫که‬‫دست‬‫آویز‬‫ندارم‬‫و‬‫ع‬‫ذرم‬
‫بپذیر‬‫که‬‫پای‬‫گریز‬‫ندارم‬.‫الهی‬‫تحقیقی‬‫ده‬‫که‬‫از‬‫دنیا‬‫بیزار‬‫شویم‬‫و‬‫توفیقی‬
‫ده‬‫که‬‫در‬‫دین‬‫استوار‬‫شویم‬.‫خواجه‬‫عبداهلل‬‫انصاری‬

3. ‫مباحث‬:
o‫مقدمه‬‫ای‬‫بر‬‫موضوع‬
o‫وب‬‫کاوی‬‫و‬‫تبیین‬‫اهمیت‬‫آن‬
o‫عناصر‬‫اصلی‬‫وب‬‫کاوی‬
o‫انواع‬‫وب‬‫کاوی‬‫و‬‫ساختار‬‫سلسله‬‫مراتبی‬‫آن‬
o‫نتیجه‬‫گیری‬

4. ‫مقدمه‌ای‌بر‌موضوع‬
o‫اینترنت‬‫به‬‫عنوان‬‫بزرگترین‬‫واسپارگاه‬‫چند‬‫ای‬‫رسانه‬‫حاوی‬‫اطال‬‫عات‬‫نام‬
‫برده‬‫شود‬‫می‬.
o‫کاربران‬‫برای‬‫دسترسی‬‫خیل‬‫عظیم‬‫اطالعات‬‫موجود‬‫در‬‫وب‬‫از‬‫ها‬‫ابزار‬‫ی‬
‫مختلفی‬‫استفاده‬‫کنند‬‫می‬.
o‫اما‬‫امروزه‬‫جستو‬‫و‬‫بازیابی‬‫در‬‫وب‬‫به‬‫وسیله‬‫موتورهای‬‫جستجو‬‫با‬‫م‬‫شکالتی‬
‫رو‬‫به‬‫رو‬‫است‬‫که‬‫از‬‫طرفی‬‫ناشی‬‫از‬‫ضعف‬‫ساختاری‬‫موتورهای‬‫جست‬‫جو‬
‫است‬‫و‬‫از‬‫سوی‬‫دیگر‬‫معلول‬‫عدم‬‫سازماندهی‬‫منابع‬‫وبی‬‫و‬‫رشد‬‫سریع‬‫و‬
‫تصاعدی‬‫آن‬‫است‬.

5. ‫مشکالت‌جستجو‌و‌بازیابی‌در‌وب‬
.1‫مشکل‬‫فراوانی‬‫اطالعات‬‫بال‬‫استفاده‬‫یا‬‫اضافه‬‫بار‬‫اطالعاتی‬:‫به‬‫این‬‫معنی‬‫که‬99‫درصد‬‫از‬
‫اطالعات‬‫موجود‬‫در‬‫وب‬‫برای‬99‫درصد‬‫از‬‫کاربران‬‫آن‬‫گونه‬‫هیچ‬‫جذابیت‬‫و‬‫کششی‬‫را‬‫ایجاد‬‫ک‬‫نمی‬‫ند‬.
.2‫محدودیت‬‫پوشش‬‫اطالعات‬‫از‬‫طریق‬‫وب‬:‫حجم‬‫عظیمی‬‫از‬‫اطالعات‬‫موجود‬‫در‬‫اینترنت‬‫از‬
‫دسترس‬‫موتورهای‬‫جستجو‬‫خارج‬‫است‬.‫این‬‫همان‬‫بخشی‬‫از‬‫وب‬‫است‬‫که‬‫از‬‫آن‬‫به‬‫عنوان‬‫وب‬‫پن‬‫هان‬‫نام‬
‫برده‬‫شود‬‫می‬.
.3‫محدودیت‬‫‌های‬‫ط‬‫راب‬‫پرس‬‫وجو‬:‫بدین‬‫معنی‬‫که‬‫های‬‫رابط‬‫جستجو‬‫متکی‬‫به‬‫رابط‬‫کار‬‫بر‬‫کلمات‬
‫کلیدی‬‫هستند‬‫و‬‫جستجو‬‫در‬‫ها‬‫آن‬‫محدود‬‫به‬‫جستجو‬‫از‬‫طریق‬‫کلمات‬‫کلیدی‬‫است‬
.4‫محدودیت‬‫سفارشی‬‫سازی‬‫جستجو‬‫برای‬‫کاربران‬‫اختصاصی‬:‫بدین‬‫معنی‬‫ک‬‫ه‬‫های‬‫رابط‬
‫جستجو‬‫از‬‫یک‬‫الگوریتم‬‫خاص‬‫برای‬‫تمامی‬‫جستجوها‬‫استفاده‬‫کنند‬‫می‬‫و‬‫توانایی‬‫شخص‬‫ی‬‫سازی‬
‫جستجو‬‫را‬‫ندارند‬.

6. ‫بیان‌مساله‬
o‫ناکارآمدی‬‫نسبی‬‫ابزارهای‬‫کاوش‬‫و‬‫علی‬‫الخصوص‬‫موتورهای‬‫جستجو‬‫ب‬‫رای‬
‫بازیابی‬‫اطالعات‬‫از‬‫وب‬‫و‬‫استخراج‬‫دانش‬‫انبوه‬‫موجود‬‫در‬‫آن‬‫از‬‫طرفی‬‫و‬
o‫از‬‫سوی‬‫دیگر‬‫ذخیره‬‫اسناد‬‫و‬‫مدارک‬‫در‬‫وب‬‫بدون‬‫تبعیت‬‫از‬‫هیچ‬‫نظم‬‫و‬‫ق‬‫انونی‬
،‫خاص‬‫عدم‬‫وجود‬‫الگوی‬‫سازماندهی‬‫مشخصی‬‫برای‬‫منابع‬‫وبی‬‫و‬‫رشد‬‫تص‬‫اعدی‬
،‫آن‬‫بازیابی‬‫بسیاری‬‫از‬‫منابع‬‫موجود‬‫در‬‫وب‬‫را‬‫با‬‫مشکالتی‬‫چند‬‫روبه‬‫ر‬‫و‬‫ساخته‬
‫است‬.
–‫بنابراین‬‫حرکت‬‫به‬‫سمت‬‫های‬‫روش‬‫جایگزین‬‫و‬‫بکارگیری‬‫ابزارهای‬‫نوین‬‫در‬‫ج‬‫ستجو‬‫و‬
‫بازیابی‬‫اطالعات‬‫از‬‫وب‬‫الزم‬‫به‬‫نظر‬‫رسد‬‫می‬.

7. ‫وب‌کاوی‌و‌تبیین‌اهمیت‌آن‬
o‫وب‬‫جهانگستر‬‫بزرگترین‬‫پایگاه‬‫ای‬‫داده‬‫است‬‫که‬‫در‬‫حال‬‫حاضر‬‫وجود‬‫د‬‫ارد‬.
o‫مشکالت‬‫بازیابی‬‫و‬‫استخراج‬‫دانش‬‫از‬‫وب‬‫هنوز‬‫چالش‬‫برانگیز‬‫است‬.
o‫های‬‫داده‬‫موجود‬‫در‬‫وب‬ً‫ا‬‫غالب‬‫بدون‬،‫برچسب‬،‫شده‬‫پخش‬،‫ناهمگن‬‫نیمه‬
،‫ساختاریافته‬‫ناهمزمان‬‫و‬‫چند‬‫بعدی‬‫هستند‬.
o‫پارادایم‬‫وب‬‫کاوی‬‫تالشی‬‫برای‬‫غلبه‬‫بر‬‫ای‬‫پاره‬‫از‬‫این‬‫دست‬‫مشکالت‬‫د‬‫ر‬‫بازیابی‬
‫اطالعات‬‫از‬‫وب‬‫است‬.‫کاوی‬‫وب‬‫از‬‫آن‬‫جهت‬‫حائز‬‫اهمیت‬‫است‬‫که‬‫فعالیتی‬‫ب‬‫رای‬
‫استخراج‬‫اطالعات‬‫و‬‫دانش‬‫موجود‬‫در‬‫وب‬‫است‬‫و‬‫از‬‫آنجائیکه‬‫اهمیت‬‫وب‬‫بر‬
‫کسی‬‫پوشیده‬،‫نیست‬‫هر‬‫گونه‬‫تالش‬‫برای‬‫بازیابی‬‫اطالعات‬‫و‬‫بکا‬‫رگیری‬‫دانش‬
‫موجود‬‫در‬،‫آن‬‫از‬‫جمله‬،‫کاوی‬‫وب‬‫با‬‫ارزش‬‫است‬.

8. ‌‫وب‌کاوی‌و‌تبیین‌اهمیت‬‌‫آن‬(‫ادامه‬)
o‫وب‬‫کاوی‬‫به‬‫عنوان‬‫بخشی‬‫از‬‫مفهوم‬‫گسترده‬‫داده‬‫کاوی‬‫مطرح‬‫است‬.‫داده‬
‫کاوی‬‫فرایند‬‫استخراج‬‫و‬‫تجزیه‬‫و‬‫تحلیل‬‫حجم‬‫عظیمی‬‫از‬‫ها‬‫داده‬‫بر‬‫ای‬
‫کشف‬،‫الگوها‬‫قوانین‬‫و‬‫روابط‬‫موجود‬‫بین‬‫دادهاست‬‫که‬‫به‬‫وسیله‬‫ابزارهای‬
‫خودکار‬‫یا‬‫نیمه‬‫خودکار‬‫انجام‬‫شود‬‫می‬.
o‫وب‬‫کاوی‬‫به‬‫استفاده‬‫از‬‫های‬‫تکنیک‬‫داده‬‫کاوی‬‫برای‬‫بازیابی‬‫خ‬،‫ودکار‬
‫استخراج‬‫و‬‫ارزیابی‬(‫تجزیه‬‫و‬‫تحلیل‬)‫اطالعات‬‫برای‬‫کشف‬‫دانش‬‫از‬
،‫مدارک‬‫اسناد‬‫و‬‫های‬‫سرویس‬‫موجود‬‫در‬‫وب‬‫اشاره‬‫دارد‬.

9. ‌‫عناصر‌اصلی‌وب‬‫کاوی‬
.1‫بازیابی‬‫اطالعات‬:‫که‬‫به‬‫بازیابی‬‫خودکار‬‫اسناد‬‫و‬‫مدارک‬‫مرتبط‬‫ب‬‫ه‬‫کمک‬
‫سازی‬‫نمایه‬‫اسناد‬‫و‬‫موتورهای‬‫جستجو‬‫اشاره‬‫دارد‬.
.2‫استخراج‬‫اطالعات‬:‫که‬‫به‬‫شناسایی‬‫عناصر‬‫مدارک‬‫موجود‬‫در‬‫وب‬‫پ‬‫می‬‫ردازد‬
‫که‬‫از‬‫این‬‫عناصر‬‫به‬‫عنوان‬‫هسته‬‫معنایی‬‫وب‬‫نامبرده‬‫شود‬‫می‬.
.3‫عمومیت‬‫دادن‬:‫که‬‫با‬‫شناسایی‬،‫الگوها‬‫استخراج‬‫ها‬‫آن‬‫و‬‫یاگیری‬‫ماش‬‫ینی‬‫در‬
‫ارتباط‬‫است‬‫و‬‫برای‬‫بندی‬‫خوشه‬‫و‬‫کشف‬‫روابط‬‫بین‬‫ها‬‫داده‬‫بکار‬‫م‬‫رود‬‫ی‬.
.4‫تجزیه‬‫و‬‫تحلیل‬:‫که‬‫در‬‫ارتباط‬‫با‬،‫استخراج‬‫تعبیر‬‫و‬،‫تفسیر‬‫ا‬‫عتبار‬‫بخشی‬‫و‬
‫مصورسازی‬‫دانش‬‫به‬‫دست‬‫آمده‬‫از‬‫جستجو‬‫در‬‫وب‬‫است‬.

10. ‫انواع‌وب‌کاوی‌و‌ساختار‌سلسله‌مراتبی‌آن‬
.1‫وب‬‫کاوی‬‫محتوایی‬
.2‫وب‬‫کاوی‬‫ساختاری‬
.3‫وب‬‫کاوی‬‫کاربری‬

11. ‫وب‌کاوی‌محتوایی‬
o‫در‬‫برگیرنده‬‫جستجوی‬‫محتوایی‬‫اسناد‬‫و‬‫مدارک‬‫چند‬‫ای‬‫رسانه‬‫موجود‬‫در‬‫وب‬‫شامل‬
،‫متن‬،‫فرامتن‬،‫عکس‬‫صدا‬‫و‬‫تصویر‬‫است‬.‫کاوش‬‫محتوایی‬‫وب‬‫ناظر‬‫بر‬‫اس‬‫تخراج‬
‫سلسله‬‫مراتبی‬‫مفاهیم‬‫موجود‬‫در‬‫مدارک‬،‫وبی‬‫ترسیم‬‫روابط‬‫و‬‫دسته‬‫بند‬‫ی‬‫خودکار‬
‫هاست‬‫آن‬.
o‫کاوی‬‫وب‬‫محتوایی‬‫خود‬‫به‬‫وسیله‬‫دو‬‫رویکرد‬‫مبتنی‬‫بر‬‫ها‬‫عامل‬‫و‬‫رویکرد‬‫مبتنی‬‫بر‬
‫پایگاه‬‫ها‬‫داده‬‫انجام‬‫شود‬‫می‬.‫رویکرد‬‫مبتنی‬‫بر‬‫ها‬‫عامل‬‫شامل‬‫کار‬‫بر‬‫روی‬‫عام‬‫های‬‫ل‬
‫جستجو‬،‫هوشمند‬‫بندی‬‫طبقه‬‫اطالعات‬‫و‬‫سازی‬‫سفارشی‬‫سازی‬‫یاخصوصی‬‫ع‬‫های‬‫امل‬
‫وب‬‫است‬‫و‬‫رویکرد‬‫مبتنی‬‫بر‬‫پایگاه‬‫ها‬‫داده‬‫در‬‫برگیرنده‬‫فعالیت‬‫بر‬‫ر‬‫وی‬‫پایگاه‬‫عظیم‬
‫داده‬‫و‬‫مطالعه‬‫سیستم‬‫پرس‬‫و‬‫جو‬‫وبی‬‫است‬.

12. ‫وب‌کاوی‌ساختاری‬
o‫به‬‫معنی‬‫جستجوی‬‫ارتباط‬‫بین‬‫مدارک‬‫موجود‬‫است‬‫که‬‫نمایش‬‫هند‬‫سی‬
‫ها‬‫لینک‬‫در‬‫یک‬‫سایت‬‫یا‬‫بین‬‫های‬‫سایت‬‫مختلف‬‫را‬‫امکان‬‫پذیر‬‫می‬‫سازد‬.
‫برای‬‫مثال‬‫در‬‫موتور‬‫جستجوی‬‫گوگل‬‫گفته‬‫می‬‫شود‬‫یک‬‫صفح‬‫ه‬‫ارزشمند‬
‫است‬‫اگر‬‫از‬‫سوی‬‫صفحه‬‫ارزشمند‬‫دیگری‬‫به‬‫آن‬‫لینک‬‫شده‬‫باشد‬.

13. ‫وب‌کاوی‌کاربری‬
o‫شامل‬‫کاوش‬‫های‬‫داده‬‫شود‬‫می‬‫که‬‫در‬‫نتیجه‬‫تعامل‬‫کاربران‬‫با‬‫وب‬‫یا‬‫استفاده‬
‫ها‬‫آن‬‫به‬‫وجود‬‫آمده‬‫است‬‫و‬‫به‬‫عنوان‬‫یک‬‫سرور‬‫وب‬ً‫ا‬‫عموم‬‫دربرگیرنده‬
‫اطالعات‬‫ورود‬‫به‬‫سیستم‬،‫کاربران‬‫مشخصات‬،‫کاربر‬‫سواالت‬‫کا‬‫ربر‬‫و‬
‫ردیابی‬‫نحوه‬‫جستجو‬‫و‬‫تعامل‬‫کاربران‬‫با‬‫وب‬‫است‬.

14. ‫ساختار‌سلسله‌مراتبی‌وب‌کاوی‬

15. ‫‌های‌برای‌بهبود‌جستج‬‫ه‬‫ً‌در‌برگیرنده‌را‬‫ا‬‫وب‌کاوی‌عموم‬‌‫و‌و‬
‫‌سازی‌جستجوها‌به‌طرق‌مختلف‌زی‬‫ی‬‫بازیابی‌یا‌سفارش‬‫ر‌است‬
.1‫یادگیری‬‫در‬‫مورد‬‫عالئق‬‫و‬‫های‬‫سلیقه‬‫کاربران‬‫بر‬‫اساس‬‫الگوهای‬‫در‬
‫دسترس‬‫از‬‫جستجوها‬‫و‬‫نحوه‬‫تعامل‬‫ها‬‫آن‬‫با‬‫وب‬
.2‫فراهم‬‫آوری‬،‫اطالعات‬،‫ها‬‫داده‬‫های‬‫اگهی‬‫تبلیغاتی‬‫و‬‫صفحات‬‫مورد‬‫ن‬‫یاز‬‫و‬
‫عالقه‬‫کاربران‬
.3‫بکارگیری‬‫زبان‬‫نشانه‬‫گذاری‬‫گسترش‬‫پذیر‬(XML)‫برای‬‫بهبود‬‫جستجو‬‫و‬
‫بازیابی‬‫اطالعات‬‫از‬‫وب‬

16. ‫نتیجه‌گیری‬
o‫تار‬‫جهانگستر‬‫جهانی‬(‫وب‬)‫مخزن‬‫عظیمی‬‫از‬‫اطالعات‬‫ارزشمند‬‫است‬‫ا‬‫ما‬‫با‬
‫توجه‬‫به‬‫که‬‫این‬‫هیچ‬‫روش‬‫سازماندهی‬‫خاصی‬‫برای‬‫ذخیره‬‫حجم‬‫انبوه‬
‫اطالعات‬‫در‬‫آن‬‫بکار‬،‫رود‬‫نمی‬‫بازیابی‬‫منابع‬‫و‬‫اسناد‬‫موجود‬‫در‬‫آن‬‫عم‬ً‫ال‬‫با‬
‫مشکل‬‫مواجه‬‫است‬.‫ناکارآمدی‬‫نسبی‬‫ابزارهای‬،‫جستجو‬‫رشد‬‫تصا‬‫عدی‬
‫های‬‫داده‬‫ذخیره‬‫شده‬‫در‬‫وب‬‫و‬‫طبیعت‬‫پویای‬‫صفحات‬،‫آن‬‫به‬‫موانع‬‫ب‬‫ازیابی‬
‫اطالعات‬‫و‬‫استخراج‬‫دانش‬‫موجود‬‫در‬‫آن‬‫افزوده‬‫است‬.

17. ‌‫نتیجه‌گیری‬(‫ادامه‬:)
o‫پارادیم‬‫وب‬‫کاوی‬‫به‬‫عنوان‬‫بخشی‬‫از‬‫مفهوم‬‫گستره‬‫داده‬‫کاوی‬‫و‬‫ت‬‫الشی‬
‫برای‬‫غلبه‬‫بر‬‫پاره‬‫ای‬‫از‬‫این‬‫دست‬‫مشکالت‬،‫تکنیک‬‫ها‬‫و‬‫ه‬‫مهارت‬‫ای‬
‫خاصی‬‫را‬‫برای‬‫بهبود‬‫فرایند‬‫بازیابی‬‫اطالعات‬‫از‬‫وب‬‫بکار‬‫گ‬‫می‬‫یرد‬.
o‫در‬‫یک‬‫دسته‬‫بندی‬‫کلی‬‫وب‬‫کاوی‬‫شامل‬‫سه‬‫بخش‬‫کاوی‬‫وب‬‫ساخ‬،‫تاری‬
‫کاوی‬‫وب‬‫کاربری‬‫و‬‫کاوی‬‫وب‬‫محتوایی‬‫شود‬‫می‬‫که‬‫به‬‫کمک‬‫تواب‬‫ع‬‫خاصی‬
‫فرایند‬‫بازیابی‬‫اطالعات‬‫از‬‫وب‬‫را‬‫بهبود‬‫بخشند‬‫می‬.
o‫در‬‫هر‬‫حال‬‫به‬‫نظر‬‫رسد‬‫می‬‫کاوی‬‫وب‬‫و‬‫های‬‫تکنیک‬‫آن‬‫فصل‬‫جدیدی‬‫از‬
‫اصول‬‫و‬‫های‬‫روش‬‫بازیابی‬‫اطالعات‬‫و‬‫استخراج‬‫دانش‬‫موجود‬‫در‬‫وب‬‫را‬
‫برای‬‫کاربران‬‫آن‬‫گشوده‬‫است‬.

18. ‫منابع‬
o،‫عبدخدا‬‫هیوا‬(1388).‫کاوش‬‫در‬،‫وب‬‫با‬‫نگاهی‬‫به‬‫جستجو‬‫و‬‫بازیابی‬‫در‬‫های‬‫وب‬‫نسل‬‫جدید‬.‫پژودا‬(‫فصلنامه‬‫علمی‬-‫پژوهشی‬‫مرکز‬‫رشد‬‫استعدادهای‬‫درخشان‬‫دانشگاه‬‫علوم‬‫پ‬‫زشکی‬‫تهران‬).
‫سال‬،‫چهارم‬‫شماره‬13،‫زمستان‬
o Abdekhoda, Hiwa; Dibaj, Koorosh T; Mohammad, Leila (2011). Medical librarians and new web technologies: how familiar are we with
web facilities and use of library services applications? Journal of Health Informatics in Developing Countries. [Under publishing]
o Arotaritei, Dargos; Mitra, Sushmita (2003). Web mining: A survey in the fuzzy framework. Fuzzy sets and systems .V 148, 5-19
o Cho, Yoon Ho; Kim, Jae Kyeong (2004). Application of Web usage mining and product taxonomy to collaborative recommendations in
e-commerce. Expert Systems with Applications.V 26(2), 233-246
o Cooley,R; Mobasher, B; Srivastava, J(1997). Web mining: Information and pattern discovery on the world wide web. Proceeding of
ICTAI, November, California
o Eirinaki, Magdalini; Vazirgiannis, Michalis (2003). Web Mining for Web Personalization . ACM Transactions on Internet Technology,
Vol. 3, No. 1, February 2003, 1–27
o Kohavi,Ron and etal (2002). Web minig. Data mining and Knowledge discovery. Vol 6, 5-8
o Kosala, Raymond; Blockeel, Hendrik (2000). Web Mining Research: A Survey. SIGKDD Explorations. V2(1), 1-15
o Mitra, Scshmita; Acharya,Tinku (2003). Data mining: Multimedia, Soft Computing and Bioinformatics. New jersey: John Wiley & Sons.
o Shamueli, Galit; Patel, R Nitin; Brce, C Peter (2007). Data mining for Business Intelligence. New Jersey: John Wiley & Sons.
o Songa, Qinbao; Shepperd, Martin (2006). Mining web browsing patterns for E-commerce. Computers in Industry.V57(7), 622-630
o Zaiane, R Osmar (2001).Web Usage Mining for a Better Web-Based Learning Environment. Retrival 19 Apr. 2011 from:
http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.21.799

19. ‫ت‬‫از‬‫ر‬‫ک‬‫ش‬‫ت‬
‫با‬‫ما‬‫ش‬‫وجه‬