نحوه پردازش زبان طبیعی با استفاده از پایتون

1. ‫طبیعی‬ ‫زبان‬ ‫پردازش‬‫با‬‫پایتون‬

2. ‫مقدمه‬
‫پایتون‬‫زبان‬ ‫جمله‬ ‫از‬‫ها‬‫ی‬‫برنامه‬‫نو‬‫ی‬‫س‬‫ی‬‫قدرتمند‬‫ی‬‫زم‬ ‫در‬ ‫که‬ ‫است‬‫ی‬‫نه‬‫داده‬ ‫علم‬،‫ها‬‫ی‬‫ادگ‬‫ی‬‫ر‬‫ی‬‫م‬‫اش‬‫ی‬‫ن‬‫ی‬،
‫خودکارساز‬‫ی‬‫سامانه‬‫واسط‬ ،‫وب‬ ‫توسعه‬ ،‫ها‬‫ها‬‫ی‬‫برنامه‬‫نو‬‫ی‬‫س‬‫ی‬‫م‬ ‫گرفته‬ ‫کار‬ ‫به‬ ...‫و‬‫ی‬‫شود‬.‫پا‬‫ی‬‫تون‬‫ی‬‫ک‬‫زبان‬
‫برنامه‬‫نو‬‫ی‬‫س‬‫ی‬‫ش‬ ‫و‬ ‫چندمنظوره‬‫ی‬‫گرا‬‫برا‬ ‫که‬ ‫است‬‫ی‬‫سا‬ ‫توسعه‬‫ی‬‫ت‬‫ها‬‫ی‬‫پو‬‫ی‬،‫ا‬‫تحل‬‫ی‬‫ل‬‫داده‬‫برنامه‬ ‫نوشتن‬ ‫و‬ ‫ها‬‫ها‬‫ی‬
‫م‬ ‫دسکتاپ‬‫ی‬‫توان‬‫اساس‬ ‫اما‬ .‫کرد‬ ‫استفاده‬ ‫آن‬ ‫از‬‫ی‬‫تر‬‫ی‬‫ن‬‫پا‬ ‫کاربرد‬‫ی‬‫تون‬‫اسکر‬ ‫با‬ ‫ارتباط‬ ‫در‬‫ی‬‫پت‬‫نو‬‫ی‬‫س‬‫ی‬‫و‬
‫خودکارساز‬‫ی‬‫پا‬ .‫است‬‫ی‬‫تون‬‫تنها‬‫ی‬‫ک‬‫جا‬‫ی‬‫گز‬‫ی‬‫ن‬‫برا‬‫ی‬‫اسکرپ‬‫ی‬‫ت‬‫ها‬‫ی‬‫شل‬‫ی‬‫ا‬‫فا‬‫ی‬‫ل‬‫ها‬‫ی‬‫دسته‬‫ا‬‫ی‬‫ن‬‫ی‬،‫ست‬‫به‬‫واسطه‬
‫پا‬ ‫از‬ ‫آنکه‬‫ی‬‫تون‬‫برا‬‫ی‬‫مرورگرها‬ ‫با‬ ‫خودکار‬ ‫تعامل‬‫ی‬‫برنامه‬ ،‫وب‬‫ها‬‫ی‬‫گراف‬‫ی‬‫ک‬‫ی‬‫پ‬ ‫و‬‫ی‬‫کربند‬‫ی‬‫س‬‫ی‬‫ستم‬‫ها‬‫طر‬ ‫از‬‫ی‬‫ق‬
‫ابزارها‬‫یی‬‫همچون‬Salt‫و‬Ansible‫م‬‫ی‬‫توان‬‫کرد‬ ‫استفاده‬.‫اصل‬ ‫نسخه‬ ‫دو‬‫ی‬‫پا‬ ‫از‬‫ی‬‫تون‬‫دارد‬ ‫وجود‬‫ک‬‫از‬ ‫انتخاب‬ ‫ه‬
‫م‬‫ی‬‫ان‬‫آن‬‫برا‬ ‫را‬ ‫کار‬ ‫است‬ ‫ممکن‬ ‫ها‬‫ی‬‫مبتد‬ ‫افراد‬‫ی‬‫برنامه‬ ‫و‬‫نو‬‫ی‬‫سان‬‫تازه‬‫کم‬ ‫کار‬‫ی‬‫گ‬‫ی‬‫ج‬‫کننده‬‫نسخه‬ ‫دو‬ .‫کند‬
‫پا‬‫ی‬‫تون‬2‫و‬3‫زم‬ ‫در‬ ‫که‬ ‫است‬ ‫آن‬ ‫خوب‬ ‫خبر‬ .‫هستند‬‫ی‬‫نه‬«‫نحو‬( »Syntax‫ا‬ )‫ی‬‫ن‬‫زبان‬‫با‬ ‫ها‬‫ی‬‫د‬‫ک‬ ‫گفت‬‫بس‬ ‫ه‬‫ی‬‫ار‬
.‫است‬ ‫قبول‬ ‫قابل‬ ‫نسخه‬ ‫دو‬ ‫هر‬ ‫توسعه‬ ‫و‬ ‫هستند‬ ‫مشابه‬
‫اخ‬ ‫سال‬ ‫چند‬ ‫در‬‫ی‬‫ر‬‫فرآ‬‫ی‬‫ند‬‫تجز‬‫ی‬‫ه‬‫تحل‬ ‫و‬‫ی‬‫ل‬‫داده‬‫ها‬‫ی‬‫فناور‬ ‫با‬ ‫مرتبط‬‫ی‬‫اطال‬‫ب‬ ‫عات‬‫ی‬‫ش‬‫انداز‬ ‫از‬‫پ‬ ‫ه‬‫ی‬‫چ‬‫ی‬‫ده‬‫شده‬
‫هم‬ ‫به‬ ،‫است‬‫ی‬‫ن‬‫دل‬‫ی‬‫ل‬‫پا‬ ‫زبان‬‫ی‬‫تون‬‫تعق‬ ‫در‬ ‫و‬‫ی‬‫ب‬‫ستارگان‬ ‫به‬ ‫آر‬ ‫زبان‬ ‫آن‬‫ی‬‫که‬‫تاز‬‫ا‬‫ی‬‫ن‬‫م‬‫ی‬‫دان‬‫ت‬‫بد‬‫ی‬‫ل‬‫شده‬‫با‬ .‫اند‬
‫محبوب‬ ‫به‬ ‫توجه‬‫ی‬‫ت‬‫ب‬‫ی‬‫ش‬‫پا‬ ‫زبان‬ ‫اندازه‬ ‫از‬‫ی‬‫تون‬‫شاهد‬ ‫امروزه‬‫ی‬‫م‬‫ط‬ ‫که‬‫ی‬‫ف‬‫گسترده‬‫ا‬‫ی‬‫کتابخانه‬ ‫از‬‫ها‬‫ی‬‫مورد‬
‫در‬ ‫استفاده‬‫ی‬‫ادگ‬‫ی‬‫ر‬‫ی‬‫ماش‬‫ی‬‫ن‬‫داده‬ ‫علم‬ ‫و‬‫ها‬‫ی‬‫ک‬‫واسط‬‫ی‬‫ا‬‫دق‬ ‫عبارت‬ ‫به‬‫ی‬‫ق‬‫تر‬‫رابط‬‫ها‬‫ی‬‫و‬‫ی‬‫ژه‬‫پا‬ ‫زبان‬‫ی‬‫تون‬‫ارائه‬ ‫را‬
‫کرده‬‫اند‬.
‫پایتون‬ ‫نصب‬
‫می‬ ‫را‬ ‫پایتون‬ ‫مفسر‬‫میزبان‬ ‫روی‬ ‫بر‬ ‫توان‬‫لینوکسی‬ ‫یا‬ ‫ویندوزی‬ ‫های‬‫نمود‬ ‫نصب‬‫ن‬ ‫ادامه‬ ‫در‬ .‫مفسر‬ ‫نصب‬ ‫حوه‬
‫می‬ ‫توضیح‬ ‫را‬ ‫لینوکسی‬ ‫میزبان‬ ‫روی‬ ‫بر‬ ‫پایتون‬:‫دهیم‬
‫زیر‬ ‫فرمان‬ ‫با‬‫شد‬ ‫خواهند‬ ‫نصب‬ ‫و‬ ‫دانلود‬ ‫مربوطه‬ ‫نیازهای‬ ‫پیش‬ ‫و‬ ‫پایتون‬ ‫افزاری‬ ‫نرم‬ ‫بسته‬
yum install python

3. ‫می‬ ‫مطلع‬ ‫پایتون‬ ‫مفسر‬ ‫نسخه‬ ‫و‬ ‫بودن‬ ‫نصب‬ ‫از‬ ‫زیر‬ ‫فرمان‬ ‫کردن‬ ‫وارد‬ ‫با‬.‫شویم‬
python -V
‫نصب‬NLTK
‫کتابخانه‬NLTK.‫است‬ ‫پایتون‬ ‫نویسی‬ ‫برنامه‬ ‫محیط‬ ‫در‬ ‫زبان‬ ‫پردازش‬ ‫جهت‬ ‫کارآمد‬ ‫کتابخانه‬ ‫یک‬‫استفاده‬ ‫جهت‬
‫افزار‬ ‫نرم‬ ‫با‬ ‫را‬ ‫مربوطه‬ ‫بسته‬ ‫باید‬ ‫ابتدا‬ ‫کتابخانه‬ ‫این‬ ‫از‬pip‫است‬ ‫جهت‬ ‫سپس‬ ‫نمایید‬ ‫نصب‬‫کد‬ ‫در‬ ،‫آن‬ ‫از‬ ‫فاده‬
‫را‬ ‫آن‬ ‫خود‬import.‫نمایید‬
‫افزاری‬ ‫نرم‬ ‫بسته‬ ‫زیر‬ ‫فرمان‬ ‫با‬NLTK‫می‬ ‫نصب‬.‫گردد‬
pip install -U nltk
pip install -U numpy
‫کتابخانه‬ ‫صحیح‬ ‫نصب‬ ‫از‬ ‫اطمینان‬ ‫جهت‬NLTK‫دستور‬ ‫پایتون‬ ‫مفسر‬ ‫تعاملی‬ ‫محیط‬ ‫به‬ ‫ورود‬ ‫با‬import nltk‫را‬
.‫نمایید‬ ‫وارد‬
‫کتابخانه‬ ‫از‬ ‫مهمی‬ ‫بخش‬NLTK‫می‬ ‫شما‬ .‫است‬ ‫آن‬ ‫داده‬ ‫پایگاه‬‫مرب‬ ‫داده‬ ‫نیاز‬ ‫اساس‬ ‫بر‬ ‫توانید‬‫را‬ ‫خود‬ ‫پروژه‬ ‫به‬ ‫وط‬
‫گزینه‬ ‫انتخاب‬ ‫با‬ ‫یا‬ ‫نمایید‬ ‫دانلود‬all‫داده‬ ‫تمام‬.‫نمایید‬ ‫دریافت‬ ‫را‬ ‫ها‬
‫و‬ ‫پایتون‬ ‫تعاملی‬ ‫محیط‬ ‫به‬ ‫ورود‬ ‫از‬ ‫پس‬ ‫بدیمنظور‬import‫کتابخانه‬ ‫نمودن‬NLTK‫را‬ ‫زیر‬ ‫فرمان‬.‫نمایید‬ ‫وارد‬
nltk.download()

4. ‫گزینه‬ ‫انتخاب‬ ‫با‬ ،‫فوق‬ ‫فرمان‬ ‫اجرای‬ ‫از‬ ‫پس‬d‫عبارت‬ ‫ورود‬ ‫آن‬ ‫از‬ ‫پس‬ ‫و‬all‫داده‬ ‫تمام‬‫دا‬ ‫ها‬.‫شد‬ ‫خواهند‬ ‫نلود‬
‫نمونه‬ ‫اجرای‬
‫نمو‬ ‫در‬ .‫کرد‬ ‫اجرا‬ ‫میزبان‬ ‫روی‬ ‫بر‬ ‫و‬ ‫نوشت‬ ‫متنی‬ ‫ویرایشگر‬ ‫هر‬ ‫در‬ ‫میتوان‬ ‫را‬ ‫پایتون‬ ‫کدهای‬‫کد‬ ‫قطعه‬ ‫یک‬ ‫زیر‬ ‫نه‬
‫جهت‬tokenize‫جمله‬ ‫یک‬ ‫عبارات‬ ‫روی‬ ‫بر‬ ‫گذاری‬ ‫تگ‬ ‫و‬.‫است‬ ‫شده‬ ‫نوشته‬
‫می‬ ‫کدی‬ ‫قطعه‬ ‫ابتدا‬‫را‬ ‫نظر‬ ‫مورد‬ ‫جمله‬ ‫آن‬ ‫در‬ ‫که‬ ‫نویسیم‬tokenize‫می‬.‫کنیم‬
‫توکن‬ ‫از‬ ‫لیستی‬ ‫آن‬ ‫خروجی‬ ‫فوق‬ ‫کد‬ ‫قطعه‬ ‫اجرای‬ ‫با‬.‫بود‬ ‫خواهد‬ ‫ها‬
‫توکن‬ ‫روی‬ ‫بر‬ ‫گذاری‬ ‫تگ‬ ‫با‬ ‫را‬ ‫خود‬ ‫کد‬ ‫بعد‬ ‫مرحله‬ ‫در‬‫می‬ ‫تکمیل‬ ‫ها‬.‫کنیم‬

5. ‫می‬ ‫مالحضه‬ ‫خروجی‬ ‫اجرای‬ ‫با‬‫از‬ ‫یک‬ ‫هر‬ ‫که‬ ‫شود‬‫توکن‬‫اند‬ ‫شده‬ ‫گذاری‬ ‫تگ‬ ‫نظر‬ ‫مورد‬ ‫جمله‬ ‫های‬.
‫با‬ ‫بعد‬ ‫مرحله‬ ‫در‬‫می‬ ‫بندی‬ ‫قطعه‬ ‫را‬ ‫شده‬ ‫گذاری‬ ‫تگ‬ ‫عبارات‬ ‫طبیعی‬ ‫زبان‬ ‫پردازش‬ ‫ویژگی‬.‫کنیم‬
‫بود‬ ‫خواهد‬ ‫زیر‬ ‫شکل‬ ‫به‬ ‫نهایی‬ ‫خروجی‬
‫کتابخانه‬ ‫از‬ ‫استفاده‬ ‫با‬treebank‫در‬ ‫موجود‬NLTK‫امکان‬.‫است‬ ‫میسر‬ ‫خروجی‬ ‫گراف‬ ‫رسم‬
‫مرجع‬
http://www.nltk.org/book