SlideShare a Scribd company logo
1 of 43
Download to read offline
ELASTICSEARCH & GARTEX.IR
‫آ‬ ‫از‬ ‫استفاده‬ ‫و‬ ‫اندازی‬ ‫راه‬ ‫کامل‬ ‫راهنمای‬ ‫و‬ ‫سرچ‬ ‫االستیک‬ ‫داده‬ ‫پایگاه‬‫ن‬–‫اشیا‬ ‫اینترنت‬ ‫و‬ ‫مانیتورینگ‬ ‫گارتکس‬ ‫توسعه‬ ‫تیم‬ ‫توسط‬
HTTPS://WWW.LINKEDIN.COM/ORGANIZATION-GUEST/COMPANY/GARTEX
ELK STACK
‫چیست؟‬ ‫الک‬
-‫اال‬ ،‫باشد‬ ‫می‬ ‫کیبانا‬ ‫و‬ ‫استش‬ ‫الگ‬ ،‫سرچ‬ ‫االستیک‬ ‫باز‬ ‫متن‬ ‫پروژه‬ ‫سه‬ ‫مخفف‬‫ستیک‬
‫ب‬ ‫و‬ ‫باشد‬ ‫می‬ ‫مختلف‬ ‫های‬ ‫سیستم‬ ‫های‬ ‫الگ‬ ‫آوری‬ ‫جمع‬ ‫برای‬ ‫داده‬ ‫پایگاه‬ ‫یک‬ ‫سرچ‬‫ا‬
‫استش‬ ‫الگ‬ ‫از‬ ‫استفاده‬(‫بیت‬ ‫متریک‬ ‫و‬ ‫بیت‬ ‫فایل‬ ‫مانند‬ ‫مرتبط‬ ‫های‬ ‫ماژول‬ ‫و‬)‫ال‬‫را‬ ‫ها‬ ‫گ‬
‫گذارد‬ ‫می‬ ‫نمایش‬ ‫به‬ ‫را‬ ‫ها‬ ‫آن‬ ‫کیبانا‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫و‬ ‫آوری‬ ‫جمع‬.
-‫خدما‬ ‫کیفیت‬ ‫بررسی‬ ، ‫متن‬ ‫پردازش‬ ‫،برای‬ ‫متنی‬ ‫های‬ ‫داده‬ ‫پردازش‬ ‫و‬ ‫آوری‬ ‫جمع‬،‫ت‬
‫و‬ ‫ها‬ ‫الگو‬ ‫بازشناسی‬ ،‫فریب‬ ‫تشخیص‬ ،‫امنیتی‬ ‫های‬ ‫رویداد‬ ‫تحلیل‬...‫الک‬ ‫اهداف‬ ‫از‬‫می‬
‫باشد‬.
‫است؟‬ ‫سخت‬ ‫ها‬ ‫الگ‬ ‫از‬ ‫اطالعات‬ ‫استخراج‬ ‫چرا‬
‫روزانه‬‫هزاران‬‫ترابایت‬‫الگ‬‫در‬‫سیستم‬‫های‬‫مختلف‬‫تولید‬‫می‬‫شود‬‫اما‬‫استفاده‬‫از‬‫این‬‫الگ‬‫ها‬‫به‬‫دالیل‬‫زیر‬‫سخ‬‫ت‬‫است‬:
-‫ساختار‬‫استاندارد‬‫برای‬‫تولید‬‫الگ‬‫وجود‬‫ندارد‬
-‫یکپارچگی‬‫در‬‫ساختار‬‫الگ‬‫وجود‬‫ندارد‬
-‫برای‬‫مطالعه‬‫آن‬‫ها‬‫یک‬‫متخصص‬‫حتما‬‫باید‬‫وجود‬‫داشته‬‫باشد‬.
-‫ساختار‬‫عبارات‬‫منظم‬Regular Expression & grep‫مقیاس‬‫پذیر‬‫نیستند‬
‫استفاد‬ ‫با‬ ‫استش‬ ‫الگ‬ ‫فیلترینگ‬ ‫و‬ ‫منظم‬ ‫عبارات‬ ‫با‬ ‫سنتی‬ ‫فیلترینگ‬ ‫تفاوت‬‫گ‬ ‫الگوی‬ ‫از‬ ‫ه‬‫استش‬ ‫الگ‬ ‫در‬ ‫راک‬
‫کند؟‬ ‫می‬ ‫کمکی‬ ‫چه‬ ‫الک‬
‫با‬‫استفاده‬‫از‬‫الگ‬‫استش‬‫داده‬‫ها‬‫را‬‫از‬‫منابع‬‫مختلف‬‫جمع‬‫آوری‬‫می‬‫کند‬‫و‬‫با‬‫استفاده‬‫از‬‫فیلتر‬‫ها‬‫و‬‫پارسر‬‫ها‬‫آن‬‫ها‬‫را‬‫جدا‬‫می‬‫کند‬
‫تبدیل‬‫و‬‫غنا‬‫بخشی‬‫به‬‫الگ‬‫متل‬GROK , GEOspatioal‫و‬‫نبدیل‬‫به‬JSON
‫قابل‬‫ارسال‬‫به‬‫منابع‬‫مختلف‬‫مثل‬‫پایگاه‬‫های‬‫داده‬‫و‬‫داشبورد‬‫ها‬
‫االسیتک‬،‫سرچ‬‫در‬‫جستجو‬‫و‬‫تحلیل‬‫داده‬‫ها‬‫خوب‬‫عمل‬‫می‬‫کند‬‫و‬‫قابلیت‬‫توسعه‬‫عرضی‬‫و‬‫دسترسی‬‫باال‬‫و‬‫نزدیک‬‫به‬‫بالدرنگی‬‫را‬‫به‬‫ما‬‫می‬‫دهد‬
‫کیبانا‬‫نیز‬‫در‬‫نمایش‬‫داده‬‫ها‬‫و‬‫به‬‫تصویر‬‫درآوردن‬‫تحلیل‬‫و‬‫جزئیات‬‫به‬‫ما‬‫کمک‬‫می‬‫کند‬.
‫است؟‬ ‫چگونه‬ ‫الک‬ ‫عملکرد‬
‫جمع‬ ‫ها‬ ‫داده‬ ‫بیتس‬ ‫با‬
‫شوند‬ ‫می‬ ‫آوری‬.
‫ها‬ ‫داده‬ ‫استش‬ ‫الگ‬ ‫با‬
‫ساختار‬ ‫و‬ ‫جداسازی‬ ،‫فیلتر‬
‫شوند‬ ‫می‬ ‫بندی‬.
‫ایندک‬ ‫ها‬ ‫داده‬ ‫سرچ‬ ‫االستیک‬ ‫با‬‫س‬
‫شوند‬ ‫می‬ ‫نگهداری‬ ‫و‬ ‫گذاری‬
‫نمای‬ ‫امکان‬ ،‫کیبانا‬ ‫از‬ ‫استفاده‬ ‫با‬‫ش‬
‫و‬ ‫شناسایی‬ ‫خدمات‬ ‫ارائه‬ ،‫ها‬ ‫داده‬
‫پ‬ ‫امکان‬ ‫تصویری‬ ‫صورت‬ ‫به‬ ‫آالرم‬‫ذیر‬
‫شود‬ ‫می‬.
‫کند؟‬ ‫می‬ ‫کمکی‬ ‫چه‬ ‫ها‬ ‫سازمان‬ ‫به‬ ‫الک‬
‫اتفاق‬ ‫بررسی‬ ‫نیازمند‬ ‫خود‬ ‫رسانی‬ ‫خدمات‬ ‫بهبود‬ ‫جهت‬ ‫ها‬ ‫سازمان‬ ‫گذشته‬ ‫از‬‫ا‬ ‫با‬ ‫آینده‬ ‫های‬ ‫رویداد‬ ‫بینی‬ ‫پیش‬ ‫و‬ ‫ات‬‫از‬ ‫ستفاده‬
‫اند‬ ‫بوده‬ ‫سیستم‬ ‫الگ‬ ‫های‬ ‫توانایی‬.‫االس‬ ‫ها‬ ‫ابزار‬ ‫بهترین‬ ‫از‬ ‫یکی‬ ‫بزرگ‬ ‫های‬ ‫داده‬ ‫پردازش‬ ‫و‬ ‫آوری‬ ‫جمع‬ ‫برای‬‫اس‬ ‫تیک‬‫می‬ ‫تک‬
‫باشد‬.
‫استک‬ ‫االستیک‬ ‫مزایای‬:
-‫ها‬ ‫سیستم‬ ‫و‬ ‫ها‬ ‫اپلیکیشن‬ ‫امنیتی‬ ‫پایش‬SIEM
-‫و‬ ‫ها‬ ‫اپلیکیشن‬ ‫های‬ ‫پاسخ‬ ‫بازدهی‬ ‫و‬ ‫سرعت‬ ،‫اجرایی‬ ‫اطالعات‬ ‫جزئیات‬ ‫پایش‬‫ها‬ ‫سیستم‬APM
-‫ها‬ ‫سیستم‬ ‫داده‬ ‫های‬ ‫پایگاه‬ ‫روی‬ ‫بر‬ ‫شده‬ ‫اجرا‬ ‫های‬ ‫کوئری‬ ‫پایش‬
-‫های‬ ‫جواب‬ ‫و‬ ‫ها‬ ‫درخواست‬ ‫پایش‬HTTP
-‫مم‬ ‫زمان‬ ‫ترین‬ ‫کوتاه‬ ‫در‬ ‫سیستم‬ ‫مشکالت‬ ‫و‬ ‫ها‬ ‫مهم،خطا‬ ‫های‬ ‫رویداد‬ ‫یافتن‬‫ها‬ ‫آن‬ ‫بندی‬ ‫دسته‬ ‫و‬ ‫کن‬
-‫مختلف‬ ‫های‬ ‫سیستم‬ ‫های‬ ‫درالگ‬ ‫فریبکاری‬ ‫یافتن‬
-‫ها‬ ‫درخواست‬ ‫جغرافیایی‬ ‫نقشه‬ ‫اساس‬ ‫بر‬ ‫گیری‬ ‫گزارش‬
-‫ماشین‬ ‫یادگیری‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫داده‬ ‫های‬ ‫مدل‬ ‫بررسی‬‫سیستم‬ ‫های‬ ‫ناهنجاری‬ ‫شناسایی‬ ‫و‬
‫ها‬ ‫سیستم‬ ‫و‬ ‫ها‬ ‫اپلیکیشن‬ ‫امنیتی‬ ‫پایش‬SIEM
‫های‬ ‫قابلیت‬ ‫از‬ ‫استفاده‬ ‫با‬AUDIT BEAT‫می‬
‫شناسای‬ ‫را‬ ‫ناموفق‬ ‫و‬ ‫نامعتبر‬ ‫های‬ ‫درخواست‬ ‫توان‬‫و‬ ‫ی‬
‫قرار‬ ‫استفاده‬ ‫مورد‬ ‫خطر‬ ‫منبع‬ ‫کردن‬ ‫پیدا‬ ‫جهت‬ ‫در‬
‫داد‬.
ELASTIC SEIM‫ب‬ ‫را‬ ‫شبکه‬ ‫و‬ ‫هاست‬ ‫یکپارچگی‬‫ه‬
‫وسیله‬ELASTIC COMMON SCHEMA
‫گذارد‬ ‫می‬ ‫اجرا‬ ‫به‬.
‫استفاد‬ ‫و‬ ‫مدیریت‬ ‫در‬ ‫االستیک‬ ‫درونی‬ ‫توانایی‬‫از‬ ‫ه‬
‫کامل‬ ‫بررسی‬ ‫و‬ ‫داده‬ ‫پتابایت‬DNS‫های‬ ‫ترند‬ ،
‫ت‬ ‫اصلی‬ ‫منشا‬ ‫یافتن‬ ‫به‬ ،‫داده‬ ‫جریان‬ ‫و‬ ‫ها‬ ‫کوئری‬‫هدید‬
‫کند‬ ‫می‬ ‫کمک‬ ‫ها‬.
‫ها‬ ‫سیستم‬ ‫و‬ ‫ها‬ ‫اپلیکیشن‬ ‫امنیتی‬ ‫پایش‬SIEM
-‫و‬ ‫ها‬ ‫اپلیکیشن‬ ‫های‬ ‫پاسخ‬ ‫بازدهی‬ ‫و‬ ‫سرعت‬ ،‫اجرایی‬ ‫اطالعات‬ ‫جزئیات‬ ‫پایش‬‫ها‬ ‫سیستم‬APM
‫های‬ ‫قابلیت‬ ‫از‬ ‫استفاده‬ ‫با‬APM‫متریک‬ ‫توانید‬ ‫می‬
‫تشحیص‬ ‫با‬ ‫و‬ ‫کرده‬ ‫ماینتور‬ ‫را‬ ‫اپلیکیشن‬ ‫های‬‫محل‬
‫اپلبک‬ ‫پاسخگویی‬ ‫سرعت‬ ‫بهبود‬ ‫به‬ ،‫تعلل‬ ‫های‬‫و‬ ‫یشن‬
‫کنید‬ ‫کمک‬ ‫اپلیکیشن‬ ‫های‬ ‫باگ‬ ‫رفع‬.
‫بررسی‬ ‫وسیله‬ ‫به‬ ‫را‬ ‫ها‬ ‫اپلیکیشن‬ ‫های‬ ‫تاخیر‬
‫کنیم‬ ‫می‬ ‫مانیتور‬ ‫سیستم‬ ‫انتقاالت‬.
‫متداو‬ ‫های‬ ‫زبان‬ ‫از‬ ‫بسیاری‬ ‫با‬ ‫هماهنگی‬ ‫قابلیت‬‫ل‬
‫های‬ ‫قابلیت‬ ‫از‬ ‫بخشی‬APM‫باشد‬ ‫می‬.
-‫و‬ ‫ها‬ ‫اپلیکیشن‬ ‫های‬ ‫پاسخ‬ ‫بازدهی‬ ‫و‬ ‫سرعت‬ ،‫اجرایی‬ ‫اطالعات‬ ‫جزئیات‬ ‫پایش‬‫ها‬ ‫سیستم‬APM
-‫ها‬ ‫سیستم‬ ‫داده‬ ‫های‬ ‫پایگاه‬ ‫روی‬ ‫بر‬ ‫شده‬ ‫اجرا‬ ‫های‬ ‫کوئری‬ ‫پایش‬
‫دقی‬ ‫بررسی‬ ‫نیازمند‬ ‫داده‬ ‫های‬ ‫پایگاه‬ ‫از‬ ‫بسیاری‬‫ق‬
‫و‬ ‫ورود‬ ‫وضعیت‬ ،‫هستند‬ ‫ها‬ ‫کوئری‬ ‫اجرای‬ ‫وضعیت‬
‫داده‬ ‫های‬ ‫پایگاه‬ ‫در‬ ‫چه‬ ‫ها‬ ‫داده‬ ‫خروج‬SQL‫چه‬
NOSQL‫های‬ ‫الگ‬ ‫تحلیل‬ ‫و‬ ‫ذخیره‬ ‫نیازمند‬
‫باشند‬ ‫می‬ ‫دیتابیس‬ ‫سرویس‬.
-‫های‬ ‫جواب‬ ‫و‬ ‫ها‬ ‫درخواست‬ ‫پایش‬HTTP
‫به‬ ‫عملیاتی‬ ‫های‬ ‫سیستم‬ ‫های‬ ‫سرور‬ ‫پاسخ‬
‫کلی‬ ‫وضعیت‬ ‫دهنده‬ ‫نشان‬ ‫کاربران‬ ‫های‬ ‫درخواست‬
‫پ‬ ‫انواع‬ ‫بررسی‬ ‫با‬ ‫توان‬ ‫می‬ ،‫باشد‬ ‫می‬ ‫سیستم‬‫اسخ‬
‫سرور‬ ‫بررسی‬ ‫و‬ ‫ها‬ ‫آن‬ ‫نوع‬ ‫بررسی‬ ‫و‬ ‫سرور‬ ‫های‬
‫آگ‬ ‫سرور‬ ‫اپلیکیشن‬ ‫سالمت‬ ‫به‬ ‫نسبت‬ ،‫پاسخ‬‫اهی‬
‫نمود‬ ‫مشخص‬ ‫را‬ ‫مشکل‬ ‫ریشه‬ ‫یا‬ ‫و‬ ‫یافت‬.
-‫مم‬ ‫زمان‬ ‫ترین‬ ‫کوتاه‬ ‫در‬ ‫سیستم‬ ‫مشکالت‬ ‫و‬ ‫ها‬ ‫مهم،خطا‬ ‫های‬ ‫رویداد‬ ‫یافتن‬‫بندی‬ ‫دسته‬ ‫و‬ ‫کن‬‫ها‬ ‫آن‬
‫های‬ ‫بخش‬ ‫های‬ ‫فعالیت‬ ‫هیستوگرام‬ ‫بررسی‬ ‫با‬
‫سیس‬ ‫پیک‬ ‫های‬ ‫زمان‬ ‫توان‬ ‫می‬ ‫سیستم‬ ‫مختلف‬‫و‬ ‫تم‬
‫ممکن‬ ‫زمان‬ ‫ترین‬ ‫کوتاه‬ ‫در‬ ‫را‬ ‫مرتبط‬ ‫مشکالت‬
‫ب‬ ‫مختلف‬ ‫های‬ ‫آالرم‬ ‫تنظیم‬ ‫با‬ ‫و‬ ‫نمود‬ ‫شناسایی‬‫ر‬
‫ها‬ ‫آن‬ ‫خطاهای‬ ‫رفع‬ ‫و‬ ‫آگاهی‬ ‫به‬ ‫نسبت‬ ،‫آن‬ ‫روی‬
‫نمود‬ ‫اقدام‬.
‫آن‬ ‫بررسی‬ ‫و‬ ‫ها‬ ‫داده‬ ‫آماری‬ ‫رفتارهای‬ ‫سازی‬ ‫منطبق‬
‫ب‬ ‫پیش‬ ‫برای‬ ‫تواند‬ ‫می‬ ،‫نرمال‬ ‫حالت‬ ‫به‬ ‫نسبت‬ ‫ها‬‫ینی‬
‫باشد‬ ‫کننده‬ ‫کمک‬ ‫آینده‬ ‫اتفاقات‬‫نرمال‬ ‫غیر‬ ‫رفتارهای‬
‫نرمال‬ ‫رفتارهای‬
-‫مختلف‬ ‫های‬ ‫سیستم‬ ‫های‬ ‫درالگ‬ ‫فریبکاری‬ ‫یافتن‬
‫های‬ ‫الگ‬ ‫بررسی‬ ‫با‬ ،‫بخشی‬ ‫چند‬ ‫های‬ ‫سیستم‬ ‫در‬
‫ا‬ ‫هماهنگی‬ ‫ارزیابی‬ ‫و‬ ‫سیستم‬ ‫مختلف‬ ‫های‬ ‫بخش‬‫ین‬
‫چه‬ ،‫ها‬ ‫سیستم‬ ‫های‬ ‫الگ‬ ‫در‬ ‫یکپارچگی‬ ‫و‬ ‫ها‬ ‫الگ‬
‫توان‬ ‫می‬ ‫سیستمی‬ ‫بخش‬ ‫در‬ ‫چه‬ ‫و‬ ‫مالی‬ ‫بخش‬ ‫در‬‫از‬
‫شد‬ ‫مطمئن‬ ‫فریبکاری‬ ‫وجود‬.
-‫ها‬ ‫درخواست‬ ‫جغرافیایی‬ ‫نقشه‬ ‫اساس‬ ‫بر‬ ‫گیری‬ ‫گزارش‬
‫درخواست‬ ‫جغرافیایی‬ ‫های‬ ‫محل‬ ‫به‬ ‫نسبت‬ ‫آگاهی‬
‫باعث‬ ،‫جغرافیایی‬ ‫های‬ ‫ترند‬ ‫بررسی‬ ،‫حمالت‬ ،‫ها‬
‫های‬ ‫محدوده‬ ‫در‬ ‫مشکل‬ ‫رفع‬ ‫جهت‬ ‫برنامه‬ ‫یک‬ ‫ایجاد‬
‫ایجا‬ ‫ریزی‬ ‫برنامه‬ ‫و‬ ‫شناسایی‬ ،‫جغرافیایی‬ ‫خاص‬‫د‬
‫و‬ ‫سئو‬ ‫سازی‬ ‫بهینه‬ ‫یا‬ ‫و‬ ‫خاص‬ ‫های‬ ‫محل‬ ‫در‬ ‫سرور‬
‫شود‬ ‫می‬ ‫مرتبط‬ ‫موضوعات‬.
-‫ناهنجار‬ ‫شناسایی‬ ‫و‬ ‫ماشین‬ ‫یادگیری‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫داده‬ ‫های‬ ‫مدل‬ ‫بررسی‬‫سیستم‬ ‫های‬ ‫ی‬
‫ب‬ ،‫خاص‬ ‫رویداد‬ ‫یک‬ ‫پیشین‬ ‫های‬ ‫مدل‬ ‫بررسی‬ ‫با‬‫ه‬
‫روند‬ ‫یا‬ ‫وب‬ ‫صفحه‬ ‫یک‬ ‫بازدید‬ ‫روند‬ ،‫مثال‬ ‫عنوان‬
‫یک‬ ‫به‬ ‫دسترسی‬API‫پست‬ ‫حدودی‬ ‫میزان‬ ‫یا‬ ‫و‬
‫مدل‬ ‫توان‬ ‫می‬ ،‫خاص‬ ‫سرور‬ ‫یک‬ ‫به‬ ‫ارسالی‬ ‫های‬
‫سیس‬ ‫برای‬ ‫ماشین‬ ‫یادگیری‬ ‫وسیله‬ ‫به‬ ‫خاصی‬‫تم‬
‫توان‬ ‫می‬ ‫مدل‬ ‫این‬ ‫بررسی‬ ‫با‬ ‫که‬ ‫نمود‬ ‫شناسایی‬
‫ک‬ ‫بینی‬ ‫پیش‬ ‫نیز‬ ‫را‬ ‫سیستم‬ ‫آینده‬ ‫اتفاقات‬‫به‬ ‫که‬ ‫رد‬
‫نما‬ ‫می‬ ‫شایانی‬ ‫کمک‬ ‫سیستم‬ ‫روند‬ ‫شناسایی‬‫ید‬.
‫ا‬ ‫ریشه‬ ‫یافتن‬ ‫و‬ ‫ها‬ ‫ناهنجاری‬ ‫شناسایی‬ ‫برای‬ ‫ماشین‬ ‫یادگیری‬ ‫از‬ ‫استفاده‬‫صلی‬
‫مشهور‬ ‫شده‬ ‫استفاده‬ ‫های‬ ‫نمونه‬:
‫هاب‬ ‫گیت‬ ‫سایت‬:‫مقیاسی‬ ‫بررسی‬‫ویکیپدیا‬ ‫سایت‬:‫های‬ ‫زبان‬ ‫بازشناسی‬‫مختلف‬
‫تحقق‬ ‫کار‬ ‫راه‬ELK
‫تحقق‬ ‫کار‬ ‫راه‬ELK‫اجرا‬ ‫و‬ ‫نصب‬ ‫راه‬ ‫نقشه‬ ،
1.‫اجزاء‬ ‫نصب‬
2.‫تنظیم‬ ‫و‬ ‫استقرار‬
‫سرچ‬ ‫االستیک‬ ‫خوشه‬
3.‫گذاری‬ ‫شاخص‬
‫ها‬ ‫داده‬
4.‫تحلیل‬ ‫و‬ ‫نگاشت‬
‫متن‬
5.‫و‬ ‫سازی‬ ‫میزان‬
‫خوشه‬ ‫سازی‬ ‫خودکار‬
6.‫سازی‬ ‫بهینه‬
‫کوئری‬
7.‫تجمیع‬8.‫کافکا‬ ‫آپاچی‬9.‫آموزش‬
1.‫اجزا‬ ‫نصب‬
1.1‫ها‬ ‫کامپوننت‬ ‫تنظیم‬ ‫و‬ ‫نصب‬
INSTALLATION AND
CONFIGURATION COMPONENT
-‫اس‬ ‫الگ‬ ،‫انجینکس‬ ‫های‬ ‫پکیج‬ ‫تنظیم‬ ‫و‬ ‫نصب‬،‫تش‬
‫م‬ ‫ماشین‬ ‫یک‬ ‫روی‬ ‫بر‬ ‫کیبانا‬ ‫و‬ ‫سرچ‬ ‫االستیک‬‫جازی‬
‫شبکه‬ ‫در‬‫راه‬ ،‫نصب‬ ‫و‬،‫اندازی‬‫بازده‬ ‫سازی‬ ‫بهینه‬‫ی‬
‫ه‬ ‫گره‬ ‫تمامی‬ ‫روی‬ ‫بر‬ ‫بیت‬ ‫فایل‬ ‫ماژول‬ ‫تنظیم‬ ‫و‬‫ای‬
‫شبکه‬
-‫جمع‬ ‫و‬ ‫هدف‬ ‫های‬ ‫ماشین‬ ‫روی‬ ‫بر‬ ‫دیتا‬ ‫نت‬ ‫نصب‬
‫صفحه‬ ‫یک‬ ‫به‬ ‫ها‬ ‫داده‬ ‫تمامی‬ ‫آوری‬HTML‫به‬
‫اجرایی‬ ‫موارد‬ ‫ردیابی‬ ‫و‬ ‫بالدرنگ‬ ‫صورت‬
-‫وس‬ ‫به‬ ‫تنظیم‬ ‫و‬ ‫نصب‬ ‫فرآیند‬ ‫سازی‬ ‫خودکار‬‫یله‬
ANSIBLE‫فرآیند‬ ‫سازی‬ ‫مستند‬ ‫و‬
1.2‫دیتا‬ ‫نت‬ ‫شبکه‬ ‫مانیتور‬ ‫افزار‬ ‫نرم‬ ‫نصب‬
1.3‫انسیبل‬ ‫با‬ ‫فرآیند‬ ‫سازی‬ ‫خودکار‬
2.‫االستیک‬ ‫های‬ ‫خوشه‬ ‫تنظیم‬ ‫و‬ ‫استقرار‬‫سرچ‬
2.1‫سرچ‬ ‫االستیک‬ ‫خوشه‬ ‫استقرار‬
DEPLOY AND CONFIGURE
ELASTICSEARCH CLUSTER
-‫سرچ‬ ‫االستیک‬ ‫خوشه‬ ‫استقرار‬
.‫فایل‬ ‫کردن‬ ‫باز‬ ‫مخشص‬ ‫های‬ ‫محدودیت‬ ‫با‬ ‫االستیک‬ ‫کاربر‬ ‫یک‬ ‫ایجاد‬
.‫وسیله‬ ‫به‬ ‫حافظه‬ ‫نگاشت‬ ‫های‬ ‫محدودیت‬ ‫تنظیم‬SYSCTL
.‫ها‬ ‫گره‬ ‫نام‬ ‫و‬ ‫سرچ‬ ‫االستیک‬ ‫خوشه‬ ‫کردن‬ ‫مشخص‬
.‫االستیک‬ ‫های‬ ‫گره‬ ‫برای‬ ‫دلخواه‬ ‫های‬ ‫گزاره‬ ‫ایجاد‬
.‫ها‬ ‫گره‬ ‫های‬ ‫نقش‬ ‫دادن‬ ‫اختصاص‬
.‫جاوا‬ ‫هیپ‬ ‫مجازی‬ ‫ماشین‬ ‫االستیک‬ ‫تنظیم‬
.‫االستیک‬ ‫شبکه‬ ‫های‬ ‫ادرس‬ ‫کردن‬ ‫مقید‬ ‫و‬ ‫تنظیم‬
.‫سرچ‬ ‫االستیک‬ ‫برای‬ ‫اکشتاف‬ ‫گره‬ ‫تنظیم‬
.‫نامتمرکز‬ ‫ذهن‬ ‫از‬ ‫جلوگیری‬ ‫برای‬ ‫ها‬ ‫خوشه‬ ‫محدودیت‬ ‫تنظیم‬(BRAIN-
SPLIT)
.‫خوشه‬ ‫در‬ ‫گره‬ ‫هر‬ ‫به‬ ‫ها‬ ‫گره‬ ‫های‬ ‫صفت‬ ‫تنظیم‬
.‫صفت‬ ‫اساس‬ ‫بر‬ ‫خاص‬ ‫گره‬ ‫یک‬ ‫به‬ ‫تخصیص‬ ‫برای‬ ‫ها‬ ‫شاخص‬ ‫تنظیم‬‫ها‬
2.‫االستیک‬ ‫های‬ ‫خوشه‬ ‫تنظیم‬ ‫و‬ ‫استقرار‬‫سرچ‬
2.1‫سرچ‬ ‫االستیک‬ ‫خوشه‬ ‫استقرار‬
DEPLOY AND CONFIGURE
ELASTICSEARCH CLUSTER
-‫سرچ‬ ‫االستیک‬ ‫های‬ ‫خوشه‬ ‫سازی‬ ‫امن‬
.‫یک‬ ‫ایجاد‬CA‫ابزار‬ ‫وسیله‬ ‫به‬CERTUTIL
.‫ها‬ ‫گره‬ ‫های‬ ‫گواهی‬ ‫ایجاد‬
.‫به‬ ‫ها‬ ‫گواهی‬ ‫عبور‬ ‫رمزهای‬ ‫کردن‬ ‫اضافه‬KEYSTORE
.‫انتقال‬ ‫شبکه‬ ‫رمزنگاری‬
.‫اولیه‬ ‫کاربران‬ ‫عبور‬ ‫رمزهای‬ ‫تنظیم‬
.‫شبکه‬ ‫رمزنگاری‬HTTP
2.2‫سرچ‬ ‫االستیک‬ ‫های‬ ‫خوشه‬ ‫سازی‬ ‫امن‬
2.‫االستیک‬ ‫های‬ ‫خوشه‬ ‫تنظیم‬ ‫و‬ ‫استقرار‬‫سرچ‬
2.1‫سرچ‬ ‫االستیک‬ ‫خوشه‬ ‫استقرار‬
DEPLOY AND CONFIGURE
ELASTICSEARCH CLUSTER
-‫نقش‬ ‫دسترسی‬ ‫کنترل‬ ‫تعریف‬-‫پایه‬
.‫کاربرها‬ ‫و‬ ‫ها‬ ‫رل‬ ‫ایجاد‬ ‫جهت‬ ‫کیبانا‬ ‫کاربری‬ ‫رابط‬ ‫از‬ ‫استفاده‬
.‫ک‬ ‫و‬ ‫ها‬ ‫رل‬ ‫ایجاد‬ ‫برای‬ ‫االستیک‬ ‫دسترسی‬ ‫نقطه‬ ‫رابط‬ ‫از‬ ‫استفاده‬‫ها‬ ‫اربر‬
.‫از‬ ‫استفاده‬CURL‫کاربرها‬ ‫و‬ ‫ها‬ ‫رل‬ ‫ایجاد‬ ‫برای‬
.‫ها‬ ‫خوشه‬ ‫مشخص‬ ‫مجوزهای‬ ‫به‬ ‫دسترسی‬ ‫محدودیت‬
.‫خاص‬ ‫های‬ ‫شاخص‬ ‫به‬ ‫دسترسی‬ ‫محدودیت‬
.‫مشخص‬ ‫های‬ ‫شاخص‬ ‫روی‬ ‫بر‬ ‫فقط‬ ‫ها‬ ‫عملیات‬ ‫انجام‬ ‫اجازه‬
.‫کوئری‬ ‫طریق‬ ‫از‬ ‫اسناد‬ ‫به‬ ‫دسترسی‬ ‫کردن‬ ‫محدود‬
.‫مشخص‬ ‫اسناد‬ ‫های‬ ‫فیلد‬ ‫به‬ ‫دسترسی‬ ‫محدودیت‬
.‫مشخص‬ ‫رل‬ ‫مجموعه‬ ‫یک‬ ‫با‬ ‫کاربر‬ ‫یک‬ ‫ایجاد‬
2.2‫سرچ‬ ‫االستیک‬ ‫های‬ ‫خوشه‬ ‫سازی‬ ‫امن‬
2.3‫نقش‬ ‫دسترسی‬ ‫کنترل‬ ‫تعریف‬-‫پایه‬
3.‫ها‬ ‫داده‬ ‫گذاری‬ ‫شاخص‬
3.1‫ها‬ ‫شاخص‬ ‫تعریف‬
INDEXING DATA
-‫ها‬ ‫شاخص‬ ‫تعریف‬
.‫المثنی‬ ‫و‬ ‫اولیه‬ ‫های‬ ‫سرور‬ ‫تعداد‬ ‫تنظیم‬
.‫ها‬ ‫تکه‬ ‫تخصیص‬(SHARD)‫آماده‬ ‫های‬ ‫گره‬ ‫به‬ ‫شاخص‬ ‫یک‬ ‫برای‬
.‫کار‬ ‫به‬ ‫آماده‬ ‫های‬ ‫گره‬ ‫به‬ ‫ها‬ ‫شاخص‬ ‫بقیه‬ ‫برای‬ ‫ها‬ ‫تکه‬ ‫تخصیص‬
.‫ها‬ ‫معادل‬ ‫به‬ ‫ها‬ ‫شاخص‬ ‫ارتباط‬
.‫تکه‬ ‫مشخص‬ ‫تعداد‬ ‫با‬ ‫شاخص‬ ‫ایجاد‬
.‫واضح‬ ‫های‬ ‫نگاشت‬ ‫با‬ ‫ها‬ ‫شاخص‬ ‫ایجاد‬
.‫خوشه‬ ‫یک‬ ‫در‬ ‫ها‬ ‫شاخص‬ ‫کردن‬ ‫لیست‬
.‫شاخص‬ ‫هر‬ ‫آناتومی‬ ‫تشریح‬
3.‫ها‬ ‫داده‬ ‫گذاری‬ ‫شاخص‬
3.1‫ها‬ ‫شاخص‬ ‫تعریف‬
INDEXING DATA
-‫شاخص‬ ‫های‬ ‫معادل‬ ‫از‬ ‫استفاده‬ ‫و‬ ‫تعریف‬(‫اختیاری‬)
.‫با‬ ‫ها‬ ‫معادل‬ ‫حذف‬ ‫یا‬ ‫و‬ ‫ایجاد‬_ALIASES‫کاربری‬ ‫نقطه‬ ‫رابط‬
.‫شاخص‬ ‫در‬ ‫ها‬ ‫معادل‬ ‫کردن‬ ‫اضافه‬-‫زمان‬
.‫شده‬ ‫فیلتر‬ ‫های‬ ‫معادل‬ ‫ایجاد‬
3.2‫شاخص‬ ‫های‬ ‫معادل‬ ‫از‬ ‫استفاده‬ ‫و‬ ‫تعریف‬
3.‫ها‬ ‫داده‬ ‫گذاری‬ ‫شاخص‬
3.1‫ها‬ ‫شاخص‬ ‫تعریف‬
INDEXING DATA
-‫پویا‬ ‫نمونه‬ ‫یک‬ ‫از‬ ‫استفاده‬ ‫و‬ ‫تعریف‬(‫اختیاری‬)
.‫پویا‬ ‫فرض‬ ‫پیش‬ ‫های‬ ‫نگاشت‬ ‫با‬ ‫ها‬ ‫مستند‬ ‫گذاری‬ ‫شاخص‬
.‫پویا‬ ‫نگاشت‬ ‫رفتارهای‬ ‫تغییر‬ ‫برای‬ ‫پویا‬ ‫های‬ ‫نمونه‬ ‫ایجاد‬
.‫مشخص‬ ‫های‬ ‫نام‬ ‫الگو‬ ‫برای‬ ‫فقط‬ ‫پویا‬ ‫نمونه‬ ‫ایجاد‬
.‫مشخص‬ ‫کامال‬ ‫نگاشت‬ ‫های‬ ‫فیلد‬ ‫ایجاد‬
3.2‫شاخص‬ ‫های‬ ‫معادل‬ ‫از‬ ‫استفاده‬ ‫و‬ ‫تعریف‬
3.3‫پویا‬ ‫نمونه‬ ‫یک‬ ‫از‬ ‫استفاده‬ ‫و‬ ‫تعریف‬
3.‫ها‬ ‫داده‬ ‫گذاری‬ ‫شاخص‬
3.1‫ها‬ ‫شاخص‬ ‫تعریف‬
INDEXING DATA
-‫آمیزی‬ ‫هم‬ ‫در‬ ‫خط‬ ‫استفاده‬ ‫و‬ ‫تعریف‬
.‫آمیزی‬ ‫درهم‬ ‫خط‬ ‫یک‬ ‫تعریف‬(INGEST PIPELINE)
.‫شاخص‬ ‫یک‬ ‫از‬ ‫فیلد‬ ‫یک‬ ‫حذف‬
.‫فیلد‬ ‫یک‬ ‫داده‬ ‫نوع‬ ‫تبدیل‬
.‫مصالحه‬ ‫رشته‬ ‫یک‬ ‫با‬ ‫جدید‬ ‫فیلد‬ ‫یک‬ ‫کردن‬ ‫اضافه‬
.‫وابسته‬ ‫فیلد‬ ‫یک‬ ‫رسانی‬ ‫روز‬ ‫به‬ ‫برای‬ ‫سختی‬ ‫بدون‬ ‫ابزار‬ ‫از‬ ‫استفاده‬‫م‬ ‫به‬‫قدار‬
‫آن‬ ‫فعلی‬
.‫جدید‬ ‫شاخص‬ ‫یک‬ ‫به‬ ‫دوباره‬ ‫گذاری‬ ‫شاخص‬ ‫هنگام‬ ‫در‬ ‫مستندات‬ ‫تغییر‬‫در‬
‫خط‬ ‫یک‬
3.2‫شاخص‬ ‫های‬ ‫معادل‬ ‫از‬ ‫استفاده‬ ‫و‬ ‫تعریف‬
3.3‫پویا‬ ‫نمونه‬ ‫یک‬ ‫از‬ ‫استفاده‬ ‫و‬ ‫تعریف‬
3.4‫آمیزی‬ ‫درهم‬ ‫خط‬ ‫استفاده‬ ‫و‬ ‫تعریف‬
4.‫متن‬ ‫تحلیل‬ ‫و‬ ‫نگاشت‬
4.1‫نگاشت‬ ‫یک‬ ‫تعریف‬
MAPPINGS AND TEXT ANALYSIS
-‫نگاشت‬ ‫یک‬ ‫تعریف‬
.‫شاخص‬ ‫نگاشت‬ ‫تعریف‬
.‫نگاشت‬ ‫نوع‬ ‫یک‬ ‫ایجاد‬
.‫مناسب‬ ‫داده‬ ‫نوع‬ ‫به‬ ‫فیلد‬ ‫نگاشت‬
.‫مشخص‬ ‫گر‬ ‫تحلیل‬ ‫یک‬ ‫با‬ ‫ها‬ ‫فیلد‬ ‫رشته‬ ‫تحلیل‬ ‫ایجاد‬
.‫کارکتر‬ ‫محدودیت‬ ‫با‬ ‫ها‬ ‫فیلد‬ ‫رشته‬ ‫تحلیل‬ ‫غیر‬ ‫ایجاد‬
.‫نقطه‬ ‫نگاشت‬ ‫ایجاد‬-‫جغرافیایی‬
.‫عددی‬ ‫نگاشت‬ ‫ایجاد‬
.‫زمان‬ ‫نگاشت‬ ‫ایجاد‬
.‫پی‬ ‫آی‬ ‫نگاشت‬ ‫ایجاد‬
.‫ای‬ ‫النه‬ ‫نگاشت‬ ‫ایجاد‬(‫شی‬)
4.‫متن‬ ‫تحلیل‬ ‫و‬ ‫نگاشت‬
4.1‫نگاشت‬ ‫یک‬ ‫تعریف‬
MAPPINGS AND TEXT ANALYSIS
-‫دلخواه‬ ‫تحلیلگر‬ ‫یک‬ ‫تعریف‬ ‫و‬ ‫ایجاد‬
.‫متن‬ ‫تحلیلگر‬ ‫تعریف‬
.‫کنند‬ ‫می‬ ‫پشتیبانی‬ ‫را‬ ‫متن‬ ‫تحلیل‬ ‫که‬ ‫ها‬ ‫داده‬ ‫نوع‬ ‫کردن‬ ‫مشخص‬
.‫داخلی‬ ‫های‬ ‫تحلیلگر‬ ‫وسیله‬ ‫به‬ ‫ها‬ ‫متن‬ ‫از‬ ‫تعدادی‬ ‫تحلیل‬
.‫زبان‬ ‫تحلیلگران‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫ها‬ ‫زبان‬ ‫از‬ ‫زیادی‬ ‫تعدادی‬ ‫متن‬ ‫تحلیل‬‫د‬‫اخلی‬
.‫داخلی‬ ‫تحلیلگر‬ ‫یک‬ ‫سازی‬ ‫شخصی‬
.‫ی‬ ‫های‬ ‫کارکتر‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫شده‬ ‫سازی‬ ‫شخصی‬ ‫تحلیلگر‬ ‫یک‬ ‫ایجاد‬‫و‬ ‫کتا‬
‫شده‬ ‫رمزنگاری‬ ‫های‬ ‫فیلتر‬
.‫رفتارهای‬ ‫مقایسه‬ ‫برای‬ ‫متفاوت‬ ‫تحلیلگران‬ ‫با‬ ‫کلمات‬ ‫برای‬ ‫جستجو‬‫تحلیلگ‬‫ران‬
‫متن‬
.‫استاندارد‬ ‫تحلیلگران‬ ‫اساس‬ ‫بر‬ ‫شده‬ ‫تحلیل‬ ‫فیلد‬ ‫یک‬ ‫ایجاد‬
.‫نگاشت‬ ‫فیلد‬ ‫شده‬ ‫سازی‬ ‫شخصی‬ ‫تحلیلگر‬ ‫یک‬ ‫ایجاد‬
4.2‫دلخواه‬ ‫تحلیلگر‬ ‫یک‬ ‫تعریف‬ ‫و‬ ‫ایجاد‬
5.‫ها‬ ‫خوشه‬ ‫سازی‬ ‫خودکار‬ ‫و‬ ‫بهسازی‬
5.1‫خاص‬ ‫های‬ ‫گره‬ ‫شاخص‬ ‫تکه‬ ‫تخصیص‬
CLUSTER TUNING AND
AUTOMATION
-‫خاص‬ ‫های‬ ‫گره‬ ‫شاخص‬ ‫تکه‬ ‫تخصیص‬
.‫شاخص‬ ‫یک‬ ‫برای‬ ‫المثنی‬ ‫و‬ ‫اولیه‬ ‫تکه‬ ‫تخصیص‬
.‫شاخص‬ ‫یک‬ ‫به‬ ‫شده‬ ‫داده‬ ‫تخصیص‬ ‫های‬ ‫تکه‬ ‫نمایش‬
.‫شاخص‬ ‫یک‬ ‫به‬ ‫شده‬ ‫داده‬ ‫تخصیص‬ ‫تکه‬ ‫تنظیمات‬ ‫رسانی‬ ‫روز‬ ‫به‬
.‫دستی‬ ‫صورت‬ ‫به‬ ‫مشخص‬ ‫گره‬ ‫یک‬ ‫به‬ ‫شاخص‬ ‫یک‬ ‫تخصیص‬
-‫شاخص‬ ‫یک‬ ‫تکه‬ ‫تخصیص‬ ‫آگاهی‬ ‫تنظیم‬
.‫ها‬ ‫تکه‬ ‫تخصیص‬ ‫آگاهی‬ ‫تنظیم‬
.‫اجباری‬ ‫های‬ ‫تکه‬ ‫تخصیص‬ ‫آگاهی‬ ‫تنظیم‬
.‫چرا‬ ‫و‬ ‫گیرد‬ ‫می‬ ‫قرار‬ ‫استفاده‬ ‫مورد‬ ‫آگاهی‬ ‫روش‬ ‫چه‬ ‫کردن‬ ‫مشخص‬
5.2‫شاخص‬ ‫یک‬ ‫تکه‬ ‫تخصیص‬ ‫اگاهی‬ ‫تنظیم‬
5.‫ها‬ ‫خوشه‬ ‫سازی‬ ‫خودکار‬ ‫و‬ ‫بهسازی‬
5.1‫خاص‬ ‫های‬ ‫گره‬ ‫شاخص‬ ‫تکه‬ ‫تخصیص‬
CLUSTER TUNING AND
AUTOMATION
-‫ک‬ ‫به‬ ‫آماده‬ ‫یا‬ ‫و‬ ‫آماده‬ ‫معماری‬ ‫در‬ ‫استفاده‬ ‫برای‬ ‫خوشه‬ ‫یک‬ ‫تنظیم‬‫ار‬
.‫گره‬ ‫های‬ ‫صفت‬ ‫تنظیم‬
.‫آماده‬ ‫گره‬ ‫یک‬ ‫به‬ ‫شده‬ ‫داده‬ ‫تخصیص‬ ‫شاخص‬ ‫یک‬ ‫ایجاد‬
.‫کار‬ ‫به‬ ‫آماده‬ ‫گره‬ ‫یک‬ ‫به‬ ‫شده‬ ‫داده‬ ‫تخصیص‬ ‫شاخص‬ ‫یک‬ ‫ایجاد‬
5.2‫شاخص‬ ‫یک‬ ‫تکه‬ ‫تخصیص‬ ‫اگاهی‬ ‫تنظیم‬
5.3‫در‬ ‫استفاده‬ ‫برای‬ ‫خوشه‬ ‫یک‬ ‫تنظیم‬
‫کار‬ ‫به‬ ‫آماده‬ ‫یا‬ ‫و‬ ‫آماده‬ ‫معماری‬
5.‫ها‬ ‫خوشه‬ ‫سازی‬ ‫خودکار‬ ‫و‬ ‫بهسازی‬
5.1‫خاص‬ ‫های‬ ‫گره‬ ‫شاخص‬ ‫تکه‬ ‫تخصیص‬
CLUSTER TUNING AND
AUTOMATION
5.2‫شاخص‬ ‫یک‬ ‫تکه‬ ‫تخصیص‬ ‫اگاهی‬ ‫تنظیم‬
5.3‫در‬ ‫استفاده‬ ‫برای‬ ‫خوشه‬ ‫یک‬ ‫تنظیم‬
‫کار‬ ‫به‬ ‫آماده‬ ‫یا‬ ‫و‬ ‫آماده‬ ‫معماری‬
-‫خاص‬ ‫شاخص‬ ‫و‬ ‫خوشه‬ ‫یک‬ ‫بازنشانی‬ ‫و‬ ‫گیری‬ ‫پشتیبان‬
.‫گره‬ ‫تک‬ ‫خوشه‬ ‫یک‬ ‫استقرار‬
.‫ها‬ ‫پشتیبان‬ ‫بازنشانی‬ ‫برای‬ ‫خوشه‬ ‫تنظیم‬
.‫شات‬ ‫اسنپ‬ ‫مخزن‬ ‫یک‬ ‫کردن‬ ‫اضافه‬
.‫شاخص‬ ‫یک‬ ‫بازنشانی‬
.‫متفاوت‬ ‫نام‬ ‫یک‬ ‫با‬ ‫شاخص‬ ‫یک‬ ‫بازنشانی‬
.‫مشخص‬ ‫های‬ ‫شاخص‬ ‫گیری‬ ‫پشتیبان‬
.‫خوشه‬ ‫وضعیت‬ ‫گیری‬ ‫پشتیبان‬
.‫شات‬ ‫اسنپ‬ ‫یک‬ ‫از‬ ‫داده‬ ‫بازنشانی‬
5.4‫یک‬ ‫بازنشانی‬ ‫و‬ ‫گیری‬ ‫پشتیبان‬
‫خاص‬ ‫شاخص‬ ‫و‬ ‫خوشه‬
6.‫ها‬ ‫کوئری‬ ‫سازی‬ ‫بهینه‬
6.1‫شده‬ ‫جستجو‬ ‫کلمات‬ ‫سازی‬ ‫برجسته‬
‫کوئری‬ ‫یک‬ ‫به‬ ‫پاسخ‬ ‫در‬
QUERIES OPTIMIZATION
-‫کوئری‬ ‫یک‬ ‫به‬ ‫پاسخ‬ ‫در‬ ‫شده‬ ‫جستجو‬ ‫کلمات‬ ‫سازی‬ ‫برجسته‬
.‫مشخص‬ ‫فیلد‬ ‫یک‬ ‫برای‬ ‫جستجو‬ ‫کلمات‬ ‫سازی‬ ‫برجسته‬
.‫برجسته‬ ‫عبارات‬ ‫احاطه‬ ‫برای‬ ‫ها‬ ‫برچسب‬ ‫پس‬ ‫و‬ ‫ها‬ ‫برچسب‬ ‫پیش‬ ‫تعریف‬
-‫سند‬ ‫کوئری‬ ‫و‬ ‫سازی‬ ‫بهینه‬
.‫متن‬ ‫تمام‬ ‫جستجو‬ ‫اجرای‬
.‫کوئری‬ ‫انطباق‬
.‫کوئری‬‫انطباق‬‫عبارت‬
.‫چند‬ ‫کوئری‬-‫انطباق‬
.‫کلمه‬ ‫ها‬ ‫کوئری‬-‫سطح‬
.‫کلمه‬ ‫کوئری‬
.‫کلمات‬ ‫کوئری‬
.‫بازه‬ ‫کوئری‬
.‫بول‬ ‫کوئری‬
.‫باید‬ ‫کوئری‬
.‫نباید‬ ‫کوئری‬
.‫منطبق‬ ‫های‬ ‫کوئری‬ ‫تعداد‬ ‫کردن‬ ‫مشخص‬ ‫و‬ ‫کمتر‬ ‫شدت‬ ‫با‬ ‫باید‬ ‫های‬ ‫عبارت‬
.‫امت‬ ‫روی‬ ‫بر‬ ‫گذاری‬ ‫تاثیر‬ ‫بدون‬ ‫داده‬ ‫مجموعه‬ ‫کاهش‬ ‫برای‬ ‫فیلتر‬ ‫یک‬ ‫ایجاد‬‫یاز‬
.‫جستجو‬ ‫هر‬ ‫علت‬ ‫کردن‬ ‫مشخص‬ ‫جهت‬ ‫کوئری‬ ‫هر‬ ‫گذاری‬ ‫نام‬
6.2‫سند‬ ‫کوئری‬ ‫و‬ ‫سازی‬ ‫بهینه‬
6.‫ها‬ ‫کوئری‬ ‫سازی‬ ‫بهینه‬
6.1‫شده‬ ‫جستجو‬ ‫کلمات‬ ‫سازی‬ ‫برجسته‬
‫کوئری‬ ‫یک‬ ‫به‬ ‫پاسخ‬ ‫در‬
QUERIES OPTIMIZATION
-‫ها‬ ‫نیازمندی‬ ‫مجموعه‬ ‫اساس‬ ‫بر‬ ‫کوئری‬ ‫یک‬ ‫نتایج‬ ‫سازی‬ ‫مرتب‬
(‫اختیاری‬)
-‫جستجو‬ ‫نمونه‬ ‫یک‬ ‫استفاده‬ ‫و‬ ‫تعریف‬(‫اختیاری‬)
.‫جستجو‬ ‫نمونه‬ ‫یک‬ ‫ساخت‬
.‫جستجو‬ ‫نمونه‬ ‫یک‬ ‫اجرای‬
.‫جس‬ ‫نمونه‬ ‫با‬ ‫جایی‬ ‫به‬ ‫جا‬ ‫امکانات‬ ‫و‬ ‫پیشرفته‬ ‫پارمترهای‬ ‫معرفی‬‫تجو‬
6.2‫سند‬ ‫کوئری‬ ‫و‬ ‫سازی‬ ‫بهینه‬
6.3‫بر‬ ‫کوئری‬ ‫یک‬ ‫نتایج‬ ‫سازی‬ ‫مرتب‬
‫ها‬ ‫نیازمندی‬ ‫از‬ ‫ای‬ ‫مجموعه‬ ‫اساس‬
6.4‫نمونه‬ ‫یک‬ ‫از‬ ‫استفاده‬ ‫و‬ ‫تعریف‬
‫جستجو‬
7.‫تجمیع‬
7.1‫متریک‬ ‫آوری‬ ‫جمع‬ ‫اجرای‬ ‫و‬ ‫نوشتن‬
‫باکت‬ ‫و‬ ‫ها‬
AGGREGATIONS
-‫ها‬ ‫باکت‬ ‫و‬ ‫ها‬ ‫متریک‬ ‫آوری‬ ‫جمع‬ ‫اجرای‬ ‫و‬ ‫نوشتن‬(‫اختیاری‬)
.‫متریک‬ ‫آوری‬ ‫جمع‬ ‫میانگین‬ ‫و‬ ‫مجموع‬ ،‫قدرتمندی‬ ‫تعریف‬
.‫باکت‬ ‫تاریخ‬ ‫هیستوگرام‬ ‫آوری‬ ‫جمع‬ ‫و‬ ‫عبارات‬ ‫تعریف‬
-‫ها‬ ‫زیرمجموعه‬ ‫آوری‬ ‫جمع‬ ‫اجرای‬ ‫و‬ ‫نوشتن‬
.‫آوری‬ ‫جمع‬ ‫باکت‬ ‫در‬ ‫شده‬ ‫تجمیع‬ ‫متری‬ ‫آوری‬ ‫جمع‬ ‫تعریف‬
.‫متریک‬ ‫آوری‬ ‫جمع‬ ‫خروجی‬ ‫وسیله‬ ‫به‬ ‫ها‬ ‫باکت‬ ‫نتایج‬ ‫سازی‬ ‫مرتب‬
-‫خط‬ ‫آوری‬ ‫جمع‬ ‫اجرای‬ ‫و‬ ‫نوشتن‬(‫اختیاری‬)
.‫آورس‬ ‫جمع‬ ‫و‬ ‫بیشینه‬ ‫آوری‬ ‫جمع‬ ‫خویشاوندی‬ ‫های‬ ‫خط‬ ‫ایجاد‬
‫باکت‬ ‫مجموع‬
.‫مشتقی‬ ‫و‬ ‫تجمعی‬ ‫والدین‬ ‫های‬ ‫خط‬ ‫ایجاد‬
7.2‫زیرمجموعه‬ ‫آوری‬ ‫جمع‬ ‫اجرای‬ ‫و‬ ‫نوشتن‬
‫ها‬
7.3‫خط‬ ‫آوری‬ ‫جمع‬ ‫اجرای‬ ‫و‬ ‫نوشتن‬
(‫اختیاری‬)
8.‫کافکا‬ ‫آپاچی‬
8.1‫کافکا‬ ‫آپاچی‬ ‫نصب‬ ‫و‬ ‫بندی‬ ‫خوشه‬
APACHE KAFKA
-‫کافکا‬ ‫آپاچی‬ ‫نصب‬ ‫و‬ ‫بندی‬ ‫خوشه‬
-‫زوکیپر‬ ‫تنظیم‬ ‫و‬ ‫نصب‬
.‫کافکا‬ ‫های‬ ‫مورد‬ ‫سازی‬ ‫موزون‬ ‫برای‬ ‫زوکیپر‬ ‫تنظیم‬ ‫و‬ ‫نصب‬
-‫پیشرفته‬ ‫کننده‬ ‫تولید‬ ‫تنظیمات‬
.‫قدرتمند‬ ‫کننده‬ ‫تولید‬
.‫دسته‬ ‫سازی‬ ‫فشرده‬
.‫سازی‬ ‫سری‬
.‫کننده‬ ‫تولید‬ ‫بافر‬ ‫حافظه‬
-‫پیشرفته‬ ‫کننده‬ ‫مصرف‬ ‫تنظیمات‬
.‫تکراری‬ ‫های‬ ‫پیام‬ ‫مطالعه‬
.‫انحرافات‬ ‫ردیابی‬
.‫ها‬ ‫قسمت‬ ‫سازی‬ ‫متعادل‬
.‫مصرف‬ ‫گروه‬ ‫سازی‬ ‫هماهنگ‬
-‫کافکا‬ ‫آپاچی‬ ‫پایش‬
.‫خوشه‬ ‫پایش‬ ‫و‬ ‫بورکر‬ ‫های‬ ‫متریک‬ ،‫جاوا‬ ‫کردن‬ ‫وارد‬
8.2‫زوکیپر‬ ‫تنظیم‬ ‫و‬ ‫نصب‬
8.3‫پیشرفته‬ ‫کننده‬ ‫تولید‬ ‫تنظیمات‬
8.4‫پیشرفته‬ ‫کننده‬ ‫مصرف‬ ‫تنظیمات‬
8.5‫کافکا‬ ‫آپاچی‬ ‫پایش‬
9.‫آموزش‬
9.1‫مدیریت‬ ‫و‬ ‫سرچ‬ ‫االستیک‬ ‫کوئری‬
‫خوشه‬
TRAINING
-‫خوشه‬ ‫مدیریت‬ ‫و‬ ‫سرچ‬ ‫االستیک‬ ‫کوئری‬(‫اختیاری‬)
-‫زوکیپر‬ ‫و‬ ‫کافکا‬ ‫آپاچی‬ ‫بندی‬ ‫خوشه‬
9.2‫زوکیپر‬ ‫و‬ ‫کافکا‬ ‫آپاچی‬ ‫بندی‬ ‫خوشه‬
‫گرافانا‬ ‫مقابل‬ ‫در‬ ‫کیبانا‬KIBANAVS GRAFANA
GRAFANA KIBANA
‫ایجاد‬‫ها‬ ‫داشبورد‬ ‫ساده‬ ‫تغییر‬ ‫و‬ ‫تحلیل‬ ‫و‬ ‫ها‬ ‫داده‬ ‫کوئری‬ ‫ویژگی‬‫مرکزی‬
‫تحلیل‬،‫حافظه‬ ‫مثل‬ ‫سیستم‬ ‫های‬ ‫متریک‬ ‫نمایش‬ ‫و‬
‫ها‬ ‫خروجی‬ ‫ورودی‬ ،‫دیسک‬ ،‫پردازنده‬
‫تحلیل‬‫الگ‬ ‫های‬ ‫پیام‬ ‫کلیدی‬ ‫هدف‬
‫مای‬،‫گرافیتی‬ ،‫پرموتئوس‬ ،‫پستگرس‬ ،‫سکوئل‬
‫سرچ‬ ‫االستیک‬
‫سرچ‬ ‫االستیک‬(‫پالگین‬ ‫با‬ ‫منابع‬ ‫بقیه‬ ‫به‬) ‫اتصال‬ ‫و‬ ‫داده‬ ‫منابع‬
‫زبان‬‫خود‬ ‫به‬ ‫مخصوص‬ ‫کوئری‬ ‫کیبانا‬ ‫قوت‬ ‫نقطه‬(‫های‬ ‫شاخص‬ ‫و‬ ‫سرچ‬ ‫و‬ ‫کوئری‬
‫سرچ‬ ‫االستیک‬)
‫زدن‬ ‫کوئری‬
‫تر‬ ‫ساده‬ ‫و‬ ‫گونه‬ ‫پانل‬ ‫صورت‬ ‫به‬ ‫انواع‬‫ساده‬ ‫کردن‬ ‫فیلتر‬ ‫و‬ ‫ها‬ ‫نمودار‬ ‫مختلف‬ ‫گذاری‬ ‫نمایش‬‫داشبورد‬ ‫و‬
‫دهی‬ ‫هشدار‬‫نقطه‬ ‫و‬ ‫افزار‬ ‫نرم‬ ‫از‬ ‫قسمتی‬ ‫صورت‬ ‫به‬
‫قوت‬
‫پالگین‬ ‫هشدار‬
‫کین‬ ‫زیپ‬ZIPKIN
‫باشد‬ ‫می‬ ‫ردیابی‬ ‫شده‬ ‫توزیع‬ ‫سیستم‬ ‫یک‬ ،‫کین‬ ‫زیپ‬.‫ج‬ ‫زمانی‬ ‫های‬ ‫داده‬ ‫آوری‬ ‫جمع‬ ‫در‬ ‫سیستم‬ ‫این‬‫هت‬
‫استفاد‬ ‫مورد‬ ‫سرویس‬ ‫مهماری‬ ‫مختلف‬ ‫های‬ ‫قسمت‬ ‫در‬ ‫تاخیر‬ ‫اصلی‬ ‫مشکل‬ ‫یافتن‬‫گیرد‬ ‫می‬ ‫قرار‬ ‫ه‬.‫ای‬‫قابلیت‬ ‫ن‬
‫شود‬ ‫می‬ ‫ها‬ ‫داده‬ ‫این‬ ‫در‬ ‫جستجو‬ ‫و‬ ‫آوری‬ ‫جمع‬ ‫شامل‬ ‫ها‬.
‫به‬ ‫توانید‬ ‫می‬ ‫باشید‬ ‫داشته‬ ‫فایل‬ ‫الگ‬ ‫یک‬ ‫در‬ ‫ردیابی‬ ‫دی‬ ‫آی‬ ‫یک‬ ‫اگر‬ ‫شما‬‫ب‬ ‫سریع‬ ‫خیلی‬ ‫صورت‬‫مراجعه‬ ‫آن‬ ‫ه‬
‫در‬ ‫طول‬ ‫یا‬ ‫و‬ ‫عمل‬ ‫نام‬ ‫و‬ ‫سرویس‬ ‫اساس‬ ‫بر‬ ‫توان‬ ‫می‬ ‫اینصورت‬ ‫غیر‬ ‫در‬ ،‫کنیم‬‫زد‬ ‫کوئری‬ ‫ها‬ ‫آن‬.‫ک‬ ‫رابط‬‫اربری‬
‫می‬ ‫میزان‬ ‫دهنده‬ ‫نشان‬ ‫که‬ ‫گذارد‬ ‫می‬ ‫نمایش‬ ‫به‬ ‫وابستگی‬ ‫نقشه‬ ‫یک‬ ‫کین‬ ‫زیپ‬‫پ‬ ‫های‬ ‫زمان‬ ‫انگین‬‫اسخگویی‬
‫باشد‬ ‫می‬ ‫سرویس‬ ‫میکرو‬ ‫هر‬.
‫کین‬ ‫زیپ‬ZIPKIN
‫گرد‬ ‫تعریف‬ ‫شما‬ ‫افزار‬ ‫نرم‬ ‫در‬ ‫کین‬ ‫زیپ‬ ‫باید‬ ،‫کین‬ ‫زیپ‬ ‫از‬ ‫استفاده‬ ‫برای‬‫د‬.‫درخوا‬ ‫یک‬ ‫که‬ ‫هنگامی‬‫به‬ ‫ست‬
‫کد‬ ‫به‬ ‫الزم‬ ‫ابزار‬ ‫که‬ ‫است‬ ‫الزم‬ ‫همه‬ ‫از‬ ‫اول‬ ،‫رسد‬ ‫می‬ ‫کاربری‬ ‫نقطه‬ ‫رابط‬‫گردد‬ ‫اضافه‬.‫اینکه‬ ‫محض‬ ‫به‬
‫زی‬ ،‫کند‬ ‫دریافت‬ ‫پاسخ‬ ‫یک‬ ‫کاربر‬ ‫اینکه‬ ‫از‬ ‫قبل‬ ‫و‬ ،‫پذیرد‬ ‫پایان‬ ‫درخواست‬‫به‬ ‫ردیاب‬ ‫یک‬ ‫کین‬ ‫پ‬‫کننده‬ ‫جمع‬
‫وسیله‬ ‫به‬HTTP‫کند‬ ‫می‬ ‫ارسال‬.‫تواند‬ ‫می‬ ‫حافظه‬ ‫این‬ ‫که‬ ‫کند‬ ‫می‬ ‫ذخیره‬ ‫حافظه‬ ‫یک‬ ‫در‬ ‫آنرا‬ ‫سپس‬
‫باشد‬ ‫سرچ‬ ‫االستیک‬ ‫یا‬ ‫سکوئل‬ ‫مای‬ ‫یا‬ ‫کسندرا‬
‫ایم‬ ‫کرده‬ ‫اضافه‬ ‫پایتون‬ ‫کد‬ ‫یک‬ ‫در‬ ‫را‬ ‫فایل‬ ،‫مثال‬ ‫عنوان‬ ‫به‬:
‫پورت‬ ‫طریق‬ ‫از‬ ‫و‬9411‫داشت‬ ‫خواهیم‬ ‫دسترسی‬ ‫کین‬ ‫زیپ‬ ‫گرافیکی‬ ‫کاربری‬ ‫رابط‬ ‫به‬.
@zipkin_span(service_name='my_service', span_name='some_function')
def some_function(a, b):
return do_stuff(a, b)
‫کافکا‬ ‫و‬ ‫الک‬ ‫اندازی‬ ‫راه‬ ‫و‬ ‫نصب‬-1-‫بیت‬ ‫فایل‬
INSTALLATION AND
DEPLOYMENT OF ELK&KAFKA
‫جمع‬ ‫های‬ ‫سیستم‬ ‫به‬ ‫ها‬ ‫آن‬ ‫ارسال‬ ‫و‬ ‫الگ‬ ‫های‬ ‫فایل‬ ‫دریافت‬ ‫برای‬
‫شود‬ ‫می‬ ‫استفاده‬ ‫بیت‬ ‫فایل‬ ‫ماژول‬ ‫از‬ ‫کافکا‬ ‫مثل‬ ‫آوری‬.‫ب‬ ‫فایل‬‫از‬ ‫یت‬
‫باشد‬ ‫می‬ ‫دسترسی‬ ‫قابل‬ ‫سرچ‬ ‫االستیک‬ ‫سایت‬
‫لینک‬ ‫از‬ ‫بیت‬ ‫فایل‬ ‫نصب‬ ‫برای‬
HTTPS://WWW.ELASTIC.CO/GUIDE/EN/BEATS
/FILEBEAT/CURRENT/FILEBEAT-
INSTALLATION.HTML
‫شود‬ ‫می‬ ‫استفاده‬.‫مسیر‬ ‫در‬ ‫تنظیمات‬ ‫فایل‬ ‫تغییر‬ ‫با‬ ‫نصب‬ ‫از‬ ‫بعد‬
/ETC/FILEBEAT/FILEBEAT.YML
‫همچنین‬ ‫و‬ ‫کافکا‬ ‫با‬ ‫مرتبط‬ ‫پورت‬ ‫و‬ ‫سرور‬ ‫به‬ ‫اتصال‬ ‫تنظیمات‬‫نحوه‬
‫کنیم‬ ‫می‬ ‫مشخص‬ ‫را‬ ‫ها‬ ‫آن‬ ‫های‬ ‫مسیر‬ ‫و‬ ‫الگ‬ ‫های‬ ‫فایل‬ ‫دریافت‬.
Filebeat.yml:
-type: log
enabled: true
paths:
- /logs/filebeat/*
Filebeat.config.modules:
path: ${path.config}/modules.d/*.yml
reload.enabled: false
Setup.template.settings:
index.number_of_shards: 1
Output.kafka:
codec.format:
hosts:[“kafkahost:9092”]
topic: nginx

More Related Content

Similar to راهنمای کامل راه اندازی الاستیک سرچ و استفاده آن در شرکت گارتکس

Bi and data mining with Oracle
Bi and data mining with OracleBi and data mining with Oracle
Bi and data mining with Oracleghanadbashi
 
Keydoc presentation (1)
Keydoc presentation (1)Keydoc presentation (1)
Keydoc presentation (1)danesh hamara
 
مهاجرت به متن باز در شرکت توزیع برق مشهد
مهاجرت به متن باز در شرکت توزیع برق مشهدمهاجرت به متن باز در شرکت توزیع برق مشهد
مهاجرت به متن باز در شرکت توزیع برق مشهدعباس بني اسدي مقدم
 
چارچوب متن باز جهت توسعه سیستم های نرم افزاری
چارچوب متن باز جهت توسعه سیستم های نرم افزاریچارچوب متن باز جهت توسعه سیستم های نرم افزاری
چارچوب متن باز جهت توسعه سیستم های نرم افزاریعباس بني اسدي مقدم
 
Security tools - ابزارهای امنیتی
Security tools - ابزارهای امنیتیSecurity tools - ابزارهای امنیتی
Security tools - ابزارهای امنیتیMehdi Esmaeilpour
 
Data Management System- Haseb System Co
Data Management System- Haseb System CoData Management System- Haseb System Co
Data Management System- Haseb System CoHamed Ghazanfari
 
مراکز داده
مراکز دادهمراکز داده
مراکز دادهaria1248
 
Pdn tech-netfilter&iptables-ver2.1.0
Pdn tech-netfilter&iptables-ver2.1.0Pdn tech-netfilter&iptables-ver2.1.0
Pdn tech-netfilter&iptables-ver2.1.0pdnsoftco
 
Pdn tech-netfilter&iptables-ver2.1.0
Pdn tech-netfilter&iptables-ver2.1.0Pdn tech-netfilter&iptables-ver2.1.0
Pdn tech-netfilter&iptables-ver2.1.0pdnsoftco
 

Similar to راهنمای کامل راه اندازی الاستیک سرچ و استفاده آن در شرکت گارتکس (20)

ارائهٔ DLP
ارائهٔ DLPارائهٔ DLP
ارائهٔ DLP
 
Bi and data mining with Oracle
Bi and data mining with OracleBi and data mining with Oracle
Bi and data mining with Oracle
 
rbdmap in ceph
rbdmap in ceph rbdmap in ceph
rbdmap in ceph
 
Keydoc presentation (1)
Keydoc presentation (1)Keydoc presentation (1)
Keydoc presentation (1)
 
Software architecture002
Software architecture002Software architecture002
Software architecture002
 
Rbdmap ceph realease 0.2
Rbdmap ceph realease 0.2Rbdmap ceph realease 0.2
Rbdmap ceph realease 0.2
 
مهاجرت به متن باز در شرکت توزیع برق مشهد
مهاجرت به متن باز در شرکت توزیع برق مشهدمهاجرت به متن باز در شرکت توزیع برق مشهد
مهاجرت به متن باز در شرکت توزیع برق مشهد
 
grid
gridgrid
grid
 
آشنایی با Opnet
آشنایی با Opnetآشنایی با Opnet
آشنایی با Opnet
 
Sql tuning
Sql tuningSql tuning
Sql tuning
 
how enable ceph dashboard
how enable  ceph dashboardhow enable  ceph dashboard
how enable ceph dashboard
 
چارچوب متن باز جهت توسعه سیستم های نرم افزاری
چارچوب متن باز جهت توسعه سیستم های نرم افزاریچارچوب متن باز جهت توسعه سیستم های نرم افزاری
چارچوب متن باز جهت توسعه سیستم های نرم افزاری
 
Pg autoscaling in ceph
Pg autoscaling in  cephPg autoscaling in  ceph
Pg autoscaling in ceph
 
Security tools - ابزارهای امنیتی
Security tools - ابزارهای امنیتیSecurity tools - ابزارهای امنیتی
Security tools - ابزارهای امنیتی
 
Data Management System- Haseb System Co
Data Management System- Haseb System CoData Management System- Haseb System Co
Data Management System- Haseb System Co
 
مراکز داده
مراکز دادهمراکز داده
مراکز داده
 
تی شارک
تی شارکتی شارک
تی شارک
 
Pdn tech-netfilter&iptables-ver2.1.0
Pdn tech-netfilter&iptables-ver2.1.0Pdn tech-netfilter&iptables-ver2.1.0
Pdn tech-netfilter&iptables-ver2.1.0
 
Pdn tech-netfilter&iptables-ver2.1.0
Pdn tech-netfilter&iptables-ver2.1.0Pdn tech-netfilter&iptables-ver2.1.0
Pdn tech-netfilter&iptables-ver2.1.0
 
Amniat
AmniatAmniat
Amniat
 

راهنمای کامل راه اندازی الاستیک سرچ و استفاده آن در شرکت گارتکس

  • 1. ELASTICSEARCH & GARTEX.IR ‫آ‬ ‫از‬ ‫استفاده‬ ‫و‬ ‫اندازی‬ ‫راه‬ ‫کامل‬ ‫راهنمای‬ ‫و‬ ‫سرچ‬ ‫االستیک‬ ‫داده‬ ‫پایگاه‬‫ن‬–‫اشیا‬ ‫اینترنت‬ ‫و‬ ‫مانیتورینگ‬ ‫گارتکس‬ ‫توسعه‬ ‫تیم‬ ‫توسط‬ HTTPS://WWW.LINKEDIN.COM/ORGANIZATION-GUEST/COMPANY/GARTEX
  • 2. ELK STACK ‫چیست؟‬ ‫الک‬ -‫اال‬ ،‫باشد‬ ‫می‬ ‫کیبانا‬ ‫و‬ ‫استش‬ ‫الگ‬ ،‫سرچ‬ ‫االستیک‬ ‫باز‬ ‫متن‬ ‫پروژه‬ ‫سه‬ ‫مخفف‬‫ستیک‬ ‫ب‬ ‫و‬ ‫باشد‬ ‫می‬ ‫مختلف‬ ‫های‬ ‫سیستم‬ ‫های‬ ‫الگ‬ ‫آوری‬ ‫جمع‬ ‫برای‬ ‫داده‬ ‫پایگاه‬ ‫یک‬ ‫سرچ‬‫ا‬ ‫استش‬ ‫الگ‬ ‫از‬ ‫استفاده‬(‫بیت‬ ‫متریک‬ ‫و‬ ‫بیت‬ ‫فایل‬ ‫مانند‬ ‫مرتبط‬ ‫های‬ ‫ماژول‬ ‫و‬)‫ال‬‫را‬ ‫ها‬ ‫گ‬ ‫گذارد‬ ‫می‬ ‫نمایش‬ ‫به‬ ‫را‬ ‫ها‬ ‫آن‬ ‫کیبانا‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫و‬ ‫آوری‬ ‫جمع‬. -‫خدما‬ ‫کیفیت‬ ‫بررسی‬ ، ‫متن‬ ‫پردازش‬ ‫،برای‬ ‫متنی‬ ‫های‬ ‫داده‬ ‫پردازش‬ ‫و‬ ‫آوری‬ ‫جمع‬،‫ت‬ ‫و‬ ‫ها‬ ‫الگو‬ ‫بازشناسی‬ ،‫فریب‬ ‫تشخیص‬ ،‫امنیتی‬ ‫های‬ ‫رویداد‬ ‫تحلیل‬...‫الک‬ ‫اهداف‬ ‫از‬‫می‬ ‫باشد‬.
  • 3. ‫است؟‬ ‫سخت‬ ‫ها‬ ‫الگ‬ ‫از‬ ‫اطالعات‬ ‫استخراج‬ ‫چرا‬ ‫روزانه‬‫هزاران‬‫ترابایت‬‫الگ‬‫در‬‫سیستم‬‫های‬‫مختلف‬‫تولید‬‫می‬‫شود‬‫اما‬‫استفاده‬‫از‬‫این‬‫الگ‬‫ها‬‫به‬‫دالیل‬‫زیر‬‫سخ‬‫ت‬‫است‬: -‫ساختار‬‫استاندارد‬‫برای‬‫تولید‬‫الگ‬‫وجود‬‫ندارد‬ -‫یکپارچگی‬‫در‬‫ساختار‬‫الگ‬‫وجود‬‫ندارد‬ -‫برای‬‫مطالعه‬‫آن‬‫ها‬‫یک‬‫متخصص‬‫حتما‬‫باید‬‫وجود‬‫داشته‬‫باشد‬. -‫ساختار‬‫عبارات‬‫منظم‬Regular Expression & grep‫مقیاس‬‫پذیر‬‫نیستند‬
  • 4. ‫استفاد‬ ‫با‬ ‫استش‬ ‫الگ‬ ‫فیلترینگ‬ ‫و‬ ‫منظم‬ ‫عبارات‬ ‫با‬ ‫سنتی‬ ‫فیلترینگ‬ ‫تفاوت‬‫گ‬ ‫الگوی‬ ‫از‬ ‫ه‬‫استش‬ ‫الگ‬ ‫در‬ ‫راک‬
  • 5. ‫کند؟‬ ‫می‬ ‫کمکی‬ ‫چه‬ ‫الک‬ ‫با‬‫استفاده‬‫از‬‫الگ‬‫استش‬‫داده‬‫ها‬‫را‬‫از‬‫منابع‬‫مختلف‬‫جمع‬‫آوری‬‫می‬‫کند‬‫و‬‫با‬‫استفاده‬‫از‬‫فیلتر‬‫ها‬‫و‬‫پارسر‬‫ها‬‫آن‬‫ها‬‫را‬‫جدا‬‫می‬‫کند‬ ‫تبدیل‬‫و‬‫غنا‬‫بخشی‬‫به‬‫الگ‬‫متل‬GROK , GEOspatioal‫و‬‫نبدیل‬‫به‬JSON ‫قابل‬‫ارسال‬‫به‬‫منابع‬‫مختلف‬‫مثل‬‫پایگاه‬‫های‬‫داده‬‫و‬‫داشبورد‬‫ها‬ ‫االسیتک‬،‫سرچ‬‫در‬‫جستجو‬‫و‬‫تحلیل‬‫داده‬‫ها‬‫خوب‬‫عمل‬‫می‬‫کند‬‫و‬‫قابلیت‬‫توسعه‬‫عرضی‬‫و‬‫دسترسی‬‫باال‬‫و‬‫نزدیک‬‫به‬‫بالدرنگی‬‫را‬‫به‬‫ما‬‫می‬‫دهد‬ ‫کیبانا‬‫نیز‬‫در‬‫نمایش‬‫داده‬‫ها‬‫و‬‫به‬‫تصویر‬‫درآوردن‬‫تحلیل‬‫و‬‫جزئیات‬‫به‬‫ما‬‫کمک‬‫می‬‫کند‬.
  • 6. ‫است؟‬ ‫چگونه‬ ‫الک‬ ‫عملکرد‬ ‫جمع‬ ‫ها‬ ‫داده‬ ‫بیتس‬ ‫با‬ ‫شوند‬ ‫می‬ ‫آوری‬. ‫ها‬ ‫داده‬ ‫استش‬ ‫الگ‬ ‫با‬ ‫ساختار‬ ‫و‬ ‫جداسازی‬ ،‫فیلتر‬ ‫شوند‬ ‫می‬ ‫بندی‬. ‫ایندک‬ ‫ها‬ ‫داده‬ ‫سرچ‬ ‫االستیک‬ ‫با‬‫س‬ ‫شوند‬ ‫می‬ ‫نگهداری‬ ‫و‬ ‫گذاری‬ ‫نمای‬ ‫امکان‬ ،‫کیبانا‬ ‫از‬ ‫استفاده‬ ‫با‬‫ش‬ ‫و‬ ‫شناسایی‬ ‫خدمات‬ ‫ارائه‬ ،‫ها‬ ‫داده‬ ‫پ‬ ‫امکان‬ ‫تصویری‬ ‫صورت‬ ‫به‬ ‫آالرم‬‫ذیر‬ ‫شود‬ ‫می‬.
  • 7. ‫کند؟‬ ‫می‬ ‫کمکی‬ ‫چه‬ ‫ها‬ ‫سازمان‬ ‫به‬ ‫الک‬ ‫اتفاق‬ ‫بررسی‬ ‫نیازمند‬ ‫خود‬ ‫رسانی‬ ‫خدمات‬ ‫بهبود‬ ‫جهت‬ ‫ها‬ ‫سازمان‬ ‫گذشته‬ ‫از‬‫ا‬ ‫با‬ ‫آینده‬ ‫های‬ ‫رویداد‬ ‫بینی‬ ‫پیش‬ ‫و‬ ‫ات‬‫از‬ ‫ستفاده‬ ‫اند‬ ‫بوده‬ ‫سیستم‬ ‫الگ‬ ‫های‬ ‫توانایی‬.‫االس‬ ‫ها‬ ‫ابزار‬ ‫بهترین‬ ‫از‬ ‫یکی‬ ‫بزرگ‬ ‫های‬ ‫داده‬ ‫پردازش‬ ‫و‬ ‫آوری‬ ‫جمع‬ ‫برای‬‫اس‬ ‫تیک‬‫می‬ ‫تک‬ ‫باشد‬. ‫استک‬ ‫االستیک‬ ‫مزایای‬: -‫ها‬ ‫سیستم‬ ‫و‬ ‫ها‬ ‫اپلیکیشن‬ ‫امنیتی‬ ‫پایش‬SIEM -‫و‬ ‫ها‬ ‫اپلیکیشن‬ ‫های‬ ‫پاسخ‬ ‫بازدهی‬ ‫و‬ ‫سرعت‬ ،‫اجرایی‬ ‫اطالعات‬ ‫جزئیات‬ ‫پایش‬‫ها‬ ‫سیستم‬APM -‫ها‬ ‫سیستم‬ ‫داده‬ ‫های‬ ‫پایگاه‬ ‫روی‬ ‫بر‬ ‫شده‬ ‫اجرا‬ ‫های‬ ‫کوئری‬ ‫پایش‬ -‫های‬ ‫جواب‬ ‫و‬ ‫ها‬ ‫درخواست‬ ‫پایش‬HTTP -‫مم‬ ‫زمان‬ ‫ترین‬ ‫کوتاه‬ ‫در‬ ‫سیستم‬ ‫مشکالت‬ ‫و‬ ‫ها‬ ‫مهم،خطا‬ ‫های‬ ‫رویداد‬ ‫یافتن‬‫ها‬ ‫آن‬ ‫بندی‬ ‫دسته‬ ‫و‬ ‫کن‬ -‫مختلف‬ ‫های‬ ‫سیستم‬ ‫های‬ ‫درالگ‬ ‫فریبکاری‬ ‫یافتن‬ -‫ها‬ ‫درخواست‬ ‫جغرافیایی‬ ‫نقشه‬ ‫اساس‬ ‫بر‬ ‫گیری‬ ‫گزارش‬ -‫ماشین‬ ‫یادگیری‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫داده‬ ‫های‬ ‫مدل‬ ‫بررسی‬‫سیستم‬ ‫های‬ ‫ناهنجاری‬ ‫شناسایی‬ ‫و‬
  • 8. ‫ها‬ ‫سیستم‬ ‫و‬ ‫ها‬ ‫اپلیکیشن‬ ‫امنیتی‬ ‫پایش‬SIEM ‫های‬ ‫قابلیت‬ ‫از‬ ‫استفاده‬ ‫با‬AUDIT BEAT‫می‬ ‫شناسای‬ ‫را‬ ‫ناموفق‬ ‫و‬ ‫نامعتبر‬ ‫های‬ ‫درخواست‬ ‫توان‬‫و‬ ‫ی‬ ‫قرار‬ ‫استفاده‬ ‫مورد‬ ‫خطر‬ ‫منبع‬ ‫کردن‬ ‫پیدا‬ ‫جهت‬ ‫در‬ ‫داد‬. ELASTIC SEIM‫ب‬ ‫را‬ ‫شبکه‬ ‫و‬ ‫هاست‬ ‫یکپارچگی‬‫ه‬ ‫وسیله‬ELASTIC COMMON SCHEMA ‫گذارد‬ ‫می‬ ‫اجرا‬ ‫به‬. ‫استفاد‬ ‫و‬ ‫مدیریت‬ ‫در‬ ‫االستیک‬ ‫درونی‬ ‫توانایی‬‫از‬ ‫ه‬ ‫کامل‬ ‫بررسی‬ ‫و‬ ‫داده‬ ‫پتابایت‬DNS‫های‬ ‫ترند‬ ، ‫ت‬ ‫اصلی‬ ‫منشا‬ ‫یافتن‬ ‫به‬ ،‫داده‬ ‫جریان‬ ‫و‬ ‫ها‬ ‫کوئری‬‫هدید‬ ‫کند‬ ‫می‬ ‫کمک‬ ‫ها‬.
  • 9. ‫ها‬ ‫سیستم‬ ‫و‬ ‫ها‬ ‫اپلیکیشن‬ ‫امنیتی‬ ‫پایش‬SIEM
  • 10. -‫و‬ ‫ها‬ ‫اپلیکیشن‬ ‫های‬ ‫پاسخ‬ ‫بازدهی‬ ‫و‬ ‫سرعت‬ ،‫اجرایی‬ ‫اطالعات‬ ‫جزئیات‬ ‫پایش‬‫ها‬ ‫سیستم‬APM ‫های‬ ‫قابلیت‬ ‫از‬ ‫استفاده‬ ‫با‬APM‫متریک‬ ‫توانید‬ ‫می‬ ‫تشحیص‬ ‫با‬ ‫و‬ ‫کرده‬ ‫ماینتور‬ ‫را‬ ‫اپلیکیشن‬ ‫های‬‫محل‬ ‫اپلبک‬ ‫پاسخگویی‬ ‫سرعت‬ ‫بهبود‬ ‫به‬ ،‫تعلل‬ ‫های‬‫و‬ ‫یشن‬ ‫کنید‬ ‫کمک‬ ‫اپلیکیشن‬ ‫های‬ ‫باگ‬ ‫رفع‬. ‫بررسی‬ ‫وسیله‬ ‫به‬ ‫را‬ ‫ها‬ ‫اپلیکیشن‬ ‫های‬ ‫تاخیر‬ ‫کنیم‬ ‫می‬ ‫مانیتور‬ ‫سیستم‬ ‫انتقاالت‬. ‫متداو‬ ‫های‬ ‫زبان‬ ‫از‬ ‫بسیاری‬ ‫با‬ ‫هماهنگی‬ ‫قابلیت‬‫ل‬ ‫های‬ ‫قابلیت‬ ‫از‬ ‫بخشی‬APM‫باشد‬ ‫می‬.
  • 11. -‫و‬ ‫ها‬ ‫اپلیکیشن‬ ‫های‬ ‫پاسخ‬ ‫بازدهی‬ ‫و‬ ‫سرعت‬ ،‫اجرایی‬ ‫اطالعات‬ ‫جزئیات‬ ‫پایش‬‫ها‬ ‫سیستم‬APM
  • 12. -‫ها‬ ‫سیستم‬ ‫داده‬ ‫های‬ ‫پایگاه‬ ‫روی‬ ‫بر‬ ‫شده‬ ‫اجرا‬ ‫های‬ ‫کوئری‬ ‫پایش‬ ‫دقی‬ ‫بررسی‬ ‫نیازمند‬ ‫داده‬ ‫های‬ ‫پایگاه‬ ‫از‬ ‫بسیاری‬‫ق‬ ‫و‬ ‫ورود‬ ‫وضعیت‬ ،‫هستند‬ ‫ها‬ ‫کوئری‬ ‫اجرای‬ ‫وضعیت‬ ‫داده‬ ‫های‬ ‫پایگاه‬ ‫در‬ ‫چه‬ ‫ها‬ ‫داده‬ ‫خروج‬SQL‫چه‬ NOSQL‫های‬ ‫الگ‬ ‫تحلیل‬ ‫و‬ ‫ذخیره‬ ‫نیازمند‬ ‫باشند‬ ‫می‬ ‫دیتابیس‬ ‫سرویس‬.
  • 13. -‫های‬ ‫جواب‬ ‫و‬ ‫ها‬ ‫درخواست‬ ‫پایش‬HTTP ‫به‬ ‫عملیاتی‬ ‫های‬ ‫سیستم‬ ‫های‬ ‫سرور‬ ‫پاسخ‬ ‫کلی‬ ‫وضعیت‬ ‫دهنده‬ ‫نشان‬ ‫کاربران‬ ‫های‬ ‫درخواست‬ ‫پ‬ ‫انواع‬ ‫بررسی‬ ‫با‬ ‫توان‬ ‫می‬ ،‫باشد‬ ‫می‬ ‫سیستم‬‫اسخ‬ ‫سرور‬ ‫بررسی‬ ‫و‬ ‫ها‬ ‫آن‬ ‫نوع‬ ‫بررسی‬ ‫و‬ ‫سرور‬ ‫های‬ ‫آگ‬ ‫سرور‬ ‫اپلیکیشن‬ ‫سالمت‬ ‫به‬ ‫نسبت‬ ،‫پاسخ‬‫اهی‬ ‫نمود‬ ‫مشخص‬ ‫را‬ ‫مشکل‬ ‫ریشه‬ ‫یا‬ ‫و‬ ‫یافت‬.
  • 14. -‫مم‬ ‫زمان‬ ‫ترین‬ ‫کوتاه‬ ‫در‬ ‫سیستم‬ ‫مشکالت‬ ‫و‬ ‫ها‬ ‫مهم،خطا‬ ‫های‬ ‫رویداد‬ ‫یافتن‬‫بندی‬ ‫دسته‬ ‫و‬ ‫کن‬‫ها‬ ‫آن‬ ‫های‬ ‫بخش‬ ‫های‬ ‫فعالیت‬ ‫هیستوگرام‬ ‫بررسی‬ ‫با‬ ‫سیس‬ ‫پیک‬ ‫های‬ ‫زمان‬ ‫توان‬ ‫می‬ ‫سیستم‬ ‫مختلف‬‫و‬ ‫تم‬ ‫ممکن‬ ‫زمان‬ ‫ترین‬ ‫کوتاه‬ ‫در‬ ‫را‬ ‫مرتبط‬ ‫مشکالت‬ ‫ب‬ ‫مختلف‬ ‫های‬ ‫آالرم‬ ‫تنظیم‬ ‫با‬ ‫و‬ ‫نمود‬ ‫شناسایی‬‫ر‬ ‫ها‬ ‫آن‬ ‫خطاهای‬ ‫رفع‬ ‫و‬ ‫آگاهی‬ ‫به‬ ‫نسبت‬ ،‫آن‬ ‫روی‬ ‫نمود‬ ‫اقدام‬. ‫آن‬ ‫بررسی‬ ‫و‬ ‫ها‬ ‫داده‬ ‫آماری‬ ‫رفتارهای‬ ‫سازی‬ ‫منطبق‬ ‫ب‬ ‫پیش‬ ‫برای‬ ‫تواند‬ ‫می‬ ،‫نرمال‬ ‫حالت‬ ‫به‬ ‫نسبت‬ ‫ها‬‫ینی‬ ‫باشد‬ ‫کننده‬ ‫کمک‬ ‫آینده‬ ‫اتفاقات‬‫نرمال‬ ‫غیر‬ ‫رفتارهای‬ ‫نرمال‬ ‫رفتارهای‬
  • 15. -‫مختلف‬ ‫های‬ ‫سیستم‬ ‫های‬ ‫درالگ‬ ‫فریبکاری‬ ‫یافتن‬ ‫های‬ ‫الگ‬ ‫بررسی‬ ‫با‬ ،‫بخشی‬ ‫چند‬ ‫های‬ ‫سیستم‬ ‫در‬ ‫ا‬ ‫هماهنگی‬ ‫ارزیابی‬ ‫و‬ ‫سیستم‬ ‫مختلف‬ ‫های‬ ‫بخش‬‫ین‬ ‫چه‬ ،‫ها‬ ‫سیستم‬ ‫های‬ ‫الگ‬ ‫در‬ ‫یکپارچگی‬ ‫و‬ ‫ها‬ ‫الگ‬ ‫توان‬ ‫می‬ ‫سیستمی‬ ‫بخش‬ ‫در‬ ‫چه‬ ‫و‬ ‫مالی‬ ‫بخش‬ ‫در‬‫از‬ ‫شد‬ ‫مطمئن‬ ‫فریبکاری‬ ‫وجود‬.
  • 16. -‫ها‬ ‫درخواست‬ ‫جغرافیایی‬ ‫نقشه‬ ‫اساس‬ ‫بر‬ ‫گیری‬ ‫گزارش‬ ‫درخواست‬ ‫جغرافیایی‬ ‫های‬ ‫محل‬ ‫به‬ ‫نسبت‬ ‫آگاهی‬ ‫باعث‬ ،‫جغرافیایی‬ ‫های‬ ‫ترند‬ ‫بررسی‬ ،‫حمالت‬ ،‫ها‬ ‫های‬ ‫محدوده‬ ‫در‬ ‫مشکل‬ ‫رفع‬ ‫جهت‬ ‫برنامه‬ ‫یک‬ ‫ایجاد‬ ‫ایجا‬ ‫ریزی‬ ‫برنامه‬ ‫و‬ ‫شناسایی‬ ،‫جغرافیایی‬ ‫خاص‬‫د‬ ‫و‬ ‫سئو‬ ‫سازی‬ ‫بهینه‬ ‫یا‬ ‫و‬ ‫خاص‬ ‫های‬ ‫محل‬ ‫در‬ ‫سرور‬ ‫شود‬ ‫می‬ ‫مرتبط‬ ‫موضوعات‬.
  • 17. -‫ناهنجار‬ ‫شناسایی‬ ‫و‬ ‫ماشین‬ ‫یادگیری‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫داده‬ ‫های‬ ‫مدل‬ ‫بررسی‬‫سیستم‬ ‫های‬ ‫ی‬ ‫ب‬ ،‫خاص‬ ‫رویداد‬ ‫یک‬ ‫پیشین‬ ‫های‬ ‫مدل‬ ‫بررسی‬ ‫با‬‫ه‬ ‫روند‬ ‫یا‬ ‫وب‬ ‫صفحه‬ ‫یک‬ ‫بازدید‬ ‫روند‬ ،‫مثال‬ ‫عنوان‬ ‫یک‬ ‫به‬ ‫دسترسی‬API‫پست‬ ‫حدودی‬ ‫میزان‬ ‫یا‬ ‫و‬ ‫مدل‬ ‫توان‬ ‫می‬ ،‫خاص‬ ‫سرور‬ ‫یک‬ ‫به‬ ‫ارسالی‬ ‫های‬ ‫سیس‬ ‫برای‬ ‫ماشین‬ ‫یادگیری‬ ‫وسیله‬ ‫به‬ ‫خاصی‬‫تم‬ ‫توان‬ ‫می‬ ‫مدل‬ ‫این‬ ‫بررسی‬ ‫با‬ ‫که‬ ‫نمود‬ ‫شناسایی‬ ‫ک‬ ‫بینی‬ ‫پیش‬ ‫نیز‬ ‫را‬ ‫سیستم‬ ‫آینده‬ ‫اتفاقات‬‫به‬ ‫که‬ ‫رد‬ ‫نما‬ ‫می‬ ‫شایانی‬ ‫کمک‬ ‫سیستم‬ ‫روند‬ ‫شناسایی‬‫ید‬.
  • 18. ‫ا‬ ‫ریشه‬ ‫یافتن‬ ‫و‬ ‫ها‬ ‫ناهنجاری‬ ‫شناسایی‬ ‫برای‬ ‫ماشین‬ ‫یادگیری‬ ‫از‬ ‫استفاده‬‫صلی‬
  • 19. ‫مشهور‬ ‫شده‬ ‫استفاده‬ ‫های‬ ‫نمونه‬: ‫هاب‬ ‫گیت‬ ‫سایت‬:‫مقیاسی‬ ‫بررسی‬‫ویکیپدیا‬ ‫سایت‬:‫های‬ ‫زبان‬ ‫بازشناسی‬‫مختلف‬
  • 21. ‫تحقق‬ ‫کار‬ ‫راه‬ELK‫اجرا‬ ‫و‬ ‫نصب‬ ‫راه‬ ‫نقشه‬ ، 1.‫اجزاء‬ ‫نصب‬ 2.‫تنظیم‬ ‫و‬ ‫استقرار‬ ‫سرچ‬ ‫االستیک‬ ‫خوشه‬ 3.‫گذاری‬ ‫شاخص‬ ‫ها‬ ‫داده‬ 4.‫تحلیل‬ ‫و‬ ‫نگاشت‬ ‫متن‬ 5.‫و‬ ‫سازی‬ ‫میزان‬ ‫خوشه‬ ‫سازی‬ ‫خودکار‬ 6.‫سازی‬ ‫بهینه‬ ‫کوئری‬ 7.‫تجمیع‬8.‫کافکا‬ ‫آپاچی‬9.‫آموزش‬
  • 22. 1.‫اجزا‬ ‫نصب‬ 1.1‫ها‬ ‫کامپوننت‬ ‫تنظیم‬ ‫و‬ ‫نصب‬ INSTALLATION AND CONFIGURATION COMPONENT -‫اس‬ ‫الگ‬ ،‫انجینکس‬ ‫های‬ ‫پکیج‬ ‫تنظیم‬ ‫و‬ ‫نصب‬،‫تش‬ ‫م‬ ‫ماشین‬ ‫یک‬ ‫روی‬ ‫بر‬ ‫کیبانا‬ ‫و‬ ‫سرچ‬ ‫االستیک‬‫جازی‬ ‫شبکه‬ ‫در‬‫راه‬ ،‫نصب‬ ‫و‬،‫اندازی‬‫بازده‬ ‫سازی‬ ‫بهینه‬‫ی‬ ‫ه‬ ‫گره‬ ‫تمامی‬ ‫روی‬ ‫بر‬ ‫بیت‬ ‫فایل‬ ‫ماژول‬ ‫تنظیم‬ ‫و‬‫ای‬ ‫شبکه‬ -‫جمع‬ ‫و‬ ‫هدف‬ ‫های‬ ‫ماشین‬ ‫روی‬ ‫بر‬ ‫دیتا‬ ‫نت‬ ‫نصب‬ ‫صفحه‬ ‫یک‬ ‫به‬ ‫ها‬ ‫داده‬ ‫تمامی‬ ‫آوری‬HTML‫به‬ ‫اجرایی‬ ‫موارد‬ ‫ردیابی‬ ‫و‬ ‫بالدرنگ‬ ‫صورت‬ -‫وس‬ ‫به‬ ‫تنظیم‬ ‫و‬ ‫نصب‬ ‫فرآیند‬ ‫سازی‬ ‫خودکار‬‫یله‬ ANSIBLE‫فرآیند‬ ‫سازی‬ ‫مستند‬ ‫و‬ 1.2‫دیتا‬ ‫نت‬ ‫شبکه‬ ‫مانیتور‬ ‫افزار‬ ‫نرم‬ ‫نصب‬ 1.3‫انسیبل‬ ‫با‬ ‫فرآیند‬ ‫سازی‬ ‫خودکار‬
  • 23. 2.‫االستیک‬ ‫های‬ ‫خوشه‬ ‫تنظیم‬ ‫و‬ ‫استقرار‬‫سرچ‬ 2.1‫سرچ‬ ‫االستیک‬ ‫خوشه‬ ‫استقرار‬ DEPLOY AND CONFIGURE ELASTICSEARCH CLUSTER -‫سرچ‬ ‫االستیک‬ ‫خوشه‬ ‫استقرار‬ .‫فایل‬ ‫کردن‬ ‫باز‬ ‫مخشص‬ ‫های‬ ‫محدودیت‬ ‫با‬ ‫االستیک‬ ‫کاربر‬ ‫یک‬ ‫ایجاد‬ .‫وسیله‬ ‫به‬ ‫حافظه‬ ‫نگاشت‬ ‫های‬ ‫محدودیت‬ ‫تنظیم‬SYSCTL .‫ها‬ ‫گره‬ ‫نام‬ ‫و‬ ‫سرچ‬ ‫االستیک‬ ‫خوشه‬ ‫کردن‬ ‫مشخص‬ .‫االستیک‬ ‫های‬ ‫گره‬ ‫برای‬ ‫دلخواه‬ ‫های‬ ‫گزاره‬ ‫ایجاد‬ .‫ها‬ ‫گره‬ ‫های‬ ‫نقش‬ ‫دادن‬ ‫اختصاص‬ .‫جاوا‬ ‫هیپ‬ ‫مجازی‬ ‫ماشین‬ ‫االستیک‬ ‫تنظیم‬ .‫االستیک‬ ‫شبکه‬ ‫های‬ ‫ادرس‬ ‫کردن‬ ‫مقید‬ ‫و‬ ‫تنظیم‬ .‫سرچ‬ ‫االستیک‬ ‫برای‬ ‫اکشتاف‬ ‫گره‬ ‫تنظیم‬ .‫نامتمرکز‬ ‫ذهن‬ ‫از‬ ‫جلوگیری‬ ‫برای‬ ‫ها‬ ‫خوشه‬ ‫محدودیت‬ ‫تنظیم‬(BRAIN- SPLIT) .‫خوشه‬ ‫در‬ ‫گره‬ ‫هر‬ ‫به‬ ‫ها‬ ‫گره‬ ‫های‬ ‫صفت‬ ‫تنظیم‬ .‫صفت‬ ‫اساس‬ ‫بر‬ ‫خاص‬ ‫گره‬ ‫یک‬ ‫به‬ ‫تخصیص‬ ‫برای‬ ‫ها‬ ‫شاخص‬ ‫تنظیم‬‫ها‬
  • 24. 2.‫االستیک‬ ‫های‬ ‫خوشه‬ ‫تنظیم‬ ‫و‬ ‫استقرار‬‫سرچ‬ 2.1‫سرچ‬ ‫االستیک‬ ‫خوشه‬ ‫استقرار‬ DEPLOY AND CONFIGURE ELASTICSEARCH CLUSTER -‫سرچ‬ ‫االستیک‬ ‫های‬ ‫خوشه‬ ‫سازی‬ ‫امن‬ .‫یک‬ ‫ایجاد‬CA‫ابزار‬ ‫وسیله‬ ‫به‬CERTUTIL .‫ها‬ ‫گره‬ ‫های‬ ‫گواهی‬ ‫ایجاد‬ .‫به‬ ‫ها‬ ‫گواهی‬ ‫عبور‬ ‫رمزهای‬ ‫کردن‬ ‫اضافه‬KEYSTORE .‫انتقال‬ ‫شبکه‬ ‫رمزنگاری‬ .‫اولیه‬ ‫کاربران‬ ‫عبور‬ ‫رمزهای‬ ‫تنظیم‬ .‫شبکه‬ ‫رمزنگاری‬HTTP 2.2‫سرچ‬ ‫االستیک‬ ‫های‬ ‫خوشه‬ ‫سازی‬ ‫امن‬
  • 25. 2.‫االستیک‬ ‫های‬ ‫خوشه‬ ‫تنظیم‬ ‫و‬ ‫استقرار‬‫سرچ‬ 2.1‫سرچ‬ ‫االستیک‬ ‫خوشه‬ ‫استقرار‬ DEPLOY AND CONFIGURE ELASTICSEARCH CLUSTER -‫نقش‬ ‫دسترسی‬ ‫کنترل‬ ‫تعریف‬-‫پایه‬ .‫کاربرها‬ ‫و‬ ‫ها‬ ‫رل‬ ‫ایجاد‬ ‫جهت‬ ‫کیبانا‬ ‫کاربری‬ ‫رابط‬ ‫از‬ ‫استفاده‬ .‫ک‬ ‫و‬ ‫ها‬ ‫رل‬ ‫ایجاد‬ ‫برای‬ ‫االستیک‬ ‫دسترسی‬ ‫نقطه‬ ‫رابط‬ ‫از‬ ‫استفاده‬‫ها‬ ‫اربر‬ .‫از‬ ‫استفاده‬CURL‫کاربرها‬ ‫و‬ ‫ها‬ ‫رل‬ ‫ایجاد‬ ‫برای‬ .‫ها‬ ‫خوشه‬ ‫مشخص‬ ‫مجوزهای‬ ‫به‬ ‫دسترسی‬ ‫محدودیت‬ .‫خاص‬ ‫های‬ ‫شاخص‬ ‫به‬ ‫دسترسی‬ ‫محدودیت‬ .‫مشخص‬ ‫های‬ ‫شاخص‬ ‫روی‬ ‫بر‬ ‫فقط‬ ‫ها‬ ‫عملیات‬ ‫انجام‬ ‫اجازه‬ .‫کوئری‬ ‫طریق‬ ‫از‬ ‫اسناد‬ ‫به‬ ‫دسترسی‬ ‫کردن‬ ‫محدود‬ .‫مشخص‬ ‫اسناد‬ ‫های‬ ‫فیلد‬ ‫به‬ ‫دسترسی‬ ‫محدودیت‬ .‫مشخص‬ ‫رل‬ ‫مجموعه‬ ‫یک‬ ‫با‬ ‫کاربر‬ ‫یک‬ ‫ایجاد‬ 2.2‫سرچ‬ ‫االستیک‬ ‫های‬ ‫خوشه‬ ‫سازی‬ ‫امن‬ 2.3‫نقش‬ ‫دسترسی‬ ‫کنترل‬ ‫تعریف‬-‫پایه‬
  • 26. 3.‫ها‬ ‫داده‬ ‫گذاری‬ ‫شاخص‬ 3.1‫ها‬ ‫شاخص‬ ‫تعریف‬ INDEXING DATA -‫ها‬ ‫شاخص‬ ‫تعریف‬ .‫المثنی‬ ‫و‬ ‫اولیه‬ ‫های‬ ‫سرور‬ ‫تعداد‬ ‫تنظیم‬ .‫ها‬ ‫تکه‬ ‫تخصیص‬(SHARD)‫آماده‬ ‫های‬ ‫گره‬ ‫به‬ ‫شاخص‬ ‫یک‬ ‫برای‬ .‫کار‬ ‫به‬ ‫آماده‬ ‫های‬ ‫گره‬ ‫به‬ ‫ها‬ ‫شاخص‬ ‫بقیه‬ ‫برای‬ ‫ها‬ ‫تکه‬ ‫تخصیص‬ .‫ها‬ ‫معادل‬ ‫به‬ ‫ها‬ ‫شاخص‬ ‫ارتباط‬ .‫تکه‬ ‫مشخص‬ ‫تعداد‬ ‫با‬ ‫شاخص‬ ‫ایجاد‬ .‫واضح‬ ‫های‬ ‫نگاشت‬ ‫با‬ ‫ها‬ ‫شاخص‬ ‫ایجاد‬ .‫خوشه‬ ‫یک‬ ‫در‬ ‫ها‬ ‫شاخص‬ ‫کردن‬ ‫لیست‬ .‫شاخص‬ ‫هر‬ ‫آناتومی‬ ‫تشریح‬
  • 27. 3.‫ها‬ ‫داده‬ ‫گذاری‬ ‫شاخص‬ 3.1‫ها‬ ‫شاخص‬ ‫تعریف‬ INDEXING DATA -‫شاخص‬ ‫های‬ ‫معادل‬ ‫از‬ ‫استفاده‬ ‫و‬ ‫تعریف‬(‫اختیاری‬) .‫با‬ ‫ها‬ ‫معادل‬ ‫حذف‬ ‫یا‬ ‫و‬ ‫ایجاد‬_ALIASES‫کاربری‬ ‫نقطه‬ ‫رابط‬ .‫شاخص‬ ‫در‬ ‫ها‬ ‫معادل‬ ‫کردن‬ ‫اضافه‬-‫زمان‬ .‫شده‬ ‫فیلتر‬ ‫های‬ ‫معادل‬ ‫ایجاد‬ 3.2‫شاخص‬ ‫های‬ ‫معادل‬ ‫از‬ ‫استفاده‬ ‫و‬ ‫تعریف‬
  • 28. 3.‫ها‬ ‫داده‬ ‫گذاری‬ ‫شاخص‬ 3.1‫ها‬ ‫شاخص‬ ‫تعریف‬ INDEXING DATA -‫پویا‬ ‫نمونه‬ ‫یک‬ ‫از‬ ‫استفاده‬ ‫و‬ ‫تعریف‬(‫اختیاری‬) .‫پویا‬ ‫فرض‬ ‫پیش‬ ‫های‬ ‫نگاشت‬ ‫با‬ ‫ها‬ ‫مستند‬ ‫گذاری‬ ‫شاخص‬ .‫پویا‬ ‫نگاشت‬ ‫رفتارهای‬ ‫تغییر‬ ‫برای‬ ‫پویا‬ ‫های‬ ‫نمونه‬ ‫ایجاد‬ .‫مشخص‬ ‫های‬ ‫نام‬ ‫الگو‬ ‫برای‬ ‫فقط‬ ‫پویا‬ ‫نمونه‬ ‫ایجاد‬ .‫مشخص‬ ‫کامال‬ ‫نگاشت‬ ‫های‬ ‫فیلد‬ ‫ایجاد‬ 3.2‫شاخص‬ ‫های‬ ‫معادل‬ ‫از‬ ‫استفاده‬ ‫و‬ ‫تعریف‬ 3.3‫پویا‬ ‫نمونه‬ ‫یک‬ ‫از‬ ‫استفاده‬ ‫و‬ ‫تعریف‬
  • 29. 3.‫ها‬ ‫داده‬ ‫گذاری‬ ‫شاخص‬ 3.1‫ها‬ ‫شاخص‬ ‫تعریف‬ INDEXING DATA -‫آمیزی‬ ‫هم‬ ‫در‬ ‫خط‬ ‫استفاده‬ ‫و‬ ‫تعریف‬ .‫آمیزی‬ ‫درهم‬ ‫خط‬ ‫یک‬ ‫تعریف‬(INGEST PIPELINE) .‫شاخص‬ ‫یک‬ ‫از‬ ‫فیلد‬ ‫یک‬ ‫حذف‬ .‫فیلد‬ ‫یک‬ ‫داده‬ ‫نوع‬ ‫تبدیل‬ .‫مصالحه‬ ‫رشته‬ ‫یک‬ ‫با‬ ‫جدید‬ ‫فیلد‬ ‫یک‬ ‫کردن‬ ‫اضافه‬ .‫وابسته‬ ‫فیلد‬ ‫یک‬ ‫رسانی‬ ‫روز‬ ‫به‬ ‫برای‬ ‫سختی‬ ‫بدون‬ ‫ابزار‬ ‫از‬ ‫استفاده‬‫م‬ ‫به‬‫قدار‬ ‫آن‬ ‫فعلی‬ .‫جدید‬ ‫شاخص‬ ‫یک‬ ‫به‬ ‫دوباره‬ ‫گذاری‬ ‫شاخص‬ ‫هنگام‬ ‫در‬ ‫مستندات‬ ‫تغییر‬‫در‬ ‫خط‬ ‫یک‬ 3.2‫شاخص‬ ‫های‬ ‫معادل‬ ‫از‬ ‫استفاده‬ ‫و‬ ‫تعریف‬ 3.3‫پویا‬ ‫نمونه‬ ‫یک‬ ‫از‬ ‫استفاده‬ ‫و‬ ‫تعریف‬ 3.4‫آمیزی‬ ‫درهم‬ ‫خط‬ ‫استفاده‬ ‫و‬ ‫تعریف‬
  • 30. 4.‫متن‬ ‫تحلیل‬ ‫و‬ ‫نگاشت‬ 4.1‫نگاشت‬ ‫یک‬ ‫تعریف‬ MAPPINGS AND TEXT ANALYSIS -‫نگاشت‬ ‫یک‬ ‫تعریف‬ .‫شاخص‬ ‫نگاشت‬ ‫تعریف‬ .‫نگاشت‬ ‫نوع‬ ‫یک‬ ‫ایجاد‬ .‫مناسب‬ ‫داده‬ ‫نوع‬ ‫به‬ ‫فیلد‬ ‫نگاشت‬ .‫مشخص‬ ‫گر‬ ‫تحلیل‬ ‫یک‬ ‫با‬ ‫ها‬ ‫فیلد‬ ‫رشته‬ ‫تحلیل‬ ‫ایجاد‬ .‫کارکتر‬ ‫محدودیت‬ ‫با‬ ‫ها‬ ‫فیلد‬ ‫رشته‬ ‫تحلیل‬ ‫غیر‬ ‫ایجاد‬ .‫نقطه‬ ‫نگاشت‬ ‫ایجاد‬-‫جغرافیایی‬ .‫عددی‬ ‫نگاشت‬ ‫ایجاد‬ .‫زمان‬ ‫نگاشت‬ ‫ایجاد‬ .‫پی‬ ‫آی‬ ‫نگاشت‬ ‫ایجاد‬ .‫ای‬ ‫النه‬ ‫نگاشت‬ ‫ایجاد‬(‫شی‬)
  • 31. 4.‫متن‬ ‫تحلیل‬ ‫و‬ ‫نگاشت‬ 4.1‫نگاشت‬ ‫یک‬ ‫تعریف‬ MAPPINGS AND TEXT ANALYSIS -‫دلخواه‬ ‫تحلیلگر‬ ‫یک‬ ‫تعریف‬ ‫و‬ ‫ایجاد‬ .‫متن‬ ‫تحلیلگر‬ ‫تعریف‬ .‫کنند‬ ‫می‬ ‫پشتیبانی‬ ‫را‬ ‫متن‬ ‫تحلیل‬ ‫که‬ ‫ها‬ ‫داده‬ ‫نوع‬ ‫کردن‬ ‫مشخص‬ .‫داخلی‬ ‫های‬ ‫تحلیلگر‬ ‫وسیله‬ ‫به‬ ‫ها‬ ‫متن‬ ‫از‬ ‫تعدادی‬ ‫تحلیل‬ .‫زبان‬ ‫تحلیلگران‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫ها‬ ‫زبان‬ ‫از‬ ‫زیادی‬ ‫تعدادی‬ ‫متن‬ ‫تحلیل‬‫د‬‫اخلی‬ .‫داخلی‬ ‫تحلیلگر‬ ‫یک‬ ‫سازی‬ ‫شخصی‬ .‫ی‬ ‫های‬ ‫کارکتر‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫شده‬ ‫سازی‬ ‫شخصی‬ ‫تحلیلگر‬ ‫یک‬ ‫ایجاد‬‫و‬ ‫کتا‬ ‫شده‬ ‫رمزنگاری‬ ‫های‬ ‫فیلتر‬ .‫رفتارهای‬ ‫مقایسه‬ ‫برای‬ ‫متفاوت‬ ‫تحلیلگران‬ ‫با‬ ‫کلمات‬ ‫برای‬ ‫جستجو‬‫تحلیلگ‬‫ران‬ ‫متن‬ .‫استاندارد‬ ‫تحلیلگران‬ ‫اساس‬ ‫بر‬ ‫شده‬ ‫تحلیل‬ ‫فیلد‬ ‫یک‬ ‫ایجاد‬ .‫نگاشت‬ ‫فیلد‬ ‫شده‬ ‫سازی‬ ‫شخصی‬ ‫تحلیلگر‬ ‫یک‬ ‫ایجاد‬ 4.2‫دلخواه‬ ‫تحلیلگر‬ ‫یک‬ ‫تعریف‬ ‫و‬ ‫ایجاد‬
  • 32. 5.‫ها‬ ‫خوشه‬ ‫سازی‬ ‫خودکار‬ ‫و‬ ‫بهسازی‬ 5.1‫خاص‬ ‫های‬ ‫گره‬ ‫شاخص‬ ‫تکه‬ ‫تخصیص‬ CLUSTER TUNING AND AUTOMATION -‫خاص‬ ‫های‬ ‫گره‬ ‫شاخص‬ ‫تکه‬ ‫تخصیص‬ .‫شاخص‬ ‫یک‬ ‫برای‬ ‫المثنی‬ ‫و‬ ‫اولیه‬ ‫تکه‬ ‫تخصیص‬ .‫شاخص‬ ‫یک‬ ‫به‬ ‫شده‬ ‫داده‬ ‫تخصیص‬ ‫های‬ ‫تکه‬ ‫نمایش‬ .‫شاخص‬ ‫یک‬ ‫به‬ ‫شده‬ ‫داده‬ ‫تخصیص‬ ‫تکه‬ ‫تنظیمات‬ ‫رسانی‬ ‫روز‬ ‫به‬ .‫دستی‬ ‫صورت‬ ‫به‬ ‫مشخص‬ ‫گره‬ ‫یک‬ ‫به‬ ‫شاخص‬ ‫یک‬ ‫تخصیص‬ -‫شاخص‬ ‫یک‬ ‫تکه‬ ‫تخصیص‬ ‫آگاهی‬ ‫تنظیم‬ .‫ها‬ ‫تکه‬ ‫تخصیص‬ ‫آگاهی‬ ‫تنظیم‬ .‫اجباری‬ ‫های‬ ‫تکه‬ ‫تخصیص‬ ‫آگاهی‬ ‫تنظیم‬ .‫چرا‬ ‫و‬ ‫گیرد‬ ‫می‬ ‫قرار‬ ‫استفاده‬ ‫مورد‬ ‫آگاهی‬ ‫روش‬ ‫چه‬ ‫کردن‬ ‫مشخص‬ 5.2‫شاخص‬ ‫یک‬ ‫تکه‬ ‫تخصیص‬ ‫اگاهی‬ ‫تنظیم‬
  • 33. 5.‫ها‬ ‫خوشه‬ ‫سازی‬ ‫خودکار‬ ‫و‬ ‫بهسازی‬ 5.1‫خاص‬ ‫های‬ ‫گره‬ ‫شاخص‬ ‫تکه‬ ‫تخصیص‬ CLUSTER TUNING AND AUTOMATION -‫ک‬ ‫به‬ ‫آماده‬ ‫یا‬ ‫و‬ ‫آماده‬ ‫معماری‬ ‫در‬ ‫استفاده‬ ‫برای‬ ‫خوشه‬ ‫یک‬ ‫تنظیم‬‫ار‬ .‫گره‬ ‫های‬ ‫صفت‬ ‫تنظیم‬ .‫آماده‬ ‫گره‬ ‫یک‬ ‫به‬ ‫شده‬ ‫داده‬ ‫تخصیص‬ ‫شاخص‬ ‫یک‬ ‫ایجاد‬ .‫کار‬ ‫به‬ ‫آماده‬ ‫گره‬ ‫یک‬ ‫به‬ ‫شده‬ ‫داده‬ ‫تخصیص‬ ‫شاخص‬ ‫یک‬ ‫ایجاد‬ 5.2‫شاخص‬ ‫یک‬ ‫تکه‬ ‫تخصیص‬ ‫اگاهی‬ ‫تنظیم‬ 5.3‫در‬ ‫استفاده‬ ‫برای‬ ‫خوشه‬ ‫یک‬ ‫تنظیم‬ ‫کار‬ ‫به‬ ‫آماده‬ ‫یا‬ ‫و‬ ‫آماده‬ ‫معماری‬
  • 34. 5.‫ها‬ ‫خوشه‬ ‫سازی‬ ‫خودکار‬ ‫و‬ ‫بهسازی‬ 5.1‫خاص‬ ‫های‬ ‫گره‬ ‫شاخص‬ ‫تکه‬ ‫تخصیص‬ CLUSTER TUNING AND AUTOMATION 5.2‫شاخص‬ ‫یک‬ ‫تکه‬ ‫تخصیص‬ ‫اگاهی‬ ‫تنظیم‬ 5.3‫در‬ ‫استفاده‬ ‫برای‬ ‫خوشه‬ ‫یک‬ ‫تنظیم‬ ‫کار‬ ‫به‬ ‫آماده‬ ‫یا‬ ‫و‬ ‫آماده‬ ‫معماری‬ -‫خاص‬ ‫شاخص‬ ‫و‬ ‫خوشه‬ ‫یک‬ ‫بازنشانی‬ ‫و‬ ‫گیری‬ ‫پشتیبان‬ .‫گره‬ ‫تک‬ ‫خوشه‬ ‫یک‬ ‫استقرار‬ .‫ها‬ ‫پشتیبان‬ ‫بازنشانی‬ ‫برای‬ ‫خوشه‬ ‫تنظیم‬ .‫شات‬ ‫اسنپ‬ ‫مخزن‬ ‫یک‬ ‫کردن‬ ‫اضافه‬ .‫شاخص‬ ‫یک‬ ‫بازنشانی‬ .‫متفاوت‬ ‫نام‬ ‫یک‬ ‫با‬ ‫شاخص‬ ‫یک‬ ‫بازنشانی‬ .‫مشخص‬ ‫های‬ ‫شاخص‬ ‫گیری‬ ‫پشتیبان‬ .‫خوشه‬ ‫وضعیت‬ ‫گیری‬ ‫پشتیبان‬ .‫شات‬ ‫اسنپ‬ ‫یک‬ ‫از‬ ‫داده‬ ‫بازنشانی‬ 5.4‫یک‬ ‫بازنشانی‬ ‫و‬ ‫گیری‬ ‫پشتیبان‬ ‫خاص‬ ‫شاخص‬ ‫و‬ ‫خوشه‬
  • 35. 6.‫ها‬ ‫کوئری‬ ‫سازی‬ ‫بهینه‬ 6.1‫شده‬ ‫جستجو‬ ‫کلمات‬ ‫سازی‬ ‫برجسته‬ ‫کوئری‬ ‫یک‬ ‫به‬ ‫پاسخ‬ ‫در‬ QUERIES OPTIMIZATION -‫کوئری‬ ‫یک‬ ‫به‬ ‫پاسخ‬ ‫در‬ ‫شده‬ ‫جستجو‬ ‫کلمات‬ ‫سازی‬ ‫برجسته‬ .‫مشخص‬ ‫فیلد‬ ‫یک‬ ‫برای‬ ‫جستجو‬ ‫کلمات‬ ‫سازی‬ ‫برجسته‬ .‫برجسته‬ ‫عبارات‬ ‫احاطه‬ ‫برای‬ ‫ها‬ ‫برچسب‬ ‫پس‬ ‫و‬ ‫ها‬ ‫برچسب‬ ‫پیش‬ ‫تعریف‬ -‫سند‬ ‫کوئری‬ ‫و‬ ‫سازی‬ ‫بهینه‬ .‫متن‬ ‫تمام‬ ‫جستجو‬ ‫اجرای‬ .‫کوئری‬ ‫انطباق‬ .‫کوئری‬‫انطباق‬‫عبارت‬ .‫چند‬ ‫کوئری‬-‫انطباق‬ .‫کلمه‬ ‫ها‬ ‫کوئری‬-‫سطح‬ .‫کلمه‬ ‫کوئری‬ .‫کلمات‬ ‫کوئری‬ .‫بازه‬ ‫کوئری‬ .‫بول‬ ‫کوئری‬ .‫باید‬ ‫کوئری‬ .‫نباید‬ ‫کوئری‬ .‫منطبق‬ ‫های‬ ‫کوئری‬ ‫تعداد‬ ‫کردن‬ ‫مشخص‬ ‫و‬ ‫کمتر‬ ‫شدت‬ ‫با‬ ‫باید‬ ‫های‬ ‫عبارت‬ .‫امت‬ ‫روی‬ ‫بر‬ ‫گذاری‬ ‫تاثیر‬ ‫بدون‬ ‫داده‬ ‫مجموعه‬ ‫کاهش‬ ‫برای‬ ‫فیلتر‬ ‫یک‬ ‫ایجاد‬‫یاز‬ .‫جستجو‬ ‫هر‬ ‫علت‬ ‫کردن‬ ‫مشخص‬ ‫جهت‬ ‫کوئری‬ ‫هر‬ ‫گذاری‬ ‫نام‬ 6.2‫سند‬ ‫کوئری‬ ‫و‬ ‫سازی‬ ‫بهینه‬
  • 36. 6.‫ها‬ ‫کوئری‬ ‫سازی‬ ‫بهینه‬ 6.1‫شده‬ ‫جستجو‬ ‫کلمات‬ ‫سازی‬ ‫برجسته‬ ‫کوئری‬ ‫یک‬ ‫به‬ ‫پاسخ‬ ‫در‬ QUERIES OPTIMIZATION -‫ها‬ ‫نیازمندی‬ ‫مجموعه‬ ‫اساس‬ ‫بر‬ ‫کوئری‬ ‫یک‬ ‫نتایج‬ ‫سازی‬ ‫مرتب‬ (‫اختیاری‬) -‫جستجو‬ ‫نمونه‬ ‫یک‬ ‫استفاده‬ ‫و‬ ‫تعریف‬(‫اختیاری‬) .‫جستجو‬ ‫نمونه‬ ‫یک‬ ‫ساخت‬ .‫جستجو‬ ‫نمونه‬ ‫یک‬ ‫اجرای‬ .‫جس‬ ‫نمونه‬ ‫با‬ ‫جایی‬ ‫به‬ ‫جا‬ ‫امکانات‬ ‫و‬ ‫پیشرفته‬ ‫پارمترهای‬ ‫معرفی‬‫تجو‬ 6.2‫سند‬ ‫کوئری‬ ‫و‬ ‫سازی‬ ‫بهینه‬ 6.3‫بر‬ ‫کوئری‬ ‫یک‬ ‫نتایج‬ ‫سازی‬ ‫مرتب‬ ‫ها‬ ‫نیازمندی‬ ‫از‬ ‫ای‬ ‫مجموعه‬ ‫اساس‬ 6.4‫نمونه‬ ‫یک‬ ‫از‬ ‫استفاده‬ ‫و‬ ‫تعریف‬ ‫جستجو‬
  • 37. 7.‫تجمیع‬ 7.1‫متریک‬ ‫آوری‬ ‫جمع‬ ‫اجرای‬ ‫و‬ ‫نوشتن‬ ‫باکت‬ ‫و‬ ‫ها‬ AGGREGATIONS -‫ها‬ ‫باکت‬ ‫و‬ ‫ها‬ ‫متریک‬ ‫آوری‬ ‫جمع‬ ‫اجرای‬ ‫و‬ ‫نوشتن‬(‫اختیاری‬) .‫متریک‬ ‫آوری‬ ‫جمع‬ ‫میانگین‬ ‫و‬ ‫مجموع‬ ،‫قدرتمندی‬ ‫تعریف‬ .‫باکت‬ ‫تاریخ‬ ‫هیستوگرام‬ ‫آوری‬ ‫جمع‬ ‫و‬ ‫عبارات‬ ‫تعریف‬ -‫ها‬ ‫زیرمجموعه‬ ‫آوری‬ ‫جمع‬ ‫اجرای‬ ‫و‬ ‫نوشتن‬ .‫آوری‬ ‫جمع‬ ‫باکت‬ ‫در‬ ‫شده‬ ‫تجمیع‬ ‫متری‬ ‫آوری‬ ‫جمع‬ ‫تعریف‬ .‫متریک‬ ‫آوری‬ ‫جمع‬ ‫خروجی‬ ‫وسیله‬ ‫به‬ ‫ها‬ ‫باکت‬ ‫نتایج‬ ‫سازی‬ ‫مرتب‬ -‫خط‬ ‫آوری‬ ‫جمع‬ ‫اجرای‬ ‫و‬ ‫نوشتن‬(‫اختیاری‬) .‫آورس‬ ‫جمع‬ ‫و‬ ‫بیشینه‬ ‫آوری‬ ‫جمع‬ ‫خویشاوندی‬ ‫های‬ ‫خط‬ ‫ایجاد‬ ‫باکت‬ ‫مجموع‬ .‫مشتقی‬ ‫و‬ ‫تجمعی‬ ‫والدین‬ ‫های‬ ‫خط‬ ‫ایجاد‬ 7.2‫زیرمجموعه‬ ‫آوری‬ ‫جمع‬ ‫اجرای‬ ‫و‬ ‫نوشتن‬ ‫ها‬ 7.3‫خط‬ ‫آوری‬ ‫جمع‬ ‫اجرای‬ ‫و‬ ‫نوشتن‬ (‫اختیاری‬)
  • 38. 8.‫کافکا‬ ‫آپاچی‬ 8.1‫کافکا‬ ‫آپاچی‬ ‫نصب‬ ‫و‬ ‫بندی‬ ‫خوشه‬ APACHE KAFKA -‫کافکا‬ ‫آپاچی‬ ‫نصب‬ ‫و‬ ‫بندی‬ ‫خوشه‬ -‫زوکیپر‬ ‫تنظیم‬ ‫و‬ ‫نصب‬ .‫کافکا‬ ‫های‬ ‫مورد‬ ‫سازی‬ ‫موزون‬ ‫برای‬ ‫زوکیپر‬ ‫تنظیم‬ ‫و‬ ‫نصب‬ -‫پیشرفته‬ ‫کننده‬ ‫تولید‬ ‫تنظیمات‬ .‫قدرتمند‬ ‫کننده‬ ‫تولید‬ .‫دسته‬ ‫سازی‬ ‫فشرده‬ .‫سازی‬ ‫سری‬ .‫کننده‬ ‫تولید‬ ‫بافر‬ ‫حافظه‬ -‫پیشرفته‬ ‫کننده‬ ‫مصرف‬ ‫تنظیمات‬ .‫تکراری‬ ‫های‬ ‫پیام‬ ‫مطالعه‬ .‫انحرافات‬ ‫ردیابی‬ .‫ها‬ ‫قسمت‬ ‫سازی‬ ‫متعادل‬ .‫مصرف‬ ‫گروه‬ ‫سازی‬ ‫هماهنگ‬ -‫کافکا‬ ‫آپاچی‬ ‫پایش‬ .‫خوشه‬ ‫پایش‬ ‫و‬ ‫بورکر‬ ‫های‬ ‫متریک‬ ،‫جاوا‬ ‫کردن‬ ‫وارد‬ 8.2‫زوکیپر‬ ‫تنظیم‬ ‫و‬ ‫نصب‬ 8.3‫پیشرفته‬ ‫کننده‬ ‫تولید‬ ‫تنظیمات‬ 8.4‫پیشرفته‬ ‫کننده‬ ‫مصرف‬ ‫تنظیمات‬ 8.5‫کافکا‬ ‫آپاچی‬ ‫پایش‬
  • 39. 9.‫آموزش‬ 9.1‫مدیریت‬ ‫و‬ ‫سرچ‬ ‫االستیک‬ ‫کوئری‬ ‫خوشه‬ TRAINING -‫خوشه‬ ‫مدیریت‬ ‫و‬ ‫سرچ‬ ‫االستیک‬ ‫کوئری‬(‫اختیاری‬) -‫زوکیپر‬ ‫و‬ ‫کافکا‬ ‫آپاچی‬ ‫بندی‬ ‫خوشه‬ 9.2‫زوکیپر‬ ‫و‬ ‫کافکا‬ ‫آپاچی‬ ‫بندی‬ ‫خوشه‬
  • 40. ‫گرافانا‬ ‫مقابل‬ ‫در‬ ‫کیبانا‬KIBANAVS GRAFANA GRAFANA KIBANA ‫ایجاد‬‫ها‬ ‫داشبورد‬ ‫ساده‬ ‫تغییر‬ ‫و‬ ‫تحلیل‬ ‫و‬ ‫ها‬ ‫داده‬ ‫کوئری‬ ‫ویژگی‬‫مرکزی‬ ‫تحلیل‬،‫حافظه‬ ‫مثل‬ ‫سیستم‬ ‫های‬ ‫متریک‬ ‫نمایش‬ ‫و‬ ‫ها‬ ‫خروجی‬ ‫ورودی‬ ،‫دیسک‬ ،‫پردازنده‬ ‫تحلیل‬‫الگ‬ ‫های‬ ‫پیام‬ ‫کلیدی‬ ‫هدف‬ ‫مای‬،‫گرافیتی‬ ،‫پرموتئوس‬ ،‫پستگرس‬ ،‫سکوئل‬ ‫سرچ‬ ‫االستیک‬ ‫سرچ‬ ‫االستیک‬(‫پالگین‬ ‫با‬ ‫منابع‬ ‫بقیه‬ ‫به‬) ‫اتصال‬ ‫و‬ ‫داده‬ ‫منابع‬ ‫زبان‬‫خود‬ ‫به‬ ‫مخصوص‬ ‫کوئری‬ ‫کیبانا‬ ‫قوت‬ ‫نقطه‬(‫های‬ ‫شاخص‬ ‫و‬ ‫سرچ‬ ‫و‬ ‫کوئری‬ ‫سرچ‬ ‫االستیک‬) ‫زدن‬ ‫کوئری‬ ‫تر‬ ‫ساده‬ ‫و‬ ‫گونه‬ ‫پانل‬ ‫صورت‬ ‫به‬ ‫انواع‬‫ساده‬ ‫کردن‬ ‫فیلتر‬ ‫و‬ ‫ها‬ ‫نمودار‬ ‫مختلف‬ ‫گذاری‬ ‫نمایش‬‫داشبورد‬ ‫و‬ ‫دهی‬ ‫هشدار‬‫نقطه‬ ‫و‬ ‫افزار‬ ‫نرم‬ ‫از‬ ‫قسمتی‬ ‫صورت‬ ‫به‬ ‫قوت‬ ‫پالگین‬ ‫هشدار‬
  • 41. ‫کین‬ ‫زیپ‬ZIPKIN ‫باشد‬ ‫می‬ ‫ردیابی‬ ‫شده‬ ‫توزیع‬ ‫سیستم‬ ‫یک‬ ،‫کین‬ ‫زیپ‬.‫ج‬ ‫زمانی‬ ‫های‬ ‫داده‬ ‫آوری‬ ‫جمع‬ ‫در‬ ‫سیستم‬ ‫این‬‫هت‬ ‫استفاد‬ ‫مورد‬ ‫سرویس‬ ‫مهماری‬ ‫مختلف‬ ‫های‬ ‫قسمت‬ ‫در‬ ‫تاخیر‬ ‫اصلی‬ ‫مشکل‬ ‫یافتن‬‫گیرد‬ ‫می‬ ‫قرار‬ ‫ه‬.‫ای‬‫قابلیت‬ ‫ن‬ ‫شود‬ ‫می‬ ‫ها‬ ‫داده‬ ‫این‬ ‫در‬ ‫جستجو‬ ‫و‬ ‫آوری‬ ‫جمع‬ ‫شامل‬ ‫ها‬. ‫به‬ ‫توانید‬ ‫می‬ ‫باشید‬ ‫داشته‬ ‫فایل‬ ‫الگ‬ ‫یک‬ ‫در‬ ‫ردیابی‬ ‫دی‬ ‫آی‬ ‫یک‬ ‫اگر‬ ‫شما‬‫ب‬ ‫سریع‬ ‫خیلی‬ ‫صورت‬‫مراجعه‬ ‫آن‬ ‫ه‬ ‫در‬ ‫طول‬ ‫یا‬ ‫و‬ ‫عمل‬ ‫نام‬ ‫و‬ ‫سرویس‬ ‫اساس‬ ‫بر‬ ‫توان‬ ‫می‬ ‫اینصورت‬ ‫غیر‬ ‫در‬ ،‫کنیم‬‫زد‬ ‫کوئری‬ ‫ها‬ ‫آن‬.‫ک‬ ‫رابط‬‫اربری‬ ‫می‬ ‫میزان‬ ‫دهنده‬ ‫نشان‬ ‫که‬ ‫گذارد‬ ‫می‬ ‫نمایش‬ ‫به‬ ‫وابستگی‬ ‫نقشه‬ ‫یک‬ ‫کین‬ ‫زیپ‬‫پ‬ ‫های‬ ‫زمان‬ ‫انگین‬‫اسخگویی‬ ‫باشد‬ ‫می‬ ‫سرویس‬ ‫میکرو‬ ‫هر‬.
  • 42. ‫کین‬ ‫زیپ‬ZIPKIN ‫گرد‬ ‫تعریف‬ ‫شما‬ ‫افزار‬ ‫نرم‬ ‫در‬ ‫کین‬ ‫زیپ‬ ‫باید‬ ،‫کین‬ ‫زیپ‬ ‫از‬ ‫استفاده‬ ‫برای‬‫د‬.‫درخوا‬ ‫یک‬ ‫که‬ ‫هنگامی‬‫به‬ ‫ست‬ ‫کد‬ ‫به‬ ‫الزم‬ ‫ابزار‬ ‫که‬ ‫است‬ ‫الزم‬ ‫همه‬ ‫از‬ ‫اول‬ ،‫رسد‬ ‫می‬ ‫کاربری‬ ‫نقطه‬ ‫رابط‬‫گردد‬ ‫اضافه‬.‫اینکه‬ ‫محض‬ ‫به‬ ‫زی‬ ،‫کند‬ ‫دریافت‬ ‫پاسخ‬ ‫یک‬ ‫کاربر‬ ‫اینکه‬ ‫از‬ ‫قبل‬ ‫و‬ ،‫پذیرد‬ ‫پایان‬ ‫درخواست‬‫به‬ ‫ردیاب‬ ‫یک‬ ‫کین‬ ‫پ‬‫کننده‬ ‫جمع‬ ‫وسیله‬ ‫به‬HTTP‫کند‬ ‫می‬ ‫ارسال‬.‫تواند‬ ‫می‬ ‫حافظه‬ ‫این‬ ‫که‬ ‫کند‬ ‫می‬ ‫ذخیره‬ ‫حافظه‬ ‫یک‬ ‫در‬ ‫آنرا‬ ‫سپس‬ ‫باشد‬ ‫سرچ‬ ‫االستیک‬ ‫یا‬ ‫سکوئل‬ ‫مای‬ ‫یا‬ ‫کسندرا‬ ‫ایم‬ ‫کرده‬ ‫اضافه‬ ‫پایتون‬ ‫کد‬ ‫یک‬ ‫در‬ ‫را‬ ‫فایل‬ ،‫مثال‬ ‫عنوان‬ ‫به‬: ‫پورت‬ ‫طریق‬ ‫از‬ ‫و‬9411‫داشت‬ ‫خواهیم‬ ‫دسترسی‬ ‫کین‬ ‫زیپ‬ ‫گرافیکی‬ ‫کاربری‬ ‫رابط‬ ‫به‬. @zipkin_span(service_name='my_service', span_name='some_function') def some_function(a, b): return do_stuff(a, b)
  • 43. ‫کافکا‬ ‫و‬ ‫الک‬ ‫اندازی‬ ‫راه‬ ‫و‬ ‫نصب‬-1-‫بیت‬ ‫فایل‬ INSTALLATION AND DEPLOYMENT OF ELK&KAFKA ‫جمع‬ ‫های‬ ‫سیستم‬ ‫به‬ ‫ها‬ ‫آن‬ ‫ارسال‬ ‫و‬ ‫الگ‬ ‫های‬ ‫فایل‬ ‫دریافت‬ ‫برای‬ ‫شود‬ ‫می‬ ‫استفاده‬ ‫بیت‬ ‫فایل‬ ‫ماژول‬ ‫از‬ ‫کافکا‬ ‫مثل‬ ‫آوری‬.‫ب‬ ‫فایل‬‫از‬ ‫یت‬ ‫باشد‬ ‫می‬ ‫دسترسی‬ ‫قابل‬ ‫سرچ‬ ‫االستیک‬ ‫سایت‬ ‫لینک‬ ‫از‬ ‫بیت‬ ‫فایل‬ ‫نصب‬ ‫برای‬ HTTPS://WWW.ELASTIC.CO/GUIDE/EN/BEATS /FILEBEAT/CURRENT/FILEBEAT- INSTALLATION.HTML ‫شود‬ ‫می‬ ‫استفاده‬.‫مسیر‬ ‫در‬ ‫تنظیمات‬ ‫فایل‬ ‫تغییر‬ ‫با‬ ‫نصب‬ ‫از‬ ‫بعد‬ /ETC/FILEBEAT/FILEBEAT.YML ‫همچنین‬ ‫و‬ ‫کافکا‬ ‫با‬ ‫مرتبط‬ ‫پورت‬ ‫و‬ ‫سرور‬ ‫به‬ ‫اتصال‬ ‫تنظیمات‬‫نحوه‬ ‫کنیم‬ ‫می‬ ‫مشخص‬ ‫را‬ ‫ها‬ ‫آن‬ ‫های‬ ‫مسیر‬ ‫و‬ ‫الگ‬ ‫های‬ ‫فایل‬ ‫دریافت‬. Filebeat.yml: -type: log enabled: true paths: - /logs/filebeat/* Filebeat.config.modules: path: ${path.config}/modules.d/*.yml reload.enabled: false Setup.template.settings: index.number_of_shards: 1 Output.kafka: codec.format: hosts:[“kafkahost:9092”] topic: nginx