فایل پاورپوینت جهت ارائه مقاله آپاچی کافکا

1. APACHE
KAFKA
‫تبار‬‫یعقوبی‬ ‫استاد‬
‫کاکا‬ ‫محمدحسین‬
‫سال‬1399-1398

2. ‫مقدمه‬
‫ابزار‬ ‫از‬ ‫مختصری‬ ‫شرح‬ ‫و‬ ‫معرفی‬ ‫به‬ ‫ابتدا‬ ‫مقاله‬ ‫این‬ ‫در‬Apache
Kafka‫پردازیم‬‫می‬.‫مصاحبه‬ ‫از‬ ‫هایی‬ ‫قسمت‬ ‫همچنین‬‫جون‬‫راو‬(Jun
rao)‫کنیم‬‫می‬ ‫بیان‬ ‫را‬ ‫میرسون‬ ‫جف‬ ‫با‬.
2

3. Apache Kafka‫چیست؟‬
‫آپاچی‬‫کافکا‬‫یک‬‫پلتفرم‬
‫شده‬‫توزیع‬‫برای‬‫پردازش‬‫داده‬‫های‬
‫جریانی‬‫بوده‬‫و‬‫قادر‬‫به‬‫رسیدگی‬
‫و‬‫پردازش‬‫چندین‬‫تریلیون‬‫رویداد‬
‫به‬‫صورت‬‫همزمان‬‫است‬.‫کافکا‬‫در‬
‫ابتدا‬‫به‬‫عنوان‬‫یک‬‫ابزار‬‫برای‬
‫ارسال‬‫پیامهایی‬‫با‬‫تعداد‬‫باال‬
‫بکار‬‫برده‬‫می‬‫شد‬.‫کافکا‬‫از‬
‫زمان‬‫ایجاد‬‫و‬‫منبع‬‫باز‬‫شدن‬
‫توسط‬‫لینکدین‬‫در‬‫سال‬۲۰۱۱،‫به‬
‫سرعت‬‫از‬‫ارسال‬‫پیام‬‫به‬‫یک‬
‫پلتفرم‬‫پردازش‬‫توزیعی‬‫کامل‬
‫تبدیل‬‫شده‬‫است‬.3

4. Apache Kafka‫کند؟‬‫می‬ ‫کار‬ ‫چگونه‬
o‫وظیفه‬‫و‬‫هدف‬‫اصلی‬Apache Kafka،‫ارائه‬‫یک‬
‫بستر‬‫برای‬‫مدیریت‬‫و‬‫کنترل‬‫های‬‫جریان‬
‫اطالعاتی‬‫با‬‫کارآیی‬‫بسیار‬،‫باال‬‫در‬‫ها‬‫سیستم‬
‫و‬‫زیرسیستمهای‬‫مختلف‬‫است‬.‫یعنی‬‫شما‬
‫توانید‬‫می‬‫با‬‫ایجاد‬‫کردن‬‫یک‬Pipeline‫برای‬
‫جریان‬‫اطالعات‬،‫خود‬‫وابستگی‬‫مستقیم‬
‫سیستمها‬‫و‬‫زیرسیستمها‬‫را‬‫از‬‫بین‬‫ببرید؛‬
‫آن‬‫هم‬‫بصورتی‬‫که‬‫بروز‬‫مشکلی‬‫در‬‫هر‬،‫قسمت‬
‫کمترین‬‫میزان‬‫تاثیر‬‫را‬‫در‬‫سایر‬‫قسمتها‬
‫داشته‬‫باشد‬.
4

5. Apache Kafka‫کند؟‬‫می‬ ‫کار‬ ‫چگونه‬
‫فرض‬‫کنید‬‫شما‬‫تعداد‬‫زیادی‬‫سیستم‬‫و‬‫زیرس‬‫یستم‬
‫مختلف‬‫را‬‫داشته‬‫باشید‬‫که‬‫هر‬‫کدام‬‫از‬‫آنها‬‫نی‬‫ازمند‬
‫ارتباط‬‫با‬‫برخی‬‫از‬‫قسمتهای‬‫دیگر‬‫است‬.‫در‬‫ای‬‫ن‬
‫صورت‬‫شما‬‫دو‬‫راه‬‫دارید‬:‫اول‬‫اینکه‬‫در‬‫هر‬‫قسمت‬
‫‌هایی‬‫س‬‫سروی‬‫را‬‫برای‬‫ارتباط‬‫با‬‫سایر‬‫‌ه‬‫ت‬‫قسم‬‫ا‬
‫پیاده‬‫سازی‬‫کنید‬‫یا‬‫اینکه‬‫هر‬‫قسمت‬‫بصورت‬
‫مستقیم‬‫با‬‫سایر‬‫قسمتها‬‫در‬‫ارتباط‬‫باشد‬.
5

6. Apache Kafka‫کند؟‬‫می‬ ‫کار‬ ‫چگونه‬
o‫روش‬Apache Kafka‫برای‬‫رفع‬‫این‬
‫مشکل‬‫به‬‫این‬‫صورت‬‫است‬‫که‬Kafka
‫با‬‫بر‬‫عهده‬‫گرفتن‬‫مدیریت‬
‫ارتباطات‬‫و‬‫جریان‬‫ای‬‫داده‬‫های‬‫قسمت‬
،‫مختلف‬‫به‬‫شما‬‫کمک‬‫کند‬‫می‬‫تا‬‫تیم‬
‫پیاده‬،‫سازی‬‫تنها‬‫تمرکزشان‬‫را‬‫بر‬
‫روی‬Business‫ی‬‫که‬‫خواهند‬‫می‬‫پیاده‬
‫سازی‬،‫کنند‬‫قرار‬‫دهند‬.‫با‬‫این‬
‫روش‬‫توانیم‬‫می‬‫به‬‫راحتی‬‫هایی‬‫سیستم‬
‫را‬‫پیاده‬‫سازی‬‫کنیم‬‫که‬‫از‬‫نظر‬
‫ارتباطی‬‫در‬‫حالت‬،‫معمول‬‫پیچیده‬
‫یا‬‫بسیار‬‫اند‬‫پیچیده‬.
6

7. 7
‫ساختار‬‫کافکا‬
‫کند‬ ‫می‬ ‫کار‬ ‫سرور‬ ‫چند‬ ‫یا‬ ‫یک‬ ‫روی‬ ‫بر‬ ‫ای‬ ‫خوشه‬ ‫صورت‬ ‫به‬ ‫کافکا‬.
‫نام‬ ‫به‬ ‫ساختارهایی‬ ‫در‬ ‫را‬ ‫ها‬ ‫رکورد‬ ‫و‬ ‫ها‬ ‫داده‬ ‫جریان‬ ‫کافکا‬
‫تاپیک‬( topics)‫کند‬ ‫می‬ ‫ذخیره‬.
‫باشد‬ ‫می‬ ‫زمانی‬ ‫برچسب‬ ‫یک‬ ‫و‬ ‫مقدار‬ ‫یک‬ ،‫کلید‬ ‫یک‬ ‫دارای‬ ‫رکوردی‬ ‫هر‬
‫باشد‬ ‫مشخص‬ ‫ها‬ ‫رکورد‬ ‫سایر‬ ‫از‬ ‫مجزا‬ ‫بصورت‬ ‫تا‬.

8. ‫تعاری‬
‫ف‬
8
‫پذیری‬ ‫توسعه‬ ‫یا‬ ‫پذیری‬ ‫مقیاس‬
(Scalability)
۱.‫اصطالح‬ ‫به‬ ‫یا‬ ‫عمودی‬ ‫توسعه‬
Scale Up
۲.‫اصطالح‬ ‫به‬ ‫یا‬ ‫افقی‬ ‫توسعه‬
Scale Out
Producer
(‫ارسال‬‫تولید‬ ‫رابط‬ ‫یا‬ ‫پیام‬ ‫کننده‬
‫کننده‬)
Consumer
(‫دریافت‬‫مصرف‬ ‫رابط‬ ‫یا‬ ‫پیام‬ ‫کننده‬
‫کننده‬)
Consumer Group
Broke
Cluster
Topic
PartitionPrimary Broker
Replicas Brokers
Replication Factor
Apache ZooKeeper

9. 9
‫کار‬‫نحوه‬ ‫شماتیک‬
‫کافکا‬

10. ‫ی‬ ّ‫کل‬ ‫معماری‬
10

11. ‫کار‬‫نحوه‬‫کافکا‬
‫کلی‬ ‫بصورت‬
‫کافکا‬‫هایی‬‫پیام‬‫را‬‫که‬‫از‬‫بسیاری‬‫از‬"‫تولید‬‫کنندگان‬"
‫دریافت‬‫می‬‫کند‬‫را‬‫ذخیره‬‫کرده‬‫و‬‫داده‬‫ها‬‫بدین‬‫صورت‬‫بر‬‫روی‬
‫پارتیشن‬‫های‬‫گوناگونی‬‫در‬"‫های‬‫تاپیک‬"‫مختلف‬‫توزیع‬‫شده‬‫و‬
‫پارتیشن‬‫بندی‬‫می‬‫شوند‬.‫در‬‫هر‬‫پارتیشن‬‫ها‬‫پیام‬‫با‬‫هم‬‫شاخص‬
‫گذاری‬‫شده‬‫و‬‫با‬‫یک‬‫برچسب‬‫زمانی‬‫ذخیره‬‫می‬‫شوند‬.‫سایر‬
‫فرایندها‬‫مثل‬"‫مصرف‬‫کنندگان‬"‫می‬‫توانند‬‫ها‬‫پیام‬‫را‬‫از‬
‫ها‬‫پارتیشن‬‫دریافت‬‫کرده‬‫و‬‫اطالعات‬‫مورد‬‫نظر‬‫خود‬‫را‬‫درخواست‬
‫کنند‬.‫کافکا‬‫بر‬‫روی‬‫خوشه‬‫هایی‬‫از‬‫یک‬‫یا‬‫چند‬‫سرور‬‫اجرا‬‫می‬
‫شود‬‫و‬‫ها‬‫پارتیشن‬‫می‬‫توانند‬‫بر‬‫روی‬‫چندین‬‫نود‬‫مختلف‬‫توزیع‬
‫شوند‬.
11

12. ‫های‬ ‫ضمانت‬
‫کافکا‬
12
Kafka‫از‬ ‫اند‬ ‫عبارت‬ ‫که‬ ‫دهد‬‫می‬ ‫خودش‬ ‫کار‬ ‫برای‬ ‫ضمانت‬ ‫سه‬ ،:‫یک‬ ‫در‬ ‫دریافتی‬ ‫های‬‫پیام‬ ‫تمامی‬
Partition‫از‬‫یک‬Topic‫همان‬ ‫به‬ ،
‫ذخیره‬ ‫شوند‬‫می‬ ‫دریافت‬ ‫که‬ ‫ترتیبی‬
‫شوند‬‫می‬.
Consumer‫را‬ ‫ها‬‫پیام‬ ‫تمامی‬ ‫ها‬
‫یک‬ ‫در‬Partition‫به‬‫همان‬
،‫اند‬‫شده‬ ‫ذخیره‬ ‫که‬ ‫ترتیبی‬
‫کنند‬‫می‬ ‫دریافت‬.
‫در‬‫یک‬Topic‫با‬Replication Factor‫ای‬
‫مقدار‬ ‫با‬N،‫تحمل‬ ‫درجه‬‫خطا‬N - 1
‫باشد‬‫می‬.