احتمالا شما هم در زمان طراحی یک سرویس نیاز به انتقال دیتا به Data Storageهای مختلف مانند MySQL و Elasticsearch داشته‌اید. یک راه حل ساده‌ی آن می‌تواند، ذخیره‌سازی دیتا در هر دو Data Storage با یک اسکریپت باشد. اما اشکال کار کجاست؟ اختلال و کندی در یکی از Data Storage ها. در این صورت تکلیف ذخیره‌سازی دیتا مشخص نمی‌شود و نیاز به روش‌های اضافه برای جلوگیری از Data loss می‌باشد. یا شاید درگیر طراحی سرویسی شده‌اید که در هنگام اجرای آن، نیاز به ارسال ایمیل، SMS یا ذخیره‌سازی در دیتابیس می‌باشد. این سرویس می‌تواند آنقدر بزرگ شود که سرعت اجرای آن را به طرز قابل توجهی با کندی مواجه کند. در آخر تصور کنید نیاز به طراحی یک سرویس Track رفتار کاربران داریم. آیا می‌توانیم به سادگی این حجم از دیتا را مستقیما به یک دیتابیس تزریق کنیم؟ در این وبینار قصد داریم به سوالات بالا پاسخ دهیم. ما در دِیتاک با استفاده از ابزار Apache Kafka، سرویسی برای مدیریت بمباران داده‌ها ایجاد کرده‌ایم. ما با استفاده از Apache Kafka انتقال دیتا را به حداقل پنج Data Store به صورت near real-time NRT ممکن کرده‌ایم.

1. ‫ابزار‬‫به‬‫نگاهی‬ApacheKafka
‫کنیم‬‫استفاده‬‫آن‬ ‫از‬‫چگونه‬‫و‬‫کجا‬…‫؟‬!
‫وبینار‬‫این‬ ‫ی‬‫دهنده‬‫ارائه‬:
‫پور‬‫محمدیان‬ ‫هامون‬

2. ‫فعالیت‬ ‫های‬‫زمینه‬!
‫سال‬ ‫در‬ ‫داده‬‫کالن‬‫و‬ ‫مصنوعی‬ ‫هوش‬ ‫ی‬‫زمینه‬ ‫در‬ ‫مداوم‬ ‫فعالیت‬ ‫ی‬‫سابقه‬ ‫سال‬ ‫هفت‬ ‫از‬ ‫بیش‬ ‫با‬ ‫دیتاک‬ ‫موسس‬ ‫تیم‬96
‫کرد‬ ‫دیتاک‬ ‫برند‬ ‫ایجاد‬ ‫به‬ ‫اقدام‬.
‫ک‬‫می‬ ‫فعالیت‬‫تجاری‬ ‫وهوش‬ ‫طبیعی‬ ‫زبان‬ ‫پردازش‬ ،‫دیتا‬ ‫بیگ‬ ‫یا‬ ‫داده‬‫کالن‬ ،‫اجتماعی‬ ‫های‬‫شبکه‬‫تحلیل‬ ،‫کاوی‬‫داده‬ ،‫کاوی‬‫متن‬ ‫ی‬‫زمینه‬ ‫در‬ ‫دیتاک‬‫ند‬.
‫حقوقی‬ ‫و‬ ‫حقیقی‬ ‫های‬‫شخصیت‬ ‫و‬ ‫بزرگ‬ ‫و‬ ‫کوچک‬ ‫های‬‫سازمان‬ ،‫کارها‬ ‫و‬ ‫کسب‬ ‫به‬ ‫گیری‬‫تصمیم‬ ‫امر‬ ‫در‬‫تا‬ ‫کند‬‫می‬‫تالش‬ ‫داده‬‫کالن‬ ‫بر‬ ‫تکیه‬ ‫با‬ ‫دیتاک‬‫مط‬‫کند‬ ‫کمک‬ ‫رح‬.

3. ‫هستم‬ ‫پس‬ ،‫کنم‬‫می‬ ‫فرض‬ ‫من‬!
‫هستید‬‫تجاری‬‫برند‬ ‫یک‬‫مالک‬‫شما‬‫که‬‫کنید‬ ‫فرض‬!
‫کنید؟‬‫اطالعات‬ ‫کسب‬ ‫بازار‬ ‫در‬‫رقبایتان‬‫وضعیت‬‫یا‬ ‫محصول‬‫ضعف‬‫و‬‫قوت‬‫و‬‫نقاط‬،‫برندتان‬‫مورد‬ ‫در‬‫مردم‬‫واقعی‬ ‫نظر‬ ‫از‬ ‫خواهید‬‫می‬ ‫چطور‬
‫شوید؟‬ ‫آگاه‬‫مجازی‬‫فضای‬ ‫در‬‫تان‬‫تبلیغاتی‬‫کمپین‬‫شکست‬‫یا‬‫موفقیت‬ ‫از‬‫خواهید‬‫می‬ ‫چطور‬
‫بدهد؟‬‫پاسخ‬ ‫شما‬‫نیازهای‬‫ی‬‫همه‬ ‫به‬‫و‬‫باشد‬‫راهگشا‬‫تواند‬‫می‬‫میدانی‬‫تحقیقات‬‫آیا‬

4. ‫هستید‬ ‫سازمان‬‫یک‬ ‫در‬‫بلندپایه‬ ‫مسئول‬‫یک‬ ‫شما‬‫که‬ ‫کنید‬ ‫تصور‬ ‫حاال‬!
‫گویند؟‬‫می‬ ‫چه‬ ‫شما‬‫سازمان‬‫مورد‬ ‫در‬‫مردم‬‫دانید‬‫می‬‫آیا‬
‫است؟‬‫کرده‬‫مطرح‬‫کجا‬‫و‬‫ی‬ ِ‫ک‬،‫کسی‬‫چه‬ ‫بار‬‫اولین‬ ‫را‬‫سازمانتان‬‫مورد‬ ‫در‬‫اساس‬‫بی‬‫ی‬‫شایعه‬‫آن‬‫دانید‬‫می‬‫آیا‬
‫نیست؟‬‫وارد‬‫آن‬ ‫به‬‫نقدی‬‫هیچ‬‫و‬‫گرفته‬‫شکل‬‫درستی‬‫به‬‫کاری‬‫فرایند‬ ‫شما‬‫مدیریت‬‫تحت‬ ‫سازمان‬ ‫در‬‫آیا‬
‫تان؟‬‫کارمندان‬ ‫از‬‫جو‬‫و‬‫پرس‬‫با‬‫شد؟‬‫خواهید‬ ‫آگاه‬‫ها‬‫نقص‬ ‫از‬‫چگونه‬ ‫شما‬

5. ‫باشد‬‫خوبی‬‫ی‬‫ایده‬‫این‬‫کنیم‬‫نمی‬ ‫فکر‬!

6. ‫ببینید‬ ‫مطرح‬‫ورزشی‬‫یا‬ ‫هنری‬ ،‫سیاسی‬ ‫شخصیت‬ ‫یک‬‫جایگاه‬ ‫در‬ ‫را‬ ‫خود‬ ‫حاال‬!‫تان‬‫طرفداران‬‫اند‬‫راضی‬‫دیروزتان‬ ‫سخنرانی‬ ‫از‬‫یا‬
‫سخنرانی‬‫آمده؟‬ ‫خوش‬ ‫مذاقشان‬ ‫به‬ ‫بیشتر‬ ‫تان‬‫قبل‬ ‫سال‬

7. ‫نه‬ ‫یا‬ ‫کند‬ ‫جلب‬ ‫را‬ ‫مردم‬ ‫نظر‬ ‫است‬‫توانسته‬ ‫کردید‬ ‫بازی‬ ‫که‬ ‫جدیدی‬ ‫فیلم‬‫آیا‬‫؟‬
‫نظر‬‫است‬‫بوده‬ ‫چه‬ ‫دیروز‬ ‫مهم‬‫ورزشی‬ ‫ی‬‫مسابقه‬ ‫در‬ ‫شما‬ ‫عملکرد‬ ‫مورد‬ ‫در‬ ‫مردم‬‫؟‬
‫آیا‬‫خواهید‬ ‫موفقیت‬ ‫برای‬‫شانسی‬ ،‫شوید‬‫انتخابات‬‫بازی‬ ‫وارد‬ ‫بخواهید‬ ‫اگر‬‫داشت؟‬
‫شما‬‫بدهید؟‬ ‫افزایش‬‫انتخابات‬ ‫در‬ ‫پیروزی‬ ‫برای‬ ‫را‬ ‫خود‬ ‫شانس‬ ‫توانید‬‫می‬‫هایی‬‫وعده‬ ‫چه‬ ‫کردن‬ ‫مطرح‬‫با‬

8. ‫است‬‫توانستن‬،‫دانستن‬!

9. ‫درست‬‫پاسخ‬‫باال‬ ‫سواالت‬ ‫تمامی‬ ‫به‬ ‫توانید‬‫می‬ ‫داده‬‫کالن‬ ‫از‬ ‫گرفتن‬ ‫کمک‬‫با‬ ‫شما‬‫بدهید‬.
‫پاسخ‬‫رهنمون‬ ‫درست‬ ‫تصمیم‬ ‫یک‬ ‫سمت‬ ‫به‬ ‫را‬‫شما‬ ،‫درست‬‫سازد‬‫می‬.
‫گیری‬‫تصمیم‬‫شود‬‫می‬ ‫وری‬‫بهره‬ ‫افزایش‬‫و‬ ‫ریسک‬ ‫کاهش‬ ‫موجب‬ ‫درست‬.‫بود‬ ‫خواهید‬ ‫توانمندتر‬ ،‫بدانید‬ ‫بیشتر‬ ‫چه‬ ‫هر‬ ‫شما‬.

10. ‫دانست؟‬‫را‬ ‫چیز‬‫همه‬‫شود‬‫می‬ ‫چطور‬

11. ‫پرسید‬ ‫چیز‬‫همه‬ ‫مورد‬ ‫در‬ ‫کس‬‫همه‬ ‫از‬‫و‬ ‫خیابان‬ ‫کف‬ ‫افتاد‬ ‫راه‬ ‫شود‬‫نمی‬ ‫طبیعتا‬!
‫چون‬"‫همه‬"‫نیستند‬ ‫شما‬ ‫مخاطب‬.‫کنید‬ ‫رصد‬ ‫را‬ ‫مدنظرتان‬ ‫ی‬‫سوژه‬ ‫مورد‬ ‫در‬ ‫شده‬‫تولید‬ ‫محتوای‬‫تمام‬ ‫توانید‬‫می‬ ‫مجازی‬ ‫فضای‬ ‫رصد‬ ‫و‬ ‫دیتا‬‫بیگ‬ ‫از‬ ‫استفاده‬‫با‬ ‫شما‬.
‫بزنید‬ ‫هدف‬ ‫به‬ ‫درست‬‫های‬‫پاسخ‬ ‫با‬ ‫و‬ ‫برسید‬ ‫درست‬‫های‬‫پاسخ‬ ‫به‬ ‫آماری‬ ‫های‬ ‫روش‬ ‫با‬.

12. ‫تلگرامی‬ ‫دی‬‫آی‬ ‫طریق‬ ‫از‬ ‫توانید‬‫می‬ ‫آمد‬ ‫پیش‬‫سوالی‬‫برایتان‬ ‫وبینار‬ ‫طول‬ ‫در‬‫که‬‫صورتی‬ ‫در‬
@dataakcom_webinar
‫کنید‬ ‫مطرح‬‫را‬ ‫خود‬‫سوال‬.

13. ‫موضوعات‬‫فهرست‬
.1‫مشکل‬‫از‬‫کجا‬‫شروع‬‫شد‬‫؟‬
.2ApacheKafka‫وارد‬‫شود‬‫می‬.
.3‫چرا‬ApacheKafka‫را‬‫انتخاب‬‫کردیم؟‬
.4‫چه‬Case‫های‬‫دیگری‬‫نیاز‬‫به‬ApacheKafka‫دارند؟‬
.5‫مانیتورینگ‬.
.6‫بندی‬‫جمع‬

14. ‫شد؟‬‫شروع‬‫کجا‬ ‫از‬‫مشکل‬

15. ‫شد؟‬‫شروع‬‫کجا‬ ‫از‬‫مشکل‬
•‫عدم‬‫توانایی‬‫در‬‫بروزرسانی‬‫تغییرات‬.
‫زمانی‬‫که‬‫های‬‫داده‬‫یک‬‫رکورد‬‫بروزرسانی‬،‫شد‬‫می‬‫این‬‫تغیی‬‫ر‬
‫به‬‫اطالع‬‫کدهای‬JAVA‫رسید‬‫نمی‬.
•‫مدیریت‬Offset‫ها‬‫به‬‫صورت‬‫دستی‬
‫هریک‬‫از‬‫کدهای‬JAVA،‫نیاز‬‫به‬‫مدیریت‬Id‫های‬‫پردازش‬
‫شده‬‫داشتند‬.

16. ‫شد؟‬‫شروع‬‫کجا‬ ‫از‬‫مشکل‬
•‫بمباران‬‫دیتا‬
‫گاهی‬‫اوقات‬‫ها‬‫ربات‬MySQL‫را‬‫بمباران‬‫دیتا‬‫کردند‬‫می‬.‫به‬
‫این‬‫معنی‬‫که‬‫اگر‬‫یک‬‫ربات‬1‫میلیون‬‫داده‬‫در‬‫روز‬‫درج‬
،‫کرد‬‫می‬‫در‬‫یک‬‫روز‬2‫میلیون‬‫داده‬‫درج‬‫کرد‬‫می‬.
•‫کدهای‬‫پردازشی‬‫قابلیت‬Scale‫نداشتن‬.
‫با‬‫توجه‬‫به‬‫مدیریت‬ID‫های‬‫پردازش‬‫شده‬‫به‬‫صورت‬،‫دستی‬
Scale Out‫کردن‬‫کدها‬‫کار‬‫به‬‫شدت‬‫پرهزینه‬‫و‬‫زمانبری‬
‫بود‬.

17. ApacheKafka‫شود‬‫می‬‫وارد‬.

18. Apache Kafka‫شود‬‫می‬‫وارد‬.
Apache Kafka® is a distributed streaming platform.
•Publish‫و‬Subscribe،‫دیتاها‬‫مشابه‬‫یک‬‫سیستم‬Messagequeue.
•‫ذخیره‬‫سازی‬‫دیتاهای‬‫درج‬‫شده‬‫به‬‫صورت‬fault-tolerant‫و‬durable.
•‫پردازش‬‫دیتاهای‬‫درج‬‫شده‬.

19. Apache Kafka‫شود‬‫می‬‫وارد‬.
‫از‬‫کلی‬ ‫تصویر‬ApacheKafka:
•Kafka‫تواند‬‫می‬‫به‬‫در‬‫یک‬‫کالستر‬‫با‬‫یک‬‫یا‬‫چند‬‫سرور‬‫که‬‫در‬‫دیتاسنترهای‬‫مختلف‬‫قرار‬‫اند‬‫گرفته‬‫کار‬‫کند‬.
•Kafka‫دیتاهای‬‫دریافتی‬‫را‬‫در‬‫جایی‬‫به‬‫نام‬Topic‫ذخیره‬‫می‬‫کند‬.
•‫هر‬‫دیتا‬‫در‬Kafka‫حاوی‬‫یک‬،‫کلید‬‫مقدار‬‫و‬Timestamp‫مربوط‬‫به‬‫زمان‬‫درج‬‫باشد‬‫می‬.

20. Apache Kafka‫شود‬‫می‬‫وارد‬.
•ProducerAPI‫چند‬‫یا‬‫یک‬ ‫در‬‫دیتاها‬‫درج‬‫امکان‬ ‫که‬Topic‫دهد‬‫می‬ ‫را‬.
•ConsumerAPI‫دیتاهای‬‫خواندن‬‫امکان‬ ‫که‬(Subscribe)‫در‬‫شده‬‫درج‬Topic‫دهد‬‫می‬ ‫را‬‫آنها‬‫پردازش‬‫و‬.
•StreamsAPI‫یه‬‫سازی‬‫پیاده‬‫امکان‬ ‫که‬streamprocessor‫در‬‫آنها‬‫درج‬‫و‬‫آنها‬‫پردازش‬،‫دیتاها‬‫خواندن‬ ‫منظور‬ ‫به‬Topic‫کند‬‫می‬‫فراهم‬ ‫را‬‫دیگری‬.
•ConnectorAPI‫ساخت‬‫امکان‬ ‫که‬Producer‫یا‬Consumer‫ظرفیت‬ ‫از‬‫استفاده‬‫با‬‫دیتاها‬‫سازی‬‫ذخیره‬‫یا‬‫و‬‫انتقال‬ ‫برای‬ApacheKafka‫فراهم‬‫را‬
‫کند‬‫می‬.
4‫از‬‫مورد‬API‫اصلی‬‫های‬‫در‬ApacheKafka:

21. Apache Kafka‫شود‬‫می‬‫وارد‬.

22. ‫چرا‬ApacheKafka‫کردیم؟‬‫انتخاب‬‫را‬

23. ‫چرا‬Apache Kafka‫کردیم؟‬‫انتخاب‬‫را‬
•‫مدیریت‬Offset‫توسط‬‫ها‬Kafka.
•‫ویژگی‬ConsumerGroup.
•‫تنظیم‬‫قابلیت‬Retention‫دیتاها‬ ‫روی‬ ‫بر‬.
•‫دیتاها‬ ‫سازی‬‫فشرده‬.
•HighThroughput.
•‫موفق‬‫های‬‫معماری‬ ‫از‬‫زیادی‬‫تعداد‬ ‫در‬‫شده‬‫توصیه‬BigData.
•‫ویژگی‬Fault tolerance.

24. ‫چرا‬Apache Kafka‫کردیم؟‬‫انتخاب‬‫را‬
‫مدیریت‬Offset‫توسط‬‫ها‬Kafka

25. ‫چرا‬Apache Kafka‫کردیم؟‬‫انتخاب‬‫را‬
‫مدیریت‬Offset‫توسط‬‫ها‬Kafka

26. ‫چرا‬Apache Kafka‫کردیم؟‬‫انتخاب‬‫را‬
‫ویژگی‬ConsumerGroup
•‫قابلیت‬Scale‫کردن‬‫کدهای‬‫پردازشی‬.
•‫امکان‬Failover‫کردن‬‫کدهای‬‫پردازشی‬.

27. ‫چرا‬Apache Kafka‫کردیم؟‬‫انتخاب‬‫را‬

28. ‫چه‬Case‫به‬ ‫نیاز‬‫دیگری‬‫های‬ApacheKafka‫دارند؟‬

29. ‫چه‬Case‫های‬‫به‬ ‫نیاز‬‫دیگری‬Apache Kafka‫دارند‬‫؟‬
Change Data Capture
Maxwell s Daemon

30. ‫چه‬Case‫به‬ ‫نیاز‬‫دیگری‬‫های‬Apache Kafka‫دارند‬‫؟‬

31. ‫چه‬Case‫به‬ ‫نیاز‬‫دیگری‬‫های‬Apache Kafka‫دارند‬‫؟‬
Register
E-mail
Worker
SMS
Worker
Insert
Into
ES

32. ‫مانیتورینگ‬

33. ‫مانیتورینگ‬

34. ‫مانیتورینگ‬

35. ‫سوال‬‫؟‬
‫تلگرامی‬ ‫دی‬‫آی‬ ‫طریق‬ ‫از‬ ‫توانید‬‫می‬‫آمد‬ ‫پیش‬‫سوالی‬‫برایتان‬ ‫وبینار‬ ‫طول‬ ‫در‬‫که‬‫صورتی‬ ‫در‬
@dataakcom_webinar
‫کنید‬ ‫مطرح‬‫را‬ ‫خود‬‫سوال‬.

36. ‫کنید‬ ‫دنبال‬ ‫را‬ ‫ما‬
@DATAAKCOM