- Немного про Big Data “Zoo”; - Что такое лямбда архитектура? - Имплементация: Apache Kafka, Apache Spark, Cassandra; - Не очевидные плюсы и явные минусы лямбда архитектуры; - Незабываем про микросервисы; - Что делать когда все дорого? Как минимизировать расходы на Minimum Viable Product (MVP)

2. Архитектура для IoT проектов с учетом расходов и реалий стартапа
Denis Panaskin
Director of Technology
VARTEQ

3. Что для Вас Big Data?

4. 3V, 4V ?!.

6. Как по мне - это
иной взгляд на проектирование

7. - Какие библиотеки, фреймворки
вы можете порекомендовать?..

9. *
Distributed это легко и весело?..

11. *

14. festi.io
~30 - 70 Mb/day

16. Не забываем про микросервисы

18. ‣ Каждый сервис, теоретически, имеет свою базу
данных
‣ Распределенные транзакции - это просто ад
‣ Event-driven асинхронные обновления данных,
непростой зверек в продакшене
‣ Логи
Работа с данными

19. ‣ Упрощает разработку и понимание системы
‣ Позволяет решать проблемы по мере их
поступления, а не бороться с хомячками
‣ Упрощает проблему масштабирования как в
разрезе нагрузки, так и команды
‣ Дает возможность для экспериментов и
относительно безопасного рефакторинга
‣ Идеально подходит для IoT проектов
Плюсы микросервисов

20. ‣ “Нюансы”с организацией процесса общения
между сервисами
‣ Распределенные транзакций
‣ Задержки из-за сетевых запросов
‣ Более сложная схема обработки ошибок
‣ Все прелести тестирования распределенных
систем
Минусы микросервисов

21. ‣ При разработке микросервисов труднее всего
определять их границы
‣ Независимая масштабируемость
‣ Гетерогенность
‣ Сложность работы с данными и межсервисной
коммуникаций
Резюмируем

22. ‣ Модель данных
‣ Работа с данными в реальном времени
‣ Сложность тестирования
‣ Сложность дебага
‣ Исправлять ошибки в данных
‣ Восстановление данных после багов
‣ Рукожопость…
Основные проблемы в IoT проектах?

23. Lambda Architecture

36. Резюмируем
‣ Система невосприимчива к повреждению
данных
‣ Громоздкость системы и зоопарк технологий
‣ Уменьшает влияние человеческого фактора
‣ Формально у вас две системы

37. *
Что делать, когда все дорого?
Как минимизировать расходы на
Minimum Viable Product?

38. *

39. ‣ Распределенные системы недешевые
‣ Дорогие и редкие специалисты
‣ Дешевле монолита не получится
‣ Сложно предугадать, во что упрется ваше решение
‣ Делать монолит, но с пониманием микросервис
архитектуры, чтобы потом не было больно и еще
дороже
Что нужно сразу принять как факт

41. Итого
‣ IoT проектов будет становиться все больше
‣ Лямбда архитектура не панацея, но предотвращает
потерю данных и дает реал тайм данные
‣ Лямбда архитектура + микросервисы отличное
решение, когда есть деньги и реально большие
данные
‣ Монолит не умрет, но правила его написания
изменились давно

43. denis@panaskin.com

44. ‣ Data Analytics Platform (Netflix)
‣ Offline Data Composition (Nextdoor)
‣ Stream Ingestion
‣ Near Real-Time (NRT) Event Processing with External
Context
‣ NRT Event Partitioned Processing
‣ Complex Topology for Aggregations
‣ Kappa Architecture
‣ Lambda Architecture
Архитектуры обработки данных