Yevgen Lysenko "Practical experience of using AWS Lambda in a high-loaded PHP applications"
•Download as PPTX, PDF•
0 likes•306 views
Why and how did we migrated the core of our v-Ticket system from Auto-Scaling Group to AWS Lambda, difficulties we’ve faced down the road, specialties of using PHP within Lambda and how much it all costs in real life.
Recommended
Recommended
More Related Content
What's hot
What's hot (19)
Similar to Yevgen Lysenko "Practical experience of using AWS Lambda in a high-loaded PHP applications"
Similar to Yevgen Lysenko "Practical experience of using AWS Lambda in a high-loaded PHP applications" (20)
More from Fwdays
More from Fwdays (20)
Yevgen Lysenko "Practical experience of using AWS Lambda in a high-loaded PHP applications"
- 1. ПРАКТИЧЕСКИЙ ОПЫТ ИСПОЛЬЗОВАНИЯ AWS LAMBDA В ВЫСОКОНАГРУЖЕННЫХ PHP- ПРИЛОЖЕНИЯХ Yevgen Lysenko Concert.ua
- 2. ПРАКТИЧЕСКИЙ ОПЫТ ИСПОЛЬЗОВАНИЯ AWS LAMBDA В ВЫСОКОНАГРУЖЕННЫХ PHP- ПРИЛОЖЕНИЯХ
- 3. КТО МЫ? Concert.ua – билетный оператор №1 в Украине v-Ticket – билетная система, в основе Concert.ua
- 6. MariaDB 1 MariaDB 2 MariaDB 5 MariaDB 3 MariaDB 4 Block storage bi-daily backups Galera Cluster MySQL MaxScale 1 MaxScale 2 CloudFlare Concert.ua Load Balancer CloudFlare v-Ticket HTTPS Balancer-1 Internal DNS1 HTTPS WSS WS Balancer-2 Internal DNS2 PHP Session storage application cache Redis HTTP concertua-app01 concertua-app02 concertua-app03 (staging) Concert.ua cluster HTTP vticket-app00 (API) vticket-app01 vticket-app02 v-Ticket legacy cluster MySQL Block storage volume-01-fra1 storage1 (static & logs) NFS Redis PHP Session storage application cache ElasticSearch 1 ElasticSearch 2 ElasticSearch 3 ElasticSearch cluster RabbitMQ srv1 Crossbar srv1 PostgreSQLPostgreSQL Exim 1 HAProxy Exim 2 Exim 3 Mail out cluster AMQP AMQP SMTP WAMP over WS or TCP SMTP MySQL Redis AMQP vticket-core01 SMTP MySQL Redis RabbitMQ storage.concert.ua HTTPS CloudFlare storage.concert.ua HTTP HTTP HTTP sentry.concert.ua HTTPS CloudFlare sentry.concert.ua vticket-worker01 vsync-common-dispatcher vsync-common ticket-renderer sms-sender email-sender ladesk-worker order-operation-migrator core-auth-service google-analytics-worker vticket-worker02 vsync-common-dispatcher vsync-common ticket-renderer sms-sender email-sender ladesk-worker order-operation-migrator core-auth-service google-analytics-worker Redis srv2Redis srv1 ТЕКУЩАЯ АРХИТЕКТУРА
- 7. CONCERT.UA – ЭТО Билетный сайт №2 на территории экс-СССР по посещаемости Билетный сайт №66 в мире 1,5-2M посещений в месяц Труднопредсказуемые всплески посещаемости
- 8. ЧТО ТАКОЕ LAMBDA- ФУНКЦИЯ? AWS Lambda позволяет запускать программный код без выделения серверов и управления ими. Вы платите только за фактическое время вычисления. Если программный код не исполняется, оплата не требуется.
- 9. ПРЕИМУЩЕСТВА LAMBDA Практически безлимитное масштабирование Трата ресурсов (и денег) только за время исполнения При небольших нагрузках это бесплатно!
- 10. ОБЛАСТЬ ПРИМЕНЕНИЯ FaaS Как замена некоторым микро-сервисам API Классические вебсайты Обрабока и трансформация (Kinesis, S3, DynamoDB, etc) Как замена cron-job (через триггер CloudWatch)
- 11. ДЛЯ ЧЕГО НЕ ПОДХОДИТ o Демоны или сервисы, которые должны быть постоянно запущены, а не работать по принципу born-to-die o Код с долгим (более нескольких секунд) временем вызова. Например пересчёт статистики, перекодирование видео и т.п. o Отдачи статики
- 13. ТРЕБОВАНИЯ К ФУНКЦИЯМ Соблюдение «12 Факторов»
- 14. ПЛАТФОРМЫ, ПРЕДОСТАВЛЯЮЩИЕ FaaS AWS Lambda Azure Functions Google Cloud Functions Knative для Kubernetes
- 15. ЧТО ПОД КАПОТОМ AWS LAMBDA?
- 16. What is Firecracker? Firecracker is an open source virtualization technology that is purpose-built for creating and managing secure, multi- tenant container and function-based services that provide serverless operational models.
- 17. NATIVE SUPPORT FOR Java Go PowerShell Node.js C# Python Ruby
- 18. COLD START
- 20. КАК ИЗБЕЖАТЬ COLD START? Совершать пустые вызовы функции
- 21. СИСТЕМНЫЕ РЕСУРСЫ o Инстансу функции выделяется от 128МБ до 3008МБ памяти o Пропорционально выделяется ресурс vCPU таким образом, что при 1792МБ он равен 1 vCPU
- 22. ОГРАНИЧЕНИЯ 250МБ на функцию в распакованном виде По умолчанию 1000 одновременно исполняемых инстансов Все входящие сетевые соединения заблокированы Закрыт порт TCP 25 (борьба со спамом) Максимальное время исполнения 15 мин (по умолчанию 3 сек) Размер payload ограничен: o 6 MB (synchronous) o 256 KB (asynchronous) Read-only файловая система и 512МБ хранилища в /tmp
- 23. ТРИГГЕРЫ
- 24. STEP-FUNCTIONS
- 25. РАБОТА С PHP В LAMBDA РАНЕЕ В AWS Lambda нет native runtime для PHP Приходилось применять фокусы, используя пакеты вроде https://github.com/araines/serverless-php
- 26. РАБОТА С PHP В LAMBDA СЕГОДНЯ С ноября 2018 появилась возможность запуска custom runtimes Появились пакеты вроде Bref: https://bref.sh/
- 27. • PHP 7.2 и 7.3 • FPM и CLI • Широкий набор доступных экстеншенов • Устанавливается как Composer-пакет • Оркестрация и деплой через Serverless • Возможность использования Lambda Layers • Совместим с Symfony и Laravel
- 28. MATURITY MATRIX
- 29. HELLO WORLD IN BREF
- 31. WHAT IS AWS FARGATE? AWS Fargate is a compute engine for Amazon ECS that allows you to run containers without having to manage servers or clusters. With AWS Fargate, you no longer have to provision, configure, and scale clusters of virtual machines to run containers.
- 32. ЧЕМ FARGATE ОТЛИЧАЕТСЯ ОТ LAMBDA? Fargate оперирует Docker-контейнерами Подходит для длительно живущих задач Позволяет тонко выделять память и процессорные ресурсы Scaling происходит по устанавливаемым метрикам CPU и памяти
- 33. ГДЕ МЫ ИСПОЛЬЗУЕМ LAMBDA? Приватный Analytics API (через API Gateway) Билетное ядро системы v-Ticket (через ALB)
- 34. ГДЕ МЫ НЕ ИСПОЛЬЗУЕМ LAMBDA? Основной сайт Concert.ua Публичный API v-Ticket System
- 35. ПОЛЕ ДЛЯ ДАЛЬНЕЙШИХ ИССЛЕДОВАНИЙ AWS Aurora MySQL Serverless AWS Aurora PostgreSQL Serverless
- 38. СКОЛЬКО ЭТО СТОИТ? For comparison, we’ll use a typical workhorse instance, the m4.large instance type. It has 2 vCPU and 8 GB RAM and costs $0.12/hr or approx $86/month in the N. Virginia region. Lambda Breakeven Analysis for an m4.large Instance
Editor's Notes
- Меня зовут Евгений Лысенко, я со-основатель и CTO компании Concert.u Concert.ua сейчас является лидером билетного рынка страны
- Concert.ua – frontstore, витрина. Хранит внешнее представление ассортимента, подборки, рейтинги, консюмеров, процессит оплаты V-Ticket – склад, система. Хранит залы, продажи, билетную массу, совершает процессинг, биллинг и делает многое другое
- В прошлом году в своём докладе я рассказывал о том, как нам удалось преобразовать архитектуру проекта из вот этой модели…
- Вот в это Также хочу сделать акцент на том, что backend нашей системы написан на PHP7.2 (на данный момент), как думаю и у многих из здесь присутствующих. Поэтому я буду в дальнейшем акцентировать внимание на работе рассматриваемых технологий именно с PHP
- Последний пункт самый важный: это объясняет почему мы ищем и пробуем подобные технологии
- Каждый раз вижу в этом Half-Life Примеры использования: Обработка потоков событий Трансформация изображений API
- 1млн вызовов и 400ГБ-сек в мес бесплатно ГБ-сек – интересная мера
- По умолчанию в Lambda вообще запрещен выхлоп бинарных данных
- 12 Ф – все они важны, но критически важные: №3 конфигурация через переменные окружения и №6 приложение должно быть stateless
- Сегодня мы подробно рассмотрим
- Меган Фокс вот тоже интересно что же там
- Firecracker runs workloads in lightweight virtual machines, called microVMs, which combine the security and isolation properties provided by hardware virtualization technology with the speed and flexibility of containers. Основан на KVM Этот движок AWS стали использовать относительно недавно и именно с ним пришли существенные улучшения как производительности, так и функционала. Отдельно стоит упомянуть lambda layers.
- Чего здесь нет? ) К этому мы вскоре вернёмся
- Хуже всего дела обстоят у C# Чем больше размер функции и меньше у неё памяти, тем дольше она стартует. В некоторых случаях это может занимать до 5 сек у даже дольше
- Вероятность уничтожения micro-VM после последнего вызова в минутах В целом обычно это промежуток от 5 до 10 минут
- Как часто? Принято каждые 5 мин Это называют «поддержкой функции тёплой» Забегая наперёд скажу, что это автоматизировано в рассматриваемом далее инструментарие
- ВСЕ ВХОДЯЩИЕ СОЕДИНЕНИЯ ЗАБЛОКИРОВАНЫ Обратите на это внимание. Функция не получает напрямую никаких данных извне. Только через триггеры. Об этом чуть позже Максимально 15 мин, но только не через API Gateway, там 30 сек на вызов Хранение темп-файлов и кеша в /tmp, т.к. read-only файловая система Хранение в S3 Хранение в ElastiCache (Redis/Memcache) Пред-создание и подключение layer’ов
- Это не все возможные триггеры Есть ещё интеграция с целым набором сторонних сервисов вроде PagerDuty или SugarCRM
- Задумка интересная, но пока сыровата
- Если захочется боли и страданий – вам сюда Обёртка nodejs
- На данный момент PHP не ниже 7.2, если у вас 7.1 или ещё ниже, то вам придётся использовать устаревшую версию Bref
- Сегодня мы подробно рассмотрим
- Underhyped Тоже под Firecracker Сейчас есть Fargate для ECS и начале 2020 обещают Fargate для EKS Это брат Lambda, с определёнными отличиями Похож на Google Compute Engine
- По своей сути призван заменить прямую работу с EC2 инстансами на ECS Сильно подешевел в последнее время и сравним с EC2 по финальной стоимости (ранее был дороже)
- Он пока живёт на ECS как AutoScaling группа. Планируем переводить на Fargate
- Глобальное исследование среди 550 компаний
- For most periodic or very light workloads, Lambda is dramatically less expensive than even the smallest EC2 instances. Focus on the memory and execution time that a typical transaction in your app will need to relate a given instance size to the break-even Lambda cost.