Recommended
More Related Content
What's hot
What's hot (20)
Similar to AWS Fargate AWS UG Dormund 2019 Kazulkin Jung
Similar to AWS Fargate AWS UG Dormund 2019 Kazulkin Jung (20)
More from Vadym Kazulkin
More from Vadym Kazulkin (20)
Recently uploaded
Recently uploaded (20)
AWS Fargate AWS UG Dormund 2019 Kazulkin Jung
- 1. AWS Fargate : Containerizations meets Serverless by Benjamin Jung and Vadym Kazulkin, ip.labs GmbH
- 2. Contact Vadym Kazulkin, ip.labs GmbH v.kazulkin@iplabs.de www.xing.com/profile/Vadym_Kazulkin @VKazulkin, @ServerlessBonn (Meetup) Benjamin Jung, ip.labs GmbH b.jung@iplabs.de www.xing.com/profile/Benjamin_Jung2 @headcr4sh
- 3. ip.labs GmbH
- 4. Agenda 1. Project presentation 2. Introduction to AWS Elastic Container Service (ECS) 3. Introduction to AWS Fargate 4. Practical project-related example 5. Future of the AWS Fargate (Fargate+Kubernetes) 6. Fargate Integration with AWS managed services 7. Fargate under the hood (Firecracker microVM)
- 6. Revenue Share Tool Requirements 1. Automatic calculation for the complete previous month on the 1st of each month for each customer 2. Calculation via a simple GUI for each customer • For the current month so far • Recalculation for the previous months 3. Notification with the link to download the calculation results for each customer for • Automatic calculation • Calculation via GUI
- 7. RS core calculator currency exchange rate input data: order data & calculation rules output data: RS calculation & input data sends email with path to download RS calculation result Central DB Management Server extracts customer, year and month from the file path Key example: revsharetool-storage-demo/input-data/1000000/import/201906/revshare-final.json RS calculator app
- 8. Amazon Elastic Container Service (ECS) 8 Amazon Elastic Container Service (Amazon ECS) is a highly scalable, fast, container management service that makes it easy to run, stop, and manage Docker containers on a cluster. [...] https://docs.aws.amazon.com/AmazonECS/latest/developerguide/Welcome.html
- 9. Amazon Elastic Container Service (ECS) [...] You can host your cluster on a serverless infrastructure that is managed by Amazon ECS by launching your services or tasks using the Fargate launch type. For more control you can host your tasks on a cluster of Amazon Elastic Compute Cloud (Amazon EC2) instances that you manage by using the EC2 launch type. 9 https://docs.aws.amazon.com/AmazonECS/latest/developerguide/Welcome.html
- 10. ECS ... Managed Docker Swarm? Yes... ... and ... ... no. 10
- 11. Components of Amazon ECS (EC2 launch type) 1. Elastic Container Registry (ECR) - optional 2. Elastic Container Services (ECS) • Cluster (Control Plane) • EC2 Worker Nodes • EC2 Tasks & Services 11
- 12. Components of Amazon ECS (Fargate launch type) 1. Elastic Container Registry (ECR) – mandatory 2. Elastic Container Services (ECS) • Cluster (Control Plane) • EC2 Worker Nodes • Fargate Tasks and Services 12
- 13. 13
- 14. Enough talk, let‘s configure and code!
- 15. RS core calculator currency exchange rate input data: order data & calculation rules output data: RS calculation & input data sends email with path to download RS calculation result Central DB Management Server extracts customer, year and month from the file path Key example: revsharetool-storage-demo/input-data/1000000/import/201906/revshare-final.json RS calculator app
- 16. Getting started with ECS using Fargate Source: https://console.aws.amazon.com/ecs/home?region=us-east-1#/firstRun
- 17. RevShare Calculation Fargate Cluster
- 18. RevShare Calculation Fargate Task Definition
- 19. RevShare Calculation Fargate Task Definition
- 20. RevShare Calculation Fargate Task Execution Role
- 21. RevShare Calculation Fargate Task Execution Role /Inline Policy
- 22. RevShare Calculation Fargate Task Definition
- 23. RevShare Calculation Elastic Container Registry
- 24. RevShare Calculation Fargate Task /Docker File
- 25. How to push to ECR 1. aws ecr get-login --no-include-email --region us-east-1 2. docker build -t revshare-calculation . 3. docker tag revshare-calculation:latest 466151692659.dkr.ecr.us-east- 1.amazonaws.com/revshare-calculation:latest 4. docker push 466151692659.dkr.ecr.us-east-1.amazonaws.com/revshare- calculation:latest
- 26. RevShare Calculation Fargate Task
- 27. RevShare Calculation Fargate Task Lambda Trigger Key example: revsharetool-storage-demo/input-data/1000000/import/201906/revshare-final.json
- 28. RevShare Calculation Fargate Task Lambda Trigger Create Environment Variables
- 29. Call Lambda asynchronously from Lambda
- 30. RevShare Calculation Fargate Task Lambda Trigger
- 31. #AWSWishList 1 Use Defaults for the: 1. SubNets list 2. execution role ARN 3. task role ARN
- 32. RevShare Calculation Fargate Task Monitoring
- 33. #AWSWishList 2 Enable Monitoring for Fargate Tasks which are not the part of the service the same way it works for Fargate Cluster and Service Monitoring
- 34. #AWSWishList3 (already fulfilled ) API Gateway can be put behind private VPC Source: „Introducing Amazon API Gateway Private Endpoints“ https://aws.amazon.com/blogs/compute/introducing-amazon-api-gateway-private-endpoints/
- 35. RevShare Calculation Fargate Cluster Logging
- 36. RevShare Calculation Fargate Task Execution Role
- 37. RevShare Calculation Fargate Credentials Provider
- 38. 38 https://aws.amazon.com/blogs/aws/amazon-eks-now-generally-available/ June, 5th 2018 Where do companies run their Kubernetes Clusters? AWS 57% Others 43%
- 39. What about Kubernetes? 39 with Fargate
- 42. Production ready? „Please note this software is experimental and should not be used for anything resembling a production workload.“ 42 https://github.com/virtual-kubelet/virtual-kubelet
- 43. The State of Containers on AWS (September 30, 2018) https://aws.amazon.com/podcasts/aws-podcast/#265 43
- 44. Use cases for Fargate • Seldom usage (weekly jobs) + additional spikes + advantages of containers • Latencies (cold start) acceptable • Dev/Test Environment
- 45. Fargate Challenges • 10 GB storage limit per task • No instance type selection (CPU, RAM or GPU optimized) • EBS volume or EFS not attachable • No reserved instances pricing available • No spot instance support Source: „Amazon ECS Service Limits” https://docs.aws.amazon.com/de_de/AmazonECS/latest/developerguide/service_limits.html
- 46. Fargate with Step Function
- 47. Fargate Call from AWS Step Functions Source: „Manage Amazon ECS/Fargate Tasks with Step Functions“ https://docs.aws.amazon.com/de_en/step-functions/latest/dg/connectors-ecs.html
- 48. Fargate with Cloud Map Source: „Introducing AWS Cloud Map “ https://www.slideshare.net/AmazonWebServices/new-launch- introducing-aws-cloud-map-con366-aws-reinvent-2018
- 49. Fargate under the Hood Firecracker MicroVM
- 51. Firecracker MicroVM Key Features Source: „Everything You Need to Know About AWS Firecracker” https://www.nutanix.com/2018/11/27/everything-need-know-firecracker-virtualization-serverless- computing/
- 52. Questions?
Editor's Notes
- 1
- 2
- Launch von ECS war offiziell am 13.11.2014 Zeitliche Einordnung: Erste Vorstellung von Docker am 30.03.2013, Docker 1.0 wurde am 09.06.2014 veröffentlicht. Amazon hat also nur ein halbes Jahr Zeit benötigt, um auf den Docker-Zug aufzusteigen mit einem Produkt, das sich nahtlos in die AWS-Landschaft integriert
- Es gibt mittlerweile zwei verschiedene Wege, ECS zu nutzen. Die „Empfehlung“ von Amzon (zumindestens habe ich das in einem Podcast mir Aron Gupta gehört) für absolute Neueinsteiger in die AWS-Container-Welt ist der modernere fully-managed Fargate Launch Type.
- Wer sich mit Docker Swarm auskennt, der könnte auf die Idee kommen, ECS als eine Art managed Version von Docker Swarm zu bezeichnen. Docker Swarm jedoch ist ziemlich tot und findet kaum noch Beachtung, wohingegen ECS – zumindestens, wenn man den Aussagen von Amazon vertrauen schenken darf – nach wie vor floriert und großes Wachstum erfährt.
- Wer sich für den traditionellen EC2-Launch Type entscheidet, hat die Möglichkeit, seine Docker Container Images in der Elastic Container Registry von Amazon abzulegen. Es ist jedoch auch möglich, Images von Docker Hub, Quay.io, gcr, etc. zu nutzen. Auch ist der Einsatz von private Docker Registries wie z.B. Harbor möglich. Der Betrieb der Container selber findet – wenn man sich für den EC2 Launch Type entscheidet – auf EC2 Instanzen statt, die zuvor im eigenen Account provisioniert werden müssen. Die Control Plane wird AWS-managed zur Verfügung gestellt und ist etwas, um das man sich nicht kümmern muss.
- Container, die im Fargate Modus betrieben werden, haben bzgl. der verwendbaren Container Registries momentan die Einschränkung, dass private Images (d.h. Images aus Registries, die durch Zugangsdaten abgesichert werde) nur aus ECR geladen werden können. ECS setzt vollends auf das ausgereifte IAM-Konzept von Amazon und sieht hier (momentan) nicht vor, dass hier etwas Anderes zum Einsatz kommt. Ansonsten: Einfach. Ähnlich wie bei Lambdas, wird die unterliegende Infrastruktur weitestgehend vor uns versteckt und wir können uns auf die wesentlichen Aspekte der Software-Entwicklung und des Betriebs konzentrieren.
- Preismodell von Fargate ist dem Preismodell von Lambda recht ähnlich
- Awsvpc –task isolation boundary, ElasticNetworkIterface pro Task, task level networking, task level IAM policy
- Nathan Peck: This is designed to give maximum control to you. For example some people want to be able to give Fargate the ability to talk to ECS via the task execution role, but not give it the other capabilities. So it is super locked down Same with subnets. A cluster can span many subnets in a VPC, but perhaps you want to have some Fargate tasks in an isolated portion of the VPC from others The Fargate AWS VPC settings are generally used to create multi tier apps within a single VPC, with some living in the public facing VPCs with public IP addresses, and others living only in private subnets, with private IP addresses only
- Nathan Peck: This is designed to give maximum control to you. For example some people want to be able to give Fargate the ability to talk to ECS via the task execution role, but not give it the other capabilities. So it is super locked down Same with subnets. A cluster can span many subnets in a VPC, but perhaps you want to have some Fargate tasks in an isolated portion of the VPC from others The Fargate AWS VPC settings are generally used to create multi tier apps within a single VPC, with some living in the public facing VPCs with public IP addresses, and others living only in private subnets, with private IP addresses only
- Wegen automatisierung z.B mit Terraform, muss der Code nachher angepasst werden
- How do you monitor CPU/Memory usage for AWS Fargate tasks that are not part of a service? Just run your tasks in a 1-task service so you can get metrics for them. That also brings the benefits of respawning your task if the container goes down.
- Wegen automatisierung z.B mit Terraform, muss der Code nachher angepasst werden
- Dass die meisten Kubernetes-Cluster in der AWS-Cloud laufen ist vermutlich kein Geheimnis. Die 57%, die Amazon hier angibt beziehen sich auf die Anzahl der Cluster, die von Firmen insgesamt betrieben werden und sagen nichts über die Größe der betriebenen Cluster aus (Zur Erinnerung: 5000 Nodes pro Cluster ist momentan das Maximum, das die Kubernetes-Spezifikation hergibt) Amazon hat sich relativ lange Zeit gelassen, auf den Kubernetes-Zug aufzuspringen und der erste Wurf ist an vielen Ecken und Enden noch etwas unvollendet, aber wie es bei Amazon nun mal üblich ist, bietet man hier, nicht einfach nur ein managed Kubernetes an, sondern eine Kubernetes-Distribution, die sich in die restliche AWS-Landschaft (IAM, Security Groups, Networking, Storage,...) vollständig einfügt.
- Auch Amazon hat erkannt, dass mit Kubernetes eine standardisierte Plattform existiert, für die sich die Kunden interessieren und die sie gerne in einer gemanagten Form nutzen würden: EKS. Status Quo: EKS ist – ähnlich wie ECS + EC2 Launch Type – in den Regionen us-west-1, us-east-1 und eu-west-1 verfügbar. EKS+Fargate ist für 2018 angekündigt und sollte demnächst vorgestellt werden....
- Wer sich für den aktuellen Stand von Containern, deren Orchestrierung und die Zukunft des serverlosen Container-Managements interessiert, dem empfehle ich, in den AWS Podcast Episode 265 reinzuhören. Sehr interessantes Interview mit Arun Gupta (Principal Open Source Technologist, AWS)!
- Where you reach lambda-serverlss limitations (3GB memory for lambda, 1000 concurrent execution per accounts, 15 min task duration execution or you simply love containers)
- Use S3 for storage As no EBS volume selection, no selection if ssd( general purpose or io-/throuhput optimized) or magnetic Anzahl Cluster pro Region und Konto, Anzahl Container-Instances pro Cluster, Anzahl Services pro Cluster, Anzahl Aufgaben pro Service, Anzahl Load Balancer pro Service, Max. Container pro Aufgabendefinition
- AWS Step Functions ermöglicht es Ihnen, Ihren Anwendungen eine resiliente Workflow-Automatisierung hinzuzufügen. Die Schritte Ihres Workflows können überall existieren, darunter in AWS Lambda-Funktionen, auf Amazon EC2. Jetzt ist AWS Step Functions auch mit Amazon ECS, AWS Fargate, Amazon DynamoDB, Amazon SNS, Amazon SQS, AWS Batch, AWS Glue und Amazon SageMaker integriert
- AWS Cloud Map cloud resource service discovery (client side LB, like Consul, netflix eurika, Zookeeper, etcd, because of latency of server-side lb), Fargate tasks (ECS and Kubernetes) can be integrated there https://aws.amazon.com/de/about-aws/whats-new/2018/11/aws-fargate-and-amazon-ecs-now-integrate-with-aws-cloud-map/ https://soaessentials.com/client-side-load-balancing-vs-server-side-load-balancing-how-client-side-load-balancing-works/
- Firecracker was developed with the goal to provide high security, isolation, flexibility, and an efficient run-time environment for Lambda and Fargate services.
- Firecracker is a virtualization technology that uses a Kernel-based Virtual Machine (KVM) that helps to run different customers’ workloads on the same machine. With isolation similar to traditional machines, Firecracker ensures security and efficiency. Firecracker is licenced under Apache 2.0
- -Virtual Machine Managers (VMMs) are used to create & manage microVMs. -A minimalistic & simple design reduces memory overhead. -The Firecracker process is statistically linked & can be launched using a jailer. -Firecracker can handle huge workloads as it already supports Lambda & Fargate. -Providing Kubernetes, & Docker container integration with Firecracker to help companies who have infrastructure on these technologies. -Supporting AMD and Arm processors -Providing MicroVM storage encryption -Integrating with container run-times, such as containers