해당 PPT에 대한 웨비나를 시청해보세요: https://youtu.be/Xp-MuQ3d5co 지난 10월 13일 진행된 하시코프와 알리바바 클라우드의 조인트 웨비나 E02에서는 하시코프와 알리바바 클라우드의 개발 보안 대한 논의가 진행되었습니다. 하시코프에서는 Terraform K8s, Vault K/V를 알리바바 클라우드에서는 Pipeline, ACR EE, Security Center-Container 에 대해 다룹니다.

1. 1
2021. 10. 13. (수)
DevSecOps
Episode
임종진 이규석

2. 2
Alibaba Cloud 서비스 맵
Cloud Monitor
Anti-DDoS
Cloud Shield
WAF
Web Application Firewall
HSM
Hardware Secure Module
Security
Block Storage
OSS
Object Storage
Service
Archive Storage
NAS
Network Attached
Storage
Message Service
Storage
ECS
Elastic Compute Service
Auto Scaling
SLB
Server Load Balancer
Container Service
HPC
High Performance Compute
BatchCompute
Compute
Global IDC Regions Available Zones
MaxCompute
Big Data
RAM
Resource Access Management
CLI API
DevOps
Media
Transcoding
OpenSearch
Mobile
Analytics
Log Service
EDAS
Enterprise Distributed Application Service
Distributed RDS
ROS
Resource Orchestration Service
ONS
Open Notification Service
Middleware
Infrastructure
Technical
Support
Professional
Services
Training &
Certification
Cloud
Architects
Pricing Report
Support Solutions
O2O Storage
Healthcare Security Government
E-commerce IoT Telco
Web Fintech
Digital Marketing
VPC
Virtual Private Cloud
ExpressConnect
Elastic IP
Network
CDN
HA-IP
High Availability IP
RDS
Relational Database
Service
Oceanbase
Memcache
Table Store
Redis MongoDB
DMS
Database
Management
Analytic DB
DTS
Data Transmission
Service
Database
PetaData
KMS
Key Management Service
Performance Testing
Platform of A.I.
(PAI)

3. 3
HashiCorp 솔루션 맵
Infrastructure Networking Security Application
Packer Vagrant Terraform Consul Boundary Vault Nomad Waypoint
다양한 플랫폼에 대한
VM, 컨테이너 이미지
생성 자동화
로컬 개발환경을 위
한 VM 프로비저닝
자동화와 관리
온프레미스와
클라우드 전반의
인프라
프로비저닝과
자동화
서비스
디스커버리와
서비스 메시로
네트워크 자동화
인증/인가 기반으로
서버와 서비스에
대한 접근관리
민감 정보의 관리와
접근에 중앙화된
관리 서비스
애플리케이션
배포와 실행을 위한
오케스트레이터
단일 구성으로
컨테이너 환경에
애플리케이션 빌드
및 배포

4. 4
HashiCorp 솔루션 맵
Infrastructure Networking Security Application
Packer Vagrant Terraform Consul Boundary Vault Nomad Waypoint
다양한 플랫폼에 대한
VM, 컨테이너 이미지
생성 자동화
로컬 개발환경을 위
한 VM 프로비저닝
자동화와 관리
온프레미스와
클라우드 전반의
인프라
프로비저닝과
자동화
서비스
디스커버리와
서비스 메시로
네트워크 자동화
인증/인가 기반으로
서버와 서비스에
대한 접근관리
민감 정보의 관리와
접근에 중앙화된
관리 서비스
애플리케이션
배포와 실행을 위한
오케스트레이터
단일 구성으로
컨테이너 환경에
애플리케이션 빌드
및 배포

5. 5
DevSecOps
• 모든 IT 개발과 운영이 적용되는 플랫폼부터 배포, 운영, 관리에 이르기 까지 보안을 고려
• 보안 영역을 추후 적용 시 재설계에 따른 추가 부담 발생
• DevOps 과정 중에 지속적이며 통합된 구조를 만드는 것에 집중

6. 6
DevSec

7. 7
Elastic Computing
HPC
(High performance compute)
Compute optimized
Instances with GPU
Compute optimized
Instances with FGPA
f1
• Genome research
• Video encoding & decoding
• Image transcoding
• Financial analysis
• Deep learning
• Video processing
• Visualization
• Scientific
computing
gn5i
ga1
Visualization optimized
gn6v
gn5
f3
ECS Bare Metal Instance
(X-Dragon)
• High-performance website frontend
• Data processing
• Backend applications
• High-performance and scientific
computing
Super Computing Clusters
(SCC)
Heterogeneous Computing Bare metal
Elastic High-performance Clusters
(E-HPC)
• Cloud native/K8S on bare metal
• 3rd party virtualization
(KVM/VMWare)
• Oracle migration solution
• High performance instance
20%
컨테이너 시나리오에서 전통적인
물리 서버 대비 퍼포먼스 20% 증가
Internet Artificial
Intelligence
Movies Industry Energy Rendering Genetics
Alibaba에서의 증명
마켓에서의 증명
5만 개 이상의 GPU card를 고객이
무거운 워크로드에 사용하여
안정성을 증명
모든 Alibaba Group의 workload는
알리바바의 X-dragon server에서
동작하며 이 서버는 광군제에서
초당 천만 건 이상의 주문을 처리
타사 대비 경쟁력
Alibaba Cloud X-dragon 가상화는
A사의 Nitro 가상화에 비해 컨테이너
시나리오에서
3배 이상의 퍼포먼스를 제공
다양한 시나리오에서 고객의 요구사항 만족

8. 8
Alibaba Cloud Container Service Portfolio
Computing
ECS, EBM, GPU, NPU, FPGA, ECI
Network
VPC, ENI, SLB, DNS, RDMA
Storage
EBS, NAS, CPFS, OSS
Alibaba Cloud Container Service for
Kubernetes (ACK)
Alibaba Cloud Serverless Kubernetes
Service (ASK) Container
Registry
(ACR)
Service Mesh
(ASM)
Security
Public Cloud Edge Computing (ACK@Edge) Private Cloud (Apsara Stack Agility)
Apache Dubbo Spring Cloud Apache Flink Tensorflow Blockchain IoT
MySQL RocketMQ
Microservices Stateful Middleware Big Data and AI Innovation
Observability
Logging, Monitoring, Alerting
Elasticity
Multi-cloud
Hybrid-cloud
Istio/Knative
Sandboxed
Containers

9. 9
o 1만개 이상의 컨테이너 인스턴스가
10분 안에 배포
o 주문 트랜잭션을 처리하기 위해
동시에 10만개의 컨테이너가 동작
o 하루 동안 20만개에 가까운
컨테이너 운영
o 최대 초당 32만 5천개의 주문을
정상적으로 처리
Container Adoption in Alibaba Group

10. 10
Platinum Member
Member
Platinum Member Member
Gold Member
Kubernetes Certified Community Contribution
Li Xiang(李响), a senior
technical expert from Alibaba
Cloud, was among the newly
appointed committee
members. He is the first
Alibaba expert, as well as the
first Chinese national, to join
the committee.
One of the first services that
have passed the Certified
Kubernetes Conformance
Program.
Brandon Philips was one of the
creators of etcd, along with Alex
Polvi and Xiang Li. Now that etcd
has been accepted into the CNCF.
Pouch Container is an open-source
project created by Alibaba Group
to promote the container
technology movement.
SOFAMesh is a solution for large-
scale Service Mesh based on Istio
which is open sourced by Ant
Financial.
Cloud Foundry
Foundation, home of the
most widely-adopted
open source cloud
technologies in the
world, was announced in
2018 that Cloud Foundry
will be available on
Alibaba Cloud.
Open Container Initiative
(OCI), an open source
community for creating
open standards around
containers, was
announced in 2018 that
Alibaba Cloud has
become a member of the
Initiative.
Alibaba Cloud in Cloud Native Ecosystem

11. 11
ACK Architecture Overview

12. 12
Multiple Templates to Create Clusters
Managed GPU/NPU Bare-metal Edge Computing
Confidential Computing
Windows
Serverless
Dedicated
Managed
Dedicated GPU/NPU

13. 13
• Nodeless：사용하기 쉽고, 노드에 대한 관리가 필요없으며, Node notready
상태에 대한 걱정이 필요없음
• Elastic scaling: 30초 안에 500개 pod 확장 가능
• Cost saving：on-demand, support spot and reserved instance.
• Kubernetes Compatibility：
deployment/statefulset/job/service/ingress/CRD 사용 가능
• Volume mounts：disk, nas, oss volume 지원
• Knative serving on ASK：automatic scaling in knative
• Elastic Workload
• Integrated with ARMS, SLS
Elastic Container Instance
ECI ECI
ECI ECI
ECI
ECI
ECI
ECI
ECI
ECI
ECI ECI ECI ECI ECI
ASK Cluster
ASK: Serverless Kubernetes

14. 14
Differentiations of Kubernetes Cluster
ECS ECS ECS
POD POD
POD POD
Container Scheduling and Orchestration
Pay for infrastructure
Node maintenance required
Capacity planning required
Container Scheduling and Orchestration
ECI
POD POD
POD POD
POD POD
POD POD
POD POD
POD POD
POD POD
POD POD
Pay for workload
Node maintenance NOT required
Autoscaling on demand
Elastic Container Instance
• Simplify autoscaling for traffic busting
• Data processing, Presto, Spark, Speed up CI/CD pipeline,
Jenkins, Gitlab-runner etc.
• Spot instance and GPU are supported
• ECS, EBS(ECS Bare Metal), simplify scale up to ECI
• Cloud bursting, Large scale batch processing, Hybrid elasticity
• Spot instance and GPU, NPU, FPGA are supported
Managed/Dedicated K8s Serverless K8s
POD POD
POD POD
POD POD
POD POD

15. 15
ECI ECI
ECI ECI
Kubernetes Cluster （ACK）
Pod Pod
RunC
Pod Pod
Pod Pod
ECI ECI
ECI ECI
ECI ECI
ECI
ECI
ECI
ECI
ECI
ECI
ECI ECI ECI ECI ECI
Serverless Kubernetes Cluster
（ASK）
Pod
Pod
Pod
ECS
• Shared OS
• Not secure
• Not isolated
OS
Pod
Pod
Pod
Bare Metal
Pod
Pod
Pod
Pod
Pod
Pod
Sandbox
• Isolated OS
• Secure container
• Isolated OS
• Secure container
• No node maintenance
kubelet containerd
OS
Sandbox
kubelet
ACK/ASK on ECI

16. 16
Container Registry Service (ACR) Enterprise Edition
• P2P기반 large scale image
distribution
• 이미지 Pulling 가속화
Optimized
Distribution
E2E Security
• 서로 다른 Region에서의 Policy
based image replication.
• 7배 효율적인 Image
Replication 제공
Global
Replication
• VPC intranet 지원
• User-defined domain을 사용하며
network ACL로 관리 가능
• 스토리지를 위한 Server-side
encryption 사용
• Vulnerability scan 및 분석
SLA 99.95%
• container images 와 Helm
charts v2/v3 모두 지원
Cloud-Native
Artifact

17. 17
DevSecOps
User
Sign
Images
Signed Images（
ongoing）
Push
ACK
Deploy
Scan
Vulnerability
Report
Validate
Validate
Run-time
Protect
ACR EE KMS
Security Center

18. 18
E2E Observability
Tracing Analysis
Log Service
Low volume
High volume
Metrics
Aggregable
Tracing
Request scoped
Logging
Events
ARMS
ARMS-Prometheus
Cloud Monitor

19. 19
Auditing
Ingress Event center

20. 20
Security Center
③
②
①
Anti virus
마이닝, 웜 등7가지 주요 바이러스 차단
Anti malware
wannacry 등의 렌섬웨어 로부터 시스템 보호
Patch management
OS 레벨 취약점 탐지 및 수정
②
①
Configuration Check
클라우드 서비스 구성 체크리스트 및 보안
수준 향상을 위한 조언 제공
Best Practice
ID 인증, 네트워크 엑세스 제어, 데이터 보안,
로그 감사 및 기본 보안을 포함하여 알리바바
클라우드 보안 구성을 개선
②
①
보안 운영의 자동화, 효율성 향상
많은 프로세스를 자동화함으로써 보안 운영의
효율성 향상
시각화
시각적 인터페이스를 통해 사용자가 공격의
원인을 추적하고 신속한 대응이 이루어지도록
함

21. 21
Fine-grain Access Control
Administrator
RAM
Cloud Resource
Access Control
Cluster Resource
Access Control
ACK
create cluster
autoscaling
add node
distribute certificate
view cluster
delete cluster
list cluster
RBAC

22. 22
Security Center-Runtime Defense
Monitoring & detection
Attack Case
Graboid: First-Ever Cryptojacking Worm Found in Images on Docker Hub
• 프로세스 및 네트워크 모니터링
• 비정상적인 동작과 vulnerability
detection 모니터링
• 격리 및 배상 관리

23. 23
DevSecOps Steps
1
2
3
4
5
Manual Preparation
- Account Creation
- AD integration
- Service Activation
Account Setup
- RAM users
- RAM roles
- RAM policies
Cloud Managed Service Deployment
- VPC / Vswitch / Security Group
- K8s Cluster
- RDS Database
- Log Service
- KMS Secrets
Deploy dependency services
- Cert Manager
- External DNS
- External Secrets
- Prometheus Operator
- Log Exporter
Deploy application
components
- Deployment
- Service
- Ingress

24. 24
DevSec

25. 25
Secret Management
o 사용자(사람)
o OS 같은 장비
o 애플리케이션
o 토큰
o Username/Password
o Cloud Auth
o Kerberos/LDAP
o JWT/OIDC
o TLS Certificates
o 비밀 저장소(K/V)
o SSH
o Cloud Auth
o Database
o Data Encrypt/Decrypt
o PKI
o TOTP
o KMS/KMIP

26. 26
Secret Management
https://deploy-preview-16--cncf-radar.netlify.app/2021-01-secrets-
management?utm_source=thenewstack&utm_medium=website&utm_campaign=platform

27. 27
Application Deployment Orchestration
AWS Alibaba On-prem
o 컨테이너 애플리케이션
o 다양한 환경
o 기존 애플리케이션
o 배치 잡

28. 28
Application Deployment Orchestration
BORG
: Google에서 개발한 통합 컨테이너 관리
시스템
OMEGA
: 공유 상태 모델에 의한 우선순위를 가진 선
점과 경쟁을 통한 스케줄링
BORG : https://research.google/pubs/pub43438/

29. 29
Service Discovery
o DNS
o API
o CLI
o Dynamic Sync
o Health Check

30. 30
Service Discovery (Service-Mesh)
https://www.forbes.com/sites/janakirammsv/2020/03/04/15-most-interesting-
cloud-native-trends-from-the-cncf-survey/?sh=5e1202c134d5

31. 31
Demo

32. 32
Demo ­ 배포된 Container 확인, Registry 기능 확인
Alibaba Container Registry
- Versioning
- Vulnerability
- Management
Dev
ACK (Alibaba Cloud Container Service for Kubernetes)
Applications Applications
RDS MySQL

33. 33
Demo ­ Container에 적용할 수 있는 RAM, Domain 서비스
Resource Access Management
- Users
- Roles
- Policies
Domain Service
https://dev01.hello-world.com
Dev
ACK (Alibaba Cloud Container Service for Kubernetes)
Applications Applications
RDS MySQL

34. 34
Demo ­ Security Service 확인
Dev
ACK (Alibaba Cloud Container Service for Kubernetes)
Applications Applications
RDS MySQL
Security Center
- Image Vulnerability
- Configuration Manage

35. 35
Demo ­ 모니터링 및 로깅 서비스 확인
Monitoring Service
- Prometheus
- Grafana
Logging Service
Docker Logs
Dev
ACK (Alibaba Cloud Container Service for Kubernetes)
Applications Applications
RDS MySQL

36. 36
DevSec Components
Resource Access Management
- Users
- Roles
- Policies
Domain Service
https://dev01.hello-world.com
Monitoring Service
- Prometheus
- Grafana
Logging Service
Docker Logs
Alibaba Container Registry
- Versioning
- Vulnerability
- Management
Dev
ACK (Alibaba Cloud Container Service for Kubernetes)
Applications Applications
RDS MySQL
Security Center
- Image Vulnerability
- Configuration Manage

37. 37
Demo ­ VM 기반 배포
OS Patch
Application
Application
Image
ECS
IaC
Apply/Destroy
Secret
Auth
Secret Data

38. 38
Demo ­ K8S 기반 배포
Alibaba Kubernetes Service
Alibaba
Cloud
Provision
Kubernetes
Service
Provision

39. 39
Demo ­ Container/Legacy 배포
Application
Image
ECS
Apply/Destroy
Secret
Auth
Deployment
(Option)

40. 40
DevSecOps 웨비나에 관심과 참여에 감사합니다.