Talk about Kubernetes cluster on baremetal servers for serve internal services.
Sharing my experiences about setup and manage kubernetes cluster on premise.
At first, start with single master kubernetes cluster and enhanced by many opensource softwares.
Add more master nodes for increase server availability.
Use Rook, MetalLB, Ceph, mysql-operator and more opensource projects.
Talk about Kubernetes cluster on baremetal servers for serve internal services.
Sharing my experiences about setup and manage kubernetes cluster on premise.
At first, start with single master kubernetes cluster and enhanced by many opensource softwares.
Add more master nodes for increase server availability.
Use Rook, MetalLB, Ceph, mysql-operator and more opensource projects.
ARM과 AMD64의 차이에 대해 설명하고
오픈스택에 ARM을 도입하기 위한 커뮤니티 활동을 소개합니다.
1. ARM vs AMD64
2. CISC/RISC 차이
3. 커뮤니티에서 ARM위에 오픈스택을 올리기 위한 노력
- SIG (Special Interest Groups)
- PTG(Project Team Gathering)
[OpenInfra Days Korea 2018] (Track 1) TACO (SKT All Container OpenStack): Clo...OpenStack Korea Community
- 폰트 문제로 다운로드를 여기서 해 주세요: http://bit.ly/openinfradays-day1-skt-taco
- 발표자: 안재석, SK Telecom
- 설명: https://event.openinfradays.kr/2018/session1/track_1_4
ARM과 AMD64의 차이에 대해 설명하고
오픈스택에 ARM을 도입하기 위한 커뮤니티 활동을 소개합니다.
1. ARM vs AMD64
2. CISC/RISC 차이
3. 커뮤니티에서 ARM위에 오픈스택을 올리기 위한 노력
- SIG (Special Interest Groups)
- PTG(Project Team Gathering)
[OpenInfra Days Korea 2018] (Track 1) TACO (SKT All Container OpenStack): Clo...OpenStack Korea Community
- 폰트 문제로 다운로드를 여기서 해 주세요: http://bit.ly/openinfradays-day1-skt-taco
- 발표자: 안재석, SK Telecom
- 설명: https://event.openinfradays.kr/2018/session1/track_1_4
[오픈테크넷서밋2022] 국내 PaaS(Kubernetes) Best Practice 및 DevOps 환경 구축 사례.pdfOpen Source Consulting
최근 금융권이나 공공기관에서는 차세대 프로젝트에 PaaS 기반 시스템을 구축하고 그 위에 마이크로서비스아키텍처(MSA)를 구현하기 위해 많은 투자를 하고 있는데요, 많은 기업들이 오픈소스 기반의 인프라를 고려할 때 기술지원이나 버전 업그레이드 등에 대한 애로사항을 겪게 됩니다. 이런 문제에 대한 해결 방안 중 하나가 바로 커뮤니티 기반의 오픈소스 재단을 활용하는 것인데요!
본 자료에서 커뮤니티 오픈소스 기반 인프라 구축의 장점과 실제 사례에 대해 확인해 보실 수 있습니다.
INTEGRATED PLATFORM FOR DATA AND CONTAINERS
Mesosphere Enterprise DC/OS includes everything you need to elastically run containerized apps and data services in production.
클라우드 컴퓨팅 기반 기술과 오픈스택(Kvm) 기반 Provisioning Ji-Woong Choi
TTA에 KVM 기반 프로비저닝 기술에 대한 데모 세션을 포함하는 세미나 관련 자료입니다. 클라우드환경으로 가고자 해서 Paas를 어떤 플랫폼위에 올린다면 그리고 가상화 환경이나 클라우드 환경으로 올린다면 어떤 환경으로 올릴것인가를 고민하여야 합니다.
그리고 이 hypervisor중에 cloud 환경에서 가장 주목받는 kvm을 기반으로 하는 두가지 가상화 클라우드 솔루션인 rhev와 openstack을 잠시 살펴볼 것입니다.
그리고 이러한 가상화 클라우드 환경에서 자동화 하는 솔류션을 어떻게 고려해야 하는가를 살펴보고, 그런 솔류션중에 하나인 아테나 피콕에 대해 살펴보겠습니다.
그리고 오픈스택환경하에서 구축해서 사용했던 사용기와 이를 자동화하기위해 개발자들이 사용했던 간단한 ansible provisioning 모습을 시연합니다.
Pivotal은 개발자 생산성을 높이고 운영비용을 줄이면서 성공적인 비지니스를 할 수 있도록 개발 환경의 혁신 문화와 플랫폼을 제공하고 있습니다.
본 세션에서는 플랫폼의 구조와 효과에 대해 소개하며 기업이 진정한 기술선도 업체로 발전해 갈 수 있도록 혁신적은 플랫폼 *PAS, *PKS를 소개합니다.
*PAS: Pivotal Application Service로 개발자에게 기능 구현 속도를 높이고, 운영 팀은 세계 최고 수준의 가용성을 제공해주는 서비스입니다.
*PKS: Pivotal Container Service로 Kubernates의 배포, 관리, 모니터링, 업데이트 등을 자동화하고 Pivotal에서 관리해주는 서비스입니다
BRK3713 - Microsoft Azure에서 Windows와 Linux를 동시에 사용하는 하이브리드 Kubernetes 클러스터 구축Jung Hyun Nam
이 세션에서는 Windows Kubernetes 클러스터를 구축하는 방법에 대해 자세히 설명하고 Windows 노드와 Linux 노드를 동시에 구성 할 수있는 하이브리드 Kubernetes 클러스터와 함께 Polyglot DevOps 환경을 활용하는 예제를 제공합니다.
Windows 기반 노드를 Linux 기반 노드로 구성된 기존 Kubernetes 클러스터에 통합하여 복잡한 응용 프로그램을 호스팅하는 방법을 배울 수 있습니다.
Backend.AI (https://backend.ai)는 클라우드 및 온-프레미스 환경에서 여러 사용자가 안전하고 효율적으로 컴퓨팅 자원을 공유할 수 있는 머신러닝에 특화된 인프라 관리 프레임워크입니다. 현재 널리 사용되고 있는 오픈소스 기술인 OpenStack, Kubernetes 등과 비교하여 어떤 특징과 차이점이 있는지 소개하고, 프레임워크의 구조와 기반 기술 및 응용 사례를 데모와 함께 소개합니다.
Amazon EKS를 위한 AWS CDK와 CDK8s 활용법 - 염지원, 김광영 AWS 솔루션즈 아키텍트 :: AWS Summit Seou...Amazon Web Services Korea
Amazon Elastic Kubernetes Service (Amazon EKS)를 통하여 오픈소스 컨테이너 오케이스트레이션 도구인 Kubernetes를 신규 도입하고자 하는 고객들이 폭발적으로 늘어나고 있습니다. AWS Cloud Development Kit (AWS CDK) 그리고 CDK8s 를 활용하여 개발자에게 친숙한 프로그래밍 언어로 Amazon EKS를 정의하고 Kubernetes 어플리케이션을 정의하는 데에 활용하는 방법을 소개하여, 새롭게 Amazon EKS를 사용해보고자 하는 고객들이 도입을 가속화할 수 있는 방법을 제시합니다.
2018년 10월 19일 금요일, 오픈스택 한국 커뮤니티 정기 세미나에서 발표주셨던 자료입니다.
- 행사 정보: http://festa.io/events/118
- 발표자: 김용기 부장님
> Sr. Solution Architect, Red Hat
> Administrator, Ansible Facebook Usergroup
4. Source: SUSE Global Cloud Research
June 2017
93% Believed that infrastructure-as-a-service was the
future of the data center
In 2015
95% Believe that software-defined infrastructure is the
future of the data center
In 2017
변화하는 데이터 센터
4
5. Application Delivery
Physical Infrastructure: Server, Switches, Storage
Public Cloud
SUSE Cloud
Service Provider
Program
Container Management
SUSE CaaS Platform
Storage
SUSE Enterprise
Storage
Networking
SDN and NFV
Compute
Virtual Machine &
Container
Operating System
SUSE Linux Enterprise Server
Platform as a Service
SUSE Cloud Application Platform
Private Cloud / IaaS
SUSE OpenStack Cloud
SUSE Manager
SUSE OpenStack
Cloud Monitoring
Infrastructure &
Lifecycle
Management
Software-Defined Infrastructure
SUSE Software-Defined Infrastructure
and Application Delivery Approach
5
8. 8
Scaling이 쉬운 네트워크 구조
• 클러스터 내의 네트워크가
물리 네트워크와 분리된 구조
• pod network(overlay network)
• Pod당 1개의 IP
• Pod사이 통신 가능
• 노드 간 통신은 Flannel
• Cluster IP
• 클러스터 내에서만 접속
가능한 Virtual IP
• 특정 그룹의 Pod에 매핑
• Kube-Proxy에 의해 설정,
되며 Iptable로 동작
Pod Pod
172.16.48.0/23
Pod Pod
172.16.88.0/23
Pod Network : 176.16.0.0/13
Flannel
Network
Fabric
Flannel
* 기술적으로는 위와 같이 가능하지만, 안정성을 위해 수세는 같은 네트워크를 요구 합니다.
* 위는 Default설정이며 최초 배포 시 변경 가능
노드1 노드2
Cluster IP range : 172.24.0.0/16
Scalable 한 스토리지 지원
• Persistent volume로 다음 지원
• SUSE Enterprise Storage(Ceph)
• NFS
• Cinder
Kubernetes 네트워크, 스토리지
9. 9
SUSE Micro OS
• Transactional update/rollback(Btrfs)
Platform
management
• Install, Configure,
Update, Scale
(Salt)
• Dashboard
(Velum)
APIs and Integrations
• Package Mgt (Helm)
Enterprise Grade - integrated - tested - maintained
SUSE CaaS Platform
Application Services
• SUSE Registry
• Secure SUSE base Images
• Security(Apparmor)
• Private Registry offline mode
Kubernetes 1.9
• Certified conformant
• Docker 17.09
• CRI-O(Tech Preview)
• Kubernetes API
• Salt API
Extensions & Complementary Svcs
• Networking (CNI using Flannel)
• Storage (SUSE Enterprise Storage, NFS, Cinder)
• Authentication(Open LDAP)
• Role Based Access Control
기능 종합 설명
10. 10
Microservice 방식 가능 Kubernetes 로 Devops 활성화
• 컨테이너 오케스트레이션 툴
• Google에 의해 디자인
• Cloud Native Computing Foundation의
일부로 안정된 지원
Microservice와 Devops 활성화
11. 11
Admin
node
IT Ops/
DevOps
Admin
Dashboard
node node node
node node node
node node node
Kubernetes
Master
SUSE CaaS Platform
1 Admin node 설치
MicroOS one step installation
Create AutoYaST profile
Set up Admin Dashboard
2 Admin Dashboard 로 연결
3 노드 OS 설치
Uses AutoYaST profile
4 클러스터 설치
Set up kubernetes, etcd, flannel,...
쉽지 않은 k8s 구축을 UI를 통해 가능
Kubernetes 클러스터 구축 자동화
12. 12
클러스터 : 트랜잭셔널 업데이트
• 한번에 업데이트
서비스 운영 중 업데이트된 페키지는 운영 시스템에
영향을 안줌
• 롤백 가능
업그레이트가 실패하거나, 적합하지 않으면 쉽게 롤백
가능
RW
RO
Application
• Manifest 파일에서 이미지 버전 변경
• kubectl apply –f <manifest file> 로 변경내용 반영
클러스터 / Application 업그레이드 와 롤백
13. 13
Heapster
• cAdvisor정보를 수집하고 분석
• influxDB에 수집 및
분석 데이타 저장
cAdvisor
• 노드의 상태 정보를 생성
• 노드에 직접 접속하여 확인 가능
Grafana
• influxDB의 정보를 그래픽으로 보여줌
모니터링 기능
15. SUSE Cloud Application Platform
• Accelerate end-to-end application
development and delivery at scale
• Maximize productivity with abstractions,
patterns, and full lifecycle automation
SUSE CaaS Platform
• Simplify deployment and
management of containers and
containerized applications
Cloud Foundry
Productivity
Kubernetes
Flexibility
SUSE Application Delivery Platforms
Application delivery를 위한 두가지 접근
15
16. SUSE Cloud Foundry
containerized
SUSE CaaS Platform
Kubernetes
SUSE Cloud Application Platform
“Bring Your Own”
Containers
SUSE Cloud Application Platform
구성 및 특징
16
17. SUSE Cloud Foundry (containerized)
SUSE CaaS Platform
Kubernetes + MicroOS
SUSE Cloud Application Platform
BYO
Containers
Control plane: SUSE Linux Enterprise containers
Application execution: SUSE Linux Enterprise containers
Broker UAA Volume Router CC API Logging
SLE
SLE SLE SLE SLE SLE SLE
SLE SLE SLE SLE SLE
Workloads Workloads Workloads Workloads WorkloadsWorkloads
SUSE Cloud Application Platform
SUSE Linux Enterprise 기반
17
18. SUSE Cloud Foundry
SUSE CaaS Platform
Kubernetes + MicroOS + Helm
SUSE Cloud Application PlatformBYO
Containers
Broker … … Volume
SLE
SLE SLE SLE SLE
SLE SLE SLE
Workloads Workloads Workloads Workloads
SUSE Enterprise
Storage
Ceph
Maria
DB
RedisMongo
DB
SUSE Cloud Application Platform
스토리지, 데이터 서비스 그리고 Helm
18
19. SUSE Cloud Foundry
SUSE Cloud Application PlatformBYO
Containers
Broker … … Volume
SLE
SLE SLE SLE SLE
SLE SLE SLE
Workloads Workloads Workloads Workloads
SUSE Enterprise
Storage
Ceph
Maria
DB
RedisMongo
DB
Public Cloud
Amazon, Google, Microsoft
Bare Metal
SLES supported hardware
SUSE CaaS Platform
Kubernetes + MicroOS + Helm
Virtual Machines
KVM, Xen, VMware, Microsoft
Private Cloud
SUSE OpenStack Cloud
Public Cloud K8s-as-a-Service
Microsoft AKS*
* Support for more cloud providers to follow
SUSE Cloud Application Platform
다양한 기반위에 설치 가능
19
21. 21
• Grow the cluster and increase its
performance by simply adding new servers.
• Replace older hardware by adding new
servers while decommissioning older out-
of-warranty servers.
쉬운 스토리지 용량 확장
Scale-out
28. 28
Cloud UI
Scheduler
Deployment
UI
Admin/Deployer Server
SUSE
Linux Enterprise
Automation Server
Cloud Lifecycle
Manager
Software mirror
DHCP/TFTP
Control Node
SUSE
Linux Enterprise
Database
Message queue
Identity
Image store
Cinder
Neutron
Horizon
Scheduler
Other
Pool of Storage
Resources
Ceph/RADOS
Swift
Pool of Compute
Resources
KVM
VMware
Bare Metal
Monitoring Node
SUSE
Linux Enterprise
Monitoring API
Log API
Monitoring Database
Kibana Server
SUSE OpenStack Cloud Architecture
30. 30
MariaDB/
MariaDB MariaDB MariaDB
High Availability: CLM Models
• CLM has built-in HA so failures are
transparent
• Monasca produces alerts for customer
to address
31. 31
Project CLM Notes
Aodh X
Barbican
Ceilometer X CLM supports Monasca-Ceilometer apis
Cinder
Designate
EC2 X Specific use case; Deprecate in Cloud 8
Freezer Meant for control plane backup
Glance
Heat
Horizon
Ironic
Keystone
Magnum Bring your own image – Cloud 8
Cloud 8 - OpenStack Project Status - Page 1 of 2
32. 32
Project CLM Notes
Manila X Plans to add to CLM in Cloud 8 Updates
Monasca CLM supports Monasca-Ceilometer apis
Monasca-Ceilometer
Murano X Dropped support in Cloud 8
Neutron
Neutron(LBaaSv2) Octavia
Neutron(VPNaaS) X
Neutron(Fwaas)
Nova
Octavia
Sahara X Plan to add to CLM in Cloud 8 updates
Swift
Trove X Declining in community; decided to drop
Cloud 8 - OpenStack Project Status - Page 2 of 2
33. 33
HPE 미션 : Hybrid IT를 손쉽게
HPE의 미션인 “하이브리드 IT를 손쉽게”와 함께 HPE는
HPE 인프라스트럭쳐를 여러 다양한 오픈소스와 파트너
기술과 통합할 것입니다.
HPE는 오픈스택에 계속 헌신하지만, Code제공자에서
마켓메이커로 참여할 것입니다.”
SUSE: 오픈소스 소프트웨어계의 선구자
SUSE는 고객사에 엔터프라이즈 밸류를 전달하는
오픈소스 software-defined 인프라스트럭쳐를
제공하는데 헌신합니다.
HPE 오픈스택 자산의 추가로 SUSE의 포트폴리오가
확대 및 촉진됩니다
Helion OpenStack IP & Talent
SUSE distribution (OEM)
HPE Helion OpenStack SUSE OpenStack and PaaS Portfolio
SUSE 포트폴리오의 확대 및 강화
HPE 서포트 및 프로페셔널 서비스를 통해 SUSE 채널 파트너사를 통해
Customers
SUSE 와 HPE: win-win 파트너쉽
38. • Research data growth
• More than 25% per year
• Examples of data producers:
- Micro-CT
- Aperio Digital slide
- Illumina gene sequencer
- Leica Confocal Microscope
- MRI
의료 데이터 저장 위한 SUSE Enterprise Storage
Heart Lung Innovation – UBC and St. Paul’s Hospital
38
39. Function Description Quant
ity
OSD Server – 2 x E5-2650v3 cpu
– 8 x 32 GB DDR4
– 2 x 120GB Boot SSD
– 2 x Intel P3700 NVMe
– 28 x 8 TB NL-SAS HDD
– 2 x 40GBe
6
Monitor
Node
– 2 x E5-2623v3
– 8 x 8GB DDR4
– 1 x 120 Boot SSD
– 2 x 40GBe
3
Network – 2 x 32 port 40GB-E QSFP switch 2
Reference
• https://susecon17.smarteventsclo
ud.com/fileDownload//session/F3
5CE04E8F9EF41606D85E6DC0
DAACDA/CAS127005%20The%
20Case%20with%20Ceph%20N
VMe's%20and%20Intel%20CAS.
pdf
의료 데이터 저장 위한 SUSE Enterprise Storage
서버 스펙
39
40. • Productive since April 2015
• More than 140 projects
• 100,000 instances per month
created and deleted
• Currently one environment in Munich
- 24 compute nodes (72 cores / 1 TB)
- 26 storage nodes (Ceph based, 36 TB per
node)
- In average 3900 vCPUs bound in projects
(quota: > 8800 vCPUs)
SUSE OpenStack Cloud
BMW Group
Reference
• https://susecon17.smarteventscloud.com/fileDownload//session/9808C426E741DE272B474083E
D2FBD57/CAS126498%20Two%20Years%20of%20Successful%20OpenStack%20Operation%20
within%20the%20BMW%20Group%20Insights%20and%20Experiences.pdf 40
41. 41
네덜란드의 Enterprise Blockchain Solution 회사
Challenge
• 빠르고 효율적인 서비스 딜리버리를 위해 Container를
결정 하였으나, Container와 orchestration 솔루션
운영 어려움
• 회사 성장에 따른 인프라 확장 등 운영 자동화 하여
솔루션에 집중
Solution
• CaaSP
Result
• 유연성과 데이타 보호 달성
• 기존 운영 시스템과 연동
• 빠른 고객 시스템 배포
https://www.suse.com/success/stories/tymlez/
영국의 통계 연구 회사
Challenge
• 다양한 복잡한 통계 모델의 증가
• 관리 복잡도를 증가 시키지 않고 컴퓨팅 리소스의
최대한 활용 방법 필요
Solution
• CaaSP
Result
• 개발 프로세스 효율화
• 인프로 운영 효율화 및 안정성 증가
https://www.suse.com/success/stories/smartodds/
CaaSP(Container as a Service Platform)