Skip to main content
UploadLanguage (EN)Support
BusinessMobileSocial MediaMarketingTechnologyArt & PhotosCareerDesignEducationPresentations & Public SpeakingGovernment & NonprofitHealthcareInternetLawLeadership & ManagementAutomotiveEngineeringSoftwareRecruiting & HRRetailSalesServicesScienceSmall Business & EntrepreneurshipFoodEnvironmentEconomy & FinanceData & AnalyticsInvestor RelationsSportsSpiritualNews & PoliticsTravelSelf ImprovementReal EstateEntertainment & HumorHealth & MedicineDevices & HardwareLifestyle
Open Source Consulting, profile picture
Uploaded byOpen Source Consulting
PDF, PPTX251 views

[The Future of IT] 3. AI 시대의 인프라_오픈소스를 활용한 인프라 구축 및 GPU as a Service 구현사례_김호진 상무

AI 시대의 인프라 구축과 GPU as a Service(GPUaaS) 구현 사례가 주목받고 있습니다. 오픈소스컨설팅은 Linux, Kubernetes, OpenStack 등을 활용해 고객 맞춤형 클라우드 환경을 구축하고, GPUaaS를 통해 머신러닝·AI 작업에 필요한 GPU 리소스를 효율적으로 제공합니다. 특히, MIG와 vGPU 기술을 활용해 GPU 자원을 최적화하고, OpenStack 기반의 가상화 플랫폼을 통해 다양한 인프라 환경을 지원합니다. 오픈소스컨설팅은 OIF, CNCF 재단의 프로젝트 기반으로 20여 개 고객사의 IaaS/PaaS 시스템을 구축한 경험을 바탕으로, 벤더 종속성 없는 유연한 인프라 구축과 지속적인 기술 지원을 제공합니다. 이를 통해 AI 시대의 인프라 요구에 부응하며, 오픈소스 생태계의 성장을 주도하고 있습니다.

Software◦
AI 시대의 인프라 오픈소스를 활용한 인프라 구축 및 GPU as a Service 구현사례 발표자: 김호진 상무 (khoj@osci.kr)
오픈소스를 활용한 인프라 구축
Business Area Linux/Rancher/ HCI/NKP 오픈소스기반통합리눅스환경구축및 기술지원서비스 Kubernetes관리플랫폼Rancher HCI솔루션Harvester, 컨테이너보안솔루션NeuVector NutanixKubernetesNKP Private Cloud Kubernetes기반의클라우드네이티브 환경구축 OpenStack,컨설팅,·구축및유지보수 서비스 DevOps컨설팅및컨테이너라이즈 프라이빗(IaaS/PaaS),멀티클라우드 유지보수및기술지원 오픈소스커뮤니티기반의 IaaS&PaaS플랫폼 통합Middleware 관리도구 Cloud Native Computing Foundation Silver 회원사 국내 최초/유일의 SUSE 최고등급 다이아몬드 파트너사 Supporting Organization 파트너 Kubernetes Certified Service Provider 획득 Sharing Technology. Growing Together. 국내 최초/유일의 NKP 파트너사
Be With : 오픈소스컨설팅 = 국제 표준의 오픈인프라 Supporting Organization
재단에서 지원하는 오픈소스 재단의 등장과 오픈소스 생태계의 변화 2010년NASA가클라우드컴퓨팅 솔루션을 오픈하기로결정 클라우드인프라오픈소스에열광한대규모 벤더의 참여 자신의제품을클라우드인프라에맞추려는 노력들 핵심프로젝트 구글이kubernetes에대한통제권을 양도하고이를리눅스재단에서 운영하게될CNCF(CloudNative ComputingFoundation)라는새로 설립된재단에기부 커뮤니티 오픈소스의 안정성과 보안취약점을 해결하기 위해 벤더의 협업을 통해 재단이 설립 대규모 협업소프트웨어가아닌 단품소프트웨어의개발자들 권익보호 회사제품에대한 개발자생태계 단품을위한개발자협업 코드안정성담보에어려움이있음. 인수등통제 불가능한현상발생 벤더들의협업을통해 만들어진제품 개인프로젝트의범위를 넘어선 전체인프라프로젝트 재단차원에서Quality를 유지하기위한노력 오픈소스로유지하기위한 재단의지원 DevOps
현재 인프라의 형태와 구성 방향 Private Cloud Infra는 지속적으로 발전해 오면서 다양한 구축방안들이 발전되어 왔습니다. 따라서 고객은 업무의 형태나 현황에 따라서 다양한 솔루션을 기반으로 구축이 가능합니다. 오픈소스컨설팅은 상황에 따라서 다양한 구축방안을 제시하여 고객의 비즈니스를 위한 최적화된 환경을 제공합니다. Vmware 기반 HCI (DELL외 ) Nutanix HCI 서버 가상화 (SDC) + 스토리지가상화(SDS) VMware Cloud Foundation VMware vSphere VM 서버 가상화 서버 가상화 (SDC) + 스토리지 가상화 (SDS) + 네트워크 가상화 (SDN) OpenStack Container +VM 클라우드 네이티브 애플리케이션 + 서버 가상화 RedHat OpenShift Virtualization Harvester HCI Container 클라우드 네이티브 애플케이션 RedHat OpenShift Rancher (RKE) Kubernetes NKP (Nutanix)
OpenStack, Kube, DevOps 솔루션 Playce OpenStack, Playce Kube, Playce DevOps
Playce Cloud ( OpenStack + Kubernetes + CICD ) 오픈소스를 패키징한 솔루션으로 벤더 종속성을 탈피한 컨설팅 / 구축 / 운영 / 장애 관리와 기술전수를 지원하는 솔루션 CORE SERVICE + OPTIONAL SERVICE SERVER VM CONTAINER Playce OpenStack Playce Kube Playce DevOps Jenkins Gitea ArgoCD Harbor Catalog Service Monitoring SSO Orchestration Service Mesh Nexus Repository OpenStack을중심으로패키징한 프라이빗IaaS솔루션 kubernetes를 중심으로패키징한 프라이빗PaaS솔루션 IaaS/PaaSCI/CD패키징구성 CI/CD파이프라인구성 DevOps환경구성 DevOps
Why Playce Cloud ( Playce OpenStack & Playce Kube & Playce DevOps ) Playce OpenStack/Kube는 벤더 종속성에서 탈피하여 재단에서 지원하는 오픈소스 솔루션을 이용하여 고객의 다양한 운영환경에 맞게 유연성 있는 구축을 지원하고, 구축 이후 지속적인 기술 지원이 가능한 프라이빗 클라우드 IaaS, Kube 솔루션입니다 효율적인 비용(운영비용), 벤더 종속에서 탈피 벤더 중심의 인프라 구축 및 운영비용을최소화하여 할 수 있는 서비스를 제공합니다. 많은 벤더가 함께 개발에 참여하는 프로젝트로, 커뮤니티 기반의 효율적인 지원 체계 제공 (OIF재단, CNCF 재단) 벤더 종속성 탈피를 통해 오픈소스의 지속적인 업그레이드 및 패치 가능 하드웨어/소프트웨어 벤더 종속성 탈피, Commodity H/W 인프라 구성 오픈소스 사용에 따른 라이선스, 서브 스크립션 비용 불 필요 고객사 환경에 맞은 유연한 클라우드 구성 및 기술지원 All-in-One Package 고객사 환경 중심으로 클라우드 네이티브 인프라를 쉽고 빠르게 구성하여 드리며,지속적인 기술지원 및 교육서비스를 제공합니다. 핵심기능에 고객이 필요한 다른 패키지를 제공하여, 가장 light한 오픈소스 구성 가능 서버증설만으로 서버/스토리지 확장, Network/Storage 작업 시 H/W 작업 최소화 오픈스택, 쿠버네티스의 기본적인 기능을 통해 대 고객 서비스에도 중단되지 않는 안정적인 인프라 환경 제공 모든 모듈을 컨테이너화 하여 롤링 마이그레이션/ 업그레이드가 가능 지속적인 기술지원 서비스 및 교육서비스 제공 (열린기술공방) 2 1
오픈소스 인프라 개인 개발자 환경 VDI와 GPUaaS를 담은 개발자 인프라
GPU as a Service란 무엇인가? GPU as a Service, 줄여서 GPUaaS는 클라우드 컴퓨팅 환경에서 GPU 리소스를 제공하는 서비스 모델입니다. 이는 사용자가 물리적 GPU 하드웨어를 전체를 사용하지 않고, 가상화하여 나누어주어서 GPU의 고성능 컴퓨팅 파워를 활용할 수 있도록 해줍니다. GPUaaS는 일반적으로 머신 러닝, 인공지능, 그래픽 렌더링, 데이터 분석과 같은 작업에서 필수적입니다.
GPU 파티셔닝 전략은? GPU 파티셔닝을 위한 MIG와 vGPU는 작업 환경과 업무에 맞도록 설계 필요 MIG vGPU 워크로드 종류, 리소스 격리 필요 여부, 유연성을 고려하여 파티셔닝 전략 선택 주요 특징 적용 업무 유연한 자원 공유, 하이퍼 바이저 통합, 동적인 자원 할당 데스크톱 가상화(VDI), GPU 활용이 필요한 대량의 VM 활용, 다양한 워크로드(3D 렌더링, AI 작업 등) AI 추론, 병렬 처리, 고성능 요구 환경 고성능 유지, 고격리성(QOS), 최적화된 자원 할당
효율적인 GPU 자원활용 방법 비교 MIG ( Multi-Instance GPU ) vs vGPU 구분 MIG vGPU GPU Memory GPU Memory 자원 분할 단위(최소) 1 Instance 12 GB 1 vGPU 4 GB 자원 분할 단위(최대) 7 Instance 94 GB 23 vGPU 94 GB VM에 자원 할당 Y Y Y Y Container에 지원 할당 Y Y N N Bare Metal에 자원 할당 Y Y N N Over Provisioning 가능 N N N N 장점 (권고 환경) ✓ 최대 7개의 독립적인 Instance로 파티셔닝이 가능하여, 여러 작업을 동시에 수행가능, ✓ 각 인스턴스는 고유 Memory와 Core를 사용하므로 리소스 활용도가 높아짐, ✓ 여러 GPU를 구매하는 대신, 하나의 GPU를 여러 Instance로 나누어 사용 가능하므로 비용절감이 가능 ✓ GPU의 메모리를 정적으로 분할하며, 컴퓨팅은 시분할 방식으로 유연하게 할당할 수 있음 ✓ 다양한 워크로드 지원 ✓ 단일 GPU를 여러 VM에서 공유 할 수 있음 단점 (제약 사항) ✓ 고정된 리소스 분할로 유휴 자원이 발생할 수도 있음 ✓ 여러 인스턴스를 관리해야 하므로 관리에 신경을 써야 함 ✓ 여러 VM이 동시에 GPU를 사용할 경우, 성능에 영향이 있을 수 있음 ✓ 초기 설정이 복잡할 수 있으며, 세심한 조정이 필요 Best Practice (Use Case) ✓ 적절한 Instance 크기가 필요한 업무 ✓ 여러 워크로드를 독립적인 Instance로 분리하여 성능 간섭을 최소화 해야 하는 업무 ✓ Deep Learning, Inference, HPC 등 ✓ 워크로드 특성에 맞는 Profile을 선택하는 업무 ✓ VDI, Graphics, Data Science, 원격작업
DevOps 개발자 환경 구축 환경 스토리지에서 GPU 가상화 / 쿠버네티스 배포 / VDI / 대시보드까지 OpenStack 플랫폼에서 제공 가상화 GPU Zone SDS Switch GPU Host#2 GPU Host#1 GPU Host# CPU Host#1 NAS (복제용) … … GPU Host#3 NAS (메인) Tenant Switch CPU Host#2 CPU Host## Disk Storage (Software Defined Storage) … DEV VDI VM GPUaaS OpenStack플랫폼 Cephstorage클러스터 GPUaaS Kuberenest클러스터 VM가상화및VDI VM:100개 Kuberneres:worker6대 개발자 대시보드 운영자 대시보드 가상화 CPU Zone … GPU VDI/Server VM Kubernetes Kubernetes
DevOps 개발자 환경 구축 환경 – 상세 스토리지에서 GPU 가상화 / 쿠버네티스 배포 / VDI / 대시보드까지 OpenStack 플랫폼에서 제공 가상화 GPU Zone SDS Switch GPU Host#2 GPU Host#1 GPU Host# CPU Host#1 관리 노드 #1 관리 노드 #2 관리 노드 #3 NAS (복제용) … … GPU Host#3 NAS (메인) Tenant Switch CPU Host#2 CPU Host## … Disk Storage Disk Storage Disk Storage Disk Storage Disk Storage Disk Storage Disk Storage GPU GPU MIG … ubuntu Rocky Windows 개발툴 개발툴 개발툴 VDI VDI VDI GPU VGPU Host-passthrough … ubuntu Rocky Windows 개발툴 개발툴 개발툴 VDI VDI VDI … ubuntu Rocky Windows 개발툴 개발툴 개발툴 VDI VDI VDI GPU GPU GPU … Rocky Rocky Rocky Kubernetes … Rocky Rocky Rocky container container container container … ubuntu Rocky Windows 개발툴 개발툴 개발툴 VDI VDI VDI GPU GPU OpenStack플랫폼 Cephstorage클러스터 GPUaaS Kuberenest클러스터 VM가상화및VDI 프로젝트별로분류된 개발툴 개발자 대시보드 운영자 대시보드 가상화 CPU Zone
DevOps 개발자 환경 구축 – GPU 가상화 15대의 서버로 60개이상의 GPU VM을 구성할 수 있는 환경으로 구축 서버 GPU수량 구성방식 비고 GPU서버 #1 1 MIG (7G) 1개 vm사용 GPU서버 #2 1 MIG (7G) 1개 vm사용 GPU서버 #3 1 MIG (7G) 1개 vm사용 GPU서버 #4 1 MIG (7G) 1개 vm사용 GPU서버 #5 1 MIG(3g/2g/2g) 3개 vm사용 GPU서버 #6 1 MIG(3g/2g/2g) 3개 vm사용 GPU서버 #7 1 MIG(3g/2g/2g) 3개 vm사용 GPU서버 #8 1 MIG(3g/2g/2g) 3개 vm사용 GPU서버 #9 1 MIG(3g/2g/2g) 3개 vm사용 GPU서버 #10 1 MIG(3g/2g/2g) 3개 vm사용 GPU서버 #11 1 MIG(2g/2g/2g/2g) 4개 vm사용 GPU서버 #12 1 MIG(2g/2g/2g/3g) 4개 vm사용 GPU서버 #13 1 VGPU 10개 vm사용 GPU서버 #14 1 VGPU 10개 vm사용 GPU서버 #15 2 PassThrough 1개 vm사용 GPU GPU MIG GPU VGPU Host-passthrough GPU GPU GPU GPU GPU …
Why 오픈소스컨설팅? 오픈소스컨설팅은 인프라 및 프라이빗 클라우드 구축을 위한 경험 있는 기술 인력과 경험을 보유하고 있으며, 이를 기반으로 컨설팅 부터 구축, 유지보수 까지 고객에게 필요한 End-to-End 서비스를 제공하고 있습니다. ▪ 오픈소스컨설팅은OIF/CNCF 재단의프로젝트를 이용해서20여개의고객의IaaS/PaaS시스템을구축및 유지보수업무를수행해왔습니다. ▪ 기술력과경험을바탕으로고객맞춤형구축서비스를 제공합니다.(고객의환경에맞는솔루션제안및구축 그리고유지보수서비스까지제공) ▪ Global Opensource 재단의 활동을통한최신정보의 발빠른습득과 대처가가능합니다. 경험있는인프라구축 열린기술공방운영을통한 기술공유 ▪ 고객과의기술공유를위한“열린기술공방”을운영 합니다. ▪ 고객의업무에필요한다양한기술에대한공유및 교육서비스를진행합니다. ▪ 오픈소스부터벤더제품까지 인프라를구축을위한 다양한기술력을바탕으로고객의상황에맞는맞춤형 인프라환경을구성및제공합니다. ▪ 오픈소스컨설팅의오픈스택과컨테이너플랫폼 기반으로인프라구축,CI/CD프로젝트등의경험을통해 구축/운영/기술노하우를보유하고있습니다. ▪ 제공하는오픈소스에대한패키징을통해서기술력에 대한검증및 안정성을확보하였습니다.
Q&A