[IGC 2017] 넷마블게임즈 한승진 - 게임서비스를 위한 프라이빗 클라우드
•Download as PPTX, PDF•
3 likes•764 views
대형 게임사 역시 클라우드 서버를 사용하곤 합니다. 개중에는 보안상의 이유로 프라이빗 클라우드를 사용하는 경우도 있죠. 퍼블릭 클라우드와 프라이빗 클라우드의 차이점은 뭘까요. 그리고 넷마블이 그중에서 프라이빗 클라우드를 사용한 이유는? 이번 강연을 통해 자세히 소개합니다.
Recommended
More Related Content
What's hot
What's hot (20)
Similar to [IGC 2017] 넷마블게임즈 한승진 - 게임서비스를 위한 프라이빗 클라우드
Similar to [IGC 2017] 넷마블게임즈 한승진 - 게임서비스를 위한 프라이빗 클라우드 (20)
More from 강 민우
More from 강 민우 (20)
[IGC 2017] 넷마블게임즈 한승진 - 게임서비스를 위한 프라이빗 클라우드
- 18. ㅍㅍㅍㅍ
- 21. 주도적인 장애 복구가 불가능 규모의 경제 초기 투자 비용 저렴 최신 기술의 도입에 유리 초기 투자 비용 숙련된 엔지니어 필요 기존 IT 인프라 재활용 커스터마이징에 유리 신속한 장애 조치 보안성 확보
- 22. Private Public
- 27. 엄청난
- 28. NETWORK
- 32. MMORPG에 필요한 고성능 네트워 크 환경이 필요해요 글로벌에서는 Micro Architecture 가 대세 아닙니까? 시스템 구조를 변 경하세요 MMORPG에 필요한 고성능 네트워 크 환경이 필요해요 고성능 네트워크를 수용할 수 있는 방법을 찾았습니다. 빨리 적용해 보 시죠
- 34. Hadoop을 쓰는데 CPU Steal Time 이 계속 생기네요. 클라우드는 시스템 자원 공유인 거 모르시나요? Steal Time 걱정 되시 면 여유 있는 호스트 걸릴 때까지 만들어보세요 Hadoop을 쓰는데 CPU Steal Time 이 계속 생기네요. CPU Pinning을 통해서 특정 VM이 CPU를 점유하도록 하면 되겠네요!
- 36. 장애 났나요? 공유된 얼럿이나 케이스는 없는데.. 기본적으로 클라우드는 HA 구성으 로 시스템을 구성하셔야… blah 원인 확인하니 스토리지 장애네. 스 토리지 장애가 나면 영향이 크단 말 이야. Storage를 일정 단위로 나누어서 운 영해볼까? (waiting…) 이 참에 소프트웨어 기반 분산스토 리지로 바꿔버리자!
- 42. 0 5 10 15 20 25 Network 구성 Hardware 구성 OS 설치 환경 설정 자동화 미래준비 및 역량개발 도입 전 도입 후 반복 업 무 생산 업무
- 49. 자동화 기술 자체 개발 모니터링, 로깅, 배포,설정, 어플리케이션 배포 Private Cloud 기술 개발 오픈스택 개발, 분산 스토리지, SDN, 운영 전략, 글로벌 서비스 기획 Private Cloud 운영 15K+ 대의 Server 300+ 대의 Network Automation Cloud Computing Data Center Agility Speed Reliability New Generation Infrastructure
Editor's Notes
- 인원에 대한 얘기
- 리니지2 레볼루션 : 넷마블을 대표하는 게임, 국내, 아시아, 일본에 런칭 – 많은 사랑을 받는 게임 모두의 마블 : 출시된지 3년이 지난 장수 게임, 꾸준히 순위 5위 안에 들어가는 큰 사랑을 받고 있는 게임 세븐나이츠 : 일본 국내에서 큰 사랑을 받고 있는 게임
- 여기에 육아 중이신 분 있으신가요? 이거 아시는 분 있으신가요? 나름 KBS에서 황금 시간대인 5시에 방영하고 있습니다. 스톤에이지라는 동명의 게임 IP를 가지고 만든 만화 넷마블과 뽀뽀로를 만든 아이코닉스가 합작해서 만든 애니메이션인데 한 편당 5분 남짓한 시간이고 생각보다 재밌어요. 무엇보다 지금 들으시는 이 엔딩송이 참 중독성이 강합니다. 내 아이들 넷마블은 스톤에이지 만드는 회사
- 대부분의 사람 : 넷마블 모바일 게임
- 하지만 그 외에도 넷마블은 진행하고 있는 여러 프로젝트들이 있습니다.
- 빅데이터 : 빅데이터(커다란 호수) Data Lake, 이런 방대한 규모의 데이터를 저장하고 분석하는 일도 넷마블에서 하고 있습니다. AI : 빅데이터 바탕 사용자의 패턴, 게임의 전략을 수립할 수 있는 AI 에 활용하는 프로젝트도 적극적으로 진행하고 있습니다. 프라이빗 클라우드 : 넷마블의 모든 인프라를 클라우드 환경으로 만들어서 서비스를 제공하고자 하는 프로젝트입니다.
- 오늘 강연의 주제는 게임 서비스를 위한 프라이빗 클라우드입니다. 넷마블의 프라이빗 클라우드에 대한 얘기를 하겠습니다.
- 우선 프라이빗 클라우드 두 단어의 조합 중에서 뒤에 있는 클라우드에 대해서 먼저 얘기를 하겠습니다.
- 클라우드 컴퓨팅 생소한 용어가 아님. 2010년 가트너 10대 기술 1, 2위 여기 계신 분들 중에서 이제는 클라우드가 마시는 클라우드 맥주라고만 아시는 분은 없으시죠?
- 의미 : 앞으로 내기할 때 인터넷이 지는 쪽에 걸지 말라라고 얘기를 했다고 합니다. 앞으로는 인터넷이 더욱더 중요하다는 뜻 구글의 CEO인 에릭 슈미트가 2007년 The World
- 클라우드 컴퓨팅의 개념 : 1960년대 부터 시작되었다고 함. 클라우드 컴퓨팅의 어원 : 각기 다르게 얘기함, 비공식적 “크리스토프 비시글리아” 에릭슈미츠와의 회의에서 처음 제안, 공식적 에릭슈미츠의 기고 내용 - 오라클에 인수되었던 썬 마이크로시스템즈의 1982년 창업 표어, 에릭 슈미츠가 CTO로 있었으니 잘 알고 있었을 껍니다. 네트워크가 곧 컴퓨터가 되는 것은 클라우드 컴퓨팅의 핵심입니다. 사용자는 IT 자원을 웹을 통해 접근을 하고 그 안에 어떤 기술이 바탕이 되었는지는 구름에 가려서 보이지 않는 것이죠.
- 대표적인 클라우드 서비스라고 한다면 여러분이 잘 알고 계시는 AWS, Microsoft Azure, Google Cloud Platform등이 있구요. 이 세 업체가 전체 클라우드 서비스의 70%정도의 점유율를 가지고 있습니다.
- 클라우드 컴퓨팅을 얘기할 때 가상화 기술에 대해서 언급을 많이 하는데요. 가상화와 클라우드컴퓨팅이 동일한 의미로 쓰여도 될까요? 예상하시겠지만 두 용어는 좀 다른 의미를 가지고 있습니다.
- 가상화 : 하나의 물리 서버에 가상머신을 올려서 여러 OS를 사용 할 수 있는 기술. 대부분의 서버는 실제 사용율이 15% 정도밖에 되지 않는다고 하죠. 비효율성을 해결. 네트워크 가상화, 스토리지 가상화
- Vmware vSphere, Microsoft Hyper-V, KVM 하이퍼바이저, 가상화 솔루션
- 클라우드 컴퓨팅 - 가상화 기술이 기반, 사용자가 셀프 서비스 할 수 있도록 API, Web Console, CLI를 통해 이러한 가상화된 리소스를 마음 껏 활용 - 모든 건 자동화, 서비스화 시킨 것을 클라우드 컴퓨팅이라고 하죠. 따라서 주요 특징인 On-demand Self Service가 가능한 수준으로 제공이 됩니다.
- 서비스 유형에 따라서 3가지고 구분 할 수가 있습니다. IaaS - 인프라스트럭쳐에 대해서 제공을 하는 것을 의미, ex> EC2, S3 PaaS - 개발 Platform등의 서비스까지 제공하는 것, ex> DynamoDB SaaS - Application 자체를 서비스하는 것을 SaaS 서비스라고 합니다. 예> salesforce.com, eclipse che, Cloud 게이밍
- 그러면 Private Cloud에서 Private에 대해서 얘기를 나눠볼까요? 여기서의 Private는 어떤 걸 의미할까요?
- 클라우드 컴퓨팅은 배포 유형에 따라서 크게 3가지로 나눌 수 있습니다. Public Cloud : 자신들의 데이터 센터를 소유하고 있는 전문 클라우드 제공 업체, 그 기업의 서비스를 다른 기업 혹은 개인 사용자가 사용하는 것, 자격 요건이 따로 없음. - 장점 : 사용하는 기업 입장에서는 초기 투자 비용이 저렴하죠. 왜냐하면 인프라 구성에 필요한 서버,네트워크,스토리지,상면 등의 비용을 생각할 필요가 없으니까. 그리고 전문 클라우드 제공 업체가 도입하는 최신 기술을 바로 도입할 수 있는 장점이 있어요. 단점 : 대신 이러한 클라우드 환경에 장애가 발생할 때는 주도적으로 복구할 수는 없구요. 초기 소규모 환경에서는 비용이 저렴할 수 있지만 규모가 커지면 이 비용이 만만치가 않습니다. Private Cloud : 기업 내에서 가지고 있던 인프라 리소스를 클라우드 환경으로 전환해서 활용을 하는 경우입니다. 권한이 부여된 사람 혹은 기업만 사용 - 장점 : 자체적으로 운영하기 때문에 커스터마이징에 유리하고, 신속한 장애 조치가 가능합니다. 그리고 자체적인 보안 시스템을 적용하기 때문에 보안성 확보에도 유리한 면이 있습니다. - 단점 : 초기 투자 비용이 들어가고, 이러한 클라우드 환경을 운영하기 위한 숙련된 엔지니어가 필요하게 되죠. Public과 Private Cloud 환경을 모두 사용하는 것이 Hybrid Cloud 입니다. data burstin이라고 하죠. 프라이빗 클라우드를 사용하다 급격히 리소스가 필요할 때 public cloud를 활용하는 전략을 수행할 수가 있습니다. 기술적으로는 아직 해결해야 하는 것들이 좀 남아있습니다. 그래서 보통 Private과 Public 서비스를 전부 가지고 있는 벤더가 자신들의 서비스 내에서 hybrid cloud를 구성하도록 하는 경우가 많습니다.
- 앞서 보았던 그림이죠 대표적인 클라우드 서비스가 배포 유형으로 따지면 퍼블릭 클라우드가 되겠죠? 대표적인 Private Cloud 솔루션이라고 한다면 오픈소스 중에서는 오픈스택, 클라우드스택이 있습니다. 벤더에서 제공해주는 Private Cloud 솔루션도 많이 있죠.
- 저희는 Private Cloud 솔루션으로 OpenStack을 사용합니다. 현재로썬 프라이빗 클라우드 솔루션으로써 오픈스택을 대체할만한 솔루션은 없죠. 2010년에 서로 어울리지 않는 NASA와 Rackspace라는 호스팅 업체가 최초로 오픈스택 재단을 설립했는데요. 이 당시에 NASA에는 Nubula라고 하는 컴퓨팅 서비스를 개발하고 있었고, rackspace는 Object Storage를 서비스하는 걸 개발하고 있었어요. 두 개의 개발팀이 만나서 서로의 솔루션을 봤는데 비슷한 점이 엄청 많은 거에요. 일단 파이썬으로 개발이 되고 상호보완할 수 있는 기능들이 있었고, 그래서 이례적이게 국가기관인 NASA와 일반 기업인 Rackspace가 손을 잡는 역사적인 사건이 생겨났고 이게 오픈스택이 되었습니다. 초기의 오픈스택은 단순히 인증, 이미지관리. 커퓨팅, 오브젝트 스토리지 프로젝트 정도만 개발이 되었구요. 7년이 지난 지금 8월 30일에 Pike 버전이 릴리즈 되었는데 46개의 프로젝트가 진행이 되고 있는 거대하고도 복잡한 클라우드 솔루션이 되었죠.
- 그러면 오픈스택을 활용한 프라이빗 클라우드를 2013년부터 적용해서 현재는 안정적으로 운영을 하고 있는데요. 이렇게 Private Cloud를 적용하면서 저희 인프라팀에는 엄청난 변화가 생겼는데요. 어떤 변화가 일어났는지를 공유드릴께요.
- 다시 말씀드리면, Public Cloud 대비하여 Private Cloud를 성공적으로 운영하면서 저희가 얻은 긍정적인 변화에 대해서 말씀드릴께요
- 어떤 그래프라고 예상되시나요? VM 10,000대의 VM을 운영했을 때의 기준으로 왼쪽의 그래프가 Private Cloud 운영 비용이고, 오른쪽이 Public Cloud 운영 비용입니다.
- 프라이빗 클라우드 적용 후의 첫번째 변화는 엄청난 비용 절감 효과입니다. 2013년부터 본격적으로 프라이빗 클라우드로 전환을 하면서 많은 비용 절감을 할 수 있었습니다. 기존에 AWS 기반 위에서 서비스를 하던 게임스튜디오 쪽에서 먼저 연락이 와서 넷마블 프라이빗 클라우드로 전환하고 싶다는 요청도 상당 수 있습니다.
- 프라이빗 클라우드의 구축 과정을 잠깐 살펴볼까요? 먼저 모든 인프라의 공통 네트워크를 구성을 하구요. 그 위에 서버들이 구축이 됩니다. KVM과 같은 가상화 솔루션을 통해서 서버 가상화를 구현을 하구요. 블록 스토리지를 제공하기 위한 스토리지를 구축을 합니다. 예전에는 스토리지 벤더에서 제공하는 레가시 스토리지를 많이 썼는데 점점 그 비율을 줄이고 소프트웨어 분산 스토리지로 대체를 하고 있는 중입니다. 여기에 네트워크를 가상화 기술이 포함이 됩니다. 사용자가 본인의 요구사항에 따라 라우터를 만들 수도 있고, 내부 서브넷을 새로 생성할 수도 있고. 그리고 소프트웨어 로드벨런서를 통해 부하분산을 할 수도 있습니다. 이러한 모든 리소스는 프로젝트라는 테넌트를 통해서 구분이 되구요. 다른 프로젝트는 내 프로젝트에 속하는 리소스를 볼 수 없게됩니다. 이러한 계정 정보를 반영하는 인증 서비스가 포함이 되구요. 내가 사용하는 리소스의 사용량이 얼마나 되는지 서비스는 잘 올라와 있는 지에 대한 모니터링이 포함이 됩니다. 마지막으로 이러한 리소스를 필요할 때 한 번의 클릭만으로 구성할 수 있는 데쉬보드 화면이 구성이 됩니다. 이러면 이제 사용자는 원하는 리소스를 생성해서 자기들의 어플리케이션을 올릴 수 있게 되는거죠.
- 저희는 이러한 모든 과정을 전부다 저희가 합니다. 상용 솔루션의 최대한 배제하고 오픈소스와 그리고 실제 개발을 해서 기능을 추가하고 확장하고 있습니다.
- 프라이빗 클라우드를 적용 후의 생긴 두 번째 변화라고 한다면 저희가 모든 걸 다하기 때문에 서비스 특정에 따라 유연하게 인프라 구성이 가능하다는 점입니다. 상황 별로 퍼블릭 클라우드와 비교해서 프라이빗 클라우드의 유연한 대응을 보겠습니다.
- 요즘에는 MMORPG 성격의 게임이 늘어나면서 실시간 성의 고성능 네트워크를 지원하는 인프라를 구성해야할 필요가 많은데요.
- 퍼블릭 클라우드의 경우 고성능 네트워크 요청을 할 경우에는 저러한 답변을 받을 수도 있습니다. 하지만 프라이빗 클라우드에 경우에는 고성능 네트워크를 수용할 수 있는 아키텍처를 찾아서 적용해서 신속하게 대응 할 수 있죠.
- 가상화된 Virtual machin들은 호스트 서버의 리소스를 서로 공유해서 쓰고 있는데요. 동일 서버에 올라가 있는 virtual machine 중에서 어떤 VM이 Hadoop같은 CPU 리소스를 너무 많이 쓰는 어플리케이션이 돌아가면 다른 virtual machine이 영향을 받을 수가 있습니다. 이렇게 되면 CPU Steal time 값이 올라가게 되는데요.
- 이러할 경우 퍼블릭 클라우드이 경우에는 다음과 같이 대응해 줄 수 있는 상황이죠. 프라이빗 클라우드의 경우에는 VM이 특정 CPU를 아예 점유해서 쓸 수 있도록 구조를 변경할 수가 있어요.
- 장애 대응의 경우에도 퍼블릭 클라우드와 프라이빗 클라우드의 대응은 달라집니다.
- 퍼블릭 클라우드의 경우에는 장애나 maintenance 상황에 대한 기본적인 정보만 받고 이러한 것에 영향이 가지 않도록 어플리케이션 아키텍처를 가져가야 할 필요가 있습니다. 프라이빗 클라우드의 경우에는 장애 조치 뿐만 아니라 장애에 대해서 능동적으로 구성 변경을 해서 영향도를 최소한으로 하는 방안을 유연하게 가져갈 수가 있습니다.
- 프라이빗 클라우드를 적용한 후의 3번째 변화는 업무 형태의 변화입니다. 자동화와 많은 관련이 있습니다. 자동화를 적용하면서 바뀐 부분이구요.
- 지금 보시는 화면은 저희가 제공하고 있는 NOS라는 사용자 데쉬보드 화면입니다. 사용자는 기본적으로 이 웹 콘솔을 통해서 자기가 원하는 리소스들을 관리할 수 있죠. 관리가자 딱히 개입이 안되어도 충분히 사용이 가능합니다.
- 이 화면은 모니터링 화면인데요. 관리자를 통하지 않고도 우리 프로젝트의 서버들의 실시간 모니터링이 가능하고 알람 정책을 통해서 이슈 상황 시에 신속하게 대응을 할 수 가 있습니다.
- 그 외에도 NOS에는 사용자가 셀프로 구성할 수 있는 자동화 기능을 많이 추가하고 있습니다. 프로젝트 매니저 기능을 통해서 프로젝트 매니저가 직접 사용자 등록 및 권한 설정을 할 수 가 있구요. Conf 기능을 통해서 내게 속한 서버의 설치 및 설정을 미리 정해진 템플릿을 통해 손쉽게 수행할 수 있습니다. 네트워크 관리자를 통하지 않고고 소프트웨어 기반의 로브밸런서를 통해 부하 분산을 적용할 수 있습니다. 또, 로그 서비스를 이용하면 ELK같은 서비스를 따로 구축하지 않더라고 로그 서비스를 활용할 수 있습니다. 배포 시스템 또한 콘솔을 통해서 수행할 수가 있습니다.
- 이렇게 관리자의 개입을 최소화하고 NOS를 통해서 사용자가 직접 서비스를 이용할 수 있게 자동화 하면서 비생산적인 반복업무는 줄어들고 업무시간을 좀더 생산적인 곳에 투입을 할 수 있게됩니다. 그 결과..
- 업무 형태가 다음과 같이 변화가 되었는데요. 기존에는 하드웨어 구성, OS설치, 환경 설정 등의 반복적이고 비생산적인 일에 업무비중이 많았었다면, 현재는 역량 개발 및 자동화에 업무의 대부분을 활용하고 있습니다.
- 개인 역량을 키울 수 있는 환경이 되면서 기술 세미나 같은 곳에서도 발표를 하기도 했는데요. 이 사진은 올해 봄에 보스턴에 있었던 오픈스택 서밋 발표 사진인데요. 분산 스토리지인 Ceph 관련해서 발표를 했습니다.
- 프라이빗 클라우드를 적용한 후의 나타난 5번째 변화는 신속한 장애 대응입니다.
- 퍼블릭 클라우드의 경우 장애가 거의 나지 않는다고 생각하시나요? 실제로는 다음과 같이 휴먼 에러에 의해서 장애가 나는 상황도 있구요. 그리고 자연재해로 인한 장애도 발생되고 있습니다. 그리고 알 수 없는 이유로 인해서 장애가 발생될 경우도 있구요. 퍼블릭 클라우드도 일반 IDC와 크게 다르진 않겠죠. 그래서 사용자들은 HA라던가 Loadbalancing 들의 어플리케이션 아키텍처에 좀 더 신경을 써야 하는거구요. 이렇게 장애가 발생되었을 때, 저희가 할 일은 복구가 될 때까지 기다리는 일이겠죠. 아니, 단순히 기다리지는 않겠죠. 여기저기 전화 연락을 받으며 상황 설명을 해야 할 수도 있습니다. 프라이빗 클라우드를 적용하면서, 이러한 장애에 대해서 신속하게 적극적으로 대응할 수가 있었습니다.
- 프라이빗 클라우드 적용 후의 생긴 6번째 변화는 자체 보안을 구성한다는 점입니다.
- 퍼블릭 클라우드의 가장 큰 위험요소는 아무래도 보안요소인데요. 예전에 문제가 생겼었던 iCLOUD의 해킹이라던지, Yahoo의 경우에는 10억명이 넘는 사용자 게정의 데이터가 유출되었다고 하죠. 이런 것 처럼 기업의 중요한 내부 자료가 유출될 수 있는 위험이 있습니다. 퍼블릭 클라우드 대비 프라이빗 클라우드의 보안 측면에서의 장점은 On Premise의 보안 솔루션을 그래도 적용할 수 있다는 점이구요. Network Core 부분의 모니터링을 통해서 침해 징후를 먼저 인식하고 대응을 빨리 할 수 있다는 점입니다.
- 그럼 어떤 사람들이 저희의 Private Cloud를 운영하고 있는지 소개를 드리면.
- 저희는 크게 3개의 팀으로 나누어져 있습니다. 앞서 보여드렸던 NOS의 여러 기능들, 특히 PaaS 영역에 해당하는 기능들을 자체 개발하고 있는 NOS 개발 팀이 있구요. IaaS 영역에 해당되는 OpenStack 관련 기술 개발과 SDN, 분산 스토리지 뿐만 아니라 글로벌 서비스에 대한 기획을 하고 있는 기술팀 실제 하드웨어 장비들을 직접 운영하고 관리하고 있는 데이터센터팀이 있습니다. 저희가 지향하는 건 기존의 옛날 방식의 Infrastructure가 아닌 새로운 방식의 인프라입니다. 서비스에 따라서 신속하고 민첩하게 대응하고 클라우드에 대한 신뢰성 또한 갖추는 것입니다.
- 기업 입장에서 퍼블릭 클라우드에 비해서 프라이빗 클라우드 도입은 쉽지 않죠. 우선 초기 도입 비용이 들어가구요. 온프레미스에서 클라우드 환경으로 마이그레이션 한다면 좀 덜 들어갈 수 있겠지만요. 무엇보다 장애조치나 신기술을 도입하고 운영을 할만한 클라우드 전문가가 필요하겠죠. 그리고 가용성 확보라던가 보안, 모니터링, 자동화에 투자해야하는 부담도 있구요.
- 하지만 제가 오늘 말씀드리고 싶은건, 프라이빗 클라우드의 성공적인 도입으로 얻을 수 있는 이득은 퍼블릭 클라우드 도입보다 더 크다는 점입니다.