서상원 차장 / NetApp

1. 오픈스택 환경에서
공유 파일 시스템 구현하기
마닐라(Manila) 프로젝트
서상원 차장
Systems Engineering Team
NetApp Korea
© 2016 NetApp, Inc. All rights reserved.1

2. © 2016 NetApp, Inc. All rights reserved2
• 론콘웨이(Ron conway)
• 실리콘 벨리 엔젤투자자
• Faebook, Twitter, Google, PayPal,
TweetDeck, AirBnB 등의 투자

3. NetApp의 OpenStack Contribution
© 2016 NetApp, Inc. All rights reserved3
2015.4
Liberty Summit
Sponsor
Manila
Graduation
2014.10
Kilo Release
Summit
Sponsor
Manila
Incubation
2013.10
Icehouse
Summit
Sponsor
Swift on
E-Series
2014.4
Juno Summit
Sponsor
E/EF-Series
drivers in
Icehouse
2013.4
Havana
Summit
Sponsor
Direct Drivers
in Grizzly
2012.10
Grizzly Summit
Sponsor
Clustered Data
ONTAP driver
in Folsom
2012.4
Folsom
Summit
Sponsor
7-Mode driver
in Essex
2011.3
NetApp
Joins
Diablo Summit
Sponsor
2011.10
Essex
Summit
Sponsor
Integration
Previewed
2016.4
“N” Summit
Sponsor
See you in
Austin!
2015.10
Mitaka
Summit
Sponsor
Manila 1.0
 1st 메이저 스토리지 벤더
 Upstream Contributions
 Community project leadership
 Production Deployments
 OpenStack 파운데이션
 Charter Gold member
 Elected board representation

4. NetApp OpenStack portfolio
© 2016 NetApp, Inc. All rights reserved4
Image
Compute
Shared Files
Block Storage
Object StorageShared Files
StorageGRID®E/EF-SeriesData ONTAP® OnCommand®AltaVault™
Glance
Swift
Cinder
Nova
Manila
Compute Block Storage
Object StorageImage
Cinder
Manila
Nova
Glance
Manila
Cinder

5. OpenStack Block Storage Drivers in Production
© 2016 NetApp, Inc. All rights reserved5
Ceph
LVM
NetApp
Gluster
NFS
IBM Storwize
SolidFire
EMC
VMware VMDK
* OpenStack Foundation User Survey Results (October 2015 )
상용 스토리지
벤더 제품 중에서
NetApp 제품을
가장 많이 사용

6. Manila 개요 및 주요 기능 소개
© 2016 NetApp, Inc. All rights reserved.6

7. What Manila ?
© 2016 NetApp, Inc. All rights reserved7
OpenStack Shared File Service Program
 OpenStack 환경에서 공유 파일
시스템 서비스 제공
 Multi tenancy 환경에서 VM들 위한
Secure Share 서비스 제공
 NFS, CIFS, HDFS 프로토콜 지원
 다양한 네트워크 토폴로지 지원
 Horizon GUI 지원
OpenStack Compute
Manila
VMVM VM VM
Clustered Data ONTAP®
Finance R&D Sales
VM VM VM VM

8. Why Manila ?
© 2016 NetApp, Inc. All rights reserved8
클라우드 환경에서 파일 공유의 요구들 증가
49%
38%
35%
34%
32%
31%
30%
27%
27%
25%
25%
Data backup and archive
Test and development
Disaster recovery
Pimary storage for files
Web servers
High-performance computing
Business intellifence
Temporary projects
Internal production apps
Application bursting
Workload spikes
당신의 회사가 클라우드 인프라를 사용하는 주된 용도는 무엇입니까?
Source: ESG, 2015

9. Why Manila ?
© 2016 NetApp, Inc. All rights reserved9
클라우드 서비스 업체들 파일 공유 서비스 앞다투어 출시

10. Manila History
© 2016 NetApp, Inc. All rights reserved10
Liberty 버전부터 운영 시스템에 적용 가능한 상태
 Juno의 인큐베이션 프로젝트로 시작
 Liberty 버전부터 운영 서비스 적용 가능
 총 Driver 수 : 14
 지원 기능(Buleprints) 수 : 51
 NetApp이 프로젝트 리딩

11. Manila Architecture Overview
Cinder, Swift와 동일하게 AMQP를 통해 프로세스 수행
11 © 2016 NetApp, Inc. All rights reserved
REST
Manila
Processes
Horizon
manila-apimanila-scheduler
manila-share
Back-End
manila-share
Back-End
manila-share
Back-End
Control Path
 Manila-api: Request, User Credential
 Manila-scheduler: Makes provisioning
 Manila-share: Communicates with storage
 Control Path Only

12. Manila 구현 옵션
Multi Backend 및 다양한 Network Plugin 지원
12 © 2016 NetApp, Inc. All rights reserved
 Dedicated Single Share Server or New Multi Share Servers
 Share Creation with Share Servers
 Share Creation without Share Servers
 Network Plugins
 Standalone Network Plugins
 Nova Network Plugins
 Neutron Network Plugins
 Distribution 패키지
 RDO, Ubuntu, SUSE
nova-compute
manila
create
Control Path
Data Path
Manila
mount –t nfs
nova-compute
NFS

13. Manila Key component
Manila는 크게 4가지 component로 구성
13 © 2016 NetApp, Inc. All rights reserved
 Share (CIFS or NFS)
 사용자 요구 사이즈, 접근 프로토콜, Share 타입
 멀티 인스턴스에서 동시 접근 가능
 Share access rules (ACL)
 어떤 유저가 Share에 접근 가능 Client를 정의
 IP 또는 User 단위 권한 부여(Driver 별로 상이)
 Share network
 Share를 위한 Neutron network & subnet 정의
 Security service
 Active Directory, LDAP, Kerberos 지원
 Multiple security service 지원

14. Manila API Overview
주로 많이 사용되는 API와 해당 Operation
14 © 2016 NetApp, Inc. All rights reserved
Share API
• Create
• Delete
• Edit
• Extend
• List
• Manage
• Show
• Shrink
• Unmanage
Share Access
API
• Allow
• Deny
• List
Snapshot API
• Create
• Delete
• List
• Rename
• Reset State
• Show
Share Type API
• Create
• Delete
• List
Share Type
Extra Specs API
• List extra specs
• Set extra specs
• Unset extra specs

15. Extra specs 지원
Extra Specs을 통해 Storage Service Catalog (SSC) 적용
15 © 2016 NetApp, Inc. All rights reserved
Extra spec 내용
netapp_raid_type raid4, raid_dp
netapp_disk_type FCAL, SAS, SATA, SCSI or SSD
netapp:dedup True / False
netapp:compression True / False
netapp:thin_provisioned True / False
netapp:snapshot_policy 스토리지에서 정의된 특정 snapshot policy를 적용
netapp:language 특정 character set을 요구하는 application에 적용
netapp:max_files FlexVol내의 최대 파일 갯수를 변경
Manila Share Types
* NetApp Driver Extra spec 예시

16. 주요 기능들 - 용량 확장 & 축소
16 © 2016 NetApp, Inc. All rights reserved
Extend는 GUI/CLI 모두 지원, shrink는 CLI에서만 지원

17. 주요 기능들 - Share Migrations
17 © 2016 NetApp, Inc. All rights reserved
Host 또는 Backend간 데이터 이동 가능
 특정 host pool에서 다른 host pool로
share를 마이그레이션 가능
 서로 다른 backend간의 마이그레이션도 가능
 무중단 데이터 이동 지원
 사용 예 : 특정 backend의 유지보수 시,
멀티 티어 스토리지로 재 배치 시

18. 주요 기능들 - Consistency Groups (CGs)
18 © 2016 NetApp, Inc. All rights reserved
멀티 Share내의 데이터 정합성을 보장
 어플리케이션의 데이터 보호를 위해 서로 다른 share들을 Grouping
 재해복구를 위한 snapshot에 중점
 사용 예 : 다른 share에 위치한 데이터베이스 데이터와 로그 파일
 Share snapshot 수행 시 share 내의 data는 정합성을 유지해야 함
 지원 기능:
 create CG with mutliple shares
 create snapshot of CG

19. 주요 기능들 - Share Replication
19 © 2016 NetApp, Inc. All rights reserved
AZ간 데이터 복제를 통해 AZ간 DR 구성 지원
 고가용성 솔루션
 무중단 운영 지원
 Availability Zones 지원
 AZ간 Failover 및 Failback 지원

20. Manila Use Cases
© 2016 NetApp, Inc. All rights reserved.20

21. Manila Use Cases#1
Standalone Share File Services
21 © 2016 NetApp, Inc. All rights reserved
 기존 파일 공유 시스템을 대체
 Multi tenancy 환경에서 SLA 보장
 Self-service API 지원
 Devops에서 활용 가능

22. Manila Use Cases#2
Enterprise Applications
22 © 2016 NetApp, Inc. All rights reserved
 기존 가상화 환경에서 OpenStack으로 전환
 이기종 인프라스트럭처 지원
 어플리케이션 포팅:
 Move Workloads to OpenStack

23. Manila Use Cases#3
Sahara Integration
23 © 2016 NetApp, Inc. All rights reserved
 Multi Data Processing Framework 지원
 Job Template을 위한 Binanry를 NFS
Share에 저장 가능
 Data sources 및 Data processing
용도로 활용 가능
 EDP(Elastic Data Processing) Share
생성시 Automount 지원

24. Sahara Data Processing Model without Manila
Kilo 버전까지는 Data Processing시 Local HDFS나 Swift를 활용
24 © 2016 NetApp, Inc. All rights reserved
Host
Virtual Cluster
VM1 VM2
Computing
Task
HDFS
Computing
Task
HDFS
Host
Virtual Cluster
VM1 VM2
Computing
Task
HDFS
Host
Virtual
Cluster
VM1
Computing
Task
Swift*
Host
Hadoop Cluster 환경에서
Compute과 data가 동일
인스턴트내에 공존
동일 VM내의 Internal HDFS 다른 VM내의 Internal HDFS Swift
Compute과 data가 분리되어
다른 인스턴트에 존재
Swift내의 데이터를 직접
스트리밍하여 데이터 유지

25. Sahara Data Processing Model with Manila
Liberty 버전부터는 Data Processing시 Manila 활용 가능
25 © 2016 NetApp, Inc. All rights reserved
Manila내에 HDFS Driver를 통해
External HDFS 지원
Manila를 활용한 External HDFS Manila Backend+Local Storage NFS (Mitaka 버전부터 지원 예정)
Manila NFS Share를 remote
mount 및 Hadoop 인스턴트내의
Local 스토리지 사용
NetApp Hadoop Connector를
통해 NFS을 Hadoop내에서 사용
Host
Virtual Cluster
VM1
Computing Task
Host
Manila Service
HDFS Driver
HDFS
Host
Virtual Cluster
VM1
Computing Task
Host
Manila Service
NFS Driver
(Extensible)
NetApp FS
Local Volume
Host
Virtual Cluster
VM1
Computing Task
NFS
Host
NetApp*
Hadoop NFS
Connector
Manila Service
NFS Driver

26. Why NetApp for Manila
© 2016 NetApp, Inc. All rights reserved.26

27. NetApp Contribution for Manila
Manila 프로젝트 초기부터 커뮤니티를 리딩 중
27 © 2016 NetApp, Inc. All rights reserved
* Source: http://stackalytics.com/?module=manila&metric=loc&release=liberty
Code Contributions Reviews

28. Manila Support Matrix
현존하는 스토리지 벤더 중 가장 안정적이고 성숙된 Driver를 제공
28 © 2016 NetApp, Inc. All rights reserved

29. Clustered DataONTAP for OpenStack
OpenStack 환경에서 효율적이고 유연한 다양한 기능들 제공
29 © 2016 NetApp, Inc. All rights reserved
Clustered DataONTAP
Service AutomationQuality of Service
Unified Architecture
Storage EfficiencySeamless Scaling
Secure
Multi-Tenancy
Continuous
Operations
Data Mobility Data Protection

30. NetApp OpenStack 주요 고객 사례
OpenStack환경 국내/외 Number One 스토리지 벤더
30 © 2016 NetApp, Inc. All rights reserved

31. Upcoming in Mitaka
Mitaka 버전에는 보다 다양한 기능들 제공 예정
31 © 2016 NetApp, Inc. All rights reserved
 자동 마운트
 롤링 업데이트
 Manila QoS
 용량 조회
 Share Replication
 Hadoop NFS Connector

32. © 2016 NetApp, Inc. All rights reserved.32
Thank you.