Lablup Conf 1st (Session4/Core) "How to strike a balance between Accelerating pipeline I/O of each storage solution and development scope" - 강지현 - 발표내용 : * Backend.AI Storage Proxy: Accelerating data / model I/O pipeline * Integrating storage solution: PureStorage / NetApp * Case: Building NetApp integration - 영상 보러 가기 : https://youtu.be/itCEkuO2DtE

1. How to strike a balance between
Accelerating pipeline I/O of each
storage solution and development scope
강지현 (Lablup, SW Engineer)

2. Contents
§ Backend.AI Storage Proxy: Accelerating data / model I/O pipeline
§ Integrating storage solution: Purestorage / NetApp
§ Case: Building NetApp Integration

3. Backend.AI Storage Proxy
Accelerating data / model I/O Pipeline

4. What is Backend.AI Storage Proxy?
§ 대용량 파일 업로드 · 다운로드를 API 서버를 거치지 않고 별도로 proxy로 분리
– tus.io 업로드/다운로드 프로토콜 및 HTTP ranged request 다운로드 프로토콜 적용
(끊겨도 이어서 전송)

5. What is Backend.AI Storage Proxy?
§ 파일시스템 · NAS 장비 별로 최적화된 기능 제공
– 지원 플랫폼: Purestorage FlashBlade, NetApp ONTAP, CephFS, XFS, etc.

6. What is Backend.AI Storage Proxy?
§ Resource Group 별로 Storage Proxy를 1개 이상 별도로 둘 수 있음

7. Overall Architecture:
Backend.AI Storage Proxy
§ api.manager, api.client, server, configuration file,
storage solution packages 로 구성
§ 모듈화된 구조로 새로운 storage solution 도입하기에 용이

8. § 각 Storage solution 은 Storage Node로 취급
§ Storage Host 별로 다수의 Virtual Folder(Vfolder) 생성 가능
§ Storage Node(Volume)과 Vfolder 단위 별 지원 기능 상이
Overall Architecture:
Backend.AI Storage Proxy

9. Features provided by Backend.AI Storage Proxy
• Capacity
• Usage
• Performance metrics
− iops
− Throughput
− latency
Volume

10. Features provided by Backend.AI Storage Proxy
• The number of files
• Create / Delete
• Read / Update
• Share / Clone*
• Upload / Download
• Managing Access level
(Read-Only, Read-Write, Delete)
VFolder

11. Purestorage / NetApp
Integrating storage solutions

12. How to integrate storage solutions
to Backend.AI Storage Proxy?
연결포인트
지정
API 호출
및 구현
구조 파악

13. Figuring out the architecture of
storage solution
Purestorage
§ Storage solution 에서 제공하는 API Documentation 에서 구조 파악

14. Figuring out the architecture of
storage solution
NetApp
§ Storage solution 에서 제공하는 API Documentation 에서 구조 파악

15. Purestorage
Configuring Connecting point between
Backend.AI Storage Proxy ↔ Storage solution
§ Backend.AI Storage Proxy의 Volume에 대응하는 endpoint 지정

16. Configuring Connecting point between
Backend.AI Storage Proxy ↔ Storage solution
NetApp
§ Backend.AI Storage Proxy의 Volume에 대응하는 endpoint 지정

17. 1. Create package for each storage solution
2. Implement storage specific functions defined in abc module
3. Create a test module for storage solution package and
Do test
Implementing package for Storage solution
by calling API in each usage

18. Case: Building NetApp integration
Providing seamless UX by using NetApp ONTAP REST API and NetApp XCP

19. Overall Architecture of NetApp ONTAP

20. Overall Architecture of NetApp XCP
출처: NetApp Solution > NetApp XCP Documentation-Introduction
§ NetApp ONTAP과 독립적으로 존재

21. Key Features
§ NetApp Optimized Features
– 시각화된 Storage 별 정보 제공
ü Volume 및 Qtree, Volume이 속한 SVM 정보
– Storage performance metric 표시
ü 파일(폴더) 업로드, 다운로드 시 I/O metric 확인 가능한 패널 제공
§ Common Features
– 폴더 통계 정보 제공
– 폴더 생성
– 폴더 복제
– 폴더 삭제

22. 시각화된 Storage 별 정보 제공

23. Storage performance metric 표시

24. Common Features: 폴더 통계 정보 제공

25. Common Features: 폴더 생성

26. Common Features: 폴더 복사

27. Common Features: 폴더 삭제

28. Summary: Don’t reinvent the wheel!

29. Thank you!
Jihyun Kang
Lablup Software Engineer
Lablup Inc.
Backend.AI
Backend.AI GitHub
Backend.AI Cloud
https://www.lablup.com
https://www.backend.ai
https://github.com/lablup/backend.ai
https://cloud.backend.ai