[IBM 김상훈] 오브젝트스토리지 | 늘어만 가는 데이터 저장문제로 골 아프신가요? (자료를 다운로드하시면 고화질로 보실 수 있습니다.)(Joe), Sanghun Kim
안녕하십니까 IBM Korea 김상훈입니다.
폭증하는 데이터 시대, 비정형 데이터의 폭발적 증가로 저장하는데 고민이신가요? 계속 불어만 가는 데이터, 특히나 비정형 데이터에 탁월한 효과를 가진 IBM의 최적의 솔루션을 소개하고자 합니다.
오브젝트 스토리지는 테이프를 이용한 백업, 디스크에 데이터를 저장과 백업을 했던 기존의 방식보다 여러가지 장점을 가지고 있습니다. IBM 오브젝트 스토리지는,
1. 무한확장: 현재 보유한 데이터에서 계속 늘어나는 증가데이터까지 가능하며,
2. 비용절감: 기존 스토리지 대비 최대 70% 절감 가능
3. 운영편의성: 일반 서버 위에 소프트웨어로 구성하는 형태
4. 데이터 보안: 기존 방식보다 월등한 보안성
의 특징을 가집니다. 이메일과 함께 추가 설명이 담긴 링크도 함께 드리오니 확인해보시길 바랍니다.
더 이상 저장, 백업, 아카이브에 골 썩히지 마십시오. 고맙습니다.
- IBM 김상훈 드림
JoeKim@kr.ibm.com
02-3781-7900 (스토리지 연결)
Amazon Aurora is a MySQL-compatible database engine that combines the speed and availability of high-end commercial databases with the simplicity and cost-effectiveness of open source databases. The service is now in preview. Come to our session for an overview of the service and learn how Aurora delivers up to five times the performance of MySQL yet is priced at a fraction of what you'd pay for a commercial database with similar performance and availability.
Speakers:
Ronan Guilfoyle, AWS Solutions Architect
Brian Scanlan, Engineer, Intercom.io
Ceph: Open Source Storage Software Optimizations on Intel® Architecture for C...Odinot Stanislas
Après la petite intro sur le stockage distribué et la description de Ceph, Jian Zhang réalise dans cette présentation quelques benchmarks intéressants : tests séquentiels, tests random et surtout comparaison des résultats avant et après optimisations. Les paramètres de configuration touchés et optimisations (Large page numbers, Omap data sur un disque séparé, ...) apportent au minimum 2x de perf en plus.
[오픈소스컨설팅]클라우드기반U2L마이그레이션 전략 및 고려사항Ji-Woong Choi
Cloud 기반으로 U2C(Unix to Cloud),U2L(Unix to Linux) 마이그레이션에 대한 가이드 라인과 사이징 관련 고려 사항에 대해 설명한 자료입니다.
많은 전환 프로젝트에서 추출된 경험치가 들어가 있으며, 전환별 난이도 및 고려사항이 들어가 있습니다.
[Open Infrastructure & Cloud Native Days Korea 2019]
커뮤니티 버전의 OpenStack 과 Ceph를 활용하여 대고객서비스를 구축한 사례를 공유합니다. 유연성을 확보한 기업용 클라우드 서비스 구축 사례와 높은 수준의 보안을 요구하는 거래소 서비스를 구축, 운영한 사례를 소개합니다. 또한 이 프로젝트에 사용된 기술 스택 및 장애 해결사례와 최적화 방안을 소개합니다. 오픈스택은 역시 오픈소스컨설팅입니다.
#openstack #ceph #openinfraday #cloudnative #opensourceconsulting
[IBM 김상훈] 오브젝트스토리지 | 늘어만 가는 데이터 저장문제로 골 아프신가요? (자료를 다운로드하시면 고화질로 보실 수 있습니다.)(Joe), Sanghun Kim
안녕하십니까 IBM Korea 김상훈입니다.
폭증하는 데이터 시대, 비정형 데이터의 폭발적 증가로 저장하는데 고민이신가요? 계속 불어만 가는 데이터, 특히나 비정형 데이터에 탁월한 효과를 가진 IBM의 최적의 솔루션을 소개하고자 합니다.
오브젝트 스토리지는 테이프를 이용한 백업, 디스크에 데이터를 저장과 백업을 했던 기존의 방식보다 여러가지 장점을 가지고 있습니다. IBM 오브젝트 스토리지는,
1. 무한확장: 현재 보유한 데이터에서 계속 늘어나는 증가데이터까지 가능하며,
2. 비용절감: 기존 스토리지 대비 최대 70% 절감 가능
3. 운영편의성: 일반 서버 위에 소프트웨어로 구성하는 형태
4. 데이터 보안: 기존 방식보다 월등한 보안성
의 특징을 가집니다. 이메일과 함께 추가 설명이 담긴 링크도 함께 드리오니 확인해보시길 바랍니다.
더 이상 저장, 백업, 아카이브에 골 썩히지 마십시오. 고맙습니다.
- IBM 김상훈 드림
JoeKim@kr.ibm.com
02-3781-7900 (스토리지 연결)
Amazon Aurora is a MySQL-compatible database engine that combines the speed and availability of high-end commercial databases with the simplicity and cost-effectiveness of open source databases. The service is now in preview. Come to our session for an overview of the service and learn how Aurora delivers up to five times the performance of MySQL yet is priced at a fraction of what you'd pay for a commercial database with similar performance and availability.
Speakers:
Ronan Guilfoyle, AWS Solutions Architect
Brian Scanlan, Engineer, Intercom.io
Ceph: Open Source Storage Software Optimizations on Intel® Architecture for C...Odinot Stanislas
Après la petite intro sur le stockage distribué et la description de Ceph, Jian Zhang réalise dans cette présentation quelques benchmarks intéressants : tests séquentiels, tests random et surtout comparaison des résultats avant et après optimisations. Les paramètres de configuration touchés et optimisations (Large page numbers, Omap data sur un disque séparé, ...) apportent au minimum 2x de perf en plus.
[오픈소스컨설팅]클라우드기반U2L마이그레이션 전략 및 고려사항Ji-Woong Choi
Cloud 기반으로 U2C(Unix to Cloud),U2L(Unix to Linux) 마이그레이션에 대한 가이드 라인과 사이징 관련 고려 사항에 대해 설명한 자료입니다.
많은 전환 프로젝트에서 추출된 경험치가 들어가 있으며, 전환별 난이도 및 고려사항이 들어가 있습니다.
[Open Infrastructure & Cloud Native Days Korea 2019]
커뮤니티 버전의 OpenStack 과 Ceph를 활용하여 대고객서비스를 구축한 사례를 공유합니다. 유연성을 확보한 기업용 클라우드 서비스 구축 사례와 높은 수준의 보안을 요구하는 거래소 서비스를 구축, 운영한 사례를 소개합니다. 또한 이 프로젝트에 사용된 기술 스택 및 장애 해결사례와 최적화 방안을 소개합니다. 오픈스택은 역시 오픈소스컨설팅입니다.
#openstack #ceph #openinfraday #cloudnative #opensourceconsulting
최근 국내와 글로벌 서비스에서 MongoDB를 사용하는 사례가 급증하고 있습니다. 다만 전통적인 RDBMS에 비해, 아직 지식과 경험의 축적이 적게 되어 있어 손쉬운 접근과 트러블 슈팅등에 문제가 있는 것도 사실입니다. 이 세션에서는 MongoDB 와 AWS의 DocumentDB의 Architecure를 간단히 살펴보고 MongoDB 및 DocumentDB의 비교를 진행하며 특히 MongoDB와 DocumentDB를 사용할때 주의해야할 중요 포인트에 대해서 알아봅니다.
워크로드에 맞는 데이터베이스 찾기
박주연 솔루션즈 아키텍트, AWS
급진적으로 늘어나는 데이터, 점차 다양해지는 워크로드의 특성에 적합한 데이터 관리를 위해 AWS는 광범위한 데이터베이스 선택 옵션을 제공합니다. 본 세션에서는 관계형 데이터베이스를 비롯, NoSQL, 인메모리, 그래프 등 특정 애플리케이션에 적합한 데이터베이스를 선택할 수 있도록 AWS가 제공하는 데이터베이스 서비스의 개요를 소개합니다. Amazon RDS와 Aurora, DynamoDB, Elasticache 및 Neptune 서비스에 대해 알아봅니다.
Data is being generated at rates never before encountered. The explosion of data threatens to consume all of our IT resources: People, budget, power, cooling and data center floor space. Are your systems coping with your data now? Will they continue to deliver as the stress on data centers increases and IT budgets dwindle?
Imagine if you could be ahead of the data explosion by being proactive about your storage instead of reactive. Now you can be, with NetApp's approach to the designs and deployment of storage systems. With it, you can take advantage of NetApp's latest storage enhancements and take control of your storage. This will allow you to focus on gathering more insights from your data and deliver more value to your business.
NetApp's most advanced storage solutions are NetApp Virtualization & scale out. By taking control of your existing storage platform with either solution, you get:
• Immortal Storage system
• Infinite scalability
• Best possible ROI from existing environment
VxRail Appliance - Modernize your infrastructure and accelerate IT transforma...Maichino Sepede
An overview of the VxRail Appliance, including what’s new with VxRail on the 14th generation PowerEdge server, and advancements in the VxRail 4.5 software.
Amazon Aurora Storage Demystified: How It All Works (DAT363) - AWS re:Invent ...Amazon Web Services
Amazon Aurora is a high performance, highly scalable database service with MySQL- and PostgreSQL-compatibility. One of its key components is an innovative storage system that is optimized for database workloads and specifically designed to take advantage of modern cloud technology. Hear from the team that built Amazon Aurora's storage system on how the system is designed, how it works, and what you need to know to get the most out of it.
성공적인 디지털 트랜스포메이션을 위해서는 클라우드 전환이 필수적인데요, 많은 기업에서 막상 클라우드를 도입할 때 여러가지 장벽에 맞닥뜨리게 됩니다.
클라우드 마이그레이션에 관한 여러분의 고민을 시원하게 해결해주기 위해 Global Public Cloud의 독보적인 선두 AWS(Amazone Web Services)와 클라우드 마이그레이션 전문기업 오픈소스컨설팅이 만났습니다!
많은 기업들이 마이그레이션 수행할 때 가장 많이 하는 질문 Top 10에 대한 기술 전문가의 노하우가 담긴 답변을 공유합니다.
최근 국내와 글로벌 서비스에서 MongoDB를 사용하는 사례가 급증하고 있습니다. 다만 전통적인 RDBMS에 비해, 아직 지식과 경험의 축적이 적게 되어 있어 손쉬운 접근과 트러블 슈팅등에 문제가 있는 것도 사실입니다. 이 세션에서는 MongoDB 와 AWS의 DocumentDB의 Architecure를 간단히 살펴보고 MongoDB 및 DocumentDB의 비교를 진행하며 특히 MongoDB와 DocumentDB를 사용할때 주의해야할 중요 포인트에 대해서 알아봅니다.
워크로드에 맞는 데이터베이스 찾기
박주연 솔루션즈 아키텍트, AWS
급진적으로 늘어나는 데이터, 점차 다양해지는 워크로드의 특성에 적합한 데이터 관리를 위해 AWS는 광범위한 데이터베이스 선택 옵션을 제공합니다. 본 세션에서는 관계형 데이터베이스를 비롯, NoSQL, 인메모리, 그래프 등 특정 애플리케이션에 적합한 데이터베이스를 선택할 수 있도록 AWS가 제공하는 데이터베이스 서비스의 개요를 소개합니다. Amazon RDS와 Aurora, DynamoDB, Elasticache 및 Neptune 서비스에 대해 알아봅니다.
Data is being generated at rates never before encountered. The explosion of data threatens to consume all of our IT resources: People, budget, power, cooling and data center floor space. Are your systems coping with your data now? Will they continue to deliver as the stress on data centers increases and IT budgets dwindle?
Imagine if you could be ahead of the data explosion by being proactive about your storage instead of reactive. Now you can be, with NetApp's approach to the designs and deployment of storage systems. With it, you can take advantage of NetApp's latest storage enhancements and take control of your storage. This will allow you to focus on gathering more insights from your data and deliver more value to your business.
NetApp's most advanced storage solutions are NetApp Virtualization & scale out. By taking control of your existing storage platform with either solution, you get:
• Immortal Storage system
• Infinite scalability
• Best possible ROI from existing environment
VxRail Appliance - Modernize your infrastructure and accelerate IT transforma...Maichino Sepede
An overview of the VxRail Appliance, including what’s new with VxRail on the 14th generation PowerEdge server, and advancements in the VxRail 4.5 software.
Amazon Aurora Storage Demystified: How It All Works (DAT363) - AWS re:Invent ...Amazon Web Services
Amazon Aurora is a high performance, highly scalable database service with MySQL- and PostgreSQL-compatibility. One of its key components is an innovative storage system that is optimized for database workloads and specifically designed to take advantage of modern cloud technology. Hear from the team that built Amazon Aurora's storage system on how the system is designed, how it works, and what you need to know to get the most out of it.
성공적인 디지털 트랜스포메이션을 위해서는 클라우드 전환이 필수적인데요, 많은 기업에서 막상 클라우드를 도입할 때 여러가지 장벽에 맞닥뜨리게 됩니다.
클라우드 마이그레이션에 관한 여러분의 고민을 시원하게 해결해주기 위해 Global Public Cloud의 독보적인 선두 AWS(Amazone Web Services)와 클라우드 마이그레이션 전문기업 오픈소스컨설팅이 만났습니다!
많은 기업들이 마이그레이션 수행할 때 가장 많이 하는 질문 Top 10에 대한 기술 전문가의 노하우가 담긴 답변을 공유합니다.
Software-defined storage is a marketing buzzword for promoting computer data storage technologies. Many storage H/W vendors are focusing on Storage Cloud in Software Defined Data Center. This document is that what is SDS and latest trend in Cloud Computing.
2025년도 까지의 데이터 시장의 전망을 살펴보고, 클라우드 상에서 데이터를 효율적으로 다루기 위한 서비스들을 소개합니다 | Explore the prospects for the data market by 2025 and introduce services to efficiently address data in the cloud
스폰서 발표 세션 | Zero-risk 엔터프라이즈 클라우드 스토리지
조순현 부장, Zadara
Zadara는 엔터프라이즈 스토리지입니다. 모든 데이터 유형, 모든 프로토콜을 클라우드 상에서 제공합니다. 클라우드 스토리지 사용에 있어 기술 위험, 운영 위험 및 재정적 위험을 Zadatra 스토리지를 통해 제거하는 방안을 제시합니다.
[2016 데이터 그랜드 컨퍼런스] 2 1(빅데이터). 티맥스 빅데이터시대,더욱중요해진dw를위한어플라이언스전략K data
빅데이터 환경에서 기업의 의사결정에 필요한 DW 시스템은 더욱 중요해졌고, 대용량 데이터 분석은 필수가 되었다. 전통적인 DBMS의 확장성, 성능 한계를 해결하기 위해서 소프트웨어 뿐만 아니라 최신의 하드웨어 디바이스와 결합하여 어플라이언스 형태의 DW 구축이 대세가 되고 있는 환경에서, 국산 DBMS의 선두주자 티맥스소프트는 외산 DB 어플라이언스와 경쟁할 수 있는 데이터베이스 어플라이언스를 출시하였다. 최근 HP 하드웨어와 어플라이언스 협력 모델을 내놓았으며, 기존의 DBMS가 해결하지 못한 초대용량과 고성능, 그리고 데이터의 확장성이 특징이다. ZetaData는 고성능 데이터베이스 서버와 지능형 스토리지 서버, 초고속 네트워크를 통해 대용량 데이터의 빠른 처리와 시스템 안정성을 제공하는 통합(Consolidated) 데이터 솔루션이다.
공유 스토리지를 이용한 H/A Cluster 뿐만 아니라
Replication을 이용한 Shared Nothing H/A Cluster 제공
내장된 Application 인지형의 고가용성 기능 제공
DB에 대하여 이중으로 Check 하는 Depth 모니터링 기능
30개의 주요한 Applications 지원
3. IBM Software Defined Storage 전제품 포트폴리오
Scale-Out
스토리지
스토리지
서비스
데이터
백업
데이터
아카이빙
VM
가용성
증대
스토리지
관리
스냅샷 등
데이터
복제본 관리
모니터링
관리 툴
블록
스토리지
가상화
초고성능
File 공유
Scale-out
Block
무한확장
Object
어플라이언스 및 에서 제공되는 IBM 소프트웨어 정의 스토리지 제품군
메타
데이터
분석
4. IBM 비정형 Data Container 솔루션 비교
구분 IBM Spectrum Scale IBM Cloud Object Storage
워크
로드
HPC (슈퍼컴퓨팅, AI)
Big Data Analytics
클라우드,
Native Object Application
초 고성능 File Sharing 비정형 데이터 통합 저장소
초 고성능 File Processing 아카이브, 소산, 배포
특장점
✓ 업계 1위의 High Performance
✓ 수백PB 이상의 대용량 파일시스템
✓ 1조개 이상의 파일
✓ 무한 확장
✓ 신뢰성 99.9999999999999%
✓ Multi-site 분산 저장
7. 오브젝트 스토리지에 대한 오해
S3 프로토콜을 지원하면 Object 스토리지 이다.1
오브젝트 스토리지는 아카이빙 / 백업용이다.2
오브젝트 스토리지는 신뢰성이 떨어진다.3
✓ 저장 아키텍처가 정통 Object Storage 이어야 Object Storage의
다양한 특성을 활용할 수 있다.
✓ S3를 지원하는 NAS는 Object Storage가 아니다.
✓ Object Storage를 아카이빙/백업 S/W가 적극 지원하면서 생긴
오해이다.
✓ Object Storage는 미션 크리티컬 한 비정형 데이터 저장을 위한
솔루션 이다.
✓ Object Storage는 비정형 데이터를 위한 최상의 신뢰성을
제공한다.
✓ 9-nines (99.9999999%) ~ 15-nines (99.9999999999999%)의
신뢰성을 보장해야 진정한 Object Storage 이다.
8. 오브젝트 스토리지의 탄생 배경
대용량 저장소의 필요성
• 대형 포털사
• Google, AWS 등 클라우드 서비스
• 컨텐츠 서비스 (Facebook,
YouTube)
고 신뢰성 저장소의 필요성
• 수백 PB ~ 수 EB
→ 전통적 Data 백업 불가
→ 그러나, Data는 존립을 위한
필수 요소
✓ Scale-out 구조 (용량, 성능)
✓ Meta Data Table 제거
✓ Object 개념 도입 (폴더, 파일
등등이 동등한 Level의 Object로
저장)
✓ Hardware 비용 최소화 (범용 서버
사용)
✓ Bucket 개념 도입 (멀티테넌시
지원)
✓ 백업 및 리스토어 불가
✓ 컨텐츠가 비즈니스
✓ Disk 장애에 대비 (패리티 블록
증가, +1, +2, +3, +4, +5, +6…)
✓ 노드 장애 대비 (블록 복제 or
Erasure Code)
✓ Site 장애 대비 (분산 저장)
✓ Self-Healing
지역적으로 분리된 사용자
• Global Storage 서비스
→ 각 지역의 사용자는 응답
성능이 빠른 가까운 곳으로
접속
✓ 멀티 사이트에 분산 저장하는
가상화 된 단일 저장소
✓ 사용자는 가장 빠른/가까운
시스템을 통하여 Data에 Access
✓ 지역적으로 불규칙한 사용자 분포
→ 각 사이트 마다 Access 성능
조정
Google, Facebook, YouTube 등 대용량 비정형 데이터 저장소가 필요한 서비스를 위해서 개발됨
10. 일반적인 (NAS) 파일시스템의 Meta data 저장 구조
일반적인 File System의
Meta Data 저장 Architecture
Database의 Table 구조와 유사
(다수의 Field로 구성된 Big Table)
파일 개수가 많아진다
= Table의 Record 수가 많아진다
= Record 조회성능이 떨어진다
= Meta data Access 성능이 떨어진다
Table 크기에 제한이 있다
= 최대 파일 개수에 제한이 있다
일반적인 파일시스템은 Meta Data를 하나의 DB Table로 관리합니다. 이 Table은 다수의 필드로 되어
있습니다. 파일 개수 증가 시 성능 저하가 발생하는 주 원인 입니다.
11. 일반적인 Object Storage의 Meta Data 저장방식
Object Storage는 무제한 파일 저장을 위하여 일반적 파일 시스템의 Meta Data 저장 방식을 사용하지 않습니다.
Meta Data를 Object로 저장
• 파일 개수가 많아지는 것과 Meta Data조회
성능은 직접적인 연관 없음.
• Meta Data 영역을 별도로 확보하지
않으므로 그 크기에 제한이 없음 → 버켓
내의 최대 파일 개수 제한 없음
Root
Folder1
Folder2
Folder3
Object
Root
Object
Folder1
Object
Folder2
Object
Folder3
Object
file4
file1
file2
file3
file4
Object
file3
Object
file2
Object
file1
Bucket
12. 비정형 데이터 저장소
NAS와 Object Storage는 비정형 Data 저장소라는 면에서 유사하다.
또한, 서로의 영역을 포함하도록 양측이 지원 범위를 넓혀 가고 있어
외관적 기능상 차이는 없어지고 있다. 다만, 각각의 Data 저장
아키텍처의 차이로 인하여 특정 고객 환경에 어느 것이 더
적합한지에 대한 검토가 필요할 뿐이다.
NAS or Object Storage
Cloud 환경에는 Object Storage가 여러가지 측면에서 최적화 되어있다.
(Object Storage는 Cloud 환경에서 비정형 데이터를 저장하기 위해 만들어
진 솔루션이다.)
다중 업무가 복합되어 있고, 대용량 저장소가 필요하고, 데이터의 가용성이
중요할 수록 Object Storage가 더 적합하다.
13. 비정형 데이터 저장소 비교
구분 Object Storage NAS
저장소
크기
✓ 데이터 저장소가 더 크고 오래 저장되
고 다수의 Application이 혼재된 환경
에 적합
✓ 저장소 크기가 크면 클수록 Object
Storage 가 유리
✓ NAS는 빠르게 변화하는 데이터 또는
소규모 저장소를 위한 더 단순하고 우
수한 성능
데이터
접근 방식
✓ 동일 데이터 센터 또는 장거리 및 분산
된 다른 위치에서 데이터에 액세스
(WAN 구간 포함)
✓ 동일 데이터 센터 및 동일 LAN 간에서
의 데이터 엑세스
지리적
규모
✓ 다수의 클라이언트를 동시에 지원할 수
있는 빠르고 안정적인 오브젝트 스트리
밍, 로드 밸런싱 및 다양한 캐싱 메커니
즘 → 대규모 분산 저장환경에 유리
✓ 로컬에서의 고성능 Access, 대용량 파
일 처리, 배치 처리 등에 유리한 아키텍
처. 신뢰성 있는 네트웍 구성 필요.
14. 비정형 데이터 저장소 비교 (계속)
구분 Object Storage NAS
데이터
보호
✓ FEC(Forward Error Correction) 또는
Erasure Coding 등의 내결함성 기술을
사용하여, 스토리지 노드에 오브젝트
(파일 데이터 + 관련 메타데이터)를 배
포하고 복제 (최대 신뢰성
99.9999999999999%)
✓ RAID를 사용하여 데이터를 스트라이프
or 미러
✓ 최대 신뢰성 99.999%
✓ RAID의 문제 : 데이터 폭증에 대응하기
위해 대용량 디스크 드라이브의 적용으
로 드라이브 손실 시 생존 능력이 점점
더 약해 짐.
최적 환경
✓ 용량, 지리적 범위 등 기존의 IT 환경을
초과하는 대용량 저장소 or Cloud 환경
→ Object Storage : 간편한 적용 및 다
양한 장점 제공 (NAS로 구현하려면 많
은 시행 착오와 노력 및 비용이 필요)
✓ Cloud-type 어플리케이션 → RAID와
같은 기존 기술보다 자가 치유 Erasure
Coding이 빠르고 효율적이며 더욱 유
용함
✓ 소규모 사이트와 데이터 볼륨 →
Scale-up NAS : 효과적이고 구현이 단
순함.
✓ 데이터 센터에 완벽한 성능과 Low
Latency가 필요하고 CIFS/NFS가 필수
인 애플리케이션과의 호환성 → Scale-
out NAS
16. 구성의 유연성
가용성/용량 요구 조건에 따라
다양한 Parity 구성 가능
용량/성능이 정해진 모델을 선택해야 함
특정 (12+4 / 10+2) Parity로 제한
스토리지 확장성
API 호환성
용량/성능 요구 조건에 따라
각각 단위 별 증설 가능 필요시 용량/성능 동시 증설해야 함
H/W선택 유연성
일부 X86 모델로 제한됨
(HPE SL4540, Dell R730XD, DSS 7000)
N사가 ICOS를 선택한 다섯 가지 이유
IBM Certified 상용 X86 서버 구성
(Lenovo, HPE, Dell, Supermicro 등 다양)
S3 API 호환성 90% S3 API 호환성 50% 내외
타사
Object Storage
최대 8 사이트 까지
멀티 사이트 Active-Active 구성
Data Replication 기반
Active-Standby
멀티 사이트 지원
17. Key Point 1. 구성의 유연성
Manager
Accesser
Slicestor
Manager Node, 1U
GUI관리, 시스템 구성 정보 등 저장
시스템 당 최소 1대 ※ 2대로 Active-Active 구성 가능
Gateway Node, 1U
S3 (http/https) 프로토콜 기반 데이터 I/O 처리
성능 요건에 따라 수량 산정
Storage Node, 3U
HDD 12Bay의 스토리지리치 서버
데이터 분산 저장 용도
시스템 당 최소 3대
용량 요건에 따라 수량 산정
IBM Cloud Object Storage는 Manager(시스템 관리/모니터), Accesser (데이터 I/O),
Slicestor (데이터 저장)으로 구성됩니다.
18. Key Point 1. 구성의 유연성
#1 높은 안정성
6D+6P 구성
Usable 845TB
안정성 99.99999999999% ( Thirteen 9’s )
Manager Node x 1대
Accesser Node x 3대
Slicestor Node x 12대
Total 40U
Physical 1.7PB 구성
#2 표준 구성
8D+4P 구성
Usable 1130TB
안정성 99.9999% ( Six 9’s )
#3 고용량 구성
9D+3P 구성
Usable 1270TB
안정성 99.99% ( Four 9’s)
물리 용량 1.7PB의 시스템을 가용성 및 용량 요구조건에 따라 다양하게 구성할 수 있습니다.
.
19. Key Point 1 + 𝛂 ICOS의 높은 안정성
3-replication ICOS IDA(12-8-10) 구성
Usable
1PB
3 Replication : Physical 3PB
IDA 12-8-10 : Physical 1.7PB
FAB: Building Distributed Enterprise Disk Arrays from Commodity Components @Arif Merchant, Google
Storage Analytics
IBM Cloud Object Storage의 데이터 보호 기술은 표준 구성(8D+4P)에서도 3 Copy 시스템
대비 100배 이상의 안정성을 제공합니다.
20. 참고 : ICOS의 Data 보호 방식 (Information Dispersal Algorithm)
IBM Cloud Object Storage는 IDA라는 규칙을 기반으로 데이터를 저장합니다. Accesser를 통해 유입된 Data는 4MB 단위의
Segment로 분할되며, Segment는 Erasure Coding 기반의 IDA에 따라 분할돼 Storage Node (Slicestor)에 분산 저장됩니다.
IDA 규칙 예시 : 12-7-9
Width
: Slicestor 수
Read Threshold
: 12대의 Slicestor 중 Data Read를 위해 필요한 최소 Node 수.
12대 중 가장 빠른 응답시간을 보인 8개 Node에서 데이터 Read.
최대 5대의 node가 Down 되더라도 데이터 읽기에 문제가 없음.
Write Threshold
: 12대의 Slicestor 중 Data가 쓰여지는 데 필요한 최소 Node 수.
* Read threshold 보다 커야 함.
Write threshold에 도달 하면 다음 쓰기 작업 수행
Original Data
$
Accesser
$
4MB4MB4MB4MB4MB
7
6
5
4
3
1
2
12
11
10
9
8
7
6
5
4
3
1
2
12111098765431 2
Storage Nodes
SITE 2 SITE 3
SITE 3SITE 1 SITE 2
1
2
3
4
5
6
7
8
9
10
11
12
① 데이터가 Accesser를 통해 Ingest ② 4MB Segment 분할
③ Segment를
Slice로 분할
④ Erasure
Coding으로 Slice 추가
⑤ 각 Slice를 Storage Node (Slicestor)에 분산 저장
IDA규칙
기반으로
Slice 추가
원본 Slice
12 7 9
Reliability 최대 99.9999999999999%
21. Key Point 2. HW활용성
IBM Cloud Object Storage는 Cisco, Dell, HP, Lenovo, SuperMicro, Quanta 등 6개
Vendor의 표준 모델을 지원 하며, 고객의 요구 사항에 따라 아래 제품 외 타사 및
타제품의 H/W Certification을 지원합니다.
• HP Branded Appliance (Gen9/Gen10)
– DL 360 / DL 380
– Apollo 4200 / 4510 / 4530
– HPE Smart Array Gen10 SAS Controllers
• Cisco Branded Appliances
– USC-C3260 M4 / C3260-M5
– USC-C220 M4 / C220 M5 / C240 M5
• SuperMicro Branded Appliances
• Lenovo Branded Appliances
– X3650 / X3550
– SR 650 / SR 630
• Dell Branded Appliances
– R740
– DSS7000
• Quanta Branded Appliance
– QuantaGrid D51PH-1U
IBM의 Appliance 제품 외에도 IBM의 인증을 받은 업계 표준 플랫폼 하드웨어를 지원합니다
22. Key Point 3. 확장성
ICOS는 추가 용량 증설 시 스토리지 노드를, 성능 증설 필요 시 게이트웨이 노드를 각각
추가해 용량, 성능을 확장할 수 있습니다.
구 분 Access Pool(성능) Storage Pool(용량)
온라인 확장 Yes Yes
상이한 노드
(용량/세대)
Yes Yes
확장 기준 제약사항 없음
• 기존 용량 증설 시, 기존 IDA를 따르며
증설 (노드 수, 용량)
• 신규 Pool 생성 시, 제약 없음
[ Access Pool ]
https://<LB-IP>/platium-bucket
https://<LB-IP>/gold-bucket
Load
Balancer
기존 Pool
(12/7/9)
신규 Pool
(6대)
[ Storage Pool ]
Platinum-container
용량 확장
성능 확장
사용자/버킷
Gold-container
23. Key Point 3. 확장성 > 성능 증설 사례
Dell C6220
12 Slicestor
Accesser
1, 2, 3, 5, 9, 12대 증설 및 성능 Test
Test 환경 구성 Test 결과
3505
6929.69
9850.09
14540.58 15683.35 16735.49
96.4
190.53
270.77
399.92
431.44
460.15
0
100
200
300
400
500
0
5000
10000
15000
20000
25000
Accesser 증가 시 성능 변화
OPS Bandwidh(MB/s)
타사 PoC환경에서 게이트웨이 노드(Accesser) 추가 시 실제로 ‘선형적인 성능 증가’가 증명되었습니다.
• SAS 1TB 6ea
• 2 Intel ES-2620 6core
• Memory 64GB
• 10G NIC 2port
• 1G NIC 2port
24. Key Point 4. Multi Site 구성
6개 사이트 구성 예시 – 단일 네임 스페이스 (24D+6P 적용 시)
Geo Dispersed
Site D
Site E
Site F
Site A
Site B
Site C
Manager X 2
Accesser X 12
Slicestor X 30
[동작 방식 설명]
① 각 사이트 별 사용자는 해당 사이트의
Accesser에 접속
(성능/이중화 요건 고려 2대 이상 권고)
② 24D+6P 적용 시, 사이트 별 스토리지 노드
5대씩 구성
③ 1개 사이트가 완전히 다운되어도
나머지사이트에서 데이터 액세스 가능
④ 전체 6 노드 장애 시에도 데이터 읽기 가능
⑤ 전체 4 노드 장애 시에도 데이터 쓰기 가능
ICOS는 데이터 분산 저장에 기반한 설계로, 최대 8 사이트까지 단일 네임 스페이스에서 Active-
Active 구성이 가능합니다.
25. Key Point 5. S3 API 호환성
ObjectApiTest: 22 total, 22 passed BucketApiTest: 29 total, 24 passed
Grand total : 46 Passed / 51 total (90%)
Sample
2017-12-07 16:33:24 [DEBUG](request :1183)
com.amazonaws.http.AmazonHttpClient$RequestExecutor
executeOneRequest Sending Request: PUT http://10.250.11.147
/ncptest-20171207163324386/destination.txt Headers: (x-amz-copy-
source: /ncptest-20171207163324315/source.txt, Content-Length: 0,
User-Agent: aws-sdk-java/1.11.238 Mac_OS_X/10.10.5
Java_HotSpot(TM)_64-Bit_Server_VM/24.79-b02 java/1.7.0_79, amz-sdk-
invocation-id: dcc2928e-3841-b3a6-9211-c8cf736b2785, Content-Type:
application/octet-stream, )x-amz-copy-source:/ncptest-
20171207163324315/source.txt
S3 API 호환성 테스트 결과, N사가 요구한 51개 API 기능 중 46개를 지원해, 경쟁사 대비 월등히
뛰어난 API 호환성을 기록했습니다.
26. Key Point 5. S3 API 호환성
Logical Layer
(KVM)
Physical Layer
(x86 X 3)
10Gb Ethernet
M1 SMC1 SMC2
A1 A2 A3
S1 S4 S7
S2 S5 S8
S3 S6 S9
Q’ty CPU Memory Network HDD Disk
3
Intel Xeon E5-2690 v3 2.6 GHz +
2sockets (16cores +)
32GB + 10Gb Ethernet
200GB+ X 2 (OS)
200GB + X 4+(Data)
N고객사 도입 시의 S3 API 호환성 BMT 환경입니다. 기능 호환성 검증을 위해 어플라이언스 장비가
필요한 타사와 달리, ICOS는 가상머신 환경에서도 API 호환성 테스트가 가능합니다.
28. ICOS 어디에 적용하면 좋을까요?
비 정형데이터 통합 저장소
Enterprise Contents
Management
PC 백업
협업 시스템 (공유)
백업 + 자동소산
아카이브
파일저장이
필요한
모든 App.
29. ICOS – Best Practice
A
데이터 저장소 구축
가상화 된 하나의 저장소
S
1단계
S S S S S
A A A A A
• 각 생산 라인 및 센터에 Slicestor 분산 배치
• 각 지역의 부하를 고려한 Accesser 배치
30. ICOS – Best Practice
• 생산로그 수집&분석
• 문서중앙화, 그룹웨어
• 전 직원 PC백업,부서용 NAS
• 전사 Archive Storage
• 통합 백업 Storage + 자동 소산
#1 데이터 안정성
#1 용량/성능 확장성
필요한 용도의 서비스를 개통2단계
가상화 된 하나의 저장소
31. 제조 현장 비정형 데이터(이미지, 설비로그 外)를 HQ Data Lake와 연동
Log Files
Image Files
Numeric Data
이천 NAS
청주
Catalog
Hadoop
User
Search /
Download
TCP/S3 Protocol (HTTP/HTTPS)
NFS
NFS
NFS
Log /Image Files
Portal
HQ
Landing Zone
Batch Agent
(Java API)
Vault Mirror
(Async)
TCP/S3
Content Search Agent
(Java API)
API Server
Search & Download
(Java API)
✓ 배치 에이젠트를 이용하여 NAS 및 설비 데이터을 오브젝트 스토리지 저장소로 복사
✓ 오브젝트 스토리지에 저장된 데이터를 Spectrum Discover을 이용하여 Catalog 생성
✓ API 서버을 이용하여 빠른 검색 및 다운로드 지원
32. 지점 (Spoke) → 센터 (Hub) 연동 방안
Hybrid Data Spanning
통합 저장소
HUB
• Larger Scale
Durable and
HA.
• Cloud Service
or Large On-
Prem Data
Lake.
센터 (Hub)에 통합 저장소를 구축하고 각 지점 (Spoke)에서 생산된 Data를 연동 저장
✓ 로드맵 (2020)
Spoke
1 or more
• Smaller Scale
• Maybe less durable
• NVME Disk 지원
활용 방안
✓ 센터의 데이터에 대한 지점의 Access 성능 향상
(R/W Caching)
✓ 센터에서의 Analytics/AI 분석을 위한 데이터 복제.
✓ 지점들의 데이터 보호를 위한 통합 DR/Backup
센터 구축
✓ 지점 Data의 티어링 (Active/Lifecycle
Management)
…
34. ICOS의 존재의 이유
✓ 무한 확장
• 비정형 Data의 통합 저장소로서…
가속되는 데이터 증가율에 대응하기
위해 지속적인 저장소 확장의 필요성
Scalable Object storage
No limits
온라인 중 성능/용량 확장
✓ 데이터 자동 소산
• 비정형 Data의 통합 저장소로서…
백업/아카이브 Data의 보호 극대화를
위한 리모트 자동 소산의 필요성
패리티 분산 저장을 통한 비용효율적
데이터 소산
2 Site는 물론 3~8 Site 까지 Data 분
산 소산 가능
✓ Global 서비스
• 비정형 Data의 통합 저장소로서…
사용자 위치에 관계없이 최적의 접속
환경 제공의 필요성
Active-Active Site
사용자 위치에 관계없는 Data 접속
GSLB 연동
✓ Storage 신뢰성 극대화
• 비정형 Data의 통합 저장소로서…
가용성, 안전성, 관리 편의성 등 지속
적인 서비스 유지를 위한 필요성
Fifteen 9s Reliability
Disk, Node, Site 장애 대비
Better manageability
36. IBM COS의 Hardware 요구사항
IBM COS는 저 사양의 Hardware에서도 잘 동작 합니다.
Category Manager Accesser Controller Slicestor Slicestor Slicestor
Model M3110 A3110 C3110
Slicestor
12
Slicestor
53
Slicestor
106
CPU Cores Single 8 Single 12 Single 8
Same as
Controller
Same as
Controller
Same as
Controller
Memory 96 GB 192 GB 96 GB
Same as
Controller
Same as
Controller
Same as
Controller
Disks Per Node
2
Boot/OS
2
Boot/OS
2 Boot/OS 12 53 106
Disk Type
960 GB
SSD
480 GB
SSD
480 GB
SSD
4TB, 8TB,
12TB HDD
4TB, 8TB,
12TB HDD
4TB, 8TB,
12TB HDD
Max Raw Capacity 1,920GB 960GB 960GB 144TB 636TB 1272TB
Rack Units 1U 1U 1U 2U 4U 4U
37. ICOS의 일반적 구성도
10GE or 40GE
Service Network
TOR Switch
업무 서버
사용자
Accesser®
Slicestor®
38. 재활용 장비 활용
10GE or 40GE
Service Network
TOR Switch
업무 서버
사용자
✓ 기 보유 서버에 Memory 및 HDD, NIC 등을 추가한 후 ICOS 설치
✓ 환경 설정 후 운영 개시
Accesser®
Slicestor®
39. Computing 노드의 Renewal 주기 감소 필요
• Intel CPU의 지속적인 신규 모델 발표와 기능 향상으로 3년 전 모델과 비교 시 대략 60% 이상 성능 향상
• 특히, 가상화 Pool 등의 Computing 노드는 Renewal 주기 감소가 더욱 필요함
40. Computing 노드 → Storage 노드 전환 (예시)
Computing 노드 도입 Storage 노드 전환
3년 후
▪ 자원 사용 최적화를 위하여 도입 및 전환 정책 수립 필요
▪ 각 노드들의 수요 분석 후 전환 대상 수량 산정
▪ Storage 노드 전환을 대비하여…
✓ 총 사용 기간 동안 MA 계약 방식 검토
✓ 노드 전환 시 추가 부품 구매 방식 검토
✓ Computing 노드 도입 시, 전환 비용 최소화를 위한 설계 필요
① 전면부에 불필요한 Indicator 제거 및 Disk Bay 전체 장착
② OS Disk는 서버 후면에 설치 (가능한 경우)
③ 전원공급장치 등은 전환 후를 고려해 용량 산정
④ Data Disk는 Storage 노드 전환 시 구매