SQream-GPU가속 초거대 정형데이타 분석용 SQL DB-제품소개-박문기@메가존클라우드

1. GPU Accelerated Bigdata Analytic DBMS Powered by Megazone Cloud 초-거대(>1PB) 정형데이타 분석에 최적화 SQL DB

2. Documentation History Revision Date Editor Contents Comment 0.1 2021-01-31 SQream Korea 최초 작성 0.3 2021-06-30 전성호 사례 추가 및 보강 0.5 2021-12-31 박문기 사례 추가 및 HW 보강 0.6 2022-01-31 김현준 사례 추가 및 HW 보강, SW 보강 1.0 2022-04-15 박문기 김현준님 자료와 합병 1.1 2022-05-13 박문기 Hadoop 시스템 개요 및 변천과정 추가 Revision History Date Written by Documentation Title 2020-01-31 SQream Korea SQream Original Documentation

3. 회사연혁 o 2010년 설립 뉴욕 본사 7 WTC New York | 이스라엘 텔아비브 소재 연구소 o 2016년 상용화 버전 출시 o 2017년 Alibaba Partnership 체결 o 2018년 Alibaba 투자 유치 o 2019년 SQream Version 2 출시 o 2019년 02월 한국 LGU+ 수주 o 2019년 06월 SQream Version 3 출시 o 2020년 06월 투자유치 (B+, Mangrove Capital) o 2020년 08월 한국 SK Telecom(주) 수주 o 2020년 12월 한국 KB Card(주) 수주 o 2021년 04월 한국 삼성디스플레이(주) 수주

4. 4차 산업시대 DATA의 위치 정보화시대 쌀 반도체, AI시대 쌀 DATA DATA IT for Business IT is Business Data for Business Data is Business AI for Business AI is Business AI, Open the age of wisdom GPU/IPU-가속 활용영역 확장 1. Game, Rendering, Video Transcoding, 암호화폐마이닝 2. AI Deep Learning 3. GPU Database 4. MCMC 금융공학(Quantec) 5. HPC Simulation(nFlow) 6. Live SR-(Expresso Media) 7. 메타버스

5. Hyper-Massive 정형데이타 처리에 최적화된 rDBMS형, GPU가속형 분석DB SQREAM은 수백TB ~수백PB에 이르는 초-거대용량 정형데이타 분석용 SQL DBMS 분석DB

6. MPP Data Loading Problem MPP 초당 150M(약 0.145G) * 60초 * 60분= 서버30대 시간당 512G 로딩 가능, SQream는 100Gbps에 시간당 V100 GPU 1개당 2.5T~6T 로딩가능

7. SQream: GPU-Accelerated AnalyticDB 분석DB GPU로 가속된 rDBMS형, SQL을 지원하는 초-거대용량 “정형” 빅데이타 처리용 병렬•분석DB 2005~ In-Memory Omnisci (MapD) Kinetica Aerospike SAP HANA VoltaDB IBM-DB2 BLUM emSQL Altibase 2010~ MassiveData 1990~ MPP(EDW) Teradata MongoDB Vertica Redshift Or acle-Exadata IBM-Netezza Greenplum Sybase IQ Oracle DB2 SQLServer Informix Sybase ASE SQreamDB Hadoop-Hive Snowflake BigQuery 1970~ ClassicalRelational 2010~ NO-SQL o 1) WIDE COLUMN DATABASE(Store) Hbase, GoogleBigTable, Vertica, Druid, Accumulo, Hypertable o 2) GRAPH DATABASE Neo4j, Blazegraph, OrientDB o 3) DOCUMENT DATABASE(Store) MongoDB, Azure CosmosDB, CouchDB, MarkLogic, OrientDB o 4) KEY-VALUE DATABASE(Store) Cassandra, LevelDBRocksDB, Redis, Oracle NoSQLDB,Voldemorte, Oracle BerkeleyDB, Memcached, Hazelcast RelationalDB NoSQL & Hadoop Public Cloud Only GPU Database GPU Accelerated+rDBMS-SQL+MPP+NO-SQL(WIDE COLUMN, Key-Value DB)  SQream AnalyticDB

8. Data Lake / Data Dam EDW구축•분석을 위한 MPP 대체 SQREAM 위치 OLTP Other Bigdata Data Integration Data Integration Data Warehouse Data Mart Data Mining Analytic ETL  E,L ETL  T OLAP ETL / CDC ETL / CDC

9. Bigdata Apache Hadoop Eco-System

10. Bigdata Apache Hadoop Eco-System  왜이리 복잡한 것이야!! 우린 그동안 RDBMS만으로 잘 처리해 왔는데..  정형, 비정형, 반정형 다 처리 잘 한다고, 그건 Naver나 Kakao, 우린 정형밖에 없어!  Java로 MapReduce 분산Framework Program을 짜야 한다고,  NO-SQL, Key-Value 중심이라고, RDBMS-SQL은 지원하는 것인가?  대규모 분산 병렬이면서 대규모 Sorting, Joining, Grouping은 왜 이리 느린거지?  왜이리 수 십대의 서버들이 필요한 것이지!!  어 비용이 100억대야..참나!!

11. Column DataLake, Bigdata(Hadoop) 정형데이타 처리부분  SQream 대치 Google 2003 Map Reduce GFS (Google File System) Hadoop MR1, Spark, Tez, MPI4Dask HDFS (분산병렬스토리지시스템) HIVE (SQL-on-Hadoop) Impala(클라우드데라) Apache-Tajo(그루터) Stringer(호튼웍스) Drill(맵알) HAWQ(피보탈) Spanner(Google) GPU 가속 분석DBMS RDMA, RoCE GPUDirect, GDS YARN Job Scheduler HPC SuperCom MapReduce Shared Memory MPI BSP Lustre, GlusterFS,... LSF, Slurm Job Scheduler MR2 MR3 Key-Value Document 정형 반정형 비정형 PrestoTrino(Facebook) Graph Map Reduce V1 V2

12. SQream 분성DB 위치 Dataware house+Data Lake = Lakehouse: SQream의 위치 Lakehouse

13. EDW 아키텍쳐 SQream for LakeHouse Warehouse+DataLake=Lakehouse

14. TELECOM 기존 업무 프로세스 대비 최대 32배 성능 개선 평가 기존 시스템 하둡 100대 서버 SQream GPU 서버 1대 업무 1일분석업무 시간분석업무 1일분석업무 시간분석업무 APP서비스 그룹별 분석 2:03:00 0:11:46 0:04:06 0:00:14 eNB 별 서비스 분석 1:48:00 0:12:28 0:24:46 0:01:13 단말기별 서비스 분석 0:52:00 0:06:49 0:05:24 0:00:15 요금제별 서비스 분석 1:10:00 0:07:29 0:19:06 0:00:53 장비별 트래픽 분석 NA 0:03:59 NA 0:00:30 IOT 단말 기반 POS별 서비스 분석 0:22:00 0:03:43 0:06:01 0:00:20 IOT 단말 기반 서비스 분석 0:23:00 0:04:50 0:05:16 0:00:17 CDR Data 합계 산정 결과 도출 불가 결과 도출 불가 0:00:21 0:00:10 CDR Data – 평균 구성 시간 분석 결과 도출 불가 결과 도출 불가 0:00:27 0:00:14 CDR Data – 통화시간 분석 결과 도출 불가 결과 도출 불가 0:00:25 0:00:13 데이터 조인 업무 결과 도출 불가 결과 도출 불가 0:02:21 0:00:54 기존 플랫폼: 하둡 100대 서버 노드 vs. SQream 플랫폼 GPU 서버 노드 1대 국내통신사 사례 (L사): 최대 32배 성능 개선 국내 “L통신사”

15. 국내통신사 사례 (S사): 업무 개선 내역 상세 TELECOM 기존 Hadoop에서 어렵고 긴 분석 시간 단축을 위한 전처리 플랫폼 구축 국내 “S통신사” 업무 데이터기간 ORC Flat File (Raw Data) 데이터건수 기존 Hadoop 시스템 SQream DB 요약 Routine1 1일 68 GB 760 GB 40억 420초 55초 1일 데이터 최소 53초~ 최대 59초의 실행시간 평균 17일 1.12 TB 12.54 TB 660 억 NA 60초 Routine2 17일 1.12 TB 12.54 TB 660 억 NA 1,260초 특정 테이블들을 대상으로 sub-routine 업무쿼리 실행  1일 데이터 - 68GB ORC 파일, 약 40억건, 약 760GB Raw Data 대상 쿼리 실행  17일 데이터 – 1.12TB ORC 파일, 약 660억건, 약 12.54TB Raw Data 대상 쿼리 실행

16. 국내 제조사 사례 (S사): 업무 개선 내역 상세 72억건 데이타 적재・조회, Oracle ExaData 8대 vs. SQream 1대: SQ가 5배 속도 빠름 Business Units Application Layer SQream을 통한 초고속 전처리 엔진 구성 SQream을 통한 초 고속 전처리 엔진 구 성 Marketing Audit Sales Quality ETC Sorce Oracle 82 EA Data Extract Data Load 제조사 . . .

17. 금융권: IFRS17 보험 BEL 분석 PoC 보험사 미래현금흐름(BEL) 분석시간 기존 P.SQL 1h13m  SQ 1m20s 성능개선 국내 “G사” o 지아컨설팅-KAS + SQREAM 벤치마크환경 진행사항 o 10만건 기-계약데이터에 미래현금흐름(BEL) 산출쿼리 o PostgreSQL(CPU) vs. SQREAM(GPU) o PostgreSQL 10만건 동시 진행 o SQREAM 10만건 동시 진행 o SQREAM 5,000만건 진행 SQream DB (100,000) PostgreSQL (100,000) 1m20s 1h13m SQream DB (50,000,000) 3h13m o 일반적으로보험사의현재계약건수는2억건이상. o 2~3년전수행한IFRS프로젝트의목표수행시간은D+5~D+7임 o 2023년1월적용시작을위해서는최소1년간의테스트가필요하여아무리 늦어도2022년6월까지는도입완료하여야만함 o 매월1회수행및신규상품개발시몇번씩수행해야만함 AWS Aurora-PostgreSQL, VMWare Greenplum

18. 국내 제조사 사례 (L사): 가전 정보 수집 전세계 백색 가전 데이터 수집 및 마케팅 활용, 사용자 편의 제공 제조사 AWS S3

19. SQream vs Cloud Based Bigdata System SQream vs. Cloud Based Bigdata System

20. 해외 사례 o 하루 종일 3G/4GL/5G 데이터 처리 량을 보여주는 대시보드 제공 o 이동통신 가입자 대상 네트워크 사용량 분석 o 약 43억건 (3000만명) o AD-Tech 온라인 광고 극대화를 위 한 데이터 분석 o PT 규모 데이터 분석 해외사례들: SQream  MPP, Hadoop 대체

21. 빅데이타 처리용 SQream 핵심 성능최적화 기법 SQREAM, 수백TB~수백PB에 이르는 초-거대용량 정형 데이터 분석용 GPU로 가속된 SQL DB 플랫폼 분석DB I/O isolation: 저장, 입출력, 메모리간-이동 Parallelism: 병렬 분산 처리

22. SQream Analytic SQL DB 핵심기술 1 2 3 4

23. SQream Technology(1): GPU기반 Parallel Processing • GP-GPU(General Purpose GPU, NVIDIA V100, A100, H100)기반의 벡터연산 + 선형대수연산(Data Processing, AI)에 적합한 GPU • 수 천개의 병렬 프로세싱 코어들 – NVIDIA의 TESLA H100 모델은 16,896개의 Cuda Core수 제공 • GP-GPU HDM메모리 Throughput – ~900GB/s • NVIDIA의 CUDA FRAMEWORK은 Massively Parallel Processing 기술 제공 • 대용량 통계학적인 분석 처리에 차별화(압축 알고리즘 처리 및 Group By 분류, Sum, Avg, Count, Max, Min 등) AMD EPYC 9004 GENOA CPU 96 Cores vs. NVIDIA H100 GPU 16,896 FP32 CUDA Cores

24. SQream Technology(1): GPU기반 Parallel Processing Cores 비교 구분 서버 100대 MPP 서버 2대 SQream w/ NVIDIA H100 GP-GPU 각 8개=총16개 CPU Core AMD 96Cores x 2 Sockets: 128C x 2 Sockets x 100대 = 25,600 CPU Cores AMD 96Cores x 2 Sockets: 128C x 2 Sockets x 2대 = 512 CPU Cores NVIDIA H100 GPUS: 16,896C x 8 x 서버 2대 = 270,336 GPU Cores Memory DDR 512G x 10 = 5,120G DDR 512G x 2 = 1,024G GPU HDM2 32G x 8 = 256G DBEngine# 100 DBEngines GPU# 총 16개 * 최대 8 Engines = 128 DBEngines 10.5배

25. SQream Technology(1): 강력한 CPU+GPU 쿼리 성능 SQL컴파일러 및 최적화 도구 : 기존 SQL을 변경 없이 그대로 수행 o SQream DB는 기존에 사용하던 ANSI-92 기반 SQL 쿼리를 자동으로 병렬 처리가 가능한 관계형 대수 연산( Relation al Algebra)용 쿼리로 사용자 개입 없이 내부 SQL 컴파일 러에 의해 CPU+GPU 자동 재-최적화 수행 o GPU Core는 최적화된 쿼리를 사용 대량의 병렬연산을 효율적으로 수행 o 주로 Filter, Join 등의 복잡한 작업들은 가산 및 곱셈과 같 은 수학적개념으로 대치되어 GPU 연산으로 뛰어난 효 과

26. CPU & GPU 동시 병행 처리 최적화 컬럼명 실행장소 설명 Rechunk 여러 개의 작은 청크를 모아 큰 청크로 재구성. 일반적으로 조인 후 및 HIGH_SELECTIVITY를 사용할 때 발견 됨 Reduce GPU GROUP BY와 같은 reduce 작업 ReduceMerge GPU 축소 작업의 병합 작업으로 RAM보다 큰 데이터 작업에 도움이 됩니다 ReorderInput 다음 작업을 준비하기 위해 인수 순서 변경 SeparatedGather GPU 결과에 대한 추가 column을 수집 Sort GPU 정렬 SortMerge CPU 정렬 작업의 병합 작업으로 RAM보다 큰 데이터 작업에 도움이 됩니다 SortMergeJoin GPU GPU에서 수행되는 sort-merge join TakeRowsFromChunk ORDER BY와 함께 사용될 때 LIMIT를 최적화하기 위해 각 청크에서 처음 N 개 행을 가져옴 Top LIMIT 혹은 top 와 함께 사용할 때 크기를 제한 UdfTransform CPU 사용자 정의 함수(UDF)를 실행 UnionAll UNION ALL이 사용될 때 두 데이터 소스를 결합 VarCharJoiner Internal하게 사용됨 VarCharSplitter Internal하게 사용됨 Window GPU Non-ranking 윈도우 함수 실행 Window Ranking GPU Ranking 윈도우 함수 실행 WriteTable CPU 결과 집합을 디스크에 저장된 표준 테이블에 기록

27. H/W: HBM(High bandwidth Memory) GPU Memory o NVIDIA GP-GPU 계열은 HBM(High Bandwidth Memory) 사용 o D램을 여러 개 쌓아 한 번에 전송할 수 있는 데이터의 용량(메모리 대역폭)을 크게 늘린 메모리 확장구조 o 수직으로 RAM을 쌓기 때문에 RAM과 GPU 간 거리와 회로 길이를 과감하게 줄이고, 메모리의 집적도 역시 높일 수 있음 o GDDR 방식보다 와트 당 성능이 3.5배 증가하고 소비 전력 역시 훨씬 낮으며 보드의 표면적을 94% 줄일 수 있음

28. H/W: GPU 서버 구성과 속도차이

29. H/W+S/W: RDMA NIC(SQ-SQ Cluster간, SQ-병렬분산스토리지와 통신) • RDMA(Remote Direct Memory Access) NIC(Network Interface Card)  InfiniBand(IB)-Mellanox  iWRAP-Intel  RDMA over Converged Ethernet(RoCE)-STD NO RDMA RDMA

30. H/W+S/W: GPUDirect over RDMA NIC o NVIDIA GPU의 GPUDirect RDMA(Remote Direct Memory Access)기반 o 기존의 방식의 경우 Data 를 GPU Memory 에 load 할 때 CPU 와 PCIe bus 를 거치는 2번의 복사 과정을 진행 o NVIDIA GPUDirect RDMA 기술이 도입된 SQream 의 경우 CPU 와 System Memory 를 사용하지 않고 PCIe bus 를 통해 직접적으로 GPU Memory 에 Direct load 됨 o 데이터 전송 시 병목 현상 최소화 o 사용하지 않는 CPU 와 System Memory 에 다른 작업 수행 가능

31. H/W+S/W: GDS(GPUDirect Storage)

32. o 많은 분석계 기반 (EDW, DM 등의 정보계) 데이터베이스에서 채택됨. o Column계열 데이터베이스 예) Sybase IQ, Vertica, SAP HANA 등 o 빅데이터 분석에 매우 적합함 – 일별•계정별 집계 등 o 데이터 locality가 높기 때문에 “압축율”이 높음 o 필요한 컬럼만 액세스하여 "I/O 감소" SQream Technology(2): COLUMNAR

33. SQream Technology(3): CHUNKING 컬럼 단위 평균 100만 건 묶음 “Chunking”기술 o 컬럼구조로 저장되는 데이터 구조는 100만건수 단위로 “Chunking” (수평적인 세그멘테이션) 되어 관리 됨 o SQREAM 데이터베이스는 기본적으로 “Chunk” 단위로 데이터를 Scanning 하고 시스템 메모리, 그리고 GPU 메모리에 프로세싱을 위하여 주입함 Table Table Chunks Columns  GPU 리소스를 효율적으로 사용할 수 있도록 Chunk 단위 데이터 Store 및 Read o Sqream DB테이블들은 다차원으로 데이터를 파티셔닝하여 확장성을 좀더 늘릴 수 있도록 설계됨. Data Chunking은 Ingest(Loading)하는 동안 자동 수행 o 모든 컬럼 집합은 Data Chunk 단위로 스토리지에 저장 o 자동으로 수직•수평 파티셔닝을 수행하며, Columnar에 대한 선택적 접근 및 chunk 단위 스토리지 사용을 통해 제약적인 GPU 메모리 환경에서도 Transaction이 효율적 으로 처리

34. CHUNK METADATA TABLE SQream Technology(3): CHUNK + SMART METADATA

35. o 모든 chunk에는 해당 chunk 데이터에 대한 메타 데이터 존재(최대값, 최소값 등) o 메타데이터엔 “Chunk”의 Min/Max 등의 정보가 관리 되며 Metadata 프로세스를 통해 분리 관리 o 이는 모든 컬럼엔 인덱스를 대신 하는 초경량의 정보 가 관리 된다는 의미이며 SQREAM의 차별화 된 I/O 분 산 및 최소화 기술 o 따라서 타 데이터베이스 솔루션 같이 무거운 인덱스의 자원 사용이나 관리가 필요 없음 o Example: SELECT * FROM t WHERE YEAR>2017 (all chunks with YEAR<=2017 can be skipped) day month year val1 val2 val3  10 2017     11 2017     12 2017     01 2018     02 2018     03 2018    READ SKIP Automatic, transparent, index replacement SQream Technology(3): SMART METADATADATA SKIPPING

36. SQream Technology(2+3): Always on Compression저장량, 입출력량 감소 고속 데이터 Ingest 및 처리를 지원하는 GPU기반 압축∙해제 o SQream은 데이터 로드 중, GPU를 사용하여 자동으로 데이터를 압축함 o GPU를 사용하므로, 굉장히 빠르게 모든 데이터를 압축 및 해제 가능 o 초고속 데이터를 로딩 ∙ 추출 가능(3~6TB/Hour/GPU당 ingest speed) o 데이터 타입에 따라 자동으로 최적의 압축 방식을 적용하며, 약 1:4 ~ 1:7 의 압 축률과 알고리즘 적용(대략 100GB raw data 로드 시, 20GB 로 압축가능) o DICT – Dictionary compression o Patched Frame-of-Reference (p4d) o RLE – Run Length Encoding o Snappy – CPU-based text compression o 저장용량 감소 및 입출력량 감소 소스 데이터 1PB Data Data Data Data Data Data Data Data Data SQREAM 데이터 - 15TB Ingestion

37. SQream Technology(4): 무한 수평적 서버 확장 가능한 클러스터 아키텍처 o Shared-Storage 아키텍처 - 모든 노드에서는 같이 바라 볼 수 있는 공유 파일시스템이 요구됨 o SQream 자체 부하분산기(WLM, Server Picker)를 통해 워크로드는 현재 비어 있는 GPU Worker에 Assign 됨 o 특정 GPU에 Assign된 워크로드는 GPU를 전체를 다 쓰게 되며 수천 개의 코아를 통해 처리됨 o GPU는 최대 8조각까지 SPLIT 가능하며 이를 통해 Concurrency를 최대화하는 아키텍처로 융통성 있게 구성 가능 GPU Scale-Up, Server Scale-Out 병렬분산스토리지 Compute 노드#  GPU 리소스# ↑ ↑ ↑(NVIDIA V100A100H100)

38. WLM (Work Loader Manager) SQream Storage Cluster Shared File Area (ETL) GPU (32GB) GPU (32GB) GPU (32GB) GPU (32GB) W1 5000 W2 5001 W1 5002 W2 5003 W1 5004 W2 5005 W1 5006 W2 5007 Mem:2TB, Core: 32 GPU (32GB) GPU (32GB) GPU (32GB) GPU (32GB) W1 5000 W2 5001 W1 5002 W2 5003 W1 5004 W2 5005 W1 5006 W2 5007 Mem:2TB, Core: 32 GPU (32GB) GPU (32GB) GPU (32GB) GPU (32GB) W1 5000 W2 5001 W1 5002 W2 5003 W1 5004 W2 5005 W1 5006 W2 5007 Mem:2TB, Core: 32 GPU (32GB) GPU (32GB) GPU (32GB) GPU (32GB) W1 5000 W2 5001 W1 5002 W2 5003 W1 5004 W2 5005 W1 5006 W2 5007 Mem:2TB, Core: 32 GPU (32GB) GPU (32GB) GPU (32GB) GPU (32GB) W1 5000 W2 5001 W1 5002 W2 5003 W1 5004 W2 5005 W1 5060 W2 5007 Mem:2TB, Core: 32 /sqreamdb/cluster /data etlgpu(x.x.x.101) qrygpu01(x.x.x.102) qrygpu02(x.x.x.103) qrygpu03(x.x.x.104) qrygpu04(x.x.x.105) Web Service Mem:244GB, Core: 64 sqleditor(x.x.x.100) worker sqream service etl service cluster SQream Technology(4): SQreamDB 시스템 구성 예 Node: 1 Meta_Server 1 Server_Picker 다수 Worker들

39. SQream Technology(4): GPU당 다수 Worker들병렬처리 성능향상 o Worker는 SQL을 실행하는 SQreamDB의 프로그램으로 GPU당 1~8개로 분할 구성 가능, 아래 예제 구성은 GPU당 2개 Worker로 구성 Node Port # Instance ID GPU # Worker Node#1 5000 worker_01 0 5001 worker_02 0 5002 worker_03 1 5003 worker_04 1 5004 worker_05 2 5005 worker_06 2 5006 worker_07 3 5007 worker_08 3 Worker Node#2 5000 worker_11 0 5001 worker_12 0 5002 worker_13 1 5003 worker_14 1 5004 worker_15 2 5005 worker_16 2 5006 worker_17 3 5007 worker_18 3 Node Port # Instance ID GPU # Worker Node#3 5000 worker_21 0 5001 worker_22 0 5002 worker_23 1 5003 worker_24 1 5004 worker_25 2 5005 worker_26 2 5006 worker_27 3 5007 worker_28 3 Worker Node#4 5000 worker_31 0 5001 worker_32 0 5002 worker_33 1 5003 worker_34 1 5004 worker_35 2 5005 worker_36 2 5006 worker_37 3 5007 worker_38 3 Node Port # Instance ID GPU # Worker Node#5 5000 worker_41 0 5001 worker_42 0 Metadata_Server 3105 metadata server N/A Server_Picker 3108 server_picker(WLM) N/A

40. SQream Technology(요약): 전체 데이타 처리 프로세스 o Columnar Database : 원시 데이터는 컬럼 계열로 수직화 분류 및 저장됨 o I/O 단위 최적화 : 컬럼 계열의 데이터는 “Chunking” 되며 메타데이터가 부여 됨 o 모든 “Chunk”는 자동적으로 저장 시 압축 • 로딩 시 압축해제 됨 o 메타데이터를 통해 데이터베이스 Scanning은 쿼리 조건과 상관없이 자연스럽게 Data Skipping 되어 처리 o 시스템 메모리에 들어온 “Chunk”는 GPU메모리에 적재되며 Parallel Processing 됨 Automatic adaptive compression Data Data Data GPU Parallel chunk processing Data Skipping Data Data Data Chunking Data Data Data + Metadata tagging Columnar process Data Data Data Data Raw data Data Data Data Data Data Data Data Data Data GPU Parallel chunk processing

41. SQREAM 도입 시 기대효과 o 빅데이터용 rDBMS로 SQream를 선택하시면 “20배 많아진 데이터”를 기존 대비 “10%정도의 리 소스 비용”으로 “100배 빠른 처리속도”를 보장. 100x 10% 20x 20배 더 많은 데이터 100배 빠른 처리속도 10% 리소스 비용 1. 데이터 보유 주기를 획기적으로 늘려 분석 범위를 20배 이상 확장 가능 2. 현재 실행되는 분석 업무의 성능을 100배까지 향상 가능 3. 현재 실행하는 분석 업무의 인프라 비용을 90%까지 축소 가능

42. SQREAM KEY CUSTOMERS & Partners Customers Partners

43. 병렬 분산 스토리지

44. Cloud, Container, AI, HPC용 분산병렬형 통합스토리지의 중요성(1/2) 네트워크의 성능이 스토리지 성능을 결정 오픈소스형 소프트웨어 정의 분산형 스토리지 통합 I : 객체, 블럭, 파일스토리지 통합 II : Workload별 IOPS, Throughput, Cost & Capacity-최적화 무한 확장성 일반 x86하드웨어에서 동작 결험허용 제공-단일실폐 방지 자동관리, 자동치료 기능 Sage Weil SAN NAS Backup / Archive GPUDirect Storage Weka POSIX Client AI Training 분산병렬처리 HPC / Com pute Grid 분산병렬처리 Kubernetes CSI 수천/ 만개의 Container 스토리지접근 iSCSI, SMB, NFS Traditional Platform Protocols 수천/ 만개의 VM 스토리지접근 BLOCK, FileShare, Object FileShare MPP Hadoop 수백대 DB Engine 스토리지접근

45. Cloud, Container, AI, HPC용 분산병렬스토리지의 중요성(2/2)

46. 통합솔루션 분산스토리지(WEKA.IO)  Lakehouse(SQream)  AI분석플랫폼(w/ GPU, IPU) 15 WekaIO Confidential © 2019 All rights reserved. Data Lake WekaFS Weka Client The Weka File System Combines NVMe performance with massive scale of S3 Object Storage Ethernet or InfiniBand Network Storage Servers Unified Namespace S3 Public APP APP APP APP APP APP APP APP APP APP APP APP APP APP APP APP APP APP APP APP APP APP APP APP APP APP APP APP APP APP APP APP APP APP APP APP APP APP APP APP APP APP APP APP APP APP APP APP SMB SMB NFS NFS APP APP GPU GPU APP APP GPU GPU APP APP GPU GPU APP APP GPU GPU APP APP GPU GPU APP APP GPU GPU APP APP GPU GPU APP APP GPU GPU Top3급 분산스토리지 최고속도의 분석DBMS 최고성능 AI훈련 및 추론솔루션 Megazone Offerings Copyright 2020 © MEGAZONE CLOUD CORP. ALL RIGHT RESERVED. 요약: GRAPHCORE & MZC AI/MI 통합 솔루션 및 AI HPC Cloud 플렛폼 제공 AIàMI(ML,DL)을 위한 Neutral-Net 프로세서, 전용IPU카드, 범용 및 전용시스템, 소프트웨어스텍, 네트워크 아키텍쳐, AI HPC〮Cloud 플렛폼을 제공 COLOSSUS IPU Chipset IPU-M2000 x4 IPUs Poplar® SDK OpenStack Mega Edition Ceph Storage Mega Edition x2 Cards, x4 IPUs IPU Server4 x8 Cards, x16 IPUs IPU Server16 Neural-Net 프로세서 범용시스템 전용시스템 소프트웨어 스텍 및 관리프로그램 전용 네트워크 아키텍쳐 AI HPC | AI HPC Cloud IPU-POD64 x16 IPU-M2000, x64 IPUs IPU-PROCESSOR PCIE CARD [전용IPU카드] IPU-Server IPU-MACHINE IPU-POD128 per Rack, 1,024Racks 64K IPUs, 16ExaFlops Matilda AI Platform w/ GPU & IPU

47. FEEL FREE TO ADDRESS Headquarters, 7 WTC 250 Greenwich Street New York, New York mkbahk@megazone.com | www.megazone.com Bahk, Moon-Kee +82-10-5367-5614 WE ARE SOCIAL CONTACT

SQream-GPU가속 초거대 정형데이타 분석용 SQL DB-제품소개-박문기@메가존클라우드

SQream-GPU가속 초거대 정형데이타 분석용 SQL DB-제품소개-박문기@메가존클라우드

Recommended

More Related Content

What's hot

What's hot(20)

Similar to SQream-GPU가속 초거대 정형데이타 분석용 SQL DB-제품소개-박문기@메가존클라우드

Similar to SQream-GPU가속 초거대 정형데이타 분석용 SQL DB-제품소개-박문기@메가존클라우드(20)

Recently uploaded

Recently uploaded(20)

SQream-GPU가속 초거대 정형데이타 분석용 SQL DB-제품소개-박문기@메가존클라우드