[NDC18] 야생의 땅 듀랑고의 데이터 엔지니어링 이야기: 로그 시스템 구축 경험 공유Hyojun Jeon
NDC18에서 발표하였습니다. 현재 보고 계신 슬라이드는 1부 입니다.(총 2부)
- 1부 링크: https://goo.gl/3v4DAa
- 2부 링크: https://goo.gl/wpoZpY
(SlideShare에 슬라이드 300장 제한으로 2부로 나누어 올렸습니다. 불편하시더라도 양해 부탁드립니다.)
[NDC18] 야생의 땅 듀랑고의 데이터 엔지니어링 이야기: 로그 시스템 구축 경험 공유Hyojun Jeon
NDC18에서 발표하였습니다. 현재 보고 계신 슬라이드는 1부 입니다.(총 2부)
- 1부 링크: https://goo.gl/3v4DAa
- 2부 링크: https://goo.gl/wpoZpY
(SlideShare에 슬라이드 300장 제한으로 2부로 나누어 올렸습니다. 불편하시더라도 양해 부탁드립니다.)
Little Big Data #1 다양한 사람들의 데이터 사이언스 이야기에서 발표한 자료입니다
궁금한 것은 언제나 문의주세요 :)
행사 후기는 https://zzsza.github.io/etc/2018/04/21/little-big-data/ 에 있습니다!
(2018.5 내용 추가) 현재 회사가 없으니, 제게 관심있으신 분들도 연락 환영합니다 :)
オープンコミュニティ「要求開発アライアンス」(http://www.openthology.org)の2012年12月定例会発表資料です。
Open Community "Requirement Development Alliance" 2012/12 regular meeting of the presentation materials.
Data Quality With or Without Apache Spark and Its EcosystemDatabricks
Few solutions exist in the open-source community either in the form of libraries or complete stand-alone platforms, which can be used to assure a certain data quality, especially when continuous imports happen. Organisations may consider picking up one of the available options – Apache Griffin, Deequ, DDQ and Great Expectations. In this presentation we’ll compare these different open-source products across different dimensions, like maturity, documentation, extensibility, features like data profiling and anomaly detection.
효율적인 빅데이터 분석 및 처리를 위한 Glue, EMR 활용 - 김태현 솔루션즈 아키텍트, AWS :: AWS Summit Seoul 2019Amazon Web Services Korea
효율적인 빅데이터 분석 및 처리를 위한 Glue, EMR 활용
김태현 솔루션즈 아키텍트, AWS
AWS에서는 Big Data 분석 및 처리를 위해 분석 목적에 맞는 다양한 Big Data Framework 서비스를 지원합니다. 이 세션에서는 시간이 지날수록 증가하는 데이터의 분석 및 처리를 위해 사용되는 AWS Glue와 Amazon EMR 같은 AWS Big Data Framework의 내부구조를 살펴보고 머신러닝을 포함한 다양한 분석 및 ETL을 위해 효율적으로 사용할 수 있는 방법들을 소개합니다.
Spark 의 핵심은 무엇인가? RDD! (RDD paper review)Yongho Ha
요즘 Hadoop 보다 더 뜨고 있는 Spark.
그 Spark의 핵심을 이해하기 위해서는 핵심 자료구조인 Resilient Distributed Datasets (RDD)를 이해하는 것이 필요합니다.
RDD가 어떻게 동작하는지, 원 논문을 리뷰하며 살펴보도록 합시다.
http://www.cs.berkeley.edu/~matei/papers/2012/sigmod_shark_demo.pdf
Little Big Data #1 다양한 사람들의 데이터 사이언스 이야기에서 발표한 자료입니다
궁금한 것은 언제나 문의주세요 :)
행사 후기는 https://zzsza.github.io/etc/2018/04/21/little-big-data/ 에 있습니다!
(2018.5 내용 추가) 현재 회사가 없으니, 제게 관심있으신 분들도 연락 환영합니다 :)
オープンコミュニティ「要求開発アライアンス」(http://www.openthology.org)の2012年12月定例会発表資料です。
Open Community "Requirement Development Alliance" 2012/12 regular meeting of the presentation materials.
Data Quality With or Without Apache Spark and Its EcosystemDatabricks
Few solutions exist in the open-source community either in the form of libraries or complete stand-alone platforms, which can be used to assure a certain data quality, especially when continuous imports happen. Organisations may consider picking up one of the available options – Apache Griffin, Deequ, DDQ and Great Expectations. In this presentation we’ll compare these different open-source products across different dimensions, like maturity, documentation, extensibility, features like data profiling and anomaly detection.
효율적인 빅데이터 분석 및 처리를 위한 Glue, EMR 활용 - 김태현 솔루션즈 아키텍트, AWS :: AWS Summit Seoul 2019Amazon Web Services Korea
효율적인 빅데이터 분석 및 처리를 위한 Glue, EMR 활용
김태현 솔루션즈 아키텍트, AWS
AWS에서는 Big Data 분석 및 처리를 위해 분석 목적에 맞는 다양한 Big Data Framework 서비스를 지원합니다. 이 세션에서는 시간이 지날수록 증가하는 데이터의 분석 및 처리를 위해 사용되는 AWS Glue와 Amazon EMR 같은 AWS Big Data Framework의 내부구조를 살펴보고 머신러닝을 포함한 다양한 분석 및 ETL을 위해 효율적으로 사용할 수 있는 방법들을 소개합니다.
Spark 의 핵심은 무엇인가? RDD! (RDD paper review)Yongho Ha
요즘 Hadoop 보다 더 뜨고 있는 Spark.
그 Spark의 핵심을 이해하기 위해서는 핵심 자료구조인 Resilient Distributed Datasets (RDD)를 이해하는 것이 필요합니다.
RDD가 어떻게 동작하는지, 원 논문을 리뷰하며 살펴보도록 합시다.
http://www.cs.berkeley.edu/~matei/papers/2012/sigmod_shark_demo.pdf
Strata Singapore 2017 business use case section
"Big Telco Real-Time Network Analytics"
https://conferences.oreilly.com/strata/strata-sg/public/schedule/detail/62797
Fast data in times of crisis with GPU accelerated database QikkDB | Business ...Matej Misik
Graphics cards (GPU) open up new ways of processing and analytics over big data, showing millisecond selections over billions of lines, as well as telling stories about data. #QikkDB
How to present data to be understood by everyone? Data analysis is for scientists, but data storytelling is for everyone. For managers, product owners, sales teams, the general public. #TellStory
Learn about high performance computing with GPU and how to present data with a rich Covid-19 data story example on the upcoming webinar.
SQream DB - Bigger Data On GPUs: Approaches, Challenges, SuccessesArnon Shimoni
This talk will present SQream’s journey to building an analytics data warehouse powered by GPUs. SQream DB is an SQL data warehouse designed for larger than main-memory datasets (up to petabytes). It’s an on-disk database that combines novel ideas and algorithms to rapidly analyze trillions of rows with the help of high-throughput GPUs. We will explore some of SQream’s ideas and approaches to developing its analytics database – from simple prototype and tech demos, to a fully functional data warehouse product containing the most important features for enterprise deployment. We will also describe the challenges of working with exotic hardware like GPUs, and what choices had to be made in order to combine the CPU and GPU capabilities to achieve industry-leading performance – complete with real world use case comparisons.
As part of this discussion, we will also share some of the real issues that were discovered, and the engineering decisions that led to the creation of SQream DB’s high-speed columnar storage engine, designed specifically to take advantage of streaming architectures like GPUs.
RAPIDS – Open GPU-accelerated Data ScienceData Works MD
RAPIDS – Open GPU-accelerated Data Science
RAPIDS is an initiative driven by NVIDIA to accelerate the complete end-to-end data science ecosystem with GPUs. It consists of several open source projects that expose familiar interfaces making it easy to accelerate the entire data science pipeline- from the ETL and data wrangling to feature engineering, statistical modeling, machine learning, and graph analysis.
Corey J. Nolet
Corey has a passion for understanding the world through the analysis of data. He is a developer on the RAPIDS open source project focused on accelerating machine learning algorithms with GPUs.
Adam Thompson
Adam Thompson is a Senior Solutions Architect at NVIDIA. With a background in signal processing, he has spent his career participating in and leading programs focused on deep learning for RF classification, data compression, high-performance computing, and managing and designing applications targeting large collection frameworks. His research interests include deep learning, high-performance computing, systems engineering, cloud architecture/integration, and statistical signal processing. He holds a Masters degree in Electrical & Computer Engineering from Georgia Tech and a Bachelors from Clemson University.
Introduction to Kudu - StampedeCon 2016StampedeCon
Over the past several years, the Hadoop ecosystem has made great strides in its real-time access capabilities, narrowing the gap compared to traditional database technologies. With systems such as Impala and Spark, analysts can now run complex queries or jobs over large datasets within a matter of seconds. With systems such as Apache HBase and Apache Phoenix, applications can achieve millisecond-scale random access to arbitrarily-sized datasets.
Despite these advances, some important gaps remain that prevent many applications from transitioning to Hadoop-based architectures. Users are often caught between a rock and a hard place: columnar formats such as Apache Parquet offer extremely fast scan rates for analytics, but little to no ability for real-time modification or row-by-row indexed access. Online systems such as HBase offer very fast random access, but scan rates that are too slow for large scale data warehousing workloads.
This talk will investigate the trade-offs between real-time transactional access and fast analytic performance from the perspective of storage engine internals. It will also describe Kudu, the new addition to the open source Hadoop ecosystem that fills the gap described above, complementing HDFS and HBase to provide a new option to achieve fast scans and fast random access from a single API.
RAPIDS: GPU-Accelerated ETL and Feature EngineeringKeith Kraus
The RAPIDS suite of open source software libraries gives you the freedom to execute end-to-end data science and analytics pipelines entirely on GPUs. It relies on NVIDIA® CUDA® primitives for low-level compute optimization, but exposes that GPU parallelism and high-bandwidth memory speed through user-friendly Python interfaces.
Gestione gerarchica dei dati con SUSE Enterprise Storage e HPE DMFSUSE Italy
In questa sessione HPE e SUSE illustrano con casi reali come HPE Data Management Framework e SUSE Enterprise Storage permettano di risolvere i problemi di gestione della crescita esponenziale dei dati realizzando un’architettura software-defined flessibile, scalabile ed economica. (Alberto Galli, HPE Italia e SUSE)
The Apache Spark config behind the indsutry's first 100TB Spark SQL benchmarkLenovo Data Center
Some configurations deserve their own SlideShare entry: this is one of them. When the indsutry's first 100TB Spark SQL benchmark was reached, the media took notice. For good reason.
Intel, Mellanox, Lenovo and IBM came together to investigate a topology that leveraged advances in CPU, memory, storage and networking to assess the readiness of Spark SQL to harness new capabilities -- and speeds.
Getting Started with Big Data and HPC in the Cloud - August 2015Amazon Web Services
How can you use Big Data to grow your business and discover new opportunities? When organizations effectively capture, analyze, visualize and apply big data insights to their business goals, they differentiate themselves from their competitors and outperform them in terms of operational efficiency and the bottom line. With Amazon Web Services, businesses and researchers can easily fulfill their high performance computing (HPC) requirements with the added benefit of ad-hoc provisioning, pay-as-you-go pricing and faster time-to-results. Join this session to understand how to run HPC applications in AWS cloud, and about different AWS Big Data and Analytics services such as Amazon Elastic MapReduce (Hadoop), Amazon Redshift (Data Warehouse) and Amazon Kinesis (Streaming), when to use them and how they work together.
PGConf APAC 2018 - PostgreSQL performance comparison in various cloudsPGConf APAC
Speaker: Oskari Saarenmaa
Aiven PostgreSQL is available in five different public cloud providers' infrastructure in more than 60 regions around the world, including 18 in APAC. This has given us a unique opportunity to benchmark and compare performance of similar configurations in different environments.
We'll share our benchmark methods and results, comparing various PostgreSQL configurations and workloads across different clouds.
Chatty Kathy - UNC Bootcamp Final Project Presentation - Final Version - 5.23...John Andrews
SlideShare Description for "Chatty Kathy - UNC Bootcamp Final Project Presentation"
Title: Chatty Kathy: Enhancing Physical Activity Among Older Adults
Description:
Discover how Chatty Kathy, an innovative project developed at the UNC Bootcamp, aims to tackle the challenge of low physical activity among older adults. Our AI-driven solution uses peer interaction to boost and sustain exercise levels, significantly improving health outcomes. This presentation covers our problem statement, the rationale behind Chatty Kathy, synthetic data and persona creation, model performance metrics, a visual demonstration of the project, and potential future developments. Join us for an insightful Q&A session to explore the potential of this groundbreaking project.
Project Team: Jay Requarth, Jana Avery, John Andrews, Dr. Dick Davis II, Nee Buntoum, Nam Yeongjin & Mat Nicholas
Adjusting primitives for graph : SHORT REPORT / NOTESSubhajit Sahu
Graph algorithms, like PageRank Compressed Sparse Row (CSR) is an adjacency-list based graph representation that is
Multiply with different modes (map)
1. Performance of sequential execution based vs OpenMP based vector multiply.
2. Comparing various launch configs for CUDA based vector multiply.
Sum with different storage types (reduce)
1. Performance of vector element sum using float vs bfloat16 as the storage type.
Sum with different modes (reduce)
1. Performance of sequential execution based vs OpenMP based vector element sum.
2. Performance of memcpy vs in-place based CUDA based vector element sum.
3. Comparing various launch configs for CUDA based vector element sum (memcpy).
4. Comparing various launch configs for CUDA based vector element sum (in-place).
Sum with in-place strategies of CUDA mode (reduce)
1. Comparing various launch configs for CUDA based vector element sum (in-place).
Explore our comprehensive data analysis project presentation on predicting product ad campaign performance. Learn how data-driven insights can optimize your marketing strategies and enhance campaign effectiveness. Perfect for professionals and students looking to understand the power of data analysis in advertising. for more details visit: https://bostoninstituteofanalytics.org/data-science-and-artificial-intelligence/
2. Documentation History
Revision Date Editor Contents Comment
0.1 2021-01-31 SQream Korea 최초 작성
0.3 2021-06-30 전성호 사례 추가 및 보강
0.5 2021-12-31 박문기 사례 추가 및 HW 보강
0.6 2022-01-31 김현준 사례 추가 및 HW 보강, SW 보강
1.0 2022-04-15 박문기 김현준님 자료와 합병
1.1 2022-05-13 박문기 Hadoop 시스템 개요 및 변천과정 추가
Revision History
Date Written by Documentation Title
2020-01-31 SQream Korea SQream
Original Documentation
3. 회사연혁
o 2010년 설립
뉴욕 본사 7 WTC New York | 이스라엘 텔아비브 소재 연구소
o 2016년 상용화 버전 출시
o 2017년 Alibaba Partnership 체결
o 2018년 Alibaba 투자 유치
o 2019년 SQream Version 2 출시
o 2019년 02월 한국 LGU+ 수주
o 2019년 06월 SQream Version 3 출시
o 2020년 06월 투자유치 (B+, Mangrove Capital)
o 2020년 08월 한국 SK Telecom(주) 수주
o 2020년 12월 한국 KB Card(주) 수주
o 2021년 04월 한국 삼성디스플레이(주) 수주
4. 4차 산업시대 DATA의 위치
정보화시대 쌀 반도체, AI시대 쌀 DATA
DATA
IT for Business IT is Business
Data for Business Data is Business
AI for Business AI is Business
AI, Open the age of wisdom
GPU/IPU-가속 활용영역 확장
1. Game, Rendering, Video
Transcoding, 암호화폐마이닝
2. AI Deep Learning
3. GPU Database
4. MCMC 금융공학(Quantec)
5. HPC Simulation(nFlow)
6. Live SR-(Expresso Media)
7. 메타버스
6. MPP Data Loading Problem
MPP 초당 150M(약 0.145G) * 60초 * 60분= 서버30대 시간당 512G 로딩 가능,
SQream는 100Gbps에 시간당 V100 GPU 1개당 2.5T~6T 로딩가능
7. SQream: GPU-Accelerated AnalyticDB
분석DB
GPU로 가속된 rDBMS형, SQL을 지원하는 초-거대용량 “정형” 빅데이타 처리용 병렬•분석DB
2005~
In-Memory
Omnisci
(MapD)
Kinetica
Aerospike
SAP HANA
VoltaDB
IBM-DB2 BLUM
emSQL
Altibase
2010~
MassiveData
1990~
MPP(EDW)
Teradata MongoDB
Vertica Redshift Or
acle-Exadata
IBM-Netezza
Greenplum
Sybase IQ
Oracle
DB2
SQLServer
Informix
Sybase ASE
SQreamDB
Hadoop-Hive
Snowflake
BigQuery
1970~
ClassicalRelational
2010~
NO-SQL
o 1) WIDE COLUMN DATABASE(Store)
Hbase, GoogleBigTable, Vertica,
Druid, Accumulo, Hypertable
o 2) GRAPH DATABASE
Neo4j, Blazegraph, OrientDB
o 3) DOCUMENT DATABASE(Store)
MongoDB, Azure CosmosDB, CouchDB,
MarkLogic, OrientDB
o 4) KEY-VALUE DATABASE(Store)
Cassandra, LevelDBRocksDB, Redis,
Oracle NoSQLDB,Voldemorte,
Oracle BerkeleyDB, Memcached, Hazelcast
RelationalDB NoSQL & Hadoop Public Cloud Only
GPU Database
GPU Accelerated+rDBMS-SQL+MPP+NO-SQL(WIDE COLUMN, Key-Value DB) SQream AnalyticDB
8. Data Lake / Data Dam
EDW구축•분석을 위한 MPP 대체 SQREAM 위치
OLTP
Other Bigdata
Data
Integration
Data
Integration
Data
Warehouse
Data
Mart
Data Mining
Analytic
ETL
E,L
ETL
T
OLAP
ETL / CDC ETL / CDC
10. Bigdata Apache Hadoop Eco-System
왜이리 복잡한 것이야!! 우린 그동안 RDBMS만으로 잘 처리해 왔는데..
정형, 비정형, 반정형 다 처리 잘 한다고, 그건 Naver나 Kakao, 우린 정형밖에 없어!
Java로 MapReduce 분산Framework Program을 짜야 한다고,
NO-SQL, Key-Value 중심이라고, RDBMS-SQL은 지원하는 것인가?
대규모 분산 병렬이면서 대규모 Sorting, Joining, Grouping은 왜 이리 느린거지?
왜이리 수 십대의 서버들이 필요한 것이지!!
어 비용이 100억대야..참나!!
14. TELECOM
기존 업무 프로세스 대비 최대 32배 성능 개선 평가
기존 시스템 하둡 100대 서버 SQream GPU 서버 1대
업무 1일분석업무 시간분석업무 1일분석업무 시간분석업무
APP서비스 그룹별 분석 2:03:00 0:11:46 0:04:06 0:00:14
eNB 별 서비스 분석 1:48:00 0:12:28 0:24:46 0:01:13
단말기별 서비스 분석 0:52:00 0:06:49 0:05:24 0:00:15
요금제별 서비스 분석 1:10:00 0:07:29 0:19:06 0:00:53
장비별 트래픽 분석 NA 0:03:59 NA 0:00:30
IOT 단말 기반 POS별 서비스 분석 0:22:00 0:03:43 0:06:01 0:00:20
IOT 단말 기반 서비스 분석 0:23:00 0:04:50 0:05:16 0:00:17
CDR Data 합계 산정 결과 도출 불가 결과 도출 불가 0:00:21 0:00:10
CDR Data – 평균 구성 시간 분석 결과 도출 불가 결과 도출 불가 0:00:27 0:00:14
CDR Data – 통화시간 분석 결과 도출 불가 결과 도출 불가 0:00:25 0:00:13
데이터 조인 업무 결과 도출 불가 결과 도출 불가 0:02:21 0:00:54
기존 플랫폼: 하둡 100대 서버 노드 vs. SQream 플랫폼 GPU 서버 노드 1대
국내통신사 사례 (L사): 최대 32배 성능 개선
국내 “L통신사”
15. 국내통신사 사례 (S사): 업무 개선 내역 상세
TELECOM
기존 Hadoop에서 어렵고 긴 분석 시간 단축을 위한 전처리 플랫폼 구축
국내 “S통신사”
업무 데이터기간 ORC
Flat File
(Raw Data)
데이터건수
기존 Hadoop
시스템
SQream DB 요약
Routine1
1일 68 GB 760 GB 40억 420초 55초
1일 데이터
최소 53초~
최대 59초의
실행시간 평균
17일 1.12 TB 12.54 TB 660 억 NA 60초
Routine2 17일 1.12 TB 12.54 TB 660 억 NA 1,260초
특정 테이블들을 대상으로 sub-routine 업무쿼리 실행
1일 데이터 - 68GB ORC 파일, 약 40억건, 약 760GB Raw Data 대상 쿼리 실행
17일 데이터 – 1.12TB ORC 파일, 약 660억건, 약 12.54TB Raw Data 대상 쿼리 실행
16. 국내 제조사 사례 (S사): 업무 개선 내역 상세
72억건 데이타 적재・조회, Oracle ExaData 8대 vs. SQream 1대: SQ가 5배 속도 빠름
Business Units
Application
Layer
SQream을 통한 초고속 전처리 엔진 구성
SQream을 통한 초 고속 전처리 엔진 구
성
Marketing
Audit
Sales
Quality
ETC
Sorce Oracle
82 EA
Data Extract Data Load
제조사
.
.
.
17. 금융권: IFRS17 보험 BEL 분석 PoC
보험사
미래현금흐름(BEL) 분석시간 기존 P.SQL 1h13m SQ 1m20s 성능개선
국내 “G사”
o 지아컨설팅-KAS + SQREAM
벤치마크환경
진행사항
o 10만건 기-계약데이터에 미래현금흐름(BEL) 산출쿼리
o PostgreSQL(CPU) vs. SQREAM(GPU)
o PostgreSQL 10만건 동시 진행
o SQREAM 10만건 동시 진행
o SQREAM 5,000만건 진행
SQream DB (100,000)
PostgreSQL (100,000)
1m20s
1h13m
SQream DB (50,000,000)
3h13m
o 일반적으로보험사의현재계약건수는2억건이상.
o 2~3년전수행한IFRS프로젝트의목표수행시간은D+5~D+7임
o 2023년1월적용시작을위해서는최소1년간의테스트가필요하여아무리
늦어도2022년6월까지는도입완료하여야만함
o 매월1회수행및신규상품개발시몇번씩수행해야만함
AWS Aurora-PostgreSQL, VMWare Greenplum
18. 국내 제조사 사례 (L사): 가전 정보 수집
전세계 백색 가전 데이터 수집 및 마케팅 활용, 사용자 편의 제공
제조사
AWS S3
19. SQream vs Cloud Based Bigdata System
SQream vs. Cloud Based Bigdata System
20. 해외 사례
o 하루 종일 3G/4GL/5G 데이터 처리
량을 보여주는 대시보드 제공
o 이동통신 가입자 대상 네트워크
사용량 분석
o 약 43억건 (3000만명)
o AD-Tech 온라인 광고 극대화를 위
한 데이터 분석
o PT 규모 데이터 분석
해외사례들: SQream MPP, Hadoop 대체
21. 빅데이타 처리용 SQream 핵심 성능최적화 기법
SQREAM, 수백TB~수백PB에 이르는 초-거대용량 정형 데이터 분석용 GPU로 가속된 SQL DB 플랫폼
분석DB
I/O isolation: 저장, 입출력, 메모리간-이동
Parallelism: 병렬 분산 처리
23. SQream Technology(1): GPU기반 Parallel Processing
• GP-GPU(General Purpose GPU, NVIDIA V100, A100, H100)기반의 벡터연산 + 선형대수연산(Data Processing, AI)에 적합한 GPU
• 수 천개의 병렬 프로세싱 코어들 – NVIDIA의 TESLA H100 모델은 16,896개의 Cuda Core수 제공
• GP-GPU HDM메모리 Throughput – ~900GB/s
• NVIDIA의 CUDA FRAMEWORK은 Massively Parallel Processing 기술 제공
• 대용량 통계학적인 분석 처리에 차별화(압축 알고리즘 처리 및 Group By 분류, Sum, Avg, Count, Max, Min 등)
AMD EPYC 9004 GENOA CPU 96 Cores
vs.
NVIDIA H100 GPU 16,896 FP32 CUDA Cores
24. SQream Technology(1): GPU기반 Parallel Processing Cores 비교
구분 서버 100대 MPP
서버 2대 SQream
w/ NVIDIA H100 GP-GPU 각 8개=총16개
CPU Core AMD 96Cores x 2 Sockets:
128C x 2 Sockets x 100대 = 25,600 CPU Cores
AMD 96Cores x 2 Sockets:
128C x 2 Sockets x 2대 = 512 CPU Cores
NVIDIA H100 GPUS:
16,896C x 8 x 서버 2대 = 270,336 GPU Cores
Memory DDR 512G x 10 = 5,120G DDR 512G x 2 = 1,024G
GPU HDM2 32G x 8 = 256G
DBEngine# 100 DBEngines GPU# 총 16개 * 최대 8 Engines = 128 DBEngines
10.5배
25. SQream Technology(1): 강력한 CPU+GPU 쿼리 성능
SQL컴파일러 및 최적화 도구 : 기존 SQL을 변경 없이 그대로 수행
o SQream DB는 기존에 사용하던 ANSI-92 기반 SQL 쿼리를
자동으로 병렬 처리가 가능한 관계형 대수 연산( Relation
al Algebra)용 쿼리로 사용자 개입 없이 내부 SQL 컴파일
러에 의해 CPU+GPU 자동 재-최적화 수행
o GPU Core는 최적화된 쿼리를 사용 대량의 병렬연산을
효율적으로 수행
o 주로 Filter, Join 등의 복잡한 작업들은 가산 및 곱셈과 같
은 수학적개념으로 대치되어 GPU 연산으로 뛰어난 효
과
26. CPU & GPU 동시 병행 처리 최적화
컬럼명 실행장소 설명
Rechunk
여러 개의 작은 청크를 모아 큰 청크로 재구성. 일반적으로 조인 후 및 HIGH_SELECTIVITY를 사용할 때 발견
됨
Reduce GPU GROUP BY와 같은 reduce 작업
ReduceMerge GPU 축소 작업의 병합 작업으로 RAM보다 큰 데이터 작업에 도움이 됩니다
ReorderInput 다음 작업을 준비하기 위해 인수 순서 변경
SeparatedGather GPU 결과에 대한 추가 column을 수집
Sort GPU 정렬
SortMerge CPU 정렬 작업의 병합 작업으로 RAM보다 큰 데이터 작업에 도움이 됩니다
SortMergeJoin GPU GPU에서 수행되는 sort-merge join
TakeRowsFromChunk ORDER BY와 함께 사용될 때 LIMIT를 최적화하기 위해 각 청크에서 처음 N 개 행을 가져옴
Top LIMIT 혹은 top 와 함께 사용할 때 크기를 제한
UdfTransform CPU 사용자 정의 함수(UDF)를 실행
UnionAll UNION ALL이 사용될 때 두 데이터 소스를 결합
VarCharJoiner Internal하게 사용됨
VarCharSplitter Internal하게 사용됨
Window GPU Non-ranking 윈도우 함수 실행
Window Ranking GPU Ranking 윈도우 함수 실행
WriteTable CPU 결과 집합을 디스크에 저장된 표준 테이블에 기록
27. H/W: HBM(High bandwidth Memory) GPU Memory
o NVIDIA GP-GPU 계열은 HBM(High Bandwidth Memory) 사용
o D램을 여러 개 쌓아 한 번에 전송할 수 있는 데이터의 용량(메모리 대역폭)을 크게 늘린 메모리 확장구조
o 수직으로 RAM을 쌓기 때문에 RAM과 GPU 간 거리와 회로 길이를 과감하게 줄이고, 메모리의 집적도 역시 높일 수 있음
o GDDR 방식보다 와트 당 성능이 3.5배 증가하고 소비 전력 역시 훨씬 낮으며 보드의 표면적을 94% 줄일 수 있음
29. H/W+S/W: RDMA NIC(SQ-SQ Cluster간, SQ-병렬분산스토리지와 통신)
• RDMA(Remote Direct Memory Access) NIC(Network Interface Card)
InfiniBand(IB)-Mellanox
iWRAP-Intel
RDMA over Converged Ethernet(RoCE)-STD
NO RDMA RDMA
30. H/W+S/W: GPUDirect over RDMA NIC
o NVIDIA GPU의 GPUDirect RDMA(Remote Direct Memory Access)기반
o 기존의 방식의 경우 Data 를 GPU Memory 에 load 할 때 CPU 와 PCIe bus 를 거치는 2번의 복사 과정을 진행
o NVIDIA GPUDirect RDMA 기술이 도입된 SQream 의 경우 CPU 와 System Memory 를 사용하지 않고
PCIe bus 를 통해 직접적으로 GPU Memory 에 Direct load 됨
o 데이터 전송 시 병목 현상 최소화
o 사용하지 않는 CPU 와 System Memory 에 다른 작업 수행 가능
32. o 많은 분석계 기반 (EDW, DM 등의 정보계) 데이터베이스에서
채택됨.
o Column계열 데이터베이스 예) Sybase IQ, Vertica, SAP HANA 등
o 빅데이터 분석에 매우 적합함 – 일별•계정별 집계 등
o 데이터 locality가 높기 때문에 “압축율”이 높음
o 필요한 컬럼만 액세스하여 "I/O 감소"
SQream Technology(2): COLUMNAR
33. SQream Technology(3): CHUNKING
컬럼 단위 평균 100만 건 묶음 “Chunking”기술
o 컬럼구조로 저장되는 데이터 구조는 100만건수 단위로 “Chunking” (수평적인
세그멘테이션) 되어 관리 됨
o SQREAM 데이터베이스는 기본적으로 “Chunk” 단위로 데이터를 Scanning 하고
시스템 메모리, 그리고 GPU 메모리에 프로세싱을 위하여 주입함
Table
Table
Chunks
Columns
GPU 리소스를 효율적으로 사용할 수 있도록 Chunk 단위 데이터 Store 및 Read
o Sqream DB테이블들은 다차원으로 데이터를 파티셔닝하여 확장성을 좀더 늘릴 수
있도록 설계됨. Data Chunking은 Ingest(Loading)하는 동안 자동 수행
o 모든 컬럼 집합은 Data Chunk 단위로 스토리지에 저장
o 자동으로 수직•수평 파티셔닝을 수행하며, Columnar에 대한 선택적 접근 및 chunk
단위 스토리지 사용을 통해 제약적인 GPU 메모리 환경에서도 Transaction이 효율적
으로 처리
35. o 모든 chunk에는 해당 chunk 데이터에 대한 메타 데이터
존재(최대값, 최소값 등)
o 메타데이터엔 “Chunk”의 Min/Max 등의 정보가 관리 되며
Metadata 프로세스를 통해 분리 관리
o 이는 모든 컬럼엔 인덱스를 대신 하는 초경량의 정보
가 관리 된다는 의미이며 SQREAM의 차별화 된 I/O 분
산 및 최소화 기술
o 따라서 타 데이터베이스 솔루션 같이 무거운 인덱스의
자원 사용이나 관리가 필요 없음
o Example:
SELECT * FROM t WHERE YEAR>2017
(all chunks with YEAR<=2017 can be skipped)
day month year val1 val2 val3
10 2017
11 2017
12 2017
01 2018
02 2018
03 2018
READ
SKIP
Automatic, transparent, index replacement
SQream Technology(3): SMART METADATADATA SKIPPING
36. SQream Technology(2+3): Always on Compression저장량, 입출력량 감소
고속 데이터 Ingest 및 처리를 지원하는 GPU기반 압축∙해제
o SQream은 데이터 로드 중, GPU를 사용하여 자동으로 데이터를 압축함
o GPU를 사용하므로, 굉장히 빠르게 모든 데이터를 압축 및 해제 가능
o 초고속 데이터를 로딩 ∙ 추출 가능(3~6TB/Hour/GPU당 ingest speed)
o 데이터 타입에 따라 자동으로 최적의 압축 방식을 적용하며, 약 1:4 ~ 1:7 의 압
축률과 알고리즘 적용(대략 100GB raw data 로드 시, 20GB 로 압축가능)
o DICT – Dictionary compression
o Patched Frame-of-Reference (p4d)
o RLE – Run Length Encoding
o Snappy – CPU-based text compression
o 저장용량 감소 및 입출력량 감소
소스 데이터
1PB
Data Data Data
Data Data Data
Data Data Data
SQREAM
데이터 - 15TB
Ingestion
37. SQream Technology(4): 무한 수평적 서버 확장 가능한 클러스터 아키텍처
o Shared-Storage 아키텍처 - 모든 노드에서는 같이 바라 볼 수 있는 공유 파일시스템이 요구됨
o SQream 자체 부하분산기(WLM, Server Picker)를 통해 워크로드는 현재 비어 있는 GPU Worker에 Assign 됨
o 특정 GPU에 Assign된 워크로드는 GPU를 전체를 다 쓰게 되며 수천 개의 코아를 통해 처리됨
o GPU는 최대 8조각까지 SPLIT 가능하며 이를 통해 Concurrency를 최대화하는 아키텍처로 융통성 있게 구성 가능
GPU Scale-Up, Server Scale-Out
병렬분산스토리지
Compute 노드#
GPU 리소스# ↑ ↑ ↑(NVIDIA V100A100H100)
39. SQream Technology(4): GPU당 다수 Worker들병렬처리 성능향상
o Worker는 SQL을 실행하는 SQreamDB의 프로그램으로 GPU당 1~8개로 분할 구성 가능, 아래 예제 구성은 GPU당 2개
Worker로 구성
Node Port # Instance ID GPU #
Worker
Node#1
5000 worker_01 0
5001 worker_02 0
5002 worker_03 1
5003 worker_04 1
5004 worker_05 2
5005 worker_06 2
5006 worker_07 3
5007 worker_08 3
Worker
Node#2
5000 worker_11 0
5001 worker_12 0
5002 worker_13 1
5003 worker_14 1
5004 worker_15 2
5005 worker_16 2
5006 worker_17 3
5007 worker_18 3
Node Port # Instance ID GPU #
Worker
Node#3
5000 worker_21 0
5001 worker_22 0
5002 worker_23 1
5003 worker_24 1
5004 worker_25 2
5005 worker_26 2
5006 worker_27 3
5007 worker_28 3
Worker
Node#4
5000 worker_31 0
5001 worker_32 0
5002 worker_33 1
5003 worker_34 1
5004 worker_35 2
5005 worker_36 2
5006 worker_37 3
5007 worker_38 3
Node Port # Instance ID GPU #
Worker
Node#5
5000 worker_41 0
5001 worker_42 0
Metadata_Server 3105 metadata server N/A
Server_Picker 3108 server_picker(WLM) N/A
40. SQream Technology(요약): 전체 데이타 처리 프로세스
o Columnar Database : 원시 데이터는 컬럼 계열로 수직화 분류 및 저장됨
o I/O 단위 최적화 : 컬럼 계열의 데이터는 “Chunking” 되며 메타데이터가 부여 됨
o 모든 “Chunk”는 자동적으로 저장 시 압축 • 로딩 시 압축해제 됨
o 메타데이터를 통해 데이터베이스 Scanning은 쿼리 조건과 상관없이 자연스럽게 Data Skipping 되어 처리
o 시스템 메모리에 들어온 “Chunk”는 GPU메모리에 적재되며 Parallel Processing 됨
Automatic adaptive
compression
Data Data Data
GPU
Parallel chunk
processing
Data Skipping
Data Data Data
Chunking
Data Data Data
+ Metadata tagging
Columnar process
Data Data
Data
Data
Raw data
Data Data Data
Data Data Data
Data Data Data
GPU
Parallel chunk
processing
41. SQREAM 도입 시 기대효과
o 빅데이터용 rDBMS로 SQream를 선택하시면 “20배 많아진 데이터”를 기존 대비 “10%정도의 리
소스 비용”으로 “100배 빠른 처리속도”를 보장.
100x 10%
20x
20배 더 많은 데이터 100배 빠른 처리속도 10% 리소스 비용
1. 데이터 보유 주기를 획기적으로 늘려 분석 범위를 20배 이상 확장 가능
2. 현재 실행되는 분석 업무의 성능을 100배까지 향상 가능
3. 현재 실행하는 분석 업무의 인프라 비용을 90%까지 축소 가능
44. Cloud, Container, AI, HPC용 분산병렬형 통합스토리지의 중요성(1/2)
네트워크의 성능이 스토리지 성능을 결정
오픈소스형 소프트웨어 정의 분산형 스토리지
통합 I : 객체, 블럭, 파일스토리지
통합 II : Workload별 IOPS, Throughput, Cost & Capacity-최적화
무한 확장성
일반 x86하드웨어에서 동작
결험허용 제공-단일실폐 방지
자동관리, 자동치료 기능
Sage Weil
SAN NAS
Backup /
Archive
GPUDirect Storage Weka POSIX Client
AI Training
분산병렬처리
HPC / Com pute Grid
분산병렬처리
Kubernetes
CSI
수천/ 만개의
Container
스토리지접근
iSCSI, SMB, NFS
Traditional Platform
Protocols
수천/ 만개의 VM
스토리지접근
BLOCK, FileShare, Object FileShare
MPP Hadoop
수백대 DB Engine
스토리지접근
47. FEEL FREE TO
ADDRESS
Headquarters, 7 WTC
250 Greenwich Street
New York, New York
mkbahk@megazone.com | www.megazone.com
Bahk, Moon-Kee
+82-10-5367-5614
WE ARE SOCIAL
CONTACT