IBM 딥러닝 전용 서버 솔루션 AC922 & PowerAI Vision

- IBM POWER9 + 최신의 Volta GPU (V100) 장착
- 업계 유일의 CPU-GPU, GPU-GPU 간 NVLink2 연결 아키텍처
- 딥러닝 전반의 생산성을 향상하는 PowerAI ToolKit
- PCIe Gen4를 탑재한 최초의 서버 플랫폼
IBM 딥러닝 전용 서버 솔루션
AC922 & PowerAI Vision
IBM Digital Systems HW
김서로 영업대표 010-4995-6650

I. IBM AC922 Newell
세부 사양 및 특장점
- 2 -

Welcome to the Waitless World 3
IBM AC922 “Newell” 세부 사양
IBM 차세대 GPU 서버 AC922 “Newell”
▪IBM POWER9 CPU와 NVIDIA V100 GPU의 조합
 최신 Volta 아키텍처의 V100 4장 장착
 양방향 75+75GB/sec의 대역폭을 가지는 NVLink
2.0을 통해 GPU-GPU는 물론, CPU-GPU도 연결
 물리적 core 1개당 4개의 HW thread (SMT-4)를
가지는 POWER9 프로레서
 2U 공간 안에 강력한 GPU 컴퓨팅 파워를 압축하여
성능 대비 상면적 및 전력 소비량에서 월등한 이점
항목 사양
POWER9 processor
(2.7GHz 16-core or 2.4GHz 20-core)
2
Disk bay (SSD or HDD) 2
Max memory 최대 2048 GB
PCIe slots (Gen4) 4
OS
Redhat 7.4
(Ubuntu는 2H’18부터 지원 예정)
GPU (V100 w/ NVLink 2.0) 4 (SXM2)
Total Power Supply AC input (W) 2200 W * 2
Form Factor 2U
Physical dimension
444.5 mm * 88.9 mm
* 850.9 mm
Weight 최대 30kg

Welcome to the Waitless World
The Best Server for Enterprise AI
AI 시대를 위한 디자인
• Massive Scale - Exaflop까지 선형적인 확장
• Exceptional Design - PCIe Gen 4
An Acceleration Superhighway
• FAST- 5.6배의 Data Bandwidth
• SIMPLE - Cache Coherence
• EFFICIENT - Data 중심의 디자인
Enterprise-Class AI
• 최적화된 HW/SW로 신속한 구축 지원
• Machine Learning, Deep Learning을 위한 압도적인 성능
- 4 -

1. NVLink 2.0
• POWER9에서만 제공하는 150GB/s 대역폭의 차세대 NVLink 2.0 기술
• 새로 출시되는 POWER9 + Volta GPU(V100)은 기존 80GB/s NVLink보다 향상된 150GB/s의 CPU-GPU, GPU-GPU 간
통신 대역폭을 제공하여, Training의 수행 시간을 단축시킬 수 있습니다.
차세대 POWER9 + Volta GPU 서버
NVLink 2.0
NVLink 1.0 (Minsky)
✓ NVLink 2.0 링크 당 25GB/s
✓ 최대 6개 링크 연결 (150GB/s, 공랭식 기준)
✓ Cache Coherence 지원
POWER AC922 특장점
POWER9
GPUGPU
75+75 GB/s
NVLink 2.0
- 5 -

1. NVLink 2.0
• PCPU-GPU, GPU-GPU 간 최대 150GB/s 대역폭을 제공하는 NVLink 기술
• NVLink는 PCIe 타입 대비 4.6배의 대용량 대역폭을 통해 Peer-to-Peer 통신을 최적화합니다.
• CPU와 GPU간은 PCIe로 연결 (32GB/sec)
• 4개 GPU끼리 NVLink * 1 link (50GB/sec), 또는 2
link로 2개씩 연결 (100GB/sec)
• 다른 socket의 GPU 4개와의 연결은 2-hop 구조
4GPU 구성에서,
• CPU와 GPU간을 NVLink * 2 link로 연결 (150GB/sec)
• 2개 GPU끼리 NVLink * 2 link로 연결 (150GB/sec)
6GPU 구성 시, CPU-GPU, GPU-GPU 구간 별 (100GB/sec)
DGX-1V AC922 (Newell)
32 GB/s
50 GB/s
100 GB/s
32 GB/s POWER9
GPUGPU
150 GB/s
NVLink
POWER9
GPUGPU
150 GB/s
NVLink
- 6 -

2. LMS (Large Model Support)
• GPU 메모리 용량의 한계를 극복하는 Large Model Support (LMS)
• GPU 메모리 용량은 16GB 이지만, LMS로 최대 1TB의 시스템 메모리(서버 당)를 사용합니다.
DGX-1V AC922 (Newell)
Xeon CPU
P100
GPU
GPU
mem
POWER9
CPU
RAM
V100
GPU
GPU
mem
Images
models
Images
작은 대역폭
PCIe 32GB/s
RAM
Images
Images
Images
PCIe를 통해 모델과 이미지를
먼저 GPU mem으로 복사한
후에야 GPU가 GPU mem에 접근
(PCIe 병목)
넓은 대역폭
NVLink 150GB/s (4GPU)
100GB/s (6GPU)
Cache
▪ 작은 모델, 작은 이미지, 작은 Batch size
▪ 성능 저하, Training이 불가능한 상황 발생
NVLink를 통해 GPU가 서버
RAM의 모델과 이미지에 직접 접근
(GPU mem은 cache 역할)
▪ 큰 모델, 큰 이미지, 더 큰 Batch size
▪ CPU-GPU간 연결이 NVLink이기 때문에 가능
(*최대 2TB 서버 RAM 메모리 사용)
1
2
- 7 -

✓ 다양한 딥러닝, 머신러닝용 Framework
✓ GPU 전용 시스템에 최적화된 버전의 소프트웨어 라이브러리를 으로 제공
✓ EASY to USE
OpenCV, hdf5, bazel, protobuf, lmdb 등등의
수많은 기반 open source SW를 일일이 build
한 뒤 Caffe, Tensorflow 등을 설치
0.5~1일
3. POWER AI 제공
기반 open source SW는 물론 Caffe, Tensorflow 등
주요 최신 framework을 최적화 build된 무료
package로 제공
5~10분
- 8 -

II. IBM PowerAI Vision
특징 및 기능
- 9 -

PowerAI Vision의 특징과 기능 - “Point-and-Click”
PowerAI Vision은 GPU가 탑재된 IBM Power System 에서 간략화된 데이터셋 자동
라벨링 기능과 빌트인 딥러닝 모델링 기능 등을 활용하여 비디오나 이미지를
분류(classification)하고, 객체를 감지(detection)할 수 있도록 제작된 솔루션입니다.
신속, 정확한 예측
NVLink 등 IBM Power System 의 획기적인
GPGPU 기술을 활용하도록
디자인되었습니다.
분야별 전문가를 위한 간소한 구현
방사선 전문의, 공장관리자 등도 제한적인
딥러닝 기술만으로 손쉽게 AI 솔루션을
구축할 수 있습니다.
작업 자동화로 생산성 향상
기존에 훈련된 딥러닝 모델을 활용하여
추가 레이블을 자동으로 지정할 수
있습니다.
어디서나 트레이닝 및 배치 가능
다양한 딥러닝 모델을 클라우드에
내보내거나 가져와서 실행할 수 있습니다.

PowerAI Vision의 특징과 기능 - “Point-and-Click”
데이터 라벨링
(Image, Video, Semi-auto)
AI 모델 자동 훈련 및 관리
(Dataset, Label, Training, Model 관리)
AI 모델 배포
(Inference API)
▪End-to-end 딥러닝을 지원하는 GUI 기반 이미지와 비디오 분석을 위한 AI 솔루션

12
PowerAI Vision의 특징과 기능 - 딥러닝 워크플로우
데이터
추출
데이터
준비
모델
생성
모델
훈련
검증 배포
모델
사용
Monetize
$$$
모니터링
Traditional
Business
IoT &
Sensors
Collaboration
Partners
Mobile Apps &
Social Media
Legacy
데이터 준비
Pre-Processing
Training Dataset
데이터 소스 모델 훈련(Training) 추론 (Inference)
AI Deep Learning Frameworks
(Tensorflow & Caffe)
Monitor
& Advise
Instrumentation
Iterate
Distributed & Elastic Deep
Learning (Fabric)
Parallel Hyper-Parameter
Search & Optimization
Network
Models
Hyper-
Parameters
Testing Dataset
Trained Model
Deploy in Production
using Trained Model
새로운 데이터
수년간의
데이터
수 시간의
준비 작업
수 주/개월간의 훈련 수초 이내의 결과
Heavy IO

PowerAI Vision의 특징과 기능 1. Image Classification
1. 이미지 업로드
2. 카테고리 생성
3. 각 카테고리에 이미지를 배정
4. 훈련
5. 배포 및 예측

PowerAI Vision의 특징과 기능 2. Object Detection
1. 이미지 또는 비디오 업로드
2. 라벨 생성
3. 라벨링 또는 오토라벨링
4. 훈련

PowerAI Vision의 특징과 기능 3. Auto Labelling
1. Small Dataset(Image 또는
Video) 업로드
2. 수동 라벨링
3. 훈련
4. 훈련된 모델을 사용한 자동
라벨링
5. Large Dataset 생성
6. 훈련

PowerAI Vision의 특징과 기능 4. Prebuilt Model
▪ 특정 항목에 대한 Prebuilt Model을 제공하여 좀더 빠른 훈련 속도와 정확한
예측을 제공

PowerAI Vision의 특징과 기능 5. Data Augmentation
▪ Small Dataset의 오버피팅 문제를 해결하고, 예측의 정확도를 높이기 위해
다양한 형태의 이미지 데이터 변형물 생성

PowerAI Vision의 특징과 기능 6. Hyperparameter Tuning

PowerAI Vision의 특징과 기능 7. RESTful API
▪ Stateless, Cashable, Uniform Interface - 특정 언어나 기술에 종속됨이 없이 모든
플랫폼에서 HTTP 표준에 따라 사용이 가능한 API

USE CASE

USE CASE
건설사 : 작업자의 안전 보장
문제점
국제노동기구(ILO)에 따르면 15초마다
151명의 근로자가 업무 관련 사고를 당하며,
321,000명이 심각한 산업재해를 입는다고
합니다. 산업재해는 안전 규정 및 절차에도
불구하고 산업 공통의 심각한 문제로 남아
있습니다.
솔루션
업계에서는 안전 규정을 모니터링 및
시행하기 위해 AI 기술을 적용하고 있습니다.
PowerAI Vision을 활용하면 위험한 환경에
있는 근로자에게 실시간으로 주의를 주거나
건설 현장을 감시하는 감독자들이 조치를
취하도록 할 수 있습니다.

USE CASE
병원 : 질병 관리를 위한 빠른 진단
문제점
방사선 전문의는 진단을 위해 수천 개의
의료 이미지를 검토합니다. 이때 이미지
분석의 정확성은 시각적 의료 정보를
종합하는 의료 전문가의 주관적인 판단에
주로 달려 있었습니다.
솔루션
PowerAI Vision을 활용하면 피부과 전문의는
고화질 이미지에서 피부암을 확인하고, 안과
의사는 안과 질환 또는 눈 주변의 악성세포
돌연변이를 조기에 진단하는 데 도움을 받을
수 있습니다.

USE CASE
제조 공장 : 품질에 대한 확인
문제점
제조 회사는 부품에 결함이 없는지 직원이
시각적으로 확인합니다. 이런방식을
활용하면 다양한 결함으로 인해 우수한
품질의 제품을 제공하는 데 어려움이
있습니다.
솔루션
PowerAI Vision을 활용한 딥러닝 모델을
생산 현장에 배치하면 생산 중에도 대기
시간 없이 불량품에 대한 확인작업을 수행할
수 있고, 일반 검사자의 피드백을 보완하여
추가적인 학습도 가능합니다.

IBM 딥러닝 전용 서버 솔루션 AC922 & PowerAI Vision

Recommended

Recommended

More Related Content

Similar to IBM 딥러닝 전용 서버 솔루션 AC922 & PowerAI Vision

Similar to IBM 딥러닝 전용 서버 솔루션 AC922 & PowerAI Vision (20)

Recently uploaded

Recently uploaded (6)

IBM 딥러닝 전용 서버 솔루션 AC922 & PowerAI Vision