• Share
  • Email
  • Embed
  • Like
  • Save
  • Private Content
SDEC2011 Rapidant
 

SDEC2011 Rapidant

on

  • 1,972 views

http://sdec.kr/

http://sdec.kr/

Statistics

Views

Total Views
1,972
Views on SlideShare
1,924
Embed Views
48

Actions

Likes
1
Downloads
51
Comments
0

2 Embeds 48

http://www.scoop.it 47
https://si0.twimg.com 1

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

    SDEC2011 Rapidant SDEC2011 Rapidant Presentation Transcript

    • S/W 기반의 고속 파일 전송 플랫폼(Rapidant)rapidant@samsung.com 2011.6. Copyright ⓒ 2010 Samsung SDS Co., Ltd. All rights reserved
    • 고속 파일 전송 플랫폼?
    • 우리집 인터넷은 광케이블이라서100Mbps 속도가 나옦다는데… 100Mbps는 1초에 약 12MB 파일을 다운받는 속도
    • 실제적인 전송 속도가 3.77 MB/sec 밖에나오지 않는다면 ?
    • 도대체 왜 전송속도가안 나옧까요 ?
    • 뭐가 문제길래?- 서버 과부하
    • 뭐가 문제길래?- 서버 과부하- 네트워크 대역폭 모두 소모
    • 뭐가 문제길래?- 서버 과부하- 네트워크 대역폭 모두 소모- TCP/IP 프로토콜 때문에
    • 레퍼런스: AsperaTCP 프로토콜은 RTT 와 Packet Loss 가 큰 원격지갂의 통싞에 있어서상대적으로 좋지 않은 성능을 보인다※ RTT (Round Trip Time)
    • TCP가 왜?- AIMD (Additive Increase / Multiplicative Decrease)
    • Congestion ControlA Congestion Control InternetB D Congestion Control C
    • 이를 해결하기 위한 기존 방법들- 하드웨어 기반 WAN 가속기- 커널 내 FastTCP 탑재- CDN망 임대- 전용선 구축
    • 기존방법 특징 장점 단점하드웨어 기반 하드웨어 기반 가속 데이터 설치비용이 높음WAN 가속기 웹 가속 Deduplication Cache되지 않는 컨텐츠 웹 가속 에 대해서는 가속성능이 떨어짐커널 내 FastTCP 커널 자체에 대한 수정 TCP friendly 지원되는 않는 장비(서탑재 버,클라이언트) 에 대한 전면교체 비용이듬CDN망 임대 각 거점별 edge서버를 거점별 서버를 고가 이며 두고 컨텐츠 분배 통한 물리적인 주로 Cache된 컨텐츠를 전송시갂 단축 대상으로 함전용선 구축 전송 양단갂에 전용망 전용망에 따른 고가 구축 상대적인 망 안 실제가용 대역폭을 못쓰 정성 는 문제는 그대로 존재
    • 우리의 접근- 네트워크 구축 비용이 없도록!- 하드웨어 구입 비용이 없도록!- OS 커널 수정 등 설치 비용이 없도록!- 비용을 최소화 해보자!
    • S/W 기반의 고속 파일전송 플랫폼(Rapidant)
    • Hardware based accelerator Internet No Hardware !!
    • - 플랫폼 비종속적인 전송 프로토콜 추구
    • Parallel TCP - 데이터 전송에 하나의 TCP채널이 아닌, 다 수의 채널을 동시에 사용해 전송률을 높임 W/2 W/(2N)컵 : 사용할 있는 최대 네트워크 대역폭빨대 1개 : 하나의 TCP채널을 사용할 때의 모습
    • Parallel TCP Single Channel TCP(기존방식) Parallel TCP Sender Receiver Sender Receiver- 데이터 전송 시 단일 채널 사용 - 데이터 전송 시 다중 채널 사용- 원거리 네트워크 상황 - 원거리 네트워크 상황 (RTT 大, Packet Loss 大) 에서 TCP 고유 (RTT 大, Packet Loss 大) 에서 혼잡 의 혼잡제어 알고리즘 에 의해 혼잡 발생시 전송속도를 줄이는 비율이 발생시 현재 전송 버퍼 N개의 다중채널일 경우 1/(2N) 이 (Congestion Window) 의 ½ 씩 전송용량 되어서 상대적으로 기존방식에 비해 을 줄임 네트워크 혼잡 발생시 전송데이터를-따라서, 전송용량(Throughput)이 줄이는 비율이 낮음 실제 가용 전송 대역폭 대비 홗용을 다 - 따라서, 전송용량(Throughput)이 못함 실제 가용 전송 대역폭을 다 쓸 수 있게 가능함
    • Reliable UDP- 데이터 싞뢰성 및 혼잡 회피(CongestionControl) 없는 UDP에 데이터 싞뢰성 추가및 고속 전송을 가능한 혼잡회피 알고리즘으로 직접 구현
    • Reliable UDP- 데이터 전송 싞뢰성 제공 : 유실된 패킷의 재전송 기능을 가짐. (UDP는 기본적으로 유실 패킷에 대한 고려 없음)- Rate-based 전송 제어 알고리즘 사용 : 네트워크 상황에 따라 유동적으로 전송률을 제어함. (네트워크 혼잡을 피하는 동시에, 대역폭을 효율적으로 사용하게 함.) : TCP 의 고유 혼잡제어 알고리즘을 따르지 않으므로 자유로운 전송 율 제어 가능- Fairness 고려 : 전송 대역폭을 공유하는 트래픽갂의 fairness를 고려함. (여러 트래픽이 동시에 서비스하는 상용망에 적용 가능)
    • Parallel TCP Reliable UDP- 기본적은 혼잡제어 알고리즘으로 AIMD - TCP 방식에 비해 세밀한 혼잡제어 가능 를 사용하므로 상대적으로 UDP에 비해서는 TCP Friendly 함 -병렬 연결이 아니므로 상대적으로 Parallel (상대 TCP 트래픽 전송을 가능한 범위 TCP 홖경에 비해 메모리 사용량 적음 내 보장) -UDP 고유의 특성으로 인해 상대적으로-TCP 기반이므로 HTTP 등을 통해 상대적 상대 TCP 트래픽에 대해 좀더 Aggressive함 으로 방화벽 통과에 유리 (상대 TCP 트래픽을 패킷 손실 시키는 확률이 큼)-UDP 방식에 비해 세밀한 혼잡제어 메커니 즘을 구현하기 힘듬 -일반적인 조건에서 TCP에 비해 빠름 (단, 네트워크 홖경에 따라 달라질 수 있음)-일반적인 조건에서 UDP에 비해 느림 (단, 네트워크 홖경에 따라 달라질 수 있음) - 방화벽 통과에 상대적으로 불리
    • 정말 S/W만 설치하면 전송속도가 빨라질까 ?
    • 관련 기술 동향상용 솔루션- Aspera-후지쯔 BI.DAN-GUN오픈소스 프로젝트- UDT4- RBUDP- FDT- GridFTP
    • Congestion ControlQueuing Delay basedRTT의 상태변화를 통해 Congestion 과Bottleneck 큐 사이즈의 변화를 예측하여 패킷 전송조절을 하는 방법Packet Loss based전송 패킷 손실을 Congestion여부에 대한 지표로삼고 패킷 전송을 조절하는 방법
    • 각 솔루션 별 비교솔루션 명 전송방식 혼잡제어 비고Aspera UDP Queuing Delay 네트워크 Fairness고 려UDT4 UDP Packet Loss TCP의 혼잡제어 매 커니즘 사용RBUDP UDP N/A 네트워크 Fairness 고려 안함GridFTP TCP Parallel TCP 네트워크 Fairness TCP알고리즘 따름Rapidant UDP, TCP Packet Loss 네트워크 Fairness Parallel TCP 고려, 플랫폼 독립적 설계
    • 영화 Avatar 원본 영상 전송 FTP 대비 최대 전송속도 차이 30배 용량 : 2TB FTP : 0.187MB/s (131 days) Aspera : 5.6MB/s (4 days) Aspera
    • High Energy Physics Experiment 1테라 바이트 전송에 FTP로 9주Cern, 스위스용량 : 1TBFTP : 0.195MB/s (62 days)GridFTP : 6MB/s (2 days) GridFTP
    • 유전자 분석 데이터 인당 800기가 바이트해외 lab용량 : 1TBFTP : 1.82MB/s (6.6일)Rapidant : 9.74MB/s (1.2일) Rapidant
    • S/W기반 고속전송이 쓰일 수있는 영역은 어디인가요?
    • Digital Media-Broadcast & Entertainment Media-Multimedia PublishingGame & Software Development-Global Software Development-Rapid Game DevelopmentCloud Computing-Content Aggregation, Distribution-Database HostingGlobal Enterprise-Data Processing Outsourcing-High Speed Remote Backups-Digital Asset DistributionLife SciencesIntelligence & Defense
    • Rapidant 성능은 어떨까요?
    • 실험 홖경-WAN 시뮬레이터(Packet Loss: 0.1%, 1.0%, 5% RTT: 100 ms, 300 ms, 100MB파일)-실 홖경 테스트(아셈사옥 -> 미국 North Virginia 아마존 EC2, 100MB, 1G 파일)
    • 프로토콜별 전송성능 비교 [WAN Simulator : RTT 100ms, 100MB 파일] 3,311초 FTP 1,234초 423초 681초 UDT 203초 56초 Packet loss 19초 ASPERA 32초 5% 55초 1% 0.1% 206초 Rapidant-TCP 78초 50초 18초Rapidant-UDP 16초 13초 0 500 1000 1500 2000 2500 3000 3500 시간(초)
    • 프로토콜별 전송성능 비교 [WAN Simulator : RTT 300ms, 100MB파일] 8,925초 FTP 3,482초 1,338초 1,173초 UDT 291초 59초 Packet loss 25초 ASPERA 22초 5% 48초 1% 383초 0.1% Rapidant-TCP 225초 74초 35초Rapidant-UDP 29초 63초 0 2000 4000 6000 8000 10000 시간(초)
    • 프로토콜별 전송성능 비교 [아셈타워->EC2 : RTT 240ms] 1,028초 FTP 99초 500초 Aspera 52초 전송용량 1GB 553초 100MBRapidant-UDP 57초 130초Rapidant-TCP 20초 0 200 400 600 800 1,000 1,200 시간(초) Seoul, Korea Rep. to North Virginia, US. ( RTT : 240ms )
    • 래피던트 TCP Architecture
    • 래피던트 적용 예 WAN 구간 가속Edge Server Edge Server HDFS HDFSContents Server Contents Server … …
    • 패키지 솔루션 방식 서버 서버 S/W 설치 서버PC레거시 시스템 인터페이스 방식 래피던트 모듈 S/W연동(Open API)
    • DEMO동영상FTP / Rapidant 100MB 파일 전송 속도 비교(코엑스 아셈타워-> 미국 North Virginia 전송 )
    • 감사합니다rapidant@samsung.com