SDEC2011 Rapidant
Upcoming SlideShare
Loading in...5
×

Like this? Share it with your network

Share
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
No Downloads

Views

Total Views
2,292
On Slideshare
2,242
From Embeds
50
Number of Embeds
2

Actions

Shares
Downloads
52
Comments
0
Likes
2

Embeds 50

http://www.scoop.it 49
https://si0.twimg.com 1

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. S/W 기반의 고속 파일 전송 플랫폼(Rapidant)rapidant@samsung.com 2011.6. Copyright ⓒ 2010 Samsung SDS Co., Ltd. All rights reserved
  • 2. 고속 파일 전송 플랫폼?
  • 3. 우리집 인터넷은 광케이블이라서100Mbps 속도가 나옦다는데… 100Mbps는 1초에 약 12MB 파일을 다운받는 속도
  • 4. 실제적인 전송 속도가 3.77 MB/sec 밖에나오지 않는다면 ?
  • 5. 도대체 왜 전송속도가안 나옧까요 ?
  • 6. 뭐가 문제길래?- 서버 과부하
  • 7. 뭐가 문제길래?- 서버 과부하- 네트워크 대역폭 모두 소모
  • 8. 뭐가 문제길래?- 서버 과부하- 네트워크 대역폭 모두 소모- TCP/IP 프로토콜 때문에
  • 9. 레퍼런스: AsperaTCP 프로토콜은 RTT 와 Packet Loss 가 큰 원격지갂의 통싞에 있어서상대적으로 좋지 않은 성능을 보인다※ RTT (Round Trip Time)
  • 10. TCP가 왜?- AIMD (Additive Increase / Multiplicative Decrease)
  • 11. Congestion ControlA Congestion Control InternetB D Congestion Control C
  • 12. 이를 해결하기 위한 기존 방법들- 하드웨어 기반 WAN 가속기- 커널 내 FastTCP 탑재- CDN망 임대- 전용선 구축
  • 13. 기존방법 특징 장점 단점하드웨어 기반 하드웨어 기반 가속 데이터 설치비용이 높음WAN 가속기 웹 가속 Deduplication Cache되지 않는 컨텐츠 웹 가속 에 대해서는 가속성능이 떨어짐커널 내 FastTCP 커널 자체에 대한 수정 TCP friendly 지원되는 않는 장비(서탑재 버,클라이언트) 에 대한 전면교체 비용이듬CDN망 임대 각 거점별 edge서버를 거점별 서버를 고가 이며 두고 컨텐츠 분배 통한 물리적인 주로 Cache된 컨텐츠를 전송시갂 단축 대상으로 함전용선 구축 전송 양단갂에 전용망 전용망에 따른 고가 구축 상대적인 망 안 실제가용 대역폭을 못쓰 정성 는 문제는 그대로 존재
  • 14. 우리의 접근- 네트워크 구축 비용이 없도록!- 하드웨어 구입 비용이 없도록!- OS 커널 수정 등 설치 비용이 없도록!- 비용을 최소화 해보자!
  • 15. S/W 기반의 고속 파일전송 플랫폼(Rapidant)
  • 16. Hardware based accelerator Internet No Hardware !!
  • 17. - 플랫폼 비종속적인 전송 프로토콜 추구
  • 18. Parallel TCP - 데이터 전송에 하나의 TCP채널이 아닌, 다 수의 채널을 동시에 사용해 전송률을 높임 W/2 W/(2N)컵 : 사용할 있는 최대 네트워크 대역폭빨대 1개 : 하나의 TCP채널을 사용할 때의 모습
  • 19. Parallel TCP Single Channel TCP(기존방식) Parallel TCP Sender Receiver Sender Receiver- 데이터 전송 시 단일 채널 사용 - 데이터 전송 시 다중 채널 사용- 원거리 네트워크 상황 - 원거리 네트워크 상황 (RTT 大, Packet Loss 大) 에서 TCP 고유 (RTT 大, Packet Loss 大) 에서 혼잡 의 혼잡제어 알고리즘 에 의해 혼잡 발생시 전송속도를 줄이는 비율이 발생시 현재 전송 버퍼 N개의 다중채널일 경우 1/(2N) 이 (Congestion Window) 의 ½ 씩 전송용량 되어서 상대적으로 기존방식에 비해 을 줄임 네트워크 혼잡 발생시 전송데이터를-따라서, 전송용량(Throughput)이 줄이는 비율이 낮음 실제 가용 전송 대역폭 대비 홗용을 다 - 따라서, 전송용량(Throughput)이 못함 실제 가용 전송 대역폭을 다 쓸 수 있게 가능함
  • 20. Reliable UDP- 데이터 싞뢰성 및 혼잡 회피(CongestionControl) 없는 UDP에 데이터 싞뢰성 추가및 고속 전송을 가능한 혼잡회피 알고리즘으로 직접 구현
  • 21. Reliable UDP- 데이터 전송 싞뢰성 제공 : 유실된 패킷의 재전송 기능을 가짐. (UDP는 기본적으로 유실 패킷에 대한 고려 없음)- Rate-based 전송 제어 알고리즘 사용 : 네트워크 상황에 따라 유동적으로 전송률을 제어함. (네트워크 혼잡을 피하는 동시에, 대역폭을 효율적으로 사용하게 함.) : TCP 의 고유 혼잡제어 알고리즘을 따르지 않으므로 자유로운 전송 율 제어 가능- Fairness 고려 : 전송 대역폭을 공유하는 트래픽갂의 fairness를 고려함. (여러 트래픽이 동시에 서비스하는 상용망에 적용 가능)
  • 22. Parallel TCP Reliable UDP- 기본적은 혼잡제어 알고리즘으로 AIMD - TCP 방식에 비해 세밀한 혼잡제어 가능 를 사용하므로 상대적으로 UDP에 비해서는 TCP Friendly 함 -병렬 연결이 아니므로 상대적으로 Parallel (상대 TCP 트래픽 전송을 가능한 범위 TCP 홖경에 비해 메모리 사용량 적음 내 보장) -UDP 고유의 특성으로 인해 상대적으로-TCP 기반이므로 HTTP 등을 통해 상대적 상대 TCP 트래픽에 대해 좀더 Aggressive함 으로 방화벽 통과에 유리 (상대 TCP 트래픽을 패킷 손실 시키는 확률이 큼)-UDP 방식에 비해 세밀한 혼잡제어 메커니 즘을 구현하기 힘듬 -일반적인 조건에서 TCP에 비해 빠름 (단, 네트워크 홖경에 따라 달라질 수 있음)-일반적인 조건에서 UDP에 비해 느림 (단, 네트워크 홖경에 따라 달라질 수 있음) - 방화벽 통과에 상대적으로 불리
  • 23. 정말 S/W만 설치하면 전송속도가 빨라질까 ?
  • 24. 관련 기술 동향상용 솔루션- Aspera-후지쯔 BI.DAN-GUN오픈소스 프로젝트- UDT4- RBUDP- FDT- GridFTP
  • 25. Congestion ControlQueuing Delay basedRTT의 상태변화를 통해 Congestion 과Bottleneck 큐 사이즈의 변화를 예측하여 패킷 전송조절을 하는 방법Packet Loss based전송 패킷 손실을 Congestion여부에 대한 지표로삼고 패킷 전송을 조절하는 방법
  • 26. 각 솔루션 별 비교솔루션 명 전송방식 혼잡제어 비고Aspera UDP Queuing Delay 네트워크 Fairness고 려UDT4 UDP Packet Loss TCP의 혼잡제어 매 커니즘 사용RBUDP UDP N/A 네트워크 Fairness 고려 안함GridFTP TCP Parallel TCP 네트워크 Fairness TCP알고리즘 따름Rapidant UDP, TCP Packet Loss 네트워크 Fairness Parallel TCP 고려, 플랫폼 독립적 설계
  • 27. 영화 Avatar 원본 영상 전송 FTP 대비 최대 전송속도 차이 30배 용량 : 2TB FTP : 0.187MB/s (131 days) Aspera : 5.6MB/s (4 days) Aspera
  • 28. High Energy Physics Experiment 1테라 바이트 전송에 FTP로 9주Cern, 스위스용량 : 1TBFTP : 0.195MB/s (62 days)GridFTP : 6MB/s (2 days) GridFTP
  • 29. 유전자 분석 데이터 인당 800기가 바이트해외 lab용량 : 1TBFTP : 1.82MB/s (6.6일)Rapidant : 9.74MB/s (1.2일) Rapidant
  • 30. S/W기반 고속전송이 쓰일 수있는 영역은 어디인가요?
  • 31. Digital Media-Broadcast & Entertainment Media-Multimedia PublishingGame & Software Development-Global Software Development-Rapid Game DevelopmentCloud Computing-Content Aggregation, Distribution-Database HostingGlobal Enterprise-Data Processing Outsourcing-High Speed Remote Backups-Digital Asset DistributionLife SciencesIntelligence & Defense
  • 32. Rapidant 성능은 어떨까요?
  • 33. 실험 홖경-WAN 시뮬레이터(Packet Loss: 0.1%, 1.0%, 5% RTT: 100 ms, 300 ms, 100MB파일)-실 홖경 테스트(아셈사옥 -> 미국 North Virginia 아마존 EC2, 100MB, 1G 파일)
  • 34. 프로토콜별 전송성능 비교 [WAN Simulator : RTT 100ms, 100MB 파일] 3,311초 FTP 1,234초 423초 681초 UDT 203초 56초 Packet loss 19초 ASPERA 32초 5% 55초 1% 0.1% 206초 Rapidant-TCP 78초 50초 18초Rapidant-UDP 16초 13초 0 500 1000 1500 2000 2500 3000 3500 시간(초)
  • 35. 프로토콜별 전송성능 비교 [WAN Simulator : RTT 300ms, 100MB파일] 8,925초 FTP 3,482초 1,338초 1,173초 UDT 291초 59초 Packet loss 25초 ASPERA 22초 5% 48초 1% 383초 0.1% Rapidant-TCP 225초 74초 35초Rapidant-UDP 29초 63초 0 2000 4000 6000 8000 10000 시간(초)
  • 36. 프로토콜별 전송성능 비교 [아셈타워->EC2 : RTT 240ms] 1,028초 FTP 99초 500초 Aspera 52초 전송용량 1GB 553초 100MBRapidant-UDP 57초 130초Rapidant-TCP 20초 0 200 400 600 800 1,000 1,200 시간(초) Seoul, Korea Rep. to North Virginia, US. ( RTT : 240ms )
  • 37. 래피던트 TCP Architecture
  • 38. 래피던트 적용 예 WAN 구간 가속Edge Server Edge Server HDFS HDFSContents Server Contents Server … …
  • 39. 패키지 솔루션 방식 서버 서버 S/W 설치 서버PC레거시 시스템 인터페이스 방식 래피던트 모듈 S/W연동(Open API)
  • 40. DEMO동영상FTP / Rapidant 100MB 파일 전송 속도 비교(코엑스 아셈타워-> 미국 North Virginia 전송 )
  • 41. 감사합니다rapidant@samsung.com