Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

TestDFSIO

1,604 views

Published on

TestDFSIO

Published in: Software
  • Login to see the comments

TestDFSIO

  1. 1. TestDFSIO 세종대학교 시스템공학 연구실 박다흰
  2. 2. 차례 •TestDFSIO 란? •TestDFSIO 사용법 •write •read •clean •결과 출력 •사용 예시 2014-10-02 Sejong System Engineering 2
  3. 3. TestDFSIO 란? •hadoop의 성능을 측정하는 벤치마크 중 하나 •MapReduce를 사용하여 파일을 읽고 쓰는 성능을 측정 2014-10-02 Sejong System Engineering 3
  4. 4. TestDFSIO 사용법 •TestDFSIO 실행 과정 1.write로 파일을 작성 2.read로 write에서 생성한 파일을 읽음 3.작업한 파일들을 지우고 결과 확인 2014-10-02 Sejong System Engineering 4
  5. 5. TestDFSIO 사용법 2014-10-02 Sejong System Engineering 5 •다운로드 –wget https://repository.cloudera.com/content/repositories/releases/org/apache/hadoop/hadoop-test/2.3.0-mr1-cdh5.1.0/hadoop- test-2.3.0-mr1-cdh5.1.0-sources.jar •압축을 풀 필요 없이 바로 실행 가능
  6. 6. write •hadoop jar (경로 1) TestDFSIO –write - nrFiles (숫자1) -fileSize (숫자2) -resFile (경로2) •경로 1은 hadoop파일 내 hadoop- examples.jar(버전에 따라 examples뒤에 –버전no가 붙기도 함) 2014-10-02 Sejong System Engineering 6
  7. 7. write •경로 2는 write결과를 저장할 .txt 파일 경로. 없으면 파일을 생성하여 저장 •숫자 1은 파일 수, 숫자 2는 파일의 크기(MB) 2014-10-02 Sejong System Engineering 7
  8. 8. read •hadoop jar (경로 1) TestDFSIO –read - nrFiles (숫자1) -fileSize (숫자2) -resFile (경로2) •경로 1은 hadoop파일 내 hadoop- examples.jar(버전에 따라 examples뒤에 –버전no가 붙기도 함) 2014-10-02 Sejong System Engineering 8
  9. 9. read •경로 2는 read결과가 저장된 .txt 파일 경로 •숫자 1은 파일 수, 숫자 2는 파일의 크기(MB) 2014-10-02 Sejong System Engineering 9
  10. 10. clean •hadoop jar (경로 1) TestDFSIO –clean •경로 1은 hadoop파일 내 hadoop- examples.jar(버전에 따라 examples뒤에 –버전no가 붙기도 함) •작업을 통해 생성된 파일들을 지움 2014-10-02 Sejong System Engineering 10
  11. 11. 결과 출력 •명령어를 모두 치고 나면 write와 read에서 생성한 파일이 남아 측정 결과를 가지고 있음 2014-10-02 Sejong System Engineering 11
  12. 12. 사용 예시 •홈에 hadoop의 압축을 풀고, hadoop 파일 내에 TestDFSIO를 다운받았다고 가정 시 •~/hadoop $ hadoop jar hadoop-test-1.2.1.jar TestDFSIO –write -nrFiles 100 -fileSize 100 -resFile TDFS_Input.txt •100MB짜리 파일 100개를 생성 2014-10-02 Sejong System Engineering 12
  13. 13. 사용 예시 •~/hadoop $ hadoop jar hadoop-test-1.2.1.jar TestDFSIO –read -nrFiles 100 -fileSize 100 -resFile TDFS_Input.txt •write에서 생성한 100MB짜리 파일 100개를 읽음 •~/hadoop $ hadoop jar hadoop-test-1.2.1.jar TestDFSIO –clean •작업 내역을 지움 2014-10-02 Sejong System Engineering 13
  14. 14. 사용 예시 •cat TDFS_Input.txt 로 read와 write 결과 확인 가능 2014-10-02 Sejong System Engineering 14
  15. 15. 결론 •TestDFSIO는 가볍고 단순한 조작으로 성능을 측정할 수 있는 벤치마크 •먼저 공부한 TeraSort보다 결과를 해석하기 용이함 2014-10-02 Sejong System Engineering 15

×