2. • 정의
Hadoop Distributed FileSystem ( 하둡 분산 파일시스템 )
1) 특징
- 블록단위로 파일보관
파일을 블록 단위로 나눠서 보관 ( 기본설정 64M )
- 분산 파일 시스템 ( 블록을 다중노드에 분산해서 보관 )
- 리플리케이션
하나의 블록은 여러 노드에 복제
특정 노드 장애에 무정지 대응
- 범용 장비 사용
2
1. HDFS 특징
3. • 파일 시스템에 접근하기 위한 Shell Script( 명령형인터페이스 )
1) $hadoop fs –ls hdfs://localhost/
2) 클라이언트
- Shell Script, JAVA API, HTTP 등 제공
3
1. HDFS 파일시스템
4. • 블록
1) HDFS 에서의 파일은 블록크기로 분리되어 저장
2) 기본 블록 크기는 64MB(128MB 로 많이 사용 )
3) 파일분리 예
- 256MB 파일은 64M 네 개의 블록으로 분리되어 저장
( 즉 , 4 개의 파일로 분리되어 저장 )
- 블록 크기보다 작은 파일로 분리되어 저장
이 경우 , 블록 파일의 크기는 실제 파일크기임 .
4) 단일 디스크보다 더 큰 파일을 보관할 수 있음 .
5) 복제 단위
- 노드간 데이터 복사는 블록 단위로 됨 .
4
1. HDFS 블록
