[2A5]하둡 보안 어떻게 해야 할까

2. 하둡

3. 보안

5.
어떻게

6. 해야

7. 할까?

8.
정재화

9. 책임

10.
Gruter

11. Inc

13. About

14. me

15.
•

16. Bigdata

17. Platform,

21. Gruter

22. Inc

23. (http://www.gruter.com)

24.
•

25. Apache

26. Tajo

27. Committer

28.
•

29. jhjung@gruter.com

30.
•

31. http://blrunner.com

32.
•

33. 저서:

34. 시작하세요!하둡

35. 프로그래밍

37. AGENDA

38.
1.

39. Hadoop

40. Overview

42.
2.

43. Hadoop

44. Security

45. Concept

47.
3.

48. Kerberos

50.
4.

51. Hadoop

52. Security

53. Design

55.
5.

56. HOW

57. TO

60. 1.

61. Hadoop

62. Overview

64. 1.1

65. 하둡이란?

66.
MapReduce

67.
(Distributed

68. computation)

69.
HDFS

70.
(Distributed

71. storage)

72.
출처:

73. http://www.quuxlabs.com/wp-content/uploads/2010/08/Yahoo-hadoop-cluster_OSCON_20
07.jpg

75. 1.1

76. 하둡이란?

77.
OLTP,

78. ERP,

79.
CRM

80.
Document,

81.
E-mail

82.
Web

83. Log,Cli
ck

84. Stream

85.
Social

86. Netw
orks

87.
Sensor

88. Data

89.
Geo-locatio
n

90. Data

92. 1.2

93. 기존

94. 방식의

95. 문제점

96.
Identity

97.
클라이언트

98. 어플리케이션을

99. 실행하는

100. OS

101. 계정

103.
[hadoop@grute`r01~]$

104. whoami

105.
hadoop

106.
[hadoop@gruter01~]$

107. id

108.
uid=508(hadoop)

109. gid=508(hadoop)

110. groups=508(hadoop)

111.
Authorization

112.
MR

113. ACL,

114. HDFS

115. Permission

117. 1.2

118. 기존

119. 방식의

120. 문제점

121.
Simple

122. Mode

123.
No

124. Authentication

125. (core-site.xml)

127.
property

130. namehadoop.security.authentication/name

133. valuesimple/value

136. descriptionPossible

137. values

142. are

143. simple

144. (no

145. authentication),

146. and

147. kerberos

150. /description

151.
/property

153. 1.2

154. 기존

155. 방식의

156. 문제점

157.
•

158. Examples

159.
[hadoop@localhost

160. hadoop-2.4.0]$

161. ./bin/hdfs

162. dfs

163. -copyT
oLocal

164. /user/hadoop/crm/user

165. /backup/crm/user

167.
[hadoop@localhost

168. hadoop-2.4.0]$

169. ./bin/hdfs

170. dfs

171. -rm

172. -r

173. /
user/hadoop

175.
[mapreduce@localhost

176. hadoop-2.4.0]$

177. ./bin/hadoop

178. jar

179.
Xyz.jar

180. mypackage.Attack

182. 2.

183. Hadoop

184. Security

185. Con
cept

187. 2.1

188. Hadoop

189. Security

190. Definition

191.
Security

192. in

193. Apache

194. Hadoop

195. is

196. defined

197. by

198. four

199. key

200.
pillars:

201. authentication,

202. authorization,

203. accountabili
ty,

204. and

205. data

206. protection.

209.
-

210. 2014

211. HadoopSummit:

212. Vinay

213. Shukla

214. -

216. 2.2

217. Hadoop

218. Security

219. Layer

220.
• Simple

221.
Authentication

222. • Kerberos

223.
• MR

224. ACL

225.
• HDF

226. Permission,

227. ACLs

228.
• HBase

229. ACL

230.
Authorization

231.
• All

232. service

233.
Auditing

234.
• Hadoop2

235. wire

236. encryption

237.
Encryption

238. • 3rd

239. party

241. 3.

242. Kerberos

244. 3.1

245. 커버로스란?

246.
-

247. 컴퓨터

248. 네트워크

249. 내에서

250. 서비스

251. 요구를

252. 인증하기

253. 위한

254. 안전한

255.
방법으로,

256. 미국

257. MIT의

258. Athena

259. 프로젝트에서

260. 개발

261.
- 사용자가

262. 인증과정으로부터

263. 암호화된

264. '티켓'을

265. 요청

266. 할

267. 수

268. 있게

269.
해주는데,

270. 이

271. 티켓은

272. 서버에

273. 특정

274. 서비스를

275. 요구하는데

276. 사용될

277. 수

278. 있고,

279. 사용자의

280. 암호는

281. 네트워크를

282. 통할

283. 필요가

284. 없음

285.
-

286. LDAP,

287. 윈도우

288. AD(Active

289. Directory)와

290. 같은

291. 표준

292. 엔터프라이
즈

293. 디렉터리

294. 서비스와

295. 통합

296. 가능

298. 3.2

299. 커버로스

300. 구성요소

301.
구성요소

302. 내용

303.
KDC
키 분배 서버, TGS와 AS 구성
(Key Distribution Center)

304.
모든 사용자와 서비스들의 암호화키를 보유 AS (Authentication Servi
ce)사용자에 대한 인증을 수행

306.
TGS (Ticket Granting Se
rvice)

307.
티켓을 부여하고, 티켓을 분배

308.
티켓(Ticket)

309.
사용자에 대한 신원과 인증을 확인하는 토큰
사용자가 서비스와 통신할 때, 패스워드를 입력하지
않게 함

310.
영역(Realm)

311.
커버로스 시스템에 속해 있는 클라이언트와 서버들의
범위

313. 3.3

314. 커버로스

315. 아키텍처

317.
KDC

320.
AS

324.
TGS

328.
서버

329.
1.인증요청

330.
2.티켓

331. 승인

332. 티켓(TGT)

333.
클라이언트

334.
3.

335. 티켓

336. 승인

337. 티켓

338.
4.

339. 서비스

341. 티켓

342. (TGS)

343.
5.

344. 서비스

345. 티켓

346.
6.

347. 접속

348. 허락

350. 3.3

351. 커버로스

352. 아키텍처

353.
Principal

354.
-

355. 티켓을

356. 할당하기

357. 위한

358. 유니크한

359. 식별자

360.
-

361. 표현

362. 형식

363.
-

364. primary/instance@REALM

365.
-

366. primary:

367. 사용자

368. 혹은

369. 호스트

370.
-

371. instance:

372. primary를

373. 서술,

374. REALM:

375. 커버로스

376. 영역

377.
-

378. ex)

380. tajo/server01.tajo.org@TAJO.ORG

381.
KeyTabs

382.
-

383. KDC에서

384. 부여받은

385. 암호화된

386. 키와

387. Princial로

388. 구성

389.
-

390. KeyTabs의

391. 키는

392. 티켓을

393. 복호화할

394. 때

395. 사용함

398. 4.

399. Hadoop

400. Security

401. Desi
gn

403. 4.1

404. 사용자

405. 서비스

406. 인증

407.
클라이언트

409.
마스터

410. 서버

422.
NameNode

423.
JobTracker

424.
KDC

425. ResourceManager

426.
인증

427. 및

429.
서비스

430. 티켓

431. 요청

432.
커버로스

433.
서비스

434. 티켓

436. 4.2

437. 개별

438. 서비스

439. 인증

441.
마스터

442. 서버

454.
NameNode

455.
JobTracker

456.
ResourceManager

458.
슬레이브서버

470.
DataNode

471.
TaskTracker

472.
NodeManager

473.
커버로스

476.
KeyTab

478. 4.3

479. Delegation

480. Token

485. 슬레이브

486. 서버

498.
마스터

499. 서버

505.
NameNode

506. JobTracker

507. ResourceManager

512.
슬레이브

513. 서버

524.
TaskTracker

525. NodeManager

526.
Task

527. Task

528. Container

529. Container

530.
접속

531.
요청

532.
접속

533.
요청

534.
접속

535.
요청

536.
클라이언트

537.
인증

538. 및

539. 토큰

540. 생성

542. 4.3

543. Delegation

544. Token

545.
-

546. NameNode가

547. 커버로스

548. 인증을

549. 한

550. 클라이언트에게

551. 부여

552.
-

553. 한

554. 번의

555. 접속으로

556. 모든

557. 작업을

558. 수행

559.
-

560. 클라이언트가

561. 맵리듀스잡을

562. 실행할

563. 경우,

564. JobTracker

565. 및

566. Res
ourceManager에게

567. 공유함

568.
-

569. 하나의

570. 맵리듀스잡에

571. 포함된

572. 모든

573. 태스크는

574. 동일한

575. DT를

576. 사
용함,

577. 해당

578. DT로

579. NameNode에

580. 접근

581.
-

582. JobTracker와

583. ResourceManager는

584. DT

585. 연장

586. 가능

587.
-

590. 4.4

591. Job

592. Token

597. 마스터

598. 서버

609.
슬레이브

610. 서버

621.
TaskTracker

622.
Task

623. Task

624.
JobTracker

625.
토큰

626. 공유

631.
슬레이브

632. 서버

643.
TaskTracker

644.
Task

645. Task

646.
클라이언트

647.
MR

648. 실행

649. 및

650.
토큰

651. 생성

652.
토큰

653. 공유

654.
토큰

655. 인증

657. 4.4

658. Job

659. Token

660.
-

661. MR

662. Job

663. 실행이

664. 요청될

665. 때,

666. JobTraker가

667. 생성

668.
-

669. TaskTracker에

670. 공유

671.
-

672. Task가

673. TaskTracker와

674. 통신을

675. 할

676. 때

677. 사용

679. 4.5

680. Block

681. Access

682. Token

687.
슬레이브

688. 서버

695.
DataNode

701.
슬레이브

702. 서버

713.
TaskTracker

714.
Task

715. Task

716.
클라이언트

717.
토큰

718. 인증

719.
NameNode

720.
토큰

721. 인증

722.
토큰

723. 부여

724.
토큰

725. 부여

726.
토큰

727. 부여

729. 4.5

730. Block

731. Access

732. Token

733.
-

734. 인증된

735. 클라이언트의

736. 블록

737. 접근

738. 허용

739.
-

740. 인증된

741. 클라이언트가

742. HDFS의

743. 파일을

744. 접근할

745. 때,

746. NameNode
가

747. 클라이언트에게

748. 부여함

749.
-

750. BAT는

751. DataNode에

752. 공유됨

753.
-

754. 클라이언트(App,

755. Map

757. Reduce

758. Task)가

759. DataNode

760. 블록

761.
접근시

762. 토큰

763. 제출

765. 5.

766. HOWTO

768. 5.1

769. Overview

770.
1.

771. 커버로스

772. 설치

773.
2.

774. Principal

775. 및

776. Keytab

777. 생성

778.
3.

779. Keytab

780. 전체

781. 배포

782.
4.

783. 하둡

784. 클러스트

785. 설정

786.
5.

787. 하둡

788. 클러스터

789. 실행

791. 5.2

792. 커버로스

793. 설치

794.
1)

795. 커버로스

796. 서버

797. 설치

798.
-

799. yum

800. install

801. krb5-server

802. krb5-libs

803. krb5-workstation

804. pam_k
rb5

805.
•

806. /etc/krb5.conf

807.
[logging]

809. default

810. =

811. FILE:/var/log/krb5libs.log

813. kdc

814. =

815. FILE:/var/log/krb5kdc.log

817. admin_server

818. =

819. FILE:/var/log/kadmind.log

821.
[libdefaults]

823. default_realm

824. =

825. TAJO.ORG

827. dns_lookup_realm

828. =

829. false

831. dns_lookup_kdc

832. =

833. false

835. 5.2

836. 커버로스

837. 설치

838.
•

839. /etc/krb5.conf

840.
ticket_lifetime

841. =

842. 24h

844. renew_lifetime

845. =

846. 7d

848. forwardable

849. =

850. true

852.
[realms]

854. TAJO.ORG

855. =

856. {

859. kdc

860. =

861. namenode01

864. admin_server

865. =

866. namenode01

868. }

870.
[domain_realm]

872. .tajo.org

873. =

874. TAJO.ORG

876. tajo.org

877. =

878. TAJO.ORG

880. 5.2

881. 커버로스

882. 설치

883.
•

884. /var/kerberos/krb5kdc/kdc.conf

885.
[kdcdefaults]

887. kdc_ports

888. =

889. 88

891. kdc_tcp_ports

892. =

893. 88

895.
[realms]

897. TAJO.ORG

898. =

899. {

902. profile

903. =

904. /etc/krb5.conf

907. acl_file

908. =

909. /var/kerberos/krb5kdc/kadm5.acl

912. allow-null-ticket-address

913. =

914. true

917. database_name

918. =

919. /var/kerberos/krb5kdc/principal

922. dict_file

923. =

924. /usr/share/dict/words

927. admin_keytab

928. =

929. /var/kerberos/krb5kdc/kadm5.keytab

931. 5.2

932. 커버로스

933. 설치

934.
•

935. /var/kerberos/krb5kdc/kdc.conf

936.
key_stash_file

937. =

938. /var/kerberos/krb5kdc/.k5stash

941. kdc_ports

942. =

943. 88

946. kadmind_port

947. =

948. 749

951. max_life

952. =

953. 2d

954. 0h

955. 0m

956. 0s

959. max_renewable_life

960. =

961. 7d

962. 0h

963. 0m

964. 0s

967. supported_enctypes

968. =

969. aes256-cts:normal

970. aes128-cts:normal

971. des3
-hmac-sha1:normal

972. arcfour-hmac:normal

973. des-hmac-sha1:normal

974. d
es-cbc-md5:normal

975. des-cbc-crc:normal

977. }

979. 5.2

980. 커버로스

981. 설치

982.
2)

983. 커버로스

984. 데이터베이스

985. 설치

986.
-

987. kdb5_util

988. create

989. -r

990. TAJO.ORG

991. -s

992.
Loading

993. random

994. data

995.
Initializing

996. database

997. '/var/kerberos/krb5kdc/principal'

998. for

999. realm

1000. 'TA
JO.ORG',

1001.
master

1002. key

1003. name

1004. 'K/M@TAJO.ORG'

1005.
You

1006. will

1007. be

1008. prompted

1009. for

1010. the

1011. database

1012. Master

1013. Password.

1014.
It

1015. is

1016. important

1017. that

1018. you

1019. NOT

1020. FORGET

1021. this

1022. password.

1023.
Enter

1024. KDC

1025. database

1026. master

1027. key:

1029.
Re-enter

1030. KDC

1031. database

1032. master

1033. key

1034. to

1035. verify:

1038. 5.2

1039. 커버로스

1040. 설치

1041.
ls

1042. ­–al

1043. /var/kerberos/krb5kdc/

1044.
-rw-------.

1045. 1

1046. root

1047. root

1050. 69

1051. 2014-09-27

1052. 21:17

1053. .k5stash

1054.
-rw-------.

1055. 1

1056. root

1057. root

1060. 22

1061. 2014-03-28

1062. 03:36

1063. kadm5.acl

1064.
-rw-r--r--.

1065. 1

1066. root

1067. root

1069. 727

1070. 2014-09-27

1071. 20:29

1072. kdc.conf

1073.
-rw-------.

1074. 1

1075. root

1076. root

1077. 8192

1078. 2014-09-27

1079. 21:17

1080. principal

1081.
-rw-------.

1082. 1

1083. root

1084. root

1085. 8192

1086. 2014-09-27

1087. 21:17

1088. principal.kadm5

1089.
-rw-------.

1090. 1

1091. root

1092. root

1096. 0

1097. 2014-09-27

1098. 21:17

1099. principal.kadm5.lock

1100.
-rw-------.

1101. 1

1102. root

1103. root

1107. 0

1108. 2014-09-27

1109. 21:18

1110. principal.ok

1112. 5.2

1113. 커버로스

1114. 설치

1115.
3)

1116. ACL

1117. 변경

1118.
•

1119. /var/kerberos/krb5kdc/kadm5.acl

1120.
*/admin@TAJO.ORG

1121. *

1122.
4)

1123. 커버로스

1124. 서버

1125. 구동

1126.
-

1127. service

1128. kadmin

1129. start

1130.
-

1131. service

1132. krb5kdc

1133. start

1134.
-

1135. chkconfig

1136. krb5kdc

1137. on

1138.
-

1139. chkconfig

1140. kadmin

1141. on

1143. 5.2

1144. 커버로스

1145. 설치

1146.
5)

1147. SSH

1148. 설정

1149. 변경

1150.
-

1151. authconfig-tui

1153. 5.2

1154. 커버로스

1155. 설치

1156.
-

1157. /usr/sbin/authconfig

1158. --update

1159. --enablekrb5

1160. --krb5kdc=na
menode01

1161. --krb5realm=TAJO.ORG

1162.
-

1163. /etc/ssh/sshd_config

1164. 변경

1166.
PasswordAuthentication

1167. no

1168.
KerberosAuthentication

1169. yes

1171.
KerberosOrLocalPasswd

1172. no

1174.
KerberosTicketCleanup

1175. yes

1176.
GSSAPIAuthentication

1177. yes

1178.
GSSAPICleanupCredentials

1179. yes

1180.
GSSAPIKeyExchange

1181. yes

1183.
UsePAM

1184. yes

1186.
-

1188. service

1189. sshd

1190. restart

1192. 5.2

1193. 커버로스

1194. 설치

1195.
6)

1196. 방화벽

1197. 정책

1198. 추가

1199.
-

1201. iptables

1202. -I

1203. INPUT

1204. -m

1205. state

1206. --state

1207. NEW

1208. -m

1209. tcp

1210. -p

1211. tcp

1212. --dp
ort

1213. 88

1214. -j

1215. ACCEPT

1216.
-

1217. iptables

1218. -I

1219. INPUT

1220. -m

1221. state

1222. --state

1223. NEW

1224. -m

1225. udp

1226. -p

1227. udp

1228. --d
port

1229. 88

1230. -j

1231. ACCEPT

1232.
-

1233. iptables

1234. -I

1235. INPUT

1236. -m

1237. state

1238. --state

1239. NEW

1240. -m

1241. tcp

1242. -p

1243. tcp

1244. --dp
ort

1245. 749

1246. -j

1247. ACCEPT

1248.
-

1249. service

1250. iptables

1251. save

1252.
-

1255. 5.3

1256. 커버로스

1257. 코맨드

1258.
구성요소

1259. 내용

1260.
kadmin

1261.
원격의 커버로스 데이터베이스에 접속하여 principal
및 keytab을 관리함. 원격 접속 가능

1262.
kadmin.local

1263.
로컬 커버로스 데이터베이스에 접속하여 principal
및 keytab을 관리함

1264.
klist

1265. 로컬 호스트에 캐시되어 있는 티켓 목록 출력

1266.
kinit

1267. 커버로스

1268. 로그인

1269. 수행

1270.
kdestroy

1271. 로컬

1272. 티켓

1273. 캐시

1274. 삭제

1275.
kpasswd

1276. 커버로스

1277. 패스워드

1278. 변경

1280. 5.4

1281. principal

1282. 및

1283. keytab

1284. 생성

1285.
1)

1286. 쉘

1287. 스크립트

1288. 작성

1289.
•

1290. /usr/local/kerberos/slaves

1291.
namenode01

1292.
datanode01

1293.
•

1294. /usr/local/kerberos/make_keytab.sh

1295.
#!/bin/sh

1297.
realm=TAJO.ORG

1299.
for

1300. slave

1301. in

1302. $(cat

1303. slaves);

1304. do

1307. echo

1308. ${slave}

1311. install

1312. -o

1313. root

1314. -g

1315. root

1316. -m

1317. 0700

1318. -d

1319. ${slave}

1321. 5.4

1322. principal

1323. 및

1324. keytab

1325. 생성

1326.
•

1327. /usr/local/kerberos/make_keytab.sh

1328.
kadmin.local

1329. EOF

1330.
addprinc

1331. -randkey

1332. host/${slave}@${realm}

1333.
addprinc

1334. -randkey

1335. hadoop/${slave}@${realm}

1336.
ktadd

1337. -k

1338. ${slave}/hadoop.keytab

1339. -norandkey

1341.
hadoop/${slave}@${realm}

1342. host/${slave}@${realm}

1343.
EOF

1344.
done

1345.
-

1346. 스크립스

1347. 실행:

1348. ./make_keytab.sh

1349.
-

1350. 호스트명

1351. 디렉토리의

1352. 파일을

1353. 해당

1354. 호스트로

1355. 복사

1357.
à

1358. scp,