1. SQL-on-Hadoop

2. 그리고

3. Tajo

4.
Tech

5. Planet

6. 2013

7.
11월

8. 14일

10. 소개
• 최현식

11. (Hyunsik

12. Choi)

13.
– Director

14. of

15. Research,

16. Gruter

17. Corp

18. (2013.

19. 6

20. ~)

21.
– PhD

22. (Computer

23. Science

25. Engineering,

26. 2013.

27. 8)

28.
– Apache

29. Tajo

30. (incubating)

31. PPMC

32. member

34. committer

36.
(2013.3

37. ~

38. )

39.
– Apache

40. Giraph

41. PMC

42. member

43. and

44. committer

45. (2011.

46. 8

47. ~

48. )

49.
• Contacts

50.
– Email:

51. hyunsik

52. AT

53. apache.org

54.
– Linkedin:

55. http://linkedin.com/in/hyunsikchoi/

56.
– Twitter:

57. @hyunsik_choi

59. SQL-on-Hadoop 시스템
• SQL-on-Hadoop

60. 시스템이란?

61.
– HDFS에

62. 저장된

63. 데이터에

64. 대한

65. SQL

66. 처리를

67. 제공하는

68. 시스템

69.
– 탈

70. MapReduce

71. 모델

73. 프레임워크

74.
• 새로운

75. 분산

76. 처리

77. 모델

79. 프레임워크를

80. 기반

81.
• 다양한

82. 설계

83. 목표

84. 지향

85. (외형적으로

86. 비슷해

87. 보이지만

88. 다름)

90. 왜 SQL-on-Hadoop 시스템?
• MapReduce의

91. 한계

92.
– 데이터

93. 처리

94. 모델상의

95. 한계

96. (관계형

97. 처리를

98. 위해

99. 고안된

100. 것이

101. 아님)

102.
• Map

103. -

104. Shuffle

105. -

106. Reduce

107.
– Pig,

108. Hive는

109. MapReduce가

110. 제공하는

111. 기능

112. 이상의

113. 최적화

114. 불가능

115.
– 느린

116. 속도

117. (초기화

118. 및

119. 스케쥴링

120. 지연)

121.
• MapReduce가

122. 느린

123. 것이

124. 아님,

125. 하둡

126. 구현이

127. 느린

128. 것

129.
• 높은

130. learning

131. curve

132. 및

133. Legacy

134. 시스템들과

135. 호환성

136. 문제

137.
– MapReduce는

138. 어렵고,

139. 개발

140. 노력이

141. 많이

142. 들고,

143. 성능

144. 보장이

145. 어려움

146.
• MapReduce의

147. 직접

148. 사용은

149. 점차

150. 줄고

151. 있음

152.
– HiveQL

153. !=

154. SQL

155.
• Ad-hoc

156. 질의에

157. 대한

158. 속도

159. 문제로

160. DBMS

161. 병행

162. 사용

163. 불가피

164.
– 부담이

165. 큰

166. ETL의

167. 문제

168. (HDFS

169. -

170. DBMS)

171.
– 추가적인

172. 스토리지

173. 공간

174. 필요,

175. 비싼

176. DBMS

177. 라이센스

178. 비용의

179. 벽

181. SQL-on-Hadoop 시스템 분류
• 주요

182. 기준

183.
– Long

184. time

185. 질의를

186. 지원하는가?

187. 아닌가?

188.
• ‘특정

189. 시스템이

190. 이

191. 워크로드에

192. 적합한가’를

193. 판단하게

194. 하는

195. 기준

197.
• Long

198. time

199. 질의

200. 지원를

201. 위한

202. 설계

203. 시

204. 주요

205. 고려사항

206.
– Fault

207. tolerance

208.
– Dynamic

209. scheduling

210.
“Machine failures are common in a large cluster”
- Jeff Dean

211. Fault Tolerance
• 질의

212. 처리

213. 중

214. 발생하는

215. 오류를

216. 핸들링하여

217. 질의를

218. 완료하는

219. 기능

220.
• Long

221. time

222. 질의

223. (수

224. 십분

225. 이상)

226. 에

227. 필수적

228.
• 하나의

229. 질의를

230. 작은

231. 단위의

232. 테스크로

233. 나누어

234. 처리하고

235. 오류의

236. 범위를

237. 테
스크로

238. 한정

239. 및

240. 테스크

241. 재시작

242.
• 단,

243. 중간

244. 데이터

245. materialization

246. 요구

247.
– 디스크

248. 부하

249. 유발

252.
Throughput
Fault Tolerance
Trade-off 관계

253. Dynamic Scheduling
• Fixed

254. scheduling

255.
– 작업

256. 시작

257. 시

258. 균등하게

259. 클러스터

260. 노드들에

261. 분할된

262. 작업을

263. 한번에

264. 할당

265.
• Dynamic

266. scheduling

267.
1. 각

268. 노드에

269. 노드가

270. 한번에

271. 실행할

272. 수

273. 있는

274. 테스크를

275. 우선적으로

276. 분배

277.
2. 노드가

278. 할당

279. 받은

280. 테스크가

281. 끝나면

282. 다시

283. 할당

284.
• 실제

285. 클러스터의

286. 환경적

287. 특성

288.
– 같은

289. 사양의

290. 노드라도

291. 알수

292. 없는

293. 이유로

294. 성능

295. 차이

296. 발생

297.
– 점진적으로

298. 확장되는

299. 경우

300. 이종의

301. 클러스터

302. 노드로

303. 구성

304.
일부 느린 노드가 분산 작업의 성능을 결정

305. SQL-on-Hadoop 시스템 분류
Name
Fault
Tolerance
Dynamic
Scheduling
Long time
질의 적합
클러스터 자원
대비 큰 용량 처리
Tajo
O
O
O
O
Impala
X
X
X
X
Stinger (Hive)
O
O
O
O
Drill
?
?
?
?
Presto
X
X
X
X
표 1. 설계에 따른 비교표

306. SQL-on-Hadoop 시스템 분류
Data Warehouse System
Query Engine

307. SQL-on-Hadoop 시스템 분류
• Data

308. Warehouse

309. System

310.
– 수

311. 시간이상

312. 걸리는

313. 질의

314. 수행

315. 가능

316.
– ETL

317. 작업

318.
• 데이터

319. 변환

320. 및

321. 데이터

322. 노이즈

323. 제거

324.
• 데이터

325. 파티셔닝

326.
– Data

327. integration

328.
• 다수

329. 데이터

330. 소스에

331. 대한

332. 통합

333.
– Ad-hoc

334. query

335.
• Query

336. Engine

337.
– 수

338. 초에서

339. 수

340. 분까지의

341. 질의

342. 수행에

343. 최적화

344.
– 빠른

345. 응답을

346. 가지는

347. ad-hoc

348. query

349.
– 중간

350. 데이터

351. 크기와

352. 자원에

353. 따라

354. 질의가

355. 다소

356. 제약됨

357.
• 인메모리

358. 처리

359. 구조와

360. 파이프라인

361. 연산

362. 방식에

363. 따라

365. Presto 소개
•
•
•
•
Facebook에서

366. 개발하여

367. 오픈소스로

368. 공개

369.
수

370. 초에서

371. 수

372. 분이

373. 걸리는

374. 질의

375. 유형을

377.
타겟으로

378. 설계

379.
No

380. Fault

381. tolerance

382.
빠른

383. 응답과

384. online

385. query

386. processing

387.
– 우선적으로

388. 처리된

389. 결과가

390. 반환됨

391.
•
•
일부

392. 질의

393. 유형에

394. 대해

395. approximate

396. query

397. 지원

398.
Hive의

399. 보완

400. 시스템으로

401. 개발

402.
•
모든

403. 연산자는

404. 파이프라이닝

405. (pipelining)과

406. 데이터

407. 전송은

408. 스트리밍

409.
•
Facebook

410. 사례

411.
– 누적된

412. 300

413. PB

414. Data

415. Warehouse,

416. 일일

417. 30k

418. 질의,

419. 하루에

420. 1PB

421. 처리

422.
“90% of jobs on a Facebook cluster have input sizes under 100 GB”
- Raja Appuswamy et al. “Nobody ever got fired for buying a cluster”,
Microsoft Research

423. Tajo란?
• Tajo

424.
– 하둡

425. 기반의

426. 대용량

427. 데이터웨어

428. 하우스

429. 시스템

430.
– 2010년

431. 부터

432. 리서치

433. 프로토타입으로

434. 개발

435. 시작

436.
– 아파치

437. 인큐베이션

438. 프로젝트

439. (올해

440. 3월

441. ASF

442. 인큐베이션

443. 채택)

444.
• Features

445.
–
–
–
–
–
–
SQL

446. 표준

447. 호환

448.
질의

449. 전체를

450. 분산

451. 처리

452.
HDFS가

453. 기본

454. 스토리지

455.
관계형

456. 모델

457. (Nested

458. model로

459. 확장

460. 계획

461. 중)

462.
ETL

463. 뿐만

464. 아니라

465. low-latency

466. 질의(100

467. ms

468. ~

469. hours)

470.
UDF

471. 지원

472.
• News

473.
– 0.2-incubating:

474. 11월

475. 중

476. 릴리즈

477.
– 0.8-incubating:

478. 12월

479. 릴리즈

480. 계획

482. Tajo의 주요 설계 원칙
• 실패한 테스크 단위의 재시도
• 질의 별 QueryMaster
내고장성
확장성
고성능
• 유연한 분산 처리 모델
• 비용 기반 최적화
• 확장 가능한 rewrite rule
더 많은
최적화 기회

483. 아키텍쳐
•
기본

484. 스토리지는

485. HDFS,

486. 다양한

487. 데이터

488. 소스를

489. 가질

490. 수

491. 있음

492.
•
마스터

493. 워커

494. 클러스터

495. 모델

496. +

497. 각

498. 질의

499. 별

500. Query

501. Master

502.
– Single

503. point

504. of

505. failure를

506. 제거하고

507. 병목

508. 지점

509. 제거

510. 고려

511.
•
타조

512. 마스터

513. (Tajo

514. Master)

515.
–
–
–
–
–
•
항시

516. 대기하며

517. DDL과

518. 같은

519. 분산

520. 처리

521. 없이

522. 처리

523. 가능한

524. 질의

525. 수행

526.
Client

527. API를

528. RPC로

529. 제공

530.
쿼리

531. 파서

532. 및

533. Query

534. Master들을

535. 관리

536.
카탈로그

537. 서버

538. 내장

539. (독립

540. 실행

541. 가능)

542.
클러스터

543. 자원

544. 관리

545.
Query

546. Master

547. (각

548. 질의

549. 별

550. 동작)

551.
– 논리

552. 실행

553. 계획을

554. 분산

555. 실행

556. 계획으로

557. 변환

558.
– 분산

559. 실행

560. 계획을

561. 제어

562.
– 테스크

563. 스케쥴링

564.
•
Tajo

565. Worker

566.
– Storage

567. Manager

568.
– Local

569. Query

570. Engine

572. Tajo 아키텍쳐

573. 질의 플래닝 과정

574. Tajo 분산 처리 모델
• 질의

575. =

576. 비순환

577. 방향

578. 그래프

579.
– 정점,

580. 방향을

581. 가진

582. 간선으로

583. 구성

584.
– 사이클

585. 없음

586.
• 정점은

587. 데이터

588. 처리

589. 단계를

590. 표현

591.
– 논리

592. 연산자

593. 그래프

594. -

595. A

596. DAG

597. of

598. Logical

599. Operators

600.
– Enforcer

601. (properties

602. to

603. force

604. physical

605. planning)

606.
• 간선

607. (edge)

608. =

609. 정점간

610. 데이터

611. 흐름

612. 표현

613.
– 전송

614. 방법

615. (Pull,

616. Push,

617. File)

618.
– 셔플

619. 방법

620. (range,

621. hash,

622. and

623. ..)

624.
– 파티션

625. 개수

627. 데이터 셔플
• 셔플

628. 방법

629.
– Hash

630.
• 해쉬

631. 파티셔닝

632. (해쉬

633. 키를

634. 이용한

635. 중간

636. 데이터

637. 파티셔닝)

638.
– Range

639.
• 범위

640. 파티셔닝

641. (각

642. 노드에

643. 범위를

644. 할당,

645. 범위에

646. 만족하도록

647. 데이터

648. 파티셔닝)

649.
• 주로

650. 분산

651. 정렬에

652. 사용

654.
• 전송

655. 방법

656.
– Pull

657.
• Step

658. 1:

659. 로컬

660. 디스크에

661. 저장

662.
• Step

663. 2:

664. 다른

665. 노드들이

666. HTTP로

667. 끌어감

668.
–

669. Push

670. (12월

671. 릴리즈

672. 0.8에

673. 추가됨)

674.
• 중간

675. 데이터를

676. 다음

677. 노드에게

678. 직접

679. 스트리밍

680. (no

681. materialization)

683.
• Push되는

684. 양쪽

685. 실행

686. 단계는

687. 파이프라이닝

688. 가능

690. Tajo 분산 처리 모델에 기반한 분산 실행 계획의 예제
논리 실행 계획
(logical plan)
분산 실행 계획
(distributed execution plan)
select col1, sum(col2) as total, avg(col3) as average from r1, r2
where r1.col1 = r2.col2 group by col1 order by average;

691. 질의 최적화
• Cost-based

692. Join

693. Optimization

694. (Greedy

695. Heuristic)

696.
– 사용자가

697. 최선의

698. 조인

699. 순서를

700. 추측하는

701. 수고

702. 제거

703.
• 확장

704. 가능한

705. rewrite

706. rule

707. 엔진

708.
– rewrite

709. rule

710. 인터페이스

711. 제공과

712. 다양한

713. 유틸리티

714. 제공

715.
• Query

716. block

717. 그래프

718. 자료구조

719. (블럭간의

720. 관계

721. 표현)

722.
• 조인

723. 그래프

724. 자료구조

725. (조인

726. 조건들을

727. 기준으로

728. 그래프

729. 표현)

730.
• 그

731. 외의

732. 대수관련

733. 유틸리티

734.
SELECT … from !
( SELECT … from A) as r1!
join !
( SELECT … from B!
WHERE c1 (SELECT!
) as r2!
Query block 그래프 변환

735. 질의 최적화
• 점진적

736. 질의

737. 최적화

738. (Progressive

739. Query

740. Optimization)

741.
– 실행

742. 시간

743. 통계

744. 수집

745.
• 실행

746. 시간에

747. Min,

748. Max

749. 값,

750. 중간

751. 데이터

752. 크기

753. 수집

754.
– 분산

755. 정렬을

756. 위한

757. 범위

758. 분할

759. (range

760. partitioning)의

761. 적절한

762. 파티션

763.
범위,

764. 개수

765. 등을

766. 런타임에

767. 조정

768.
– 분산

769. 조인,

770. 그룹바이를

771. 위한

772. 파티션

773. 개수를

774. 런타임에

775. 조정

776.
– 논리

777. 연산자

778. 단위의

779. 재최적화

780. (향후

781. 계획)

782.
• 실행

783. 중

784. 수집한

785. 통계

786. 정보를

787. 바탕으로

788. 조인

789. 순서

790. 다시

791. 최적화

792.
• 전송

793. 방법

794. (transmission)도

795. 실행

796. 중

797. 조정

799. 현재 프로젝트 상태
• SQL

800. 지원

801.
– 표준

802. 부분:

803. ANSI

804. SQL

805. 2003

806. compliance

807.
– 비표준

808. 부분:

809. PostgreSQL

810. 호환

811.
• 예)

812. 함수

813. regexp_replace,

814. split_part,…⋯

815.
– 미지원

816. 및

817. 향후

818. 지원

819. 계획

820.
• Outer

821. Join

822. (v0.8),

823. Exists

824. (v1.0),

825. In

826. Subquery

827. (v1.0)

828.
• 클러스터

829. 노드들에

830. 대한

831. 분산

832. 조인,

833. 그룹바이,

834. 정렬

835. 제공

836.
• Blocking/Asynchronous

837. Java

838. Client

839. API

840.
• JDBC

841. 드라이버

842. (개발

843. 브렌치)

845. 현재 프로젝트 상태
• Tajo

846. Catalog

847.
– 테이블의

848. 통계

849. 정보

850. (용량,

851. row

852. 수)

853.
– Derby와

854. MySQL을

855. Catalog

856. 스토어로

857. 가능

858.
– HCatalog를

859. 통해

860. Hive

861. Meta

862. 엑세스

863. (개발

864. 브렌치)

865.
• Hive

866. 테이블을

867. Tajo에서

868. 엑세스

869. 가능

870.
– 편리한

871. 백업

872. 및

873. 복구

874. 유틸리티

875. 제공

876. (tajo_dump)

877.
-- 카탈로그 백업
$ bin/tajo_dump [tbname] backup.sql
or
$ bin/tajo_dump –a backup_all.sql
-- 카탈로그 복구
$ bin/tsql –f backup.sql

878. 현재 프로젝트 상태
• 파일

879. 지원

880.
–
–
–
–
–
CSV

881. format

882.
RowFile

883. (row

884. store

885. 파일

886. 구조)

887.
RawFile

888. (for

889. local

890. disk/network

891. materialization)

892.
RCFile

893. (Text/Binary

894. (de)serializer

895. 제공

896. 및

897. Hive

898. 호환)

899. (개발

900. 브렌치)

901.
Parquet

902. (다음

903. 릴리즈

904. v0.8에서

905. 제공)

906.
• 사용자

907. 파일

908. 포맷을

909. 위한

910. scanner/appender

911. 인터페이스

912. 제공

913.
• 대폭

914. 향상된

915. 스캔

916. 성능

917.
– 클러스터

918. 노드와

919. 각

920. 노드의

921. 디스크

922. 부하까지

923. 고려하여

924. 테스크를

925. 동적으
로

926. 할당

927. (dynamic

928. scheduling)

929.
– 디스크

930. 바운드

931. (disk-bound)

932. 질의의

933. 경우

934. 평균

935. 60-110

936. MB/s

937. per

938. disk

939.
(SATA2

940. and

941. SAS)

943. 현재 프로젝트 상태

944. 현재 프로젝트 상태

945. 비교 평가
• Tajo

946. (0.2-incubating)

947. vs.

948. Impalad_version

949. 1.1.1

950. vs.

951. Hive

952. 0.10-cdh4

953.
• TPC-H

954. data

955. set

956. 100GB

957.
• 모든

958. 테스트는

959. 캐쉬

960. drop

961. 후

962. 수행

963.
• 10G

964. 이더넷

965.
• 6대

966. 클러스터

967. 노드

968.
– Intel

969. Xeon

970. CPU

971. E5

972. 2640

973. 2.50GHz

974. x

975. 4

976.
– 64

977. GB

978. memory

979.
– 6

980. SATA2

981. disks

983. Seconds
비교 평가
Some of TPC-H Queries on 100GB

984. Roadmap
• 현재

985. 0.2

986. 릴리즈

987. 투표중

988.
• 2013.12

989. :

990. Apache

991. Tajo

992. 0.8

993. Release

994.
–
–
–
–
–
SQL

995. 지원

996. 향상,

997. 안정성

998. 향상

999.
Outer

1000. join

1001. 지원

1002.
Hadoop

1003. 2.2.0

1004. GA

1005. 포팅

1006.
Table

1007. Partitioning:

1008. Hash,

1009. Range,

1010. List,

1011. Column

1012. (Hive

1013. style)

1014.
Hcatalog

1015. 엑세스

1016. 지원

1017.
• 2014

1018. Q1:

1019. Apache

1020. Tajo

1021. 1.0-alpha

1022. release

1023.
– 강력하고

1024. 다양한

1025. rewrite

1026. rule

1027. 추가

1028.
– 윈도우

1029. 함수

1030. 지원

1031. (window

1032. function)

1033.
– JIT

1034. query

1035. compilation

1037. vectorized

1038. 엔진

1039. 프로토타입

1041. 참여 방법!
• 시작하기

1042.
– http://wiki.apache.org/tajo/GettingStarted

1043.
• 개발

1044. 브렌치를

1045. 이용한

1046. 빌드

1047.
– http://wiki.apache.org/tajo/BuildInstruction

1048.
• Jira

1049. ­–

1050. 이슈

1051. 트래커

1052.
– https://issues.apache.org/jira/browse/TAJO

1053.
• 메일링

1054. 리스트

1055. 가입

1056.
– tajo-dev-subscribe@incubator.apache.org