The document discusses HBase and consistent secondary indexing. It provides an example of an HBase table with movie star data indexed by rowkey. It notes that without secondary indexes, full scans would be needed to query the data by fields other than the rowkey. It also mentions that HIM can be used to implement a secondary indexing system for HBase.

1. HBase
Consistent secondary
Indexing
이름: Jeongmin Kim
소속: Naver

2. Contents
1. HBase, 보조인덱스 & the index consistency
2. Consistent secondary indexing
3. HBase환경에서 보조인덱스 시스템 구현하기: HIM
4. Nosql과 보조인덱스 시스템

3. 1.
HBase,
보조인덱스
& the index Consistency
3

4. rowkey
bio: fam:
career:

5.
name birth sex hometown spouse occupation debutYear
Brad

6. pitt Brad

7. pitt dec.

8. 18,

9.
1963
M oklahoma Angelina

10.
Jolie
Actor 1987
Leonardo

11.
Dicaprio
Leonardo

12.
Dicaprio
Nov

13. 11,

14. 1974 M LA,

15. CA Actor 1989
Tom

16. Cruise Tom

17. cruise July

18. 3,

19. 1962 M Syracuse,

20. NY Katie

21. Holmes Actor 1981
Table

22. :

23. movieStar
HBase

24. table
4

25. rowkey
bio: fam:
career:

26.
name birth sex hometown spouse occupation debutYear
Brad

27. pitt Brad

28. pitt dec.

29. 18,

30.
1963
M oklahoma Angelina

31.
Jolie
Actor 1987
Leonardo

32.
Dicaprio
Leonardo

33.
Dicaprio
Nov

34. 11,

35. 1974 M LA,

36. CA Actor 1989
Tom

37. Cruise Tom

38. cruise July

39. 3,

40. 1962 M Syracuse,

41. NY Katie

42. Holmes Actor 1981
rowkey

43. 기준으로

44. 사전순으로

45. 정렬

46.
Table

47. :

48. movieStar
HBase

49. table
5

50. rowkey
bio: fam:
career:

51.
name birth sex hometown spouse occupation debutYear
Brad

52. pitt Brad

53. pitt dec.

54. 18,

55.
1963
M oklahoma Angelina

56.
Jolie
Actor 1987
Leonardo

57.
Dicaprio
Leonardo

58.
Dicaprio
Nov

59. 11,

60. 1974 M LA,

61. CA Actor 1989
Tom

62. Cruise Tom

63. cruise July

64. 3,

65. 1962 M Syracuse,

66. NY Katie

67. Holmes Actor 1981
값을

68. 기준으로

69. 데이터를

70. 찾는다면?

72. Full

73. scan이

74. 필요하다.

75.
(hbase에서는

76. 보조인덱스가

77. 없기

78. 때문)
Table

79. :

80. movieStar
HBase

81. table
rowkey

82. 기준으로

83. 사전순으로

84. 정렬

85.
6

86. rowkey
bio: fam:
career:

87.
name birth sex hometown spouse occupation debutYear
Brad

88. pitt Brad

89. pitt dec.

90. 18,

91.
1963
M oklahoma Angelina

92.
Jolie
Actor 1987
Leonardo

93.
Dicaprio
Leonardo

94.
Dicaprio
Nov

95. 11,

96. 1974 M LA,

97. CA Actor 1989
Tom

98. Cruise Tom

99. cruise July

100. 3,

101. 1962 M Syracuse,

102. NY Katie

103. Holmes Actor 1981
Table

104. :

105. movieStar
HBase

106. table
값을

107. 기준으로

108. 데이터를

109. 찾는다면?

111. Full

112. scan이

113. 필요하다.

114.
(hbase에서는

115. 보조인덱스가

116. 없기

117. 때문)
rowkey

118. 기준으로

119. 사전순으로

120. 정렬

121.
secondary indexes require additional cluster space and processing. This is precisely
what happens in an RDBMS because the act of creating an alternate index requires both
space and processing cycles to update. RBDMS products are more advanced in this
regard to handle alternative index management out of the box. However, HBase scales
better at larger data volumes, so this is a feature trade-off.
source : http://hbase.apache.org/book/secondary.indexes.html
7

122. Request]

124. spouse를

125. 기준으로

126. 인덱스

127. 생성
rowkey
bio:

128.
birth
bio:

129.
sex
bio:

130.
hometo
wn
fam:

131.
spouse
career:

132.
occupat
ion
career:

133.
debutY
ear
Brad

134.
pitt
dec.

135.
18,

136.
1963
M
oklaho
ma
Angelin
a

137. Jolie
Actor 1987
Leonardo

138.
Dicaprio
Nov

139. 11,

140.
1974
M LA,

141. CA Actor 1989
Tom

142.
Cruise
July

143. 3,

144.
1962
M
Syracus
e,

145. NY
Katie

146.
Holmes
Actor 1981
movieStar movieStar.index.spouse
indexing
( {} : seperator )
rowkey
Angelina

147. Jolie{}Brad

148.
pitt
Katie

149. Holmes{}Tom

150.
Cruise
{}Leonardo

151. Dicaprio
1.

152. indexTable

153. 생성
2.

154. [값+값의rowkey]의

156.
새로운

157. rowkey생성
3.

158. 값을

159. 기준으로

160. 매핑

161.
정보가

162. 정렬된다.
직접

163. Index

164. 생성하기

165. [1/2]
value{}rowkey
8

166. rowkey
Angelina

167. Jolie{}
Brad

168. pitt
Katie

169. Holmes{}Tom

170.
Cruise
{}Leonardo

171.
Dicaprio
rowkey
bio:

172.
birth
bio:

173.
sex
bio:

174.
hometown
fam:

175.
spouse
career:

176.
occupation
career:

177.
debutYear
Brad

178. pitt
dec.

179. 18,

180.
1963
M oklahoma
Angelina

181.
Jolie
Actor 1987
Leonardo

182.
Dicaprio
Nov

183. 11,

184.
1974
M LA,

185. CA Actor 1989
Tom

186.
Cruise
July

187. 3,

188.
1962
M
Syracuse,

189.
NY
Katie

190.
Holmes
Actor 1981
movieStarmovieStar.index.spouse
( {} : seperator )
Request]

192. 미혼인

193. 배우

194. 정보
직접

195. Index

196. 생성하기

197. [2/2]
1.

198. 원하는

199. 값으로

201.
index를

202. range

203. Scan
2.

204. index에서

205. 추출된

206.
rowkey로

207. 데이터

208. 획득
9

209. • client는

210. dataTable과

211. indexTable에서

212. 동일한

213. 데이터를

214. 보아야한다.
Index

215. Consistency
User1
DataTable IndexTable
뭔가

216. 이상한데?
dataA_v1dataA_v2
dataA_v1
dataA_v2
10

217. rowkey
bio:

218.
birth
bio:

219.
sex
bio:

220.
hometo
wn
fam:

221.
spouse
career:

222.
occupat
ion
career:

223.
debutY
ear
career:

224.
earning
Brad

225. pitt
dec.

226. 18,

227.
1963
M
oklaho
ma
Angeli
na

228. Jolie
Actor 1987 25M
Christian

229.
Bale
Jan

230. 30,

231.
1974
M UK
Sibi

232.
Blazic
Actor 1982 20M
Leonardo

233.
Dicaprio
Nov

234. 11,

235.
1974
M LA,

236. CA Actor 1989 39M
Tom

237.
Cruise
July

238. 3,

239.
1962
M
Syracus
e,

240. NY
Katie

241.
Holme
s
Actor 1981 35M
rowkey
Angelina

242. Jolie{}
Brad

243. pitt
Katie

244. Holmes{}
Tom

245. Cruise
{}Leonardo

246.
Dicaprio
movieStar movieStar.index.spouse
( {} : seperator )
새로운
데이터
유입
Indexing
index 정보 실종!
FAIL!
1]

247. Put하는

248. 도중의

249. Indexing

250. 지연/실패
Index

251. consistency가

252. 깨어지는

253. 3가지

254. 경우
11

255. rowkey
Angelina

256. Jolie{}
Brad

257. pitt
Katie

258. Holmes{}
Tom

259. Cruise
Sibi

260. Blazic{}
Christian

261. Bale
{}Leonardo

262.
Dicaprio
{}Tom

263. Cruise
( {} : seperator )
데이터
수정 Indexing
out-date된 데이터 존재
2]

264. 지워지지

265. 않은

266. 예전

267. Index

268. 정보
Index

269. consistency가

270. 깨어지는

271. 3가지

272. 경우
rowkey
bio:

273.
birth
bio:

274.
sex
bio:

275.
hometo
wn
fam:

276.
spouse
career:

277.
occupat
ion
career:

278.
debutY
ear
career:

279.
earning
Brad

280. pitt
dec.

281. 18,

282.
1963
M
oklaho
ma
Angeli
na

283. Jolie
Actor 1987 25M
Christian

284.
Bale
Jan

285. 30,

286.
1974
M UK
Sibi

287.
Blazic
Actor 1982 20M
Leonardo

288.
Dicaprio
Nov

289. 11,

290.
1974
M LA,

291. CA Actor 1989 39M
Tom

292.
Cruise
July

293. 3,

294.
1962
M
Syracus
e,

295. NY
Actor 1981 35M
movieStar movieStar.index.spouse
12

296. rowkey
bio:

297.
birth
bio:

298.
sex
bio:

299.
homet
own
fam:

300.
spouse
career:

301.
occupa
tion
career:

302.
debutY
ear
career:
earning
Brad

303. pitt
dec.

304. 18,

305.
1963
M
oklaho
ma
Angeli
na

306. Jolie
Actor 1987 25M
Christian

307.
Bale
Jan

308. 30,

309.
1974
M UK
Sibi

310.
Blazic
Actor 1982 20M
Leonardo

311.
Dicaprio
Nov

312. 11,

313.
1974
M LA,

314. CA Actor 1989 39M
Tom

315.
Cruise
July

316. 3,

317.
1962
M
Syracus
e,

318. NY
Actor 1981 35M
rowkey
20M{}Christian

319.
Bale
25M{}Brad

320. Pitt
39M{}Leonardo

321.
Dicaprio
35M{}Tom

322. Cruise
movieStarmovieStar.index.earning
( {} : seperator )
$30M

323. 이하의

324. 연소득

326. 배우

327. 리스트는?
3]

328. IndexTable을

329. 읽는

330. 도중

331. 발생한

332. 데이터

333. 갱신
1. index Scan
Index

334. consistency가

335. 깨어지는

336. 3가지

337. 경우
User1
13

338. rowkey
bio:

339.
birth
bio:

340.
sex
bio:

341.
homet
own
fam:

342.
spouse
career:

343.
occupa
tion
career:

344.
debutY
ear
career:
earning
Brad

345. pitt
dec.

346. 18,

347.
1963
M
oklaho
ma
Angeli
na

348. Jolie
Actor 1987 25M
Christian

349.
Bale
Jan

350. 30,

351.
1974
M UK
Sibi

352.
Blazic
Actor 1982 45M
Leonardo

353.
Dicaprio
Nov

354. 11,

355.
1974
M LA,

356. CA Actor 1989 39M
Tom

357.
Cruise
July

358. 3,

359.
1962
M
Syracus
e,

360. NY
Actor 1981 35M
rowkey
25M{}Brad

361. Pitt
35M{}Tom

362. Cruise
39M{}Leonardo

363.
Dicaprio
45M{}Christian

364.
Bale
User2
다크나이트가

366.
성공해서

368.
소득이

369. 올랐지!
Index

370. consistency가

371. 깨어지는

372. 3가지

373. 경우
3]

374. IndexTable을

375. 읽는

376. 도중

377. 발생한

378. 데이터

379. 갱신
movieStarmovieStar.index.earning
2. Update data
( {} : seperator )
14

380. User1
3. data Scan
Index

381. consistency가

382. 깨어지는

383. 3가지

384. 경우
3]

385. IndexTable을

386. 읽는

387. 도중

388. 발생한

389. 데이터

390. 갱신
rowkey
25M{}Brad

391. Pitt
35M{}Tom

392. Cruise
39M{}Leonardo

393.
Dicaprio
45M{}Christian

394.
Bale
( {} : seperator )
rowkey
bio:

395.
birth
bio:

396.
sex
bio:

397.
homet
own
fam:

398.
spouse
career:

399.
occupa
tion
career:

400.
debutY
ear
career:
earning
Brad

401. pitt
dec.

402. 18,

403.
1963
M
oklaho
ma
Angeli
na

404. Jolie
Actor 1987 25M
Christian

405.
Bale
Jan

406. 30,

407.
1974
M UK
Sibi

408.
Blazic
Actor 1982 45M
Leonardo

409.
Dicaprio
Nov

410. 11,

411.
1974
M LA,

412. CA Actor 1989 39M
Tom

413.
Cruise
July

414. 3,

415.
1962
M
Syracus
e,

416. NY
Actor 1981 35M
movieStar.index.earning movieStar
15

417. rowkey
bio:

418.
birth
bio:

419.
sex
bio:

420.
hometo
wn
fam:

421.
spouse
career:

422.
occupation
career:

423.
debutYear
career:e
arning
Brad

424. pitt
dec.

425. 18,

426.
1963
M
oklaho
ma
Angelin
a

427. Jolie
Actor 1987 25M
Christian

428.
Bale
Jan

429. 30,

430.
1974
M UK
Sibi

431.
Blazic
Actor 1982 45M
요청과 맞지 않은 결과
Result

432. :
$30M

433. 이하의

434.
연소득

435. 배우

437.
리스트는?
Index

438. consistency가

439. 깨어지는

440. 3가지

441. 경우
3]

442. IndexTable을

443. 읽는

444. 도중

445. 발생한

446. 데이터

447. 갱신
User1
16

448. HBase에서

449. 동작하는

450. 보조인덱스

451. 시스템

452.
• 검색

453. 노출제어시스템(H**)에서

454. 사용할

455. 목적

456.
• 인덱스에서

457. 획득하는

458. 데이터의

459. 정확성과

460. 일관성이

461. 필수

462.
• 대규모

463. 데이터(수백억

464. 단위의

465. row)

466.
• 높은

467. throughput

468.
• 실시간

469. 처리

470.
• 선형

471. 확장성

472.
• DataTable과

473. Index에서

474. HBase가

475. 제공하는

476. 기능

477. 사용

478.
• CURD,

479. exist(Get[]),

480. batch(Mutation[]),

481. setFilter(),increment(),

482. checkAndPut(),

483.
CheckAndDelete(),

484. …⋯
우리가

485. 찾고

486. 있던

487. 것은...
17

488. 직접

489. 구현하자

490.
•시중에

491. 나와있는

492. 오픈

493. 소스

494. 들이

495. 요구사항에

496. 맞지

497. 않다.

498.
•이름짓기:

499. HIM

500.
•작명

501. 센스없이

502. 편히

503. 불렀던

504. 이름이...

505.
• H**

506. Index

507. Manager

508.
• 검색데이터노출제어시스템(H**)의

509. index

510. 관리

511. Util로

512. 시작

513.
•후에

514. 범용적인

515. 적용을

516. 생각하여

517. 이름

518. 변경

519. :

520. HBase

521. Index

522. Manager
우리가

523. 찾고

524. 있던

525. 것은...
18

526. 1.

527. 데이터와

528. 인덱스의

529. 갱신이

530. atomic하지

531. 않다

532.
• Client가

533. 요청하는

534. 시점에

535. 따라

536. index의

537. consistency가

538. 깨여질

539. 수

540. 있다.

541.
• Index와

542. Data가

543. 동시점에

544. 유효해

545. 져야

546. 한다.

547.
• Indexing과정에는

548. 과거의

549. index도

550. 정리

551. 되어야

552. 한다.(Clean-up과정)

553.
• Indexing에

554. 실패하면

555. Data도

556. 업데이트

557. 되지

558. 않아야

559. 한다.
DataTable IndexTable
데이터가

560. 유효한

561. 시점
index가

562. 유효한

563. 시점
1. data put 2. indexing
Index

564. Consistency가

565. 깨어진

566. 이유
19

567. 2.

568. 데이터와

569. 인덱스

570. 정보의

571. 유효성을

572. 알수

573. 없다.

574.
• 획득한

575. Index

576. 정보와

577. data를

578. 조회하는

579. 시점은

580. 다르다.

581.
• index정보를

582. 확인해야

583. data의

584. rowkey를

585. 알

586. 수

587. 있으므로

588.
• 서로

589. 다른

590. 시점에

591. 획득한

592. 두

593. 정보의

594. 유효성을

595. 알

596. 수

597. 없다.

598.
• 유효성을

599. 검증할

600. 방법이

601. 필요하다.
Index

602. Consistency가

603. 깨어진

604. 이유
DataTableIndexTable
index로 데이터 요청
index가 유효한 시점
지금도 인덱스가 유효할까?
데이터 획득index정보 획득
20

605. 2.
Consistent
Secondary indexing

606. HBase의

607. 오픈소스

608. Transaction

609. 시스템들을

610. 이용하여

611. 구현하면?

612.
• haeinsa,

613. tephra,

614. 각종

615. row

616. lock

617. 시스템들

618. …⋯

619.
• 데이터의

620. 정확성과

621. 일관성

622. 보장

623. 가능

624.
• 하지만

625. 각각

626. 우리

627. 시스템과

628. 맞지

629. 않는

630. 부분들이

631. 있다.

632.
• 특정

633. row에

634. 집중된

635. update에

636. 취약

637.
• setFilter(),incrementColumnByValue(),

638. checkAndPut(),

639. CheckAndDelete(),

640.
exist(Get[]),

641. batch()

642. 등의

643. 사용제약

644.
• 대규모

645. row에

646. 대한

647. scan

648. 및

649. transaction

650.
=

651. 좀

652. 더

653. 보조인덱스에

654. 특화된

655. 효율적인

656. 방법이

657. 없을까?
어떻게

658. 만들까?
22

659. rowkey
timestamp bio: fam: career:
name birth sex hometown spouse occupation debutYear
Tom Cruise
3 Tom cruise July 3, 1962 M Syracuse, NY Nicole Kidman Actor 1981
4 null Actor, Producer
5 Katie Holmes
6 null
hbase(main):002:0 get ‘movieStar’, ‘Tom Cruise’
Tom Cruise Tom cruise July 3, 1962 M Syracuse, NY null Actor, Producer 1981Result:
hbase(main):002:0 get ‘movieStar’, ‘Tom Cruise’, {TIMERANGE = [0, 6]}
Tom Cruise Tom cruise July 3, 1962 M Syracuse, NY Katie Holmes Actor, Producer 1981Result:
hbase(main):002:0 get ‘movieStar’, ‘Tom Cruise’, {TIMERANGE = [5, 6]}
Tom Cruise Katie HolmesResult:
MVCC(Multi-version

660. concurrency

661. control)
•Hbase의

662. 데이터는

663. 여러

664. 버전의

665. 데이터를

666. 가진다.

667.
•Client는

668. timestamp값을

669. 설정하여

670. 특정

671. version의

672. 데이터를

673. 획득할

674. 수

675. 있다.
23

676. Versioned

677. Index
rowkey timestamp
bio:
birth
bio:
sex
bio:
hometown
fam:
spouse
career:
occupation
career:
debutYear
Brad pitt 3
dec. 18,
1963
M oklahoma
Angelina
Jolie
Actor 1987
Leonardo
Dicaprio
12
Nov 11,
1974
M LA, CA Actor 1989
Tom
Cruise
5
July 3,
1962
M
Syracuse,
NY
Katie
Holmes
Actor 1981
movieStar movieStar.index.spouse
rowkey timestamp
Angelina Jolie{}
Brad pitt
3
Katie Holmes{}
Tom Cruise
5
{}Leonardo
Dicaprio
12
3가지의

678. timestamp의

679. 비교를

680. 통한

681. index

682. consistency

683. 구현

684.
1.

685. data’s

686. timestamp

687. :

688. dataTable의

689. data가

690. 가지는

691. 본연의

692. timestamp

693.
2.

694. index’s

695. timestamp

696. :

697. indexing한

698. 대상

699. data가

700. 가졌던

701. timestamp
24

702. Versioned

703. Index
3.

704. him:timestamp

705. :

706. 현재

707. 유효한

708. 데이터와

709. 인덱스의

710. timestamp값

711.
• 데이터

712. Put

713. 및

714. indexing과정이

715. 모두

716. 성공했을

717. 경우

718. 업데이트된다.

719.
• 이

720. 값이

721. 업데이트

722. 되어야

723. 해당

724. version의

725. index와

726. data가

727. 유효화된다.

728.
• 해당

729. 버전의

730. 데이터와

731. 인덱스가

732. 유효함을

733. 인증
rowkey timestamp
bio:
birth
bio:
sex
bio:
hometown
fam:
spouse
career:
occupation
career:
debutYear
him:
timestamp
Brad pitt 3
dec. 18,
1963
M oklahoma
Angelina
Jolie
Actor 1987 3
Leonardo
Dicaprio
12
Nov 11,
1974
M LA, CA Actor 1989 12
Tom
Cruise
5
July 3,
1962
M
Syracuse,
NY
Katie
Holmes
Actor 1981 5
movieStar movieStar.index.spouse
rowkey timestamp
Angelina Jolie{}
Brad pitt
3
Katie Holmes{}
Tom Cruise
5
{}Leonardo
Dicaprio
12
25

734. 1.

735. 데이터와

736. 인덱스의

737. 갱신을

738. atomic하게(Put/Delete)

739.
• him:timestamp

740. 값이

741. 버전인

742. 데이터와

743. 인덱스가

744. 유효하다.

745.
• client가

746. get/scan시에

747. 유효한

748. 버전의

749. 데이터

750. 만을

751. 전달한다.

752.
• Index와

753. Data가

754. 동시점에

755. 유효해

756. 진다.

757.
• 일부가

758. 유효하지

759. 않다면

760. 전체가

761. 유효하지

762. 않다.

763.
• Indexing이

764. 실패하면

765. him:timestamp가

766. 업데이트

767. 되지

768. 않는다.

769.
• Put을

770. 요청한

771. Client는

772. IOException을

773. 전달

774. 받는다.
DataTable IndexTable
1. data put 2. indexing
Versioned

775. Index와

776. index

777. consistency
3. him:timestamp 입력
indexdata가 동시에 유효화
26

778. 2.

779. 데이터와

780. 인덱스

781. 정보의

782. 유효성

783. 검증(Get/Scan)

784.
• Client는

785. 접근하는

786. 경로에

787. 상관없이

788. 유효한

789. 버전의

790. 데이터를

791. 획득한다.

792.
• 획득한

793. Index

794. 정보가

795. data를

796. 조회하는

797. 시점에

798. 유효한

799. 것을

800. 확인한다.

801.
• him:timestamp와

802. index’s

803. timestamp를

804. 비교하면

805. index의

806. 유효성을

807. 알

808. 수

809. 있다.

810.
• Client에게는

811. 항상

812. 유효한

813. 버전의

814. 데이터

815. 제공
DataTableIndexTable1. get data from index
index가 유효한 시점
지금도 인덱스가 유효할까? 확인!
2. timestamp 비교
4-B. Client에게 유효한 버전의 데이터 전달
4-A. 유효하지 않은 값은 버린다.
3. 인덱스는 유효한 상태인가?
Versioned

816. Index와

817. index

818. consistency
27

819. Put
동작방식

820.
1. dataTable에

821. 데이터를

822. Put한다.

823.
2. indexTable들에

824. 인덱싱

825. 한다.

826.
3. him:timestamp

827. 값을

828. 업데이트

829. 한다.

830.
• 이

831. 과정에서

832. 실패

833. 발생시

834.
• Put한

835. Client에게

836. IOException으로

837. 알림

838.
• him:timestamp값은

839. 업데이트

840. 되지

841. 않는다.
28

842. rowkey
timestam
p
bio: fam: career:

843. him
name birth sex hometow
n
spouse occupatio
n
debutYea
r
timestamp
Brad

844. pitt 3 Brad

845. pitt dec.

846. 18,

847.
1963
M oklahoma Angelina

848.
Jolie
Actor 1987 3
Leonardo

849.
Dicaprio 12
Leonardo

850.
Dicaprio
Nov

851. 11,

852. 1974 M LA,

853. CA Actor 1989 12
Tom

854.
Cruise
5 Tom

855. cruise July

856. 3,

857. 1962 M Syracuse,

858.
NY
Katie

859. Holmes Actor 1981
5
16 Tom

860.
cruise
July

861. 3,

862. 1962 M Syracuse,

863.
NY
Actor 1981
HBase Table : movieStar
1.dataTable에

864. 데이터

865. put
movieStar.index.spouse
rowkey
timestamp him
rowkey
Angelina

866. Jolie{}Brad

867. pitt 3 Brad

868. pitt
Katie

869. Holmes{}Tom

870. Cruise 5 Tom

871. Cruise
{}Leonardo

872. Dicaprio 12 Leonardo

873.
Dicaprio
Put
29

874. Put
2.indexTable들에

875. indexing

876.
HBase Table : movieStar
movieStar.index.spouse
rowkey
timestam
p
bio: fam: career:

877. him
name birth sex hometow
n
spouse occupatio
n
debutYea
r
timestamp
Brad

878. pitt 3 Brad

879. pitt dec.

880. 18,

881.
1963
M oklahoma Angelina

882.
Jolie
Actor 1987 3
Leonardo

883.
Dicaprio 12
Leonardo

884.
Dicaprio
Nov

885. 11,

886. 1974 M LA,

887. CA Actor 1989 12
Tom

888.
Cruise
5 Tom

889. cruise July

890. 3,

891. 1962 M Syracuse,

892.
NY
Katie

893. Holmes Actor 1981
5
16 Tom

894.
cruise
July

895. 3,

896. 1962 M Syracuse,

897.
NY
Actor 1981
rowkey
timestamp him
rowkey
Angelina

898. Jolie{}Brad

899. pitt 3 Brad

900. pitt
Katie

901. Holmes{}Tom

902. Cruise 5 Tom

903. Cruise
{}Leonardo

904. Dicaprio 12 Leonardo

905.
Dicaprio
{}Tom

906. Cruise 16 Tom

907. Cruise
data가

908. 가진

909. timestamp로

911.
index정보가

912. 입력
30

913. Put
3.him:timestamp

914. 업데이트
HBase Table : movieStar
rowkey
timestam
p
bio: fam: career:

915. him
name birth sex hometow
n
spouse occupatio
n
debutYea
r
timestamp
Brad

916. pitt 3 Brad

917. pitt dec.

918. 18,

919.
1963
M oklahoma Angelina

920.
Jolie
Actor 1987 3
Leonardo

921.
Dicaprio 12
Leonardo

922.
Dicaprio
Nov

923. 11,

924. 1974 M LA,

925. CA Actor 1989 12
Tom

926.
Cruise
5 Tom

927. cruise July

928. 3,

929. 1962 M Syracuse,

930.
NY
Katie

931. Holmes Actor 1981
16
16 Tom

932.
cruise
July

933. 3,

934. 1962 M Syracuse,

935.
NY
Actor 1981
Indexing이

936. 모두

937. 성공적이었을

938. 때

939.
him:timestamp가

940. 업데이트된다.
rowkey
timestamp him
rowkey
Angelina

941. Jolie{}Brad

942. pitt 3 Brad

943. pitt
Katie

944. Holmes{}Tom

945. Cruise 5 Tom

946. Cruise
{}Leonardo

947. Dicaprio 12 Leonardo

948.
Dicaprio
{}Tom

949. Cruise 16 Tom

950. Cruise
movieStar.index.spouse
31

951. dataTable에서

952. Scan/Get
동작방식

953.
1. dataTable에서

954. 데이터를

955. 획득한다.

956.
2. him:timestamp

957. 값의

958. 데이터를

959. 리턴한다.

960.
•대부분의

961. 경우

962. him:timestamp=data’s

963. timestamp

965.
•그대로

966. 데이터

967. 리턴

968.
•만약

969. data’s

970. timestamp

972. him:timestamp

973. 이라면

974.
•him:timestamp가

975. 버전인

976. 데이터를

977. 리턴한다.

978.
기준

979.
•him:timestamp

980. 버전의

981. 데이터가

982. 유효한

983. 값이므로

984. 이

985. 버전의

986. 데이터를

987. 리턴
32

988. Request:

989. rowkey가

990. Tom

991. Cuise”인

992. data.

993.
Result:
rowkey
timestam
p
bio: fam: career:

994. him
name birth sex hometow
n
spouse occupatio
n
debutYea
r
timestamp
Brad

995. pitt 3 Brad

996. pitt dec.

997. 18,

998.
1963
M oklahoma Angelina

999. Jolie Actor 1987 3
Leonardo

1000.
Dicaprio 12
Leonardo

1001.
Dicaprio
Nov

1002. 11,

1003. 1974 M LA,

1004. CA Actor 1989 12
Tom

1005.
Cruise
5 Tom

1006. cruise July

1007. 3,

1008. 1962 M
Syracuse,

1009.
NY
Katie

1010. Holmes Actor 1981
5
16
Tom

1011.
cruise
July

1012. 3,

1013. 1962 M
Syracuse,

1014.
NY
Actor 1981
HBase

1015. Table

1016. :

1017. movieStar
현재

1018. 유효한

1019. timestamp=5의

1021.
데이터를

1022. 반환한다.
case1.

1023. data’s

1024. timestamp

1026. him:timestamp
Valid
16

1028. 5

1029. :

1030. Invalid
dataTable에서

1031. Scan/Get
Tom

1032.
Cruise 5
Tom

1033.
cruise
July

1034. 3,

1035.
1962
M
Syracuse,

1036.
NY
Katie

1037.
Holmes
Actor 1981
33

1038. rowkey
timestam
p
bio: fam: career:

1039. him
name birth sex hometow
n
spouse occupatio
n
debutYea
r
timestamp
Brad

1040. pitt 3 Brad

1041. pitt dec.

1042. 18,

1043.
1963
M oklahoma Angelina

1044. Jolie Actor 1987 3
Leonardo

1045.
Dicaprio 12
Leonardo

1046.
Dicaprio
Nov

1047. 11,

1048. 1974 M LA,

1049. CA Actor 1989 12
Tom

1050.
Cruise
5 Tom

1051. cruise July

1052. 3,

1053. 1962 M
Syracuse,

1054.
NY
Katie

1055. Holmes Actor 1981
16
16
Tom

1056.
cruise
July

1057. 3,

1058. 1962 M
Syracuse,

1059.
NY
Actor 1981
HBase

1060. Table

1061. :

1062. movieStar
현재

1063. 유효한

1064. timestamp=16의

1066.
데이터를

1067. 반환한다.
case2.

1068. data’s

1069. timestamp

1070. =

1071. him:timestamp
Invalid
16

1072. =

1073. 16

1074. :

1075. Valid
dataTable에서

1076. Scan/Get
Request:

1077. rowkey가

1078. Tom

1079. Cuise”인

1080. data.

1081.
Result:
Tom

1082.
Cruise 16
Tom

1083.
cruise
July

1084. 3,

1085.
1962
M
Syracuse,

1086.
NY
Actor 1981
34

1087. indexTable에서

1088. Scan/Get
동작방식

1089.
1. indexTable에서

1090. 인덱스

1091. 정보를

1092. 가져온다.

1093.
2. 1.에서

1094. 추출한

1095. rowkey로

1096. dataTable에서

1097. 데이터를

1098. 가져온다.

1099.
3. 2.에서

1100. him:timestamp값과

1101. 1.에서

1102. index’s

1103. timestamp값을

1104. 비교한다.

1105.
•index’s

1106. timestamp

1107. =

1108. him:timestamp

1109. :

1110. 인덱스

1111. 유효

1112.
•index’s

1113. timestamp

1115. him:timestamp

1116. :

1117. 유효하지

1118. 않은

1119. 인덱스

1120.
•index’s

1121. timestamp

1123. him:timestamp

1124. :

1125. 추가

1126. 확인

1127. 필요

1128.
-

1129. 해당

1130. index에

1131. him:timestamp

1132. 버전이

1133. 존재하면?

1134. 해당

1135. index가

1136. 유효

1137.
-

1138. 해당

1139. index에

1140. him:timestamp

1141. 버전이

1142. 존재하지

1143. 않으면?

1144. 유효하지

1145. 않은

1146. 인덱스

1147.
4. 유효한

1148. 인덱스라면

1149. 유효한

1150. 버전의

1151. 데이터를

1152. Client에

1153. 전달

1154.
35

1155. data

1156. Result
case1.

1157. the

1158. index’s

1159. timestamp

1160. =

1161. him:timestamp
index

1162. Result
rowkey
timestamp him
rowkey
{}Leonardo

1163. Dicaprio 12 Leonardo

1164. Dicaprio
{}Brad

1165. Pitt 1 Brad

1166. Pitt
{}Tom

1167. Cruise 16 Tom

1168. Cruise
Leonardo

1169. :

1170. index’s

1171. timestamp

1172. 12

1173. =

1174. 12

1175. him:timestamp
indexTable에서

1176. Scan/Get
2~3.

1177. 데이터

1178. 조회

1179. 및

1180. 유효성

1181. 판별
Request]

1183. 미혼인

1184. 배우

1185. 목록
rowkey
timestamp bio: fam:
career:

1186.
him
name birth sex hometown spouse occupation debutYear timestamp
Leonardo

1187.
Dicaprio 12
Leonardo

1188.
Dicaprio
Nov

1189. 11,

1190. 1974 M LA,

1191. CA Actor 1989 12
36

1192. rowkey
timestamp him
rowkey
{}Leonardo

1193. Dicaprio 12 Leonardo

1194. Dicaprio
{}Brad

1195. Pitt 1 Brad

1196. Pitt
{}Tom

1197. Cruise 16 Tom

1198. Cruise
data

1199. Result
index

1200. Result
Brad

1201. pitt

1202. :

1203. index’s

1204. timestamp

1205. 1

1207. 3

1208. him:timestamp
case2.

1209. the

1210. index’s

1211. timestamp

1213. him:timestamp
Invalid:

1214. skip
indexTable에서

1215. Scan/Get
2~3.

1216. 데이터

1217. 조회

1218. 및

1219. 유효성

1220. 판별
Request]

1222. 미혼인

1223. 배우

1224. 목록
rowkey
timestamp bio: fam:
career:

1225.
him
name birth sex hometown spouse occupation debutYear timestamp
Brad

1226. Pitt 3 Brad

1227. pitt
dec.

1228. 18,

1229.
1963
M
oklahom
a
Angelina

1230.
Jolie
Actor 1987 3
37

1231. rowkey
timestamp him
rowkey
{}Leonardo

1232. Dicaprio 12 Leonardo

1233. Dicaprio
{}Brad

1234. Pitt 1 Brad

1235. Pitt
{}Tom

1236. Cruise 16 Tom

1237. Cruise
data

1238. Result
index

1239. Result
case3.

1240. the

1241. index’s

1242. timestamp

1244. him:timestamp
indexTable에서

1245. Scan/Get
2~3.

1246. 데이터

1247. 조회

1248. 및

1249. 유효성

1250. 판별
Request]

1252. 미혼인

1253. 배우

1254. 목록
rowkey
timestamp bio: fam:
career:

1255.
him
name birth sex hometown spouse occupation debutYear timestamp
Tom

1256.
Cruise
5
Tom

1257.
cruise
July

1258. 3,

1259.
1962
M
Syracuse,

1260.
NY
Katie

1261. Holmes Actor 1981
5
16 Tom

1262.
cruise
July

1263. 3,

1264.
1962
M Syracuse,

1265.
NY
Actor 1981
Tom

1266. :

1267. index’s

1268. timestamp

1269. 16

1271. 5

1272. him:timestamp
Invalid:

1273. skip
38

1274. rowkey timestamp him
rowkey
Katie

1275. Holmes{}Tom

1276. Cruise 5 Tom

1277. Cruise
{}Leonardo

1278. Dicaprio 12 Leonardo

1279. Dicaprio
{}Brad

1280. Pitt 1 Brad

1281. Pitt
{}Tom

1282. Cruise 16 Tom

1283. Cruise
data

1284. Result
index

1285. Result
case3.

1286. the

1287. index’s

1288. timestamp

1290. him:timestamp
indexTable에서

1291. Scan/Get
2~3.

1292. 데이터

1293. 조회

1294. 및

1295. 유효성

1296. 판별
Request]

1298. 미혼인

1299. 배우

1300. 목록
Invalid:

1301. skip
Invalid:

1302. skip
{}Tom

1303. Cruise가

1304. timestamp

1305. 5에서

1306. 존재하는지?

1308.
검사결과

1309. :

1310. 없다.

1311. Invalid
rowkey
timestamp bio: fam:
career:

1312.
him
name birth sex hometown spouse occupation debutYear timestamp
Tom

1313.
Cruise
5
Tom

1314.
cruise
July

1315. 3,

1316.
1962
M
Syracuse,

1317.
NY
Katie

1318. Holmes Actor 1981
5
16 Tom

1319.
cruise
July

1320. 3,

1321.
1962
M Syracuse,

1322.
NY
Actor 1981 39

1323. Result:

1324.
index

1325. Result
indexTable에서

1326. Scan/Get
4.

1327. 최종

1328. 결과
Request]

1330. 미혼인

1331. 배우

1332. 목록
rowkey
timestamp him
rowkey
{}Leonardo

1333. Dicaprio 12 Leonardo

1334. Dicaprio
{}Brad

1335. Pitt 1 Brad

1336. Pitt
{}Tom

1337. Cruise 16 Tom

1338. Cruise
index

1339. Result
Invalid:

1340. skip
{}Leonardo

1341.
Dicaprio 12
Leonardo

1342.
Dicaprio
Nov

1343. 11,

1344. 1974 M LA,

1345. CA Actor 1989
Invalid:

1346. skip
40

1347. 3.
HBase환경에서
보조인덱스 시스템 구현하기
:HIM

1348. •분산

1349. 환경에서의

1350. 보조인덱스

1351. 구성시

1352. 대표적인

1353. 구현

1354. 방법

1355.
•Local

1356. Indexing

1357. :

1358. data와

1359. index정보가

1360. 같은

1361. regionServer에

1362. 존재

1363.
•Global

1364. Indexing

1365. :

1366. data와

1367. index정보의

1368. 위치는

1369. 상관하지

1370. 않음
Local

1371. vs

1372. Global

1373. indexing
Local

1374. indexing Global

1375. indexing
dataRegion1
indexOfdata1
dataRegion2
indexOfdata2
RegionServer1
dataRegion3
indexOfdata3
dataRegion4
indexOfdata4
RegionServer2
dataRegion1
Index2
dataRegion2
Index4
RegionServer1
dataRegion3
Index1
dataRegion4
Index3
RegionServer2
Data와

1376. index가

1377. 같은

1378.
RegionServer에

1379. 존재
Data와

1380. Index가

1381. 서로

1382. 다른

1383.
RegionServer에

1384. 존재할

1385. 수

1386. 있다. 42

1387. data와

1388. index가

1389. 같은

1390. 리전

1391. 서버에

1392.
•hbase에서

1393. table의

1394. 데이터는

1395. Region

1396. 단위로

1397. 구분

1398.
•dataRegion마다

1399. 각각의

1400. index를

1401. 생성한다.

1402.
•각각의

1403. Index를

1404. dataRegion의

1405. regionServer에

1406. 할당
(LoadBalancer)

1407.
data의

1408. Region단위로

1409. 인덱스

1410. 생성하기

1411.
•dataRegion과

1412. index리전의

1413. start/endRowkey를

1414. 동일하게

1415.
•index’s

1416. rowkey:

1417. region’s

1418. startrow+value+rowkey

1419.
Local

1420. indexing
a

1421.
…⋯

1422.
b
a{}value.MIN

1423.
…⋯

1424.
a{}value.MAX
c

1425.
…⋯

1426.
g
h

1427.
…⋯

1428.
c{}value.MIN

1429.
…⋯

1430.
c{}value.MAX
dataRegion1
indexOfRegion1
dataRegion2 dataRe
indexOfRegion2
43

1431. IndexTable에서의

1432. range

1433. Scan

1434.
•indexTable이

1435. 값에

1436. 의해

1437. 정렬되어

1438. 있지

1439. 않다.

1440.
-

1441. dataTable의

1442. region개수만큼

1443. 반복적으로

1444. scan

1445.
-

1446. 2000개의

1447. 리전

1448. =

1449. 2000번의

1450. scan

1451.
Region

1452. split

1453.
•해당

1454. indexRegion의

1455. rowkey

1456. 변경

1457. 발생
Local

1458. indexing
a

1459.
…⋯

1460.
b
a{}value.MIN

1461.
…⋯

1462.
a{}value.MAX
c

1463.
…⋯

1464.
g
h

1465.
…⋯

1466.
c{}value.MIN

1467.
…⋯

1468.
c{}value.MAX
dataRegion1
indexOfRegion1
dataRegion2 dataRe
indexOfRegion2
44

1469. Local

1470. Indexing
Local

1471. indexing
dataRegion1
indexOfdata1
dataRegion2
indexOfdata2
RegionServer1
dataRegion3
indexOfdata3
dataRegion4
indexOfdata4
RegionServer2
Network비용이

1472. 절약된다.
Pros

1473.
•data

1474. -

1475. index

1476. 간의

1477. 네트웍

1478. 비용

1479. 감소

1480.
•Network

1481. 비용

1482. 감소-

1483. 전체

1484. 성능

1485. 향상

1486.
•hdfs

1487. level의

1488. network비용은

1489. 별도

1490.
•hdfs

1491. replication…⋯,

1492. Data

1493. locality…⋯

1494.
Cons

1495.
•Load

1496. Balancer를

1497. 직접

1498. 제작해야

1499. 한다.

1500.
•Region

1501. 관리가

1502. 복잡하고

1503. 효율성이

1504. 떨어진다.

1505.
•값에

1506. 의한

1507. 인덱스

1508. 스캔시에

1509. 비효율

1510.
•Region

1511. split

1512. 비용

1513. 증가
45

1514. Global

1515. Indexing
Pros

1516.
•값을

1517. 기준으로

1518. index가

1519. 정렬되어

1520. 있다.

1521.
•값에

1522. 대한

1523. scan이

1524. 더

1525. 편하고

1526. 자유롭다.

1527.
•추가적인

1528. 리전

1529. 관리

1530. 비용이

1531. 없다.

1532.
•사용

1533. 방법이

1534. 직관적이다.

1535.
Cons

1536.
•Indexing과정과

1537. 데이터

1538. 조회

1539. 과정에서

1540. 추가적인

1541.
network

1542. 비용이

1543. 있다.

1544.
•HIM은

1545. Global

1546. Indexing

1547. 방식으로

1548. 구현
Global

1549. indexing
dataRegion1
Index2
dataRegion2
Index4
RegionServer1
dataRegion3
Index1
dataRegion4
Index3
RegionServer2
index와

1550. data가

1551. 다른

1552. regionServer에

1553. 존재하면

1554.
추가적인

1555. Network

1556. 비용이

1557. 발생한다.
46

1558. Coprocessor

1559. regionObserver
Operation

1560.
(put,

1561. get,

1562. scan,

1563. …⋯)
preOp

1564.
postOp

1565.
Coprocessor를

1566. 사용하여

1567. server-side

1568. 구현

1569.
•Client-side

1570. vs

1571. Server-side

1572.
•client

1573. side

1574. :

1575. hbase의

1576. client가

1577. HIM

1578. lib를

1579. 사용하는

1580. 방식

1581.
•server-side(coprocessor)

1582. :

1583. 모든

1584. 로직을

1585. 서버쪽에

1586. 구현
47

1587. Coprocessor

1588. regionObserver
Operation

1589.
(put,

1590. get,

1591. scan,

1592. …⋯)
preOp

1593.
postOp

1594.
Coprocessor를

1595. 사용하여

1596. server-side

1597. 구현

1598.
•Coprocessor

1599. 사용시

1600. 장점

1601.
•성능

1602. 개선

1603. (네트워크

1604. 부하

1605. 감소)

1606.
•hbase-server

1607. API

1608. 사용

1609.
•compaction/open/close등의

1610. 서버

1611. 동작에

1612. 따른

1613. 동작가능

1614.
•table에

1615. 접근

1616. 하는

1617. 모든

1618. 사용자가

1619. HIM

1620. 모듈을

1621. 거치도록

1622. 강제

1623.
•client의

1624. 사용성

1625. 증대

1626.
•hbase

1627. client

1628. API

1629. 사용
48

1630. HTableInterface htable = conn.getTable(movieStar);
Put put = new Put(rowkey);
put.add(bio.getbytes(), sex.getBytes(), Male.getBytes());
...
htable.put(put);
htable.checkAndPut(put);
HTableInterface htable = conn.getTable(movieStar);
Scan scan = new Scan();
scan.setFilter(filter);
ResultScanner rs = table.getScanner(scan);
Result result = rs.next();
…
dataTable에서의

1631. Put/Get/Scan
• hbase-client

1632. API를

1633. 그대로

1634. 사용한다.

1635.
• 기존

1636. 사용

1637. 방법

1638. 그대로

1640.
• 모든

1641. indexing관련

1642. 로직은

1643. RegionServer에서

1644. 발생

1645.
• hbase

1646. API가

1647. 기본

1648. 제공하는

1649. Filter,

1650. checkAndPut등의

1651. 기능

1652. 동작
49

1653. HTableInterface indexTable = conn.getTable(“movieStar.index.spouse”);
Scan indexTableScan = new Scan(“Angelina.getBytes());
indexTableScan.setStopRow(“Angelinb”.getBytes());
scan.setFilter(filter);
ResultScanner indexTableScanner = indexTable.get(dataTableGet);
Result result = indexTableScanner.next();
for (Cell cell : result.listCells()) {
System.out.println(
Bytes.toString(cell.getFamilyArray()) + t+
Bytes.toString(cell.getQualifierArray()) + “t +
Bytes.toString(cell.getValueArray()));
}
IndexTable의

1654. Get/Scan
• hbase-client

1655. API를

1656. 그대로

1657. 사용한다.

1658.
• TableName

1659. :

1660. indexTable의

1661. 이름

1662.
• startRow/StopRow

1663. :

1664. 조회할

1665. 값의

1666. Range

1667.
• hbase

1668. API가

1669. 기본

1670. 제공하는

1671. 기능

1672. 동작
50

1673. ListResult

1674. by

1675. scanner

1676. from

1677. ‘movieStars’

1678. dataTable
ListResult

1679. by

1680. scanner

1681. from

1682. ‘movieStars.index.spouse’

1683. indexTable
rowkey
bio: fam: career:

1684.
name birth sex hometown spouse occupation debutYear
Angelina

1685. Jolie{}
Brad

1686. pitt
Brad

1687. pitt dec.

1688. 18,

1689. 1963 M oklahoma Angelina

1690. Jolie Actor 1987
Katie

1691. Holmes{}
Tom

1692. Cruise
Tom

1693. cruise July

1694. 3,

1695. 1962 M Syracuse,

1696. NY Katie

1697. Holmes Actor 1981
{}Leonardo

1698.
Dicaprio
Leonardo

1699.
Dicaprio
Nov

1700. 11,

1701. 1974 M LA,

1702. CA Actor 1989
rowkey
bio: fam: career:

1703.
name birth sex hometown spouse occupation debutYear
Brad

1704. pitt Brad

1705. pitt dec.

1706. 18,

1707. 1963 M oklahoma Angelina

1708. Jolie Actor 1987
Leonardo

1709.
Dicaprio
Leonardo

1710.
Dicaprio
Nov

1711. 11,

1712. 1974 M LA,

1713. CA Actor 1989
Tom

1714. Cruise Tom

1715. cruise July

1716. 3,

1717. 1962 M Syracuse,

1718. NY Katie

1719. Holmes Actor 1981
Scan/Get

1720. 결과의

1721. Result객체
• DataTable과

1722. IndexTable을

1723. 접근했을때

1724. 동일한

1725. Result를

1726. 얻게

1727. 된다.
51

1728. Filter
•Filter를

1729. 통해

1730.
•Filter

1731. 데이터를

1732. filtering하고

1733.
•Modify

1734. 리턴할

1735. 데이터를

1736. 수정하고

1737.
•Skip

1738. 다음에

1739. 읽을

1740. 데이터를

1741. 건너뛸

1742. 수

1743. 있다.

1744.
•사용자가

1745. customise

1746. 할

1747. 수

1748. 있다.
52

1749. •HIM에서

1750. 데이터를

1751. 읽을

1752. 때

1753.
•Filter

1754. 유효하지

1755. 않은

1756. 데이터를

1757. 거르고

1758.
•Modify

1759. index정보를

1760. 유효한

1761. 데이터로

1762. 바꿔주고

1763.
•Skip

1764. 유효하지

1765. 않은

1766. index는

1767. 건너뛴다.

1768.
•HIM은

1769. customFilter를

1770. 이용한다.
Filter
53

1771. Coprocessor

1772. +

1773. Custom

1774. Filter

1775.
54

1776. 데이터

1777. 입력시

1778. 인덱스를

1779. Clean-up

1780. 하지

1781. 않는다면?

1782.
• 여전히

1783. consistent하다.

1784. (Versioned

1785. Index)

1786.
• index

1787. scan이

1788. 느려진다.

1789. (유효하지

1790. 않은

1791. 데이터를

1792. 읽게되므로)

1793.
• Put

1794. 성능이

1795. 빨라진다. movieStar.index.spouse
rowkey
timestamp him.index.meta
rowkey timestamp
Angelina Jolie{}Brad pitt 3 Brad pitt 3
Katie Holmes{}Tom Cruise 5 Tom Cruise 5
{}Leonardo Dicaprio 12
Leonardo
Dicaprio
12
{}Tom Cruise 6 Tom Cruise 6
Out-dated
Scan.next()
Discard
Scan.next()
Scan.next()
clean-up
55

1796. Lazy

1797. clean-up
Put도

1798. 빠르게,

1799. Index

1800. Scan도

1801. 빠르게?

1802.
• Put

1803. 할때는

1804. clean-up하지

1805. 않는다.

1806.
• Index는

1807. 주기적으로

1808. Clean-up한다.

1809.
• Compaction

1810. 중에

1811. (default)

1812.
• index

1813. scan중

1814. 유효하지

1815. 않은

1816. 것이

1817. 발견될

1818. 때

1819. (optional)

1820.
• MR로

1821. 사용자가

1822. 직접

1823. (optional)
56

1824. operation local put global put local get global get total
vanilla hbase
put
1 1 put
vanilla hbase
get
1 1 get
him put 1
1 + n
(n: indexes)
1 2+n puts, 1get
him dataTable
get(scan)
1 1 gets
him indexTable
get(scan)
2 2 gets
Operation

1825. counts
57

1826. Put

1827. 성능
(puts/min)
0
400,000
800,000
1,200,000
1,600,000
2,000,000
2,400,000
vanilla HBase HIM on HBase
1,989,796
2,304,256 -13%
HIM

1828. 설치후

1829. Put성능이

1830. 약

1831. 10%

1832. 하락

1833.
•index

1834. consistency

1835. 보장

1836. 비용

1837.
•2+n

1838. 번의

1839. Put

1840. 과

1841. 1번의

1842. Get

1843. 발생

1844. (

1845. n:

1846. index

1847. 개수)

1848.
11 regionServers of Linux 2.6.32-431.11.2.el6.x86_64 Intel(R) Xeon(R) CPU L5640 @ 2.27GHz *
24
49414044kb RAM 58

1849. Index

1850. 개수와

1851. 비례하여

1852. 최대

1853. 성능

1854. 하락

1855.
•hbase

1856. cluster는

1857. network

1858. bandwidth가

1859. 병목

1860.
•indexing에

1861. 따른

1862. 네트웍

1863. 부하로

1864. 총

1865. put

1866. count

1867. 하락

1868.
Index

1869. 개수에

1870. 따른

1871. Put

1872. 성능
(puts

1873. /

1874. min)
0
1,000,000
2,000,000
(number

1875. of

1876. full

1877. indexes)
0 1 2 3 4
1,989,796
1,710,952
1,308,224
1,002,752
739,692
-15%
-23%
-23%
-24%
59

1878. Scan

1879. latency
Latency(msec)
0
3.75
7.5
11.25
15
18.75
22.5
26.25
30
plain

1880. hbase him/data him/index
Get Scan Get Scan Get Scan
10
5.24.7
26
9
7
•dataTable의

1881. scan/get시에

1882. 성능

1883. 하락은

1884. 크지

1885. 않다.

1886.
•indexTable의

1887. get때에는

1888. dataTable

1889. scan대배

1890. 약

1891. 2~3배의

1892. 성능

1893. 하락

1894.
•총

1895. 2번의

1896. random

1897. get

1898. 발생

1899.
•보조

1900. 인덱스가

1901. 없다면

1902. dataTable을

1903. full

1904. scan해야할

1905. 상황
60

1906. 4.
Nosql과
보조인덱스

1907. HIM

1908.
HBase

1909.
Nosql
62

1910. NoSql
Big

1911. data

1912.
Schema

1913. Free
63

1914. Big

1915. index

1920. Schema

1921. Free

1922. index
NoSql,

1923. Index
Big

1924. data

1925.
Schema

1926. Free
64

1927. • Sub-Index
• Dynamic

1929. easy

1930. index

1931. Drop/Creation/Modification

1932.
• Tag
NoSql,

1933. Index

1935. HIM
Big

1936. data

1937.
Schema

1938. Free
Big

1939. index

1944. Schema

1945. Free

1946. index
65

1948. HBaseTable = PaperBook
rowkey = page_num + word_seq
value = word
: FullScan 하면 책 한권의 contents를 얻을수 있다.
한권의

1949. 책을

1950. HBase

1951. Table에

1952. 넣는다면?
67

1953. HBaseTable = PaperBook
rowkey = page_num + word_seq
value = word
IndexTable = PaperBook’s index
indexRowkey = hotKeyword{}page_num
Index는?
68

1954. HBaseTable = PaperBook
rowkey = page_num + word_seq
value = word
IndexTable = PaperBook’s index
indexRowkey = hotKeyword{}page_num
책의

1955. 모든

1956. 단어를

1957. Indexing
하지는

1958. 않는다.
모든

1959. 데이터를

1960. Indexing하지

1961. 않는다.
69

1962. Big

1963. dataBig

1964. index
More

1965. disks

1966.
More

1967. networks

1968.
More

1969. operations

1970.
More

1971. region

1972. overheads:

1973.
-

1974. More

1975. compactions

1976.
-

1977. More

1978. splits

1979.
-

1980. More

1981. flushes

1982.
-

1983. More

1984. replays

1985.
…⋯
Index를

1986. 통해

1987. 데이터를

1988. 찾지

1989. 않는다면

1991.
모든

1992. 비용은

1993. 쓸모가

1994. 없다.
Full

1995. index

1996. 비용
70

1997. X필요한

1998. 데이터만

1999. Indexing하기
Sub-index란?
71

2000. General

2001. Index-

2002.
Non-conditional

2003. Index-

2004.
Column-based

2005. Index-

2006.
Full

2007. Index-

2012. Purpose

2013. orientated

2014. Index

2027. Multi-Conditional

2028. Index

2041. Cell(Column+Value)

2042. based

2043. Index

2045. Sub-Index
Full-index에서

2046. Sub-index로
72

2047. EQUAL

2048.
NOT_EQUAL

2049.
GREAT_OR_EQUAL

2050.
SMALL_THAN

2051.
NULL

2052.
NOT_NULL

2053.
…⋯
String

2054.
int

2055.
long

2056.
short

2057.
float

2058.
byte[]

2059.
…⋯
sub

2060. index

2061. 조건과

2062. 데이터타입
73

2063. HTableInterface indexTable =
conn.getTable(“movieStar.index.singleAndYoung”);
ResultScanner indexTableScanner =
indexTable.scan(new Scan());
…
HTableInterface indexTable =
conn.getTable(“movieStar.index.spouse”);
Scan scan = new Scan();
scan.setStartRowkey(“{}”.getBytes());
scan.setStopRowkey(“{~”.getBytes()));
SingleColumnValueFilter filter =
new SingleColumnValueFilter(“bio”.getBytes(),
“age”.getBytes(), CompareOp.LESS, new
BinaryComparator(Bytes.toBytes(35)));
scan.setFilter(filter);
ResultScanner indexTableScanner =
indexTable.scan(scan);
…
( {} : seperator )
Request] 35살 이하, 결혼하지 않은 배우 정보 리스트
- Full

2064. index

2065. movieStar.index.spouse

2066.
- “spouse”

2067. 컬럼으로

2068. indexing
- Sub-index

2069. movieStar.index.singleAndYoung

2070.
- indexing

2071. when

2072. spouse

2073. is

2074. null

2075. and

2076. age

2078. 35
Purpose

2079. orientated

2080. index
74

2081. 작고

2082. 많은

2083. 수의

2084. 인덱스

2085. vs

2086. 크고

2087. 적은

2088. 수의

2089. 인덱스

2090.
• indexing에

2091. 발생하는

2092. 부하량에

2093. 따라

2094. 성능차이가

2095. 발생

2096.
• indexTable개수와는

2097. 상관없이

2098. indexing에

2099. 의해

2100. 발생하는

2101. 부하가

2102. 성능을

2103. 결정

2104.
• 작은

2105. Sub-index들이,

2106. 개수가

2107. 많더라도

2108. Full

2109. index보다

2110. 효율적이다.
dataTable.index.condition1

2111.
dataTable.index.condition2

2112.
dataTable.index.condition3

2113.
…⋯

2114.
dataTable.index.condition29

2115.
dataTable.index.condition30
dataTable.index.full

2116.
1,710,952

2118. puts

2119. per

2120. minute
2,146,554

2122. puts

2123. per

2124. minute
1

2125. Full

2126. Index 30

2127. of

2128. 0.1%

2129. sub-Indices
Purpose

2130. orientated

2131. index
75

2132. Performance:

2133. 작고

2134. 많은

2135. sub-Indices
(

2136. puts

2137. /

2138. min

2139. )
0
1,100,000
2,200,000
number

2140. of

2141. 0.1%

2142. sub

2143. indexes
0 10 20 30
1,911,964
1,989,796 2,009,020
2,146,544
•table의

2144. 개수가

2145. 성능에

2146. 영향을

2147. 미치지

2148. 않는다.

2149.
•성능은

2150. network

2151. 부하와

2152. 관련이

2153. 깊은

2154. 것으로

2155. 나타난다.
76

2156. •10%

2157. sub-index

2158. =

2159. 전체

2160. 데이터의

2161. 1/10

2162. 정도가

2163. indexing

2164. 대상

2165.
•성능은

2166. network

2167. 부하와

2168. 관련이

2169. 깊은

2170. 것으로

2171. 나타난다.
Performance:

2172. 10%

2173. sub

2174. indices
(puts/min)
0
1,000,000
2,000,000
number

2175. of

2176. 10%

2177. sub-indexes
0 10 20
1,911,964
1,738,544
1,341,936
77

2178. •10

2179. *

2180. 10%

2181. subIndex

2182. 부하량

2183. =

2184. 1

2185. full

2186. index의

2187. 부하량

2188.
•실제로

2189. indexing되는

2190. 데이터

2191. 양에

2192. 비례해서

2193. 성능

2194. 감소가

2195. 나타난다.
Performance:

2196. 10%

2197. sub

2198. indices
(puts/min)
0
1,000,000
2,000,000
number

2199. of

2200. 10%

2201. sub-indexes
0 10 20
1,911,964
1,738,544
1,341,936
1,989,796
1,710,952
1,308,224
0

2202. full

2203. index
1

2204. full

2205. index
2

2206. full

2207. indices
78

2208. Disk

2209. Usage
•Sub-index를

2210. 사용하여

2211. disk

2212. 사용량

2213. 및

2214. 리전

2215. 관리

2216. 비용들을

2217. 줄일

2218. 수

2219. 있다.
하늘색

2220. :

2221. dataTable
파랑색:

2222. Full

2223. index나머지색

2224. :

2225. Sub

2226. indices
region

2227. servers
79

2228. Region
Region
Region
Region
Region
Region
Region
Region
HIM
HIM
HIM
HIM
HIM
HIM
HIM
HIM
Zookeeper
Dynamic

2230. Flexible
유연하고

2231. 동적인

2232. 구조라면

2233.
• 동적인

2234. Index의

2235. 생성/삭제/수정

2236.
• 서비스의

2237. interrupt나

2238. dataTable과

2239. 다른

2240. indexTable들의

2241. disable없이

2242.
• 모든

2243. region들에서

2244. 즉시

2245. 적용되도록

2246.
• Zookeeper의

2247. Watcher

2248. 활용
80

2249. SNS의

2250. #HashTag와

2251. 유사한

2252. 기능

2253.
•Client가

2254. 직접

2255. tag할

2256. name을

2257. 입력

2258.
•특정

2259. column의

2260. 특정

2261. 값에

2262. 종속되지

2263. 않음

2264.
•사용자가

2265. 원하는

2266. 기준으로

2267. 데이터를

2268. 찾을

2269. 수

2270. 있다.

2271.
•인덱스

2272. 테이블

2273. 생성/삭제등의

2274. 관리와

2275. 많은

2276. 수의

2277. index

2278. 생성이

2279. 불필요
#Tag
Tag
81

2280. Tagging/untagging
tag/untag

2282.
•setAttributes(String,

2283. byte[])를

2284. 사용

2285.
•Get,

2286. Scan,

2287. Put에서

2288. 모두

2289. 사용

2290.
•데이터

2291. 수정없이

2292. tagging

2293. 가능

2294.
•him.tag.action

2295.
•tag

2296. :

2297. tagName으로

2298. tagging

2299.
•untag

2300. :

2301. tagName으로

2302. untagging

2303.
•untagAll

2304. :

2305. 해당

2306. row의

2307. tag

2308. 모두

2309. 제거

2310.
•tagCurrent

2311. :

2312. 현재

2313. 버전의

2314. 데이터만

2315. tag

2316.
(row의

2317. 업데이트시

2318. 자동

2319. tag삭제)

2320.
Put put = new Put(rowkey);
put.setAttributes(“him.tag.action”, “tag”);
put.setAttributes(“him.tag.name”, “age 32”);
...
Get get = new Get(rowkey);
put.setAttributes(“him.tag.action”, “untag”);
put.setAttributes(“him.tag.name”, “age 32”);
...
Scan scan = new Scan();
scan.setFilter(filter);
put.setAttributes(“him.tag.action”,
“untagAll”);
...
82

2321. Get

2322. by

2323. tag

2324. name
table = conn.getTable(movieStar.tags);
Scan scan = new Scan(age 30.getBytes());
scan.setStopRow(age 40.getBytes());
scanner = table.getScanner(scan);
…
Scan scan2 = new Scan(age 30.getBytes());
scan2.setStopRow(age 40.getBytes());
scanner2 = table.getScanner(scan);
Scan

2325. by

2326. Tag

2327.
•TagTable을

2328. tagName을

2329. range로

2330. scan
83

2331. • 내

2332. 시스템에

2333. index의

2334. consistency가

2335. 필요할까?

2336.
• HBase에서

2337. Table

2338. 스키마와

2339. rowkey

2340. 디자인은

2341. 중요하다

2342.
• 성능과

2343. 사용패턴을

2344. 결정

2345.
• 보조

2346. 인덱스가

2347. 필요

2348. 없을

2349. 수도

2350. 있다

2351.
• index에도

2352. design이

2353. 필요할

2354. 때가

2355. 있다.

2356.
• hotspot은

2357. 피하고

2358.
• 사용형태에

2359. 맞춰서

2360. indexing할

2361. 값의

2362. 형태를

2363. 맞추거나

2364.
• 여러

2365. 필드의

2366. 조합,

2367. sub-indexing,

2368. tag

2369.
• 성능테스트튜닝

2370.
• hbase의

2371. 다른

2372. 테이블들을

2373. 만들

2374. 때처럼

2375. 튜닝설정변경

2376.
• 사용

2377. 패턴에

2378. 맞는

2379. 설정과

2380. 구조는

2381. 성능을

2382. 높여준다.
마무리:보조인덱스

2383. 구축시

2384. 고려할

2385. 점
84

2386. QA

2387. Thank You