대용량
 데이터
 처리,
 
 NoSQL만이
 유일한
 답일까?
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 CUBRID를
 통해
 알아보자
   이동현
   DBMS개발랩/서비스플랫폼개발센터
 
들어가기
 전에
 ­–
 몇
 가지
 질문
 
       대용량
Upcoming SlideShare
Loading in...5
×

[D4]cubrid대용량데이터처리

3,404

Published on

0 Comments
4 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
3,404
On Slideshare
0
From Embeds
0
Number of Embeds
4
Actions
Shares
0
Downloads
74
Comments
0
Likes
4
Embeds 0
No embeds

No notes for slide

[D4]cubrid대용량데이터처리

  1. 1. 대용량
  2. 2.  데이터
  3. 3.  처리,
  4. 4.  
  5. 5.  NoSQL만이
  6. 6.  유일한
  7. 7.  답일까?
  8. 8.  
  9. 9.  
  10. 10.  
  11. 11.  
  12. 12.  
  13. 13.  
  14. 14.  
  15. 15.  
  16. 16.  
  17. 17.  
  18. 18.  
  19. 19.  
  20. 20.  
  21. 21.  
  22. 22.  
  23. 23.  
  24. 24.  
  25. 25.  
  26. 26.  
  27. 27.  
  28. 28.  CUBRID를
  29. 29.  통해
  30. 30.  알아보자
  31. 31.   이동현
  32. 32.   DBMS개발랩/서비스플랫폼개발센터
  33. 33.  
  34. 34. 들어가기
  35. 35.  전에
  36. 36.  ­–
  37. 37.  몇
  38. 38.  가지
  39. 39.  질문
  40. 40.  
  41. 41.   대용량
  42. 42.  데이터를
  43. 43.  위한
  44. 44.  솔루션은
  45. 45.  
  46. 46.  
  47. 47.  
  48. 48.  
  49. 49.  
  50. 50.  
  51. 51.  
  52. 52.  
  53. 53.  
  54. 54.  
  55. 55.  
  56. 56.  
  57. 57.  
  58. 58.  
  59. 59.  
  60. 60.  
  61. 61.  
  62. 62.  
  63. 63.  
  64. 64.  
  65. 65.  
  66. 66.  
  67. 67.  
  68. 68.  
  69. 69.  
  70. 70.  
  71. 71.  
  72. 72.  
  73. 73.  NoSQL인가,
  74. 74.  RDBMS인가?
  75. 75.   모든
  76. 76.  경우에
  77. 77.  대해
  78. 78.  
  79. 79.   어떤
  80. 80.  하나의
  81. 81.  선택을
  82. 82.  하자는
  83. 83.  게
  84. 84.  아닙니다.
  85. 85.  DEVIEW 2012 2
  86. 86.  
  87. 87.  
  88. 88. 들어가기
  89. 89.  전에
  90. 90.  ­–
  91. 91.  몇
  92. 92.  가지
  93. 93.  질문
  94. 94.  
  95. 95.   언제,
  96. 96.  그리고
  97. 97.  왜
  98. 98.  RDBMS를
  99. 99.  선택해야
  100. 100.  하는가?
  101. 101.   NoSQL과
  102. 102.  다른
  103. 103.  RDBMS만의
  104. 104.  특징이
  105. 105.  필요할
  106. 106.  때
  107. 107.  
  108. 108.   -  Relations
  109. 109.  between
  110. 110.  Tables
  111. 111.   -  ACID
  112. 112.  Transactions
  113. 113.   -  Arbitrary
  114. 114.  Queries
  115. 115.  and
  116. 116.  Joins
  117. 117.  DEVIEW 2012 3
  118. 118.  
  119. 119.  
  120. 120. 들어가기
  121. 121.  전에
  122. 122.  ­–
  123. 123.  몇
  124. 124.  가지
  125. 125.  질문
  126. 126.   RDBMS에서
  127. 127.  scale-out
  128. 128.  하려면?
  129. 129.   =
  130. 130.  Manual
  131. 131.  Sharding
  132. 132.  DEVIEW 2012 4
  133. 133.  
  134. 134.  
  135. 135. 다루고자
  136. 136.  하는
  137. 137.  내용은
  138. 138.   CUBRID에서는
  139. 139.  대용량
  140. 140.  데이터
  141. 141.  처리를
  142. 142.  위해
  143. 143.  
  144. 144.  
  145. 145.   Sharding을
  146. 146.  어떻게
  147. 147.  적용했는가?
  148. 148.  DEVIEW 2012 5
  149. 149.  
  150. 150.  
  151. 151. 용어
  152. 152.  정리
  153. 153.   Big
  154. 154.  Data
  155. 155.   기존의
  156. 156.  전형적인
  157. 157.  데이터베이스
  158. 158.  소프트웨어
  159. 159.  도구의
  160. 160.  데이터
  161. 161.  수집,
  162. 162.  
  163. 163.   저장,
  164. 164.  관리,
  165. 165.  분석
  166. 166.  역량을
  167. 167.  넘어서는
  168. 168.  데이터집합의
  169. 169.  규모로,
  170. 170.  
  171. 171.  
  172. 172.   그
  173. 173.  정의는
  174. 174.  주관적이며
  175. 175.  앞으로도
  176. 176.  계속
  177. 177.  변화될
  178. 178.  것이다.
  179. 179.  
  180. 180.   …⋯
  181. 181.  현재
  182. 182.  기준에서는
  183. 183.  몇
  184. 184.  십
  185. 185.  테라바이트에서
  186. 186.  수
  187. 187.  페타바이트까지가
  188. 188.  
  189. 189.   그
  190. 190.  범위라
  191. 191.  할
  192. 192.  수
  193. 193.  있겠다.
  194. 194.   출처:
  195. 195.  MckinseyCompany,
  196. 196.  2011년
  197. 197.  5월
  198. 198.  Report
  199. 199.   Big
  200. 200.  data:
  201. 201.  The
  202. 202.  next
  203. 203.  frontier
  204. 204.  for
  205. 205.  innovation,
  206. 206.  competition,
  207. 207.  and
  208. 208.  productivity
  209. 209.  DEVIEW 2012 6
  210. 210.  
  211. 211.  
  212. 212. 용어
  213. 213.  정리
  214. 214.   NoSQL
  215. 215.   (Not
  216. 216.  only
  217. 217.  SQL
  218. 218.  )
  219. 219.  
  220. 220.  
  221. 221.  
  222. 222.  
  223. 223.  modern
  224. 224.  web-scale
  225. 225.  databases
  226. 226.   출처:
  227. 227.  http://nosql-database.org/
  228. 228.   -
  229. 229.  It
  230. 230.  does
  231. 231.  not
  232. 232.  use
  233. 233.  SQL
  234. 234.  as
  235. 235.  its
  236. 236.  query
  237. 237.  language
  238. 238.   -
  239. 239.  It
  240. 240.  may
  241. 241.  not
  242. 242.  give
  243. 243.  full
  244. 244.  ACID
  245. 245.  guarantees
  246. 246.   -
  247. 247.  It
  248. 248.  has
  249. 249.  a
  250. 250.  distributed,
  251. 251.  fault-tolerant
  252. 252.  architectu re
  253. 253.  :
  254. 254.  scale-out
  255. 255.   출처:
  256. 256.  http://en.wikipedia.org/wiki/NoSQL
  257. 257.  DEVIEW 2012 7
  258. 258.  
  259. 259.  
  260. 260. 용어
  261. 261.  정리
  262. 262.  
  263. 263.  
  264. 264.  
  265. 265.  NHN에서
  266. 266.  개발
  267. 267.  중인
  268. 268.  
  269. 269.  
  270. 270.  
  271. 271.  
  272. 272.  
  273. 273.  
  274. 274.  
  275. 275.  
  276. 276.  
  277. 277.  
  278. 278.  
  279. 279.  
  280. 280.  
  281. 281.  
  282. 282.  
  283. 283.  
  284. 284.  
  285. 285.  
  286. 286.  
  287. 287.  
  288. 288.  국내
  289. 289.  유일의
  290. 290.  오픈소스
  291. 291.  DBMS
  292. 292.  DEVIEW 2012 8
  293. 293.  
  294. 294.  
  295. 295. 용어
  296. 296.  정리
  297. 297.   Shard
  298. 298.   물리적으로
  299. 299.  다른
  300. 300.  데이터베이스에
  301. 301.  데이터를
  302. 302.  
  303. 303.   수평
  304. 304.  분할
  305. 305.  방식으로
  306. 306.  저장한
  307. 307.  DB
  308. 308.  인스턴스
  309. 309.  자체
  310. 310.  DEVIEW 2012 9
  311. 311.  
  312. 312.  
  313. 313. 용어
  314. 314.  정리
  315. 315.   Partitioning
  316. 316.  vs
  317. 317.  Sharding
  318. 318.   Database
  319. 319.  “User”
  320. 320.   Database
  321. 321.  “User”
  322. 322.   Horizontal
  323. 323.   User
  324. 324.  Table
  325. 325.   partitioning
  326. 326.   User
  327. 327.  Table
  328. 328.  #0
  329. 329.   User
  330. 330.  Table
  331. 331.  #1
  332. 332.   s_no
  333. 333.   s_name
  334. 334.   s_age
  335. 335.   1
  336. 336.   kim
  337. 337.   10
  338. 338.   s_no
  339. 339.   s_name
  340. 340.   s_age
  341. 341.   s_no
  342. 342.   s_name
  343. 343.   s_age
  344. 344.   2
  345. 345.   lee
  346. 346.   12
  347. 347.   1
  348. 348.   kim
  349. 349.   10
  350. 350.   3
  351. 351.   park
  352. 352.   13
  353. 353.   3
  354. 354.   park
  355. 355.   13
  356. 356.   2
  357. 357.   lee
  358. 358.   12
  359. 359.   4
  360. 360.   nam
  361. 361.   14
  362. 362.   4
  363. 363.   nam
  364. 364.   14
  365. 365.  DEVIEW 2012 10
  366. 366.  
  367. 367.  
  368. 368. 용어
  369. 369.  정리
  370. 370.   Partitioning
  371. 371.  vs
  372. 372.  Sharding
  373. 373.   Database
  374. 374.  “User”
  375. 375.   Database
  376. 376.  “User”
  377. 377.   User
  378. 378.  Table
  379. 379.   s_no
  380. 380.   s_name
  381. 381.   s_age
  382. 382.   1
  383. 383.   kim
  384. 384.   10
  385. 385.   User
  386. 386.  Table
  387. 387.   DB
  388. 388.  Sharding
  389. 389.   2
  390. 390.   lee
  391. 391.   12
  392. 392.   s_no
  393. 393.   s_name
  394. 394.   s_age
  395. 395.   1
  396. 396.   kim
  397. 397.   10
  398. 398.   2
  399. 399.   lee
  400. 400.   12
  401. 401.   3
  402. 402.   park
  403. 403.   13
  404. 404.   4
  405. 405.   nam
  406. 406.   14
  407. 407.   Database
  408. 408.  “User”
  409. 409.   User
  410. 410.  Table
  411. 411.   s_no
  412. 412.   s_name
  413. 413.   s_age
  414. 414.   3
  415. 415.   park
  416. 416.   13
  417. 417.   4
  418. 418.   nam
  419. 419.   14
  420. 420.  DEVIEW 2012 11
  421. 421.  
  422. 422.  
  423. 423. 응용
  424. 424.  프로그램에서
  425. 425.  Sharding
  426. 426.  구현
  427. 427.  DEVIEW 2012
  428. 428. 적용
  429. 429.  사례
  430. 430.   nSight
  431. 431.  :
  432. 432.  서버
  433. 433.  모니터링
  434. 434.  시스템
  435. 435.  DEVIEW 2012 13
  436. 436.  
  437. 437.  
  438. 438. nSight
  439. 439.  실행
  440. 440.  화면
  441. 441.  
  442. 442.  DEVIEW 2012 14
  443. 443.  
  444. 444.  
  445. 445. nSight
  446. 446.  데이터
  447. 447.  처리
  448. 448.   *
  449. 449.  Collector
  450. 450.  DB
  451. 451.  29대:
  452. 452.  데이터
  453. 453.  수집
  454. 454.  
  455. 455.  
  456. 456.  
  457. 457.  
  458. 458.  -
  459. 459.  38억
  460. 460.  row
  461. 461.  처리/일
  462. 462.  
  463. 463.  
  464. 464.  
  465. 465.  
  466. 466.  -
  467. 467.  40.6
  468. 468.  TB
  469. 469.  데이터
  470. 470.  수집
  471. 471.  및
  472. 472.  처리/6개월
  473. 473.  
  474. 474.  
  475. 475.   *
  476. 476.  Manager
  477. 477.  DB
  478. 478.  6
  479. 479.  set:
  480. 480.  데이터
  481. 481.  집계
  482. 482.  
  483. 483.  
  484. 484.  
  485. 485.  
  486. 486.  -
  487. 487.  Meta
  488. 488.  Catalog
  489. 489.  DB
  490. 490.  1
  491. 491.  set
  492. 492.  
  493. 493.  
  494. 494.  
  495. 495.  
  496. 496.  -
  497. 497.  Shard
  498. 498.  DB
  499. 499.  5
  500. 500.  set,
  501. 501.  1set
  502. 502.  당
  503. 503.  1~1.5
  504. 504.  TB
  505. 505.  DEVIEW 2012 15
  506. 506.  
  507. 507.  
  508. 508. nSight
  509. 509.  
  510. 510.  시스템
  511. 511.  구조
  512. 512.   Agent
  513. 513.   Collector
  514. 514.   38억
  515. 515.  row/일
  516. 516.   Collector
  517. 517.  D B
  518. 518.   Manager
  519. 519.  D Manager
  520. 520.   Analyzer
  521. 521.   B
  522. 522.   /
  523. 523.   UI
  524. 524.   1TB/shard
  525. 525.  DEVIEW 2012 16
  526. 526.  
  527. 527.  
  528. 528. nSight
  529. 529.  
  530. 530.  DB
  531. 531.  구조
  532. 532.  -
  533. 533.  Collector
  534. 534.  DB
  535. 535.   3-copy
  536. 536.  복제
  537. 537.   Agents
  538. 538.   Collectors
  539. 539.   2
  540. 540.   3
  541. 541.   1
  542. 542.   …⋯
  543. 543.   4
  544. 544.   6
  545. 545.   5
  546. 546.  DEVIEW 2012 17
  547. 547.  
  548. 548.  
  549. 549. nSight
  550. 550.  
  551. 551.  DB
  552. 552.  구조
  553. 553.  -
  554. 554.  Manager
  555. 555.  DB
  556. 556.   Manager
  557. 557.  UI
  558. 558.   Shard
  559. 559.  DB
  560. 560.   -
  561. 561.  서비스
  562. 562.  그룹
  563. 563.  데이터
  564. 564.  저장(1TB/shard)
  565. 565.   shard
  566. 566.  #1
  567. 567.  
  568. 568.   Meta
  569. 569.  Catalog
  570. 570.  DB
  571. 571.   -
  572. 572.  shard
  573. 573.  전체
  574. 574.  구성
  575. 575.  정보
  576. 576.  저장
  577. 577.   master
  578. 578.   slave
  579. 579.   Total
  580. 580.  info.
  581. 581.   shard
  582. 582.  #2
  583. 583.  
  584. 584.   master
  585. 585.   slave
  586. 586.   master
  587. 587.   slave
  588. 588.   CUBRID
  589. 589.   HA
  590. 590.   …⋯
  591. 591.   860
  592. 592.  groups/1shard
  593. 593.   shard
  594. 594.  #5
  595. 595.  
  596. 596.   master
  597. 597.   slave
  598. 598.  DEVIEW 2012 18
  599. 599.  
  600. 600.  
  601. 601. Summary
  602. 602.  of
  603. 603.  nSight
  604. 604.   Connection
  605. 605.  rules
  606. 606.   Application
  607. 607.   Broker
  608. 608.   Manager Manager Manager 총
  609. 609.  4000여
  610. 610.  서비스,
  611. 611.   DB
  612. 612.   DB
  613. 613.   DB
  614. 614.   1.5
  615. 615.  TB
  616. 616.  DB
  617. 617.  *
  618. 618.  5
  619. 619.  set
  620. 620.   CUBRID
  621. 621.   HA
  622. 622.  DEVIEW 2012 19
  623. 623.  
  624. 624.  
  625. 625. CUBRID
  626. 626.  Shard
  627. 627.  기능으로
  628. 628.  Sharding
  629. 629.  적용
  630. 630.  DEVIEW 2012
  631. 631. 적용
  632. 632.  사례
  633. 633.   nDrive
  634. 634.  :
  635. 635.  개인의
  636. 636.  웹
  637. 637.  저장
  638. 638.  공간
  639. 639.  제공
  640. 640.  서비스
  641. 641.  DEVIEW 2012 21
  642. 642.  
  643. 643.  
  644. 644. nDrive
  645. 645.  실행
  646. 646.  화면
  647. 647.  DEVIEW 2012 22
  648. 648.  
  649. 649.  
  650. 650. nDrive
  651. 651.  데이터
  652. 652.  저장
  653. 653.   *
  654. 654.  1인당
  655. 655.  최대
  656. 656.  30
  657. 657.  GB
  658. 658.  데이터
  659. 659.  제공
  660. 660.  
  661. 661.  
  662. 662.  
  663. 663.  
  664. 664.  =
  665. 665.  700MB
  666. 666.  동영상
  667. 667.  파일
  668. 668.  44편
  669. 669.  
  670. 670.  
  671. 671.  
  672. 672.  
  673. 673.  
  674. 674.  =
  675. 675.  1.5MB
  676. 676.  고화질
  677. 677.  사진
  678. 678.  20,480장
  679. 679.  
  680. 680.   *
  681. 681.  데이터
  682. 682.  파일의
  683. 683.  메타
  684. 684.  데이터:
  685. 685.  Meta
  686. 686.  DB에
  687. 687.  저장
  688. 688.  
  689. 689.   *
  690. 690.  Meta
  691. 691.  DB
  692. 692.  
  693. 693.  
  694. 694.  
  695. 695.  -
  696. 696.  25
  697. 697.  Set,
  698. 698.  1:1
  699. 699.  복제
  700. 700.  
  701. 701.  
  702. 702.  
  703. 703.  -
  704. 704.  1
  705. 705.  Set
  706. 706.  당
  707. 707.  약
  708. 708.  100GB
  709. 709.  데이터
  710. 710.  유지
  711. 711.  
  712. 712.   *
  713. 713.  Shard
  714. 714.  DB
  715. 715.  1대당
  716. 716.  600~1400
  717. 717.  QPS
  718. 718.  DEVIEW 2012 23
  719. 719.  
  720. 720.  
  721. 721. nDrive
  722. 722.  시스템
  723. 723.  구조
  724. 724.   File
  725. 725.  list
  726. 726.   /
  727. 727.   UI
  728. 728.   User
  729. 729.  DB
  730. 730.   Meta
  731. 731.  DB
  732. 732.   User
  733. 733.  Ma File
  734. 734.  Man nager
  735. 735.   ager
  736. 736.  DEVIEW 2012 24
  737. 737.  
  738. 738.  
  739. 739. nDrive
  740. 740.  DB
  741. 741.  구조
  742. 742.  -
  743. 743.  Meta
  744. 744.  DB
  745. 745.   Application
  746. 746.   One
  747. 747.  way
  748. 748.  access
  749. 749.   Shard
  750. 750.  Broker
  751. 751.   Meta
  752. 752.  DB
  753. 753.   Meta
  754. 754.  DB
  755. 755.   Meta
  756. 756.  DB
  757. 757.   CUBRID
  758. 758.   HA
  759. 759.  DEVIEW 2012 25
  760. 760.  
  761. 761.  
  762. 762. CUBRID
  763. 763.  Shard
  764. 764.  -
  765. 765.  동작
  766. 766.  방식
  767. 767.  
  768. 768.   user
  769. 769.  apps.
  770. 770.  
  771. 771.   1)
  772. 772.  query
  773. 773.  :
  774. 774.  SELECT
  775. 775.  name
  776. 776.  FROM
  777. 777.  student
  778. 778.  WH JDBC
  779. 779.   ERE
  780. 780.  student_no
  781. 781.  =
  782. 782.  /*+
  783. 783.  shard_key
  784. 784.  */
  785. 785.  ?
  786. 786.  
  787. 787.   range
  788. 788.   DB
  789. 789.  shard
  790. 790.  middleware
  791. 791.   (hash
  792. 792.  result)
  793. 793.   key_column
  794. 794.   shard_id
  795. 795.   min
  796. 796.   max
  797. 797.   2)
  798. 798.  analyze
  799. 799.  
  800. 800.   student_no
  801. 801.   0
  802. 802.   63
  803. 803.   0
  804. 804.  
  805. 805.  
  806. 806.  
  807. 807.  
  808. 808.  
  809. 809.  select
  810. 810.  shard
  811. 811.   student_no
  812. 812.   64
  813. 813.   127
  814. 814.   1
  815. 815.   student_no
  816. 816.   128
  817. 817.   191
  818. 818.   2
  819. 819.   student_no
  820. 820.   192
  821. 821.   255
  822. 822.   3
  823. 823.   3)
  824. 824.  query
  825. 825.  with
  826. 826.  selected
  827. 827.  shard
  828. 828.   shard
  829. 829.  #0
  830. 830.   shard
  831. 831.  #1
  832. 832.   shard
  833. 833.  #2
  834. 834.   shard
  835. 835.  #3
  836. 836.  DEVIEW 2012 26
  837. 837.  
  838. 838.  
  839. 839. CUBRID
  840. 840.  Shard
  841. 841.  -
  842. 842.  DB
  843. 843.  설정
  844. 844.   *
  845. 845.  shard_key.txt
  846. 846.  설정
  847. 847.  파일
  848. 848.   [%shard_key]
  849. 849.   #min
  850. 850.  
  851. 851.  
  852. 852.  
  853. 853.  max
  854. 854.  
  855. 855.  
  856. 856.  
  857. 857.  
  858. 858.  shard_id
  859. 859.   0
  860. 860.  
  861. 861.  
  862. 862.  
  863. 863.  
  864. 864.  
  865. 865.  
  866. 866.  
  867. 867.  
  868. 868.  
  869. 869.  
  870. 870.  63
  871. 871.  
  872. 872.  
  873. 873.  
  874. 874.  
  875. 875.  
  876. 876.  
  877. 877.  0
  878. 878.   64
  879. 879.  
  880. 880.  
  881. 881.  
  882. 882.  
  883. 883.  
  884. 884.  
  885. 885.  
  886. 886.  
  887. 887.  127
  888. 888.  
  889. 889.  
  890. 890.  
  891. 891.  
  892. 892.  1
  893. 893.   128
  894. 894.  
  895. 895.  
  896. 896.  
  897. 897.  
  898. 898.  
  899. 899.  
  900. 900.  191
  901. 901.  
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×