Data Storage Practice

2,343 views

Published on

Data Storage Practice from Douban

Published in: Technology
1 Comment
19 Likes
Statistics
Notes
No Downloads
Views
Total views
2,343
On SlideShare
0
From Embeds
0
Number of Embeds
18
Actions
Shares
0
Downloads
142
Comments
1
Likes
19
Embeds 0
No embeds

No notes for slide











































































































  • Data Storage Practice

    1. 1. davies.liu@gmail.com
    2. 2. • UGC
    3. 3. • UGC • 2005 4 , Alexa 26
    4. 4. • UGC • 2005 4 , Alexa 26 • LAMP Web • Linux(Gentoo), Apache(Nginx,
    5. 5. • 3800 , 540
    6. 6. • 3800 , 540 • 15 , 4451 , 1246
    7. 7. • 3800 , 540 • 15 , 4451 , 1246 • 430 ( , , ), 300
    8. 8. • 3800 , 540 • 15 , 4451 , 1246 • 430 ( , , ), 300 • 1000 , 1600 , 70
    9. 9. • 200G
    10. 10. • 200G • 800G
    11. 11. • 200G • 800G • 10T
    12. 12. • 200G • 800G • 10T • 6T
    13. 13. • 200G • 800G • 10T • 6T • 2T
    14. 14. • • , , • • , , •
    15. 15. • • ,
    16. 16. • • , •
    17. 17. • • , • •
    18. 18. • • , • • •
    19. 19. • • , • • • •
    20. 20. • • , • • • •
    21. 21.
    22. 22. • •
    23. 23. • • •
    24. 24. • • • •
    25. 25. • • • •
    26. 26. • • • •
    27. 27. • • • •
    28. 28. • • • •
    29. 29. • • • •
    30. 30. • • • • ,
    31. 31. MySQL
    32. 32. MySQL • InnoDB
    33. 33. MySQL • InnoDB • , Join
    34. 34. MySQL • InnoDB • , Join • memcache
    35. 35. MySQL • InnoDB • , Join • memcache • ,
    36. 36. MySQL • InnoDB • , Join • memcache • , •
    37. 37. MySQL (2)
    38. 38. MySQL (2) • Master (rw)<-> Master -> Slave
    39. 39. MySQL (2) • Master (rw)<-> Master -> Slave • SCSI Raid 0
    40. 40. MySQL (2) • Master (rw)<-> Master -> Slave • SCSI Raid 0 • Fail Over
    41. 41. MySQL (2) • Master (rw)<-> Master -> Slave • SCSI Raid 0 • Fail Over •
    42. 42. • • , , • • , , •
    43. 43. • : get, set, delete
    44. 44. • : get, set, delete • , Fail-Over
    45. 45. • : get, set, delete • , Fail-Over • : 10k-5M,
    46. 46. • : get, set, delete • , Fail-Over • : 10k-5M, • ,
    47. 47. • : get, set, delete • , Fail-Over • : 10k-5M, • , • ,
    48. 48. • : get, set, delete • , Fail-Over • : 10k-5M, • , • , • , , IO
    49. 49.
    50. 50. • • reiserfs
    51. 51. • • reiserfs • , (WebDAV, NFS)
    52. 52. • • reiserfs • , (WebDAV, NFS) •
    53. 53. • • reiserfs • , (WebDAV, NFS) • • rsync
    54. 54. MogileFS
    55. 55. MogileFS • :Tracker(MySQL)
    56. 56. MogileFS • :Tracker(MySQL) •
    57. 57. BeansDB • Hash, • , TokyoCabinet
    58. 58. BeansDB
    59. 59. BeansDB •
    60. 60. BeansDB • • :
    61. 61. BeansDB • • : • ,
    62. 62. BeansDB • • : • , • Hash Tree
    63. 63. Hash Tree
    64. 64. BeansDB !"#$ !"#$ • ! # & % " $ &'()*+, &'()*+,
    65. 65. BeansDB
    66. 66. BeansDB •
    67. 67. BeansDB • •
    68. 68. BeansDB • • •
    69. 69. BeansDB
    70. 70. BeansDB •
    71. 71. BeansDB • (ms) qps 99% 99.9% 100 4 0.5 80 230 50 5 0.6 60 140
    72. 72. • • , , • • , , •
    73. 73. • : 10M-10G
    74. 74. • : 10M-10G •
    75. 75. • : 10M-10G • • ,
    76. 76. • : 10M-10G • • , • ,
    77. 77. • : 10M-10G • • , • , • ( ),
    78. 78. • , ,
    79. 79. • , , • , rsync
    80. 80. • , , • , rsync • GFS
    81. 81. • , , • , rsync • GFS • HDFS, Kosmos FS, MooseFS
    82. 82. MooseFS
    83. 83. MooseFS •C , , , ,
    84. 84. MooseFS •C , , , , • FUSE ,
    85. 85. MooseFS •C , , , , • FUSE , • Web
    86. 86. MooseFS •C , , , , • FUSE , • Web • /
    87. 87. MooseFS •C , , , , • FUSE , • Web • / • Master, MetaLogger,
    88. 88.
    89. 89. • • InfoBright
    90. 90. • • InfoBright • KDB+
    91. 91. • • InfoBright • KDB+ • Hadoop
    92. 92. • 200G • 800G BeansDB • 10T • 6T
    93. 93. Thank YOU! Q &A

    ×