Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Hbase
Why we need NoSQL Database ??
Hbase
Hbase Architecture.
Hbase Model
Is Hbase follow master slave model ??
Hbase
Hbase Meta Table
Hbase Meta Table 
Location
Hbase Row Key
Row Key Design in Hbase.
Hbase Cache
MemStore and BlockCache ?
Flow
Hbase Compaction
● Minor Compaction and Major compaction ?
● hbase.store.compaction.ratio Ratio used in 
compaction file s...
Hbase Compaction
● hbase.hstore.compaction.max (files) Maximum number of 
StoreFiles to compact per minor compaction (defa...
Hbase Block Size
Larger block size vs smaller block  size ?
Hbase failover
● What if one RegionServer goes down ?
● A table is disable and re­enabled ?
● A cluster is stopped and res...
Hbase Splitting
● Pre­splitting
● Auto splitting
● Min (R^2 * “hbase.hregion.memstore.flush.size”, 
“hbase.hregion.max.fil...
Hbase Splitting
Hbase Delete
● Hbase Delete – marker set, making the deleted cells effectively 
invisible.(The tombstone markers are only ...
Misc.
● GUI.
● Hbase shell command for block size.
● Hive vs Hbase­ our use case
● Hbase Scan­ Scan.setCaching, 
Scan.setB...
Read this...
● https://www.packtpub.com/books/content/hbase­admin
● http://blog.cloudera.com/blog/2012/06/hbase­io­hfile­i...
Upcoming SlideShare
Loading in …5
×

Hbase

Hbase Architecture.

  • Be the first to comment

Hbase

  1. 1. Hbase Why we need NoSQL Database ??
  2. 2. Hbase Hbase Architecture.
  3. 3. Hbase Model Is Hbase follow master slave model ??
  4. 4. Hbase Hbase Meta Table Hbase Meta Table  Location
  5. 5. Hbase Row Key Row Key Design in Hbase.
  6. 6. Hbase Cache MemStore and BlockCache ?
  7. 7. Flow
  8. 8. Hbase Compaction ● Minor Compaction and Major compaction ? ● hbase.store.compaction.ratio Ratio used in  compaction file selection algorithm (default 1.2f). ● hbase.hstore.compaction.min (.90  hbase.hstore.compactionThreshold) (files)  Minimum number of StoreFiles per Store to be  selected for a compaction to occur (default 2).
  9. 9. Hbase Compaction ● hbase.hstore.compaction.max (files) Maximum number of  StoreFiles to compact per minor compaction (default 10). ● hbase.hstore.compaction.min.size (bytes) Any StoreFile smaller  than this setting with automatically be a candidate for compaction.  Defaults to hbase.hregion.memstore.flush.size (128 mb). ● hbase.hstore.compaction.max.size (.92) (bytes) Any StoreFile  larger than this setting with automatically be excluded from  compaction (default Long.MAX_VALUE).  ● The minor compaction StoreFile selection logic is size based, and  selects a file for compaction when the file <= sum(smaller_files) *  hbase.hstore.compaction.ratio. 
  10. 10. Hbase Block Size Larger block size vs smaller block  size ?
  11. 11. Hbase failover ● What if one RegionServer goes down ? ● A table is disable and re­enabled ? ● A cluster is stopped and restarted ? ● The HBase balancer decides to move a region to  balance data sizes across RegionServers ?
  12. 12. Hbase Splitting ● Pre­splitting ● Auto splitting ● Min (R^2 * “hbase.hregion.memstore.flush.size”,  “hbase.hregion.max.filesize”), 512MB, 1152MB, 2GB, 3.2GB, 4.6GB, 6.2GB,
  13. 13. Hbase Splitting
  14. 14. Hbase Delete ● Hbase Delete – marker set, making the deleted cells effectively  invisible.(The tombstone markers are only deleted during major  compactions) ● There are three types of tombstone markers: 1) version delete marker ­ Marks a single version of a column for  deletion 2) column delete marker ­ Marks all versions of a column for  deletion 3) family delete marker­ Marks all versions of all columns for a  column family for deletion
  15. 15. Misc. ● GUI. ● Hbase shell command for block size. ● Hive vs Hbase­ our use case ● Hbase Scan­ Scan.setCaching,  Scan.setBlockCache
  16. 16. Read this... ● https://www.packtpub.com/books/content/hbase­admin ● http://blog.cloudera.com/blog/2012/06/hbase­io­hfile­in ● http://hortonworks.com/blog/hbase­blockcache­101/ ● http://stackoverflow.com/questions/12472655/random­a ● http://www.larsgeorge.com/2009/10/hbase­architecture ● https://blogs.apache.org/hbase/entry/hbase_who_need ● http://www.larsgeorge.com/2010/05/hbase­file­locality­i ●

×