Introducción a Apache HBase

2,049 views

Published on

Esta charla la impartí en el 1er encuentro del grupo de investigación de Bases de Datos.

Published in: Technology
0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
2,049
On SlideShare
0
From Embeds
0
Number of Embeds
9
Actions
Shares
0
Downloads
0
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

Introducción a Apache HBase

  1. 1. Introducción a HBase Marcos Ortiz mlortiz@uci.cu @marcosluis2186 1
  2. 2. El auge del NoSQL 2
  3. 3. Qué es HBase?Clon de Google BigTable:http://labs.google.com/papers/bigtable.htmlCreada originalmente en Powerset en 2007SubProyecto de Apache Hadoop 3
  4. 4. Modelo de almacenamiento basado en columnasEs un sistema de almacenamiento orientado acolumnas semiestructuradoDistribuido sobre varios servidoresTolerante a fallos de servidoresUsa HDFS como sus sistema de almacenamiento 4
  5. 5. Tablas y regionesLas filas son almacenadas en un orden det tipo byte-lexicográficoLas tablas son dinámicamente divididas en ¨regiones¨Cada región contiene los valores desde [startKey,endKey]Las regiones son hosteadas en un RegionServer 5
  6. 6. Tablas y regiones 6
  7. 7. AlmacenamientoPiensen en un sistema de etiquetas. Los valores puedenser de cualquier dimensión, no hay nombrespredefinidos o tamaños 7
  8. 8. Familia de columnasLas tablas estás compuestas por 1 o más ColumnsFamilies (CF), que no son más que unidades para laoptimización del rendimiento 8
  9. 9. 9
  10. 10. Almacenamientocreate crash_report_signatures, {NAME => counters,COMPRESSION => LZO, VERSIONS => 1, TTL =>2147483647, BLOCKSIZE => 65536, IN_MEMORY => false,BLOCKCACHE => true}, {NAME => json, COMPRESSION =>LZO, VERSIONS => 3, TTL => 2147483647, BLOCKSIZE =>65536, IN_MEMORY => false, BLOCKCACHE => true} 10
  11. 11. Quién usa HBase? 11
  12. 12. Quién usa HBase?110 TB en HDFS~ 40 TB en HBase2300 crash p/min> 120 servidoresfísicos 12
  13. 13. Quién usa HBase?+30 Billones deeventosde + 10 Millonesde usuarios+ 10 años de datos(clínicos, financieros,operacionales) 13
  14. 14. Quién usa HBase?OpenTSDB: sistema desarrollado para elmonitoreo de todos los servicios yservidores en SU~ 6 TB en HBase para las métricas>100 TB en otro cluster de HBase para elsistema de recomendaciónEmplean a varios de los HBase commiters 14
  15. 15. Quién usa HBase? 15
  16. 16. Desarrollo futuro de HBase* Apache Hadoop 2.0: HA NameNode, no más SPOF paraHBase* Failover automático para HA Namenodes (HDFS-3042)* Pistas para el copiado de bloques de forma específica(HBASE-4755)* Hard links para HDFS (HDFS-3370): Permitirá el clonado ysnapshots de tablas eficientemente 16
  17. 17. ContactosTodd Lipcon (Cloudera)Lars George (Cloudera)Michael Stack (StumbleUpon)Jean-Daniel Cryans (StumbleUpon)Nicolas Spiegelberg (Facebook)Jonathan Grey (Former VP of Data Engineering Team atFacebook, Founder at Continuuity)Andrew Purtell (Trend Micro)Lars Hofhansl (Salesforce.com)Doug Meil (CTO at Explorys) 17
  18. 18. Recursos 18
  19. 19. RecursosHBase at Explorys: How Big Data saved lives:http://www.slideshare.net/cloudera/from-big-data-to-lives-saved-hbase-in-heathcaHBase and HDFS: Past, Present and Future por Todd Lipcon:http://www.slideshare.net/cloudera/1-todd-lipcon-past-present-futurepdfPowered by HBases list:http://wiki.apache.org/hadoop/Hbase/PoweredBy 19
  20. 20. PreguntasSugerenciasComentarios ??? 20

×