Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Easier and Faster for hbase in HadoopCon 2014

462 views

Published on

A tool to make faster and easier for HBase

Published in: Data & Analytics
  • Be the first to comment

Easier and Faster for hbase in HadoopCon 2014

  1. 1. Faster and Easier for HBase 亦思科技Hubert 范姜冠宇
  2. 2. Who are we? • 位於新竹科學園區 • 過去主要客戶為園區各大製造廠 • 未來願景: 全球HBase最專業的軟體廠商 • 努力方向: – 提供HBase較好的使用介面 – 改善HBase效能,提高Availability – 提供各產業完善的HBase解決方案
  3. 3. What we done? • 2010.7 以研發雲端計算軟體工具之投資計畫獲准進駐新竹科學園區 • 2011 與清華大學資工系鍾葉青教授合作進行產學合作 • 少數獲邀參與國際雲端計算研討會IEEE CloudCom的專業公司 • 少數已經有實際經驗協助客戶完成建置Hadoop 系統的資訊廠商 • 2012.01 JackHare (ANSI SQL JDBC Driver) • 2012.11 HareDB Hbase Client • 2012.12 HareDB Data Model Management • 2013.08 Hare ( High Speed Query in HBase)
  4. 4. Who am I ? • 姓名: 范姜冠宇Hubert • 任職: 亦思科技 • 功能: – 設計HBase相關產品與解決方案 – 替苦悶的RD工程師打氣 – 在嚴肅場合說冷笑話
  5. 5. TALK ABOUT HBASE
  6. 6. HBase 原生介面
  7. 7. 不方便的HBase • 資料傾倒問題 • Table 管理問題 – Schema 管理問題 • 查詢問題(方便,效能) • 程式學習門檻問題
  8. 8. 資料傾倒問題
  9. 9. 資料傾倒問題
  10. 10. 資料傾倒問題
  11. 11. TABLE管理問題
  12. 12. Table管理
  13. 13. 查詢問題
  14. 14. 查詢問題(UI Query)
  15. 15. 查詢問題(SQL Query)
  16. 16. 程式學習門檻問題
  17. 17. 如何降低門檻 • ODBC/JDBC Driver • HareSQL Driver • Example with R
  18. 18. ODBC DRIVER
  19. 19. ODBC Driver • http://www.microsoft.com/en-us/download/details.aspx?id=40886
  20. 20. 設定HareDB連線資訊 • 在`開始`搜尋odbc administrator(如圖) • 若作業系統為X64,請執行64-bit;X86請 執行32-bit。
  21. 21. 設定HareDB連線資訊 • 點選新增,建立新資料來源。 • 選擇`Microsoft Hive ODBC Driver`後,點 選完成。
  22. 22. 設定HareDB連線資訊
  23. 23. Excel 讀取HareDB 示範
  24. 24. Excel 讀取HareDB 示範
  25. 25. Excel 讀取HareDB 示範
  26. 26. Excel 讀取HareDB 示範
  27. 27. Excel 讀取HareDB 示範
  28. 28. Excel 讀取HareDB 示範
  29. 29. Excel 讀取HareDB 示範
  30. 30. Excel 讀取HareDB 示範
  31. 31. SQL STRING
  32. 32. 與應用系統整合– ( R )
  33. 33. FASTER
  34. 34. Client Hare Executor Coprocessor Windup Server Region 4 HBase Hight Speed ? HiveQL Hive Parser HareDriver Hare Planner Hare Executor Coprocessor Hare Optimizer Region 3 EndPoint Instance EndPoint Instance Region 2 EndPoint Instance Region 1 Region 5
  35. 35. SQL A SQL B SQL C SQL E SQL F SQL G SQL H Faster Impala in Hadoop 115 s 13 s 91 s 78 s 7 s 6 s Impala in HBase 2925 s 0.26 s 2338 s 5876 s 5832 s oom Hare (only for HBase) 1410 s 9 s 1355 s 1303 s 1283 s 1258 s 1640 s Hive in Hadoop 113 s 107 s 110 s 161 s 154 s 163 s 157 s Hive mr2 10694 s 22 s 9661 s 9462 s 9461 s 9484 s 9032 s
  36. 36. One more thing ….

×