A tool to make faster and easier for HBase

1. Faster and Easier for HBase
亦思科技Hubert 范姜冠宇

2. Who are we?
• 位於新竹科學園區
• 過去主要客戶為園區各大製造廠
• 未來願景: 全球HBase最專業的軟體廠商
• 努力方向:
– 提供HBase較好的使用介面
– 改善HBase效能,提高Availability
– 提供各產業完善的HBase解決方案

3. What we done?
• 2010.7 以研發雲端計算軟體工具之投資計畫獲准進駐新竹科學園區
• 2011 與清華大學資工系鍾葉青教授合作進行產學合作
• 少數獲邀參與國際雲端計算研討會IEEE CloudCom的專業公司
• 少數已經有實際經驗協助客戶完成建置Hadoop 系統的資訊廠商
• 2012.01 JackHare (ANSI SQL JDBC Driver)
• 2012.11 HareDB Hbase Client
• 2012.12 HareDB Data Model Management
• 2013.08 Hare ( High Speed Query in HBase)

5. Who am I ?
• 姓名: 范姜冠宇Hubert
• 任職: 亦思科技
• 功能:
– 設計HBase相關產品與解決方案
– 替苦悶的RD工程師打氣
– 在嚴肅場合說冷笑話

6. TALK ABOUT HBASE

7. HBase 原生介面

8. 不方便的HBase
• 資料傾倒問題
• Table 管理問題
– Schema 管理問題
• 查詢問題(方便,效能)
• 程式學習門檻問題

9. 資料傾倒問題

10. 資料傾倒問題

11. 資料傾倒問題

12. TABLE管理問題

13. Table管理

14. 查詢問題

15. 查詢問題(UI Query)

16. 查詢問題(SQL Query)

17. 程式學習門檻問題

18. 如何降低門檻
• ODBC/JDBC Driver
• HareSQL Driver
• Example with R

19. ODBC DRIVER

21. ODBC Driver
• http://www.microsoft.com/en-us/download/details.aspx?id=40886

22. 設定HareDB連線資訊
• 在`開始`搜尋odbc administrator(如圖)
• 若作業系統為X64，請執行64-bit；X86請
執行32-bit。

23. 設定HareDB連線資訊
• 點選新增，建立新資料來源。
• 選擇`Microsoft Hive ODBC Driver`後，點
選完成。

24. 設定HareDB連線資訊

25. Excel 讀取HareDB 示範

26. Excel 讀取HareDB 示範

27. Excel 讀取HareDB 示範

28. Excel 讀取HareDB 示範

29. Excel 讀取HareDB 示範

30. Excel 讀取HareDB 示範

31. Excel 讀取HareDB 示範

32. Excel 讀取HareDB 示範

33. SQL STRING

36. 與應用系統整合– ( R )

39. FASTER

40. Client
Hare Executor Coprocessor Windup Server
Region 4
HBase
Hight Speed ?
HiveQL
Hive Parser HareDriver
Hare Planner
Hare Executor Coprocessor
Hare Optimizer
Region 3
EndPoint
Instance
EndPoint
Instance
Region 2
EndPoint
Instance
Region 1
Region 5

41. SQL A SQL B SQL C SQL E SQL F SQL G SQL H
Faster
Impala in Hadoop 115 s 13 s 91 s 78 s 7 s 6 s
Impala in HBase 2925 s 0.26 s 2338 s 5876 s 5832 s oom
Hare
(only for HBase)
1410 s 9 s 1355 s 1303 s 1283 s 1258 s 1640 s
Hive in Hadoop 113 s 107 s 110 s 161 s 154 s 163 s 157 s
Hive mr2 10694 s 22 s 9661 s 9462 s 9461 s 9484 s 9032 s

42. One more thing ….