Shib: WebUI tool provides crossover of Hive and MPP

7,398 views

Published on

Published in: Technology
0 Comments
2 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
7,398
On SlideShare
0
From Embeds
0
Number of Embeds
5,270
Actions
Shares
0
Downloads
30
Comments
0
Likes
2
Embeds 0
No embeds

No notes for slide

Shib: WebUI tool provides crossover of Hive and MPP

  1. 1. Shib: WebUI tool provides crossover of Hive and MPP @tagomoris 2014/07/08 Hadoop Conference Japan 2014 LT 14年7月8日火曜日
  2. 2. @tagomoris LINE Corporation Analytics PlatformTeam 14年7月8日火曜日
  3. 3. 14年7月8日火曜日
  4. 4. 14年7月8日火曜日
  5. 5. 14年7月8日火曜日
  6. 6. Shib: WebUI tool provides crossover of Hive and MPP 14年7月8日火曜日
  7. 7. 14年7月8日火曜日
  8. 8. 14年7月8日火曜日
  9. 9. 14年7月8日火曜日
  10. 10. Hive Clients •Hive CLI / Beeline •Hue (Beeswax) •Other (Shib,WebHive, ...) 14年7月8日火曜日
  11. 11. Troubles 1. hive> SELECT param, count(*) FROM tbl WHERE .... GROUP BY param; 14年7月8日火曜日
  12. 12. Troubles 1. (40 minutes later...) 14年7月8日火曜日
  13. 13. Troubles 1. VALUE10032 1 VALUE10033 1 VALUE10034 2 VALUE10035 1 VALUE10036 1 VALUE10037 1 VALUE10038 508 VALUE10039 1 VALUE10041 2 Time taken: 2263.201 seconds hive> 14年7月8日火曜日
  14. 14. Troubles 1. VALUE4932 1 VALUE4933 1 VALUE4934 2 VALUE4937 1 VALUE4938 1 VALUE4942 1 VALUE4943 1 VALUE4944 1 VALUE4945 2 VALUE4946 1 VALUE4947 1 14年7月8日火曜日
  15. 15. Troubles 1. Save all of your query’s results AUTOMATICALLY 14年7月8日火曜日
  16. 16. Troubles 2. hive> alter table tbl drop partition (....); hive> drop table tbl; 14年7月8日火曜日
  17. 17. Troubles 2. Separate Query executor FROM Administrator’s Client 14年7月8日火曜日
  18. 18. Troubles 3. hive> set mapred.job.priority=‘VERY_HIGH’ ; hive> SELECT .... 14年7月8日火曜日
  19. 19. Troubles 3. hive> create temporary function foobar as ‘....’; hive> SELECT foobar(param) ...; FAILED: SemanticException [Error 10011]: Line 1:96 Invalid function ‘foobar’ hive> 14年7月8日火曜日
  20. 20. Troubles 3. Enforce well-configured environment for almost all of daily queries 14年7月8日火曜日
  21. 21. Troubles 4. Hey, please count yesterday’s logs. Sure. Wait few minutes... (10 minutes later...) Done. Could you send me by .xlsx? Ah.... 14年7月8日火曜日
  22. 22. Troubles 4. Could you send me by .xlsx? (copy files from HDFS) (open TSV files) (paste all lines on Excel) (open mailer and write e-mail) (send a mail) Ah.... OK. Of course. 14年7月8日火曜日
  23. 23. Troubles 4. (paste all lines on Excel) (open mailer and write e-mail) (send a mail) (find to miss to attach xlsx) (send a mail again) 14年7月8日火曜日
  24. 24. Troubles 4. Could you send me by .xlsx? (15 minutes later...) Ah.... OK. Of course. Done! 14年7月8日火曜日
  25. 25. Troubles 4. (15 minutes later...) Done! Oh, I also need result about the day before yesterday! 14年7月8日火曜日
  26. 26. Troubles 4. Make all queries shared with permalink and user-friendly formats! 14年7月8日火曜日
  27. 27. Troubles 4. (fixed) Hey, please count yesterday’s logs. Sure. Wait few minutes... OK. I started query on this URL. So download result after completion. Estimated time is 10 minutes. Thanks! 14年7月8日火曜日
  28. 28. Shib 14年7月8日火曜日
  29. 29. Shib •Hive Web Client (w/ hiveserver1/2) •Query permalinks •Result datastore (TSV/CSV) •“SELECT” only! (DDL prohibited) •Database/table access control •Query list sharing by tag •HTTP Proxy API (POST to execute query!) 14年7月8日火曜日
  30. 30. Shib: WebUI tool provides crossover of Hive and MPP 14年7月8日火曜日
  31. 31. Shib •Multi query engine support •Switch between hiveserver and hiveserver2 •Facebook Presto support •Switch between Hive and Presto! 14年7月8日火曜日
  32. 32. Shib will supports more features. Enjoy stress-less queries! 14年7月8日火曜日

×