The Hadoop UI
Sho / Romain - October 2013
Cloudera Meetup Tokyo
http://www.cloudera.co.jp/jpevents/cwt2013/
Welcome !
自己紹介

•  嶋内 翔(しまうち しょう)
•  2011年4月にClouderaの最初の日本人社員と
• 
• 
• 

して入社
テクニカルサポート業務をメインに、日本に
おける技術に関係する業務全般を担当
email: sho@clo...
Romain Rigaux
今日のアジェンダ

•  Hueって何?
•  デモ: Hue で何ができるの?
•  Hue の将来
Hueって何?

•  Hadoopを使いやすくするためのWebUI

•  色々なHadoopエコシステムの集合体
•  (e.g. Hive, Pig, Impala, Oozie, Solr, Sqoop, HBase...)
View from 30 000 feet
Ecosystem
Hueの目的

•  Hadoop初心者が触るのに最適
•  色々な角度からプラットフォームを扱い、
• 

慣れ親しむ
誰もがビッグデータ処理をできるようにす
る
Hue is Open Source
Community
hue-user@
Hue and Django

Apps = Django apps
Core = Libs and main UI
Hue has a lot
of Frontend
Drag

JQuery, Bootstraps
KnockOut, CSS…
Drag & Drop, UX
Hue アプリケーション(1) ファイルブラウザ
ファイルブラウザ
ファイルのアップロード
ファイルの閲覧
ファイルの編集も可能
Hue アプリケーション(2) Beeswax
Beeswaxとは

•  HiveのWebインタフェース
•  以下の操作を実行可能
o  サンプルファイルからテーブルを作成(Metastore
Manager に統合)
o  クエリの保存・実行
o  テーブル内のデータの閲覧
クエリの実行
クエリの保存・管理
Hue アプリケーション(3) Impala Query Editor
ImpalaもHive同様にクエリ実行可能
Hue アプリケーション(4) Pig Editor
Pig も Hue から実行可能
Hue アプリケーション(5) Metastore Manager
Hive/Pig/Impala共通のテーブル管理
ファイルから新しいテーブルを作成
ファイルから新しいテーブルを作成
ファイルから新しいテーブルを作成
Hue アプリケーション(6) Oozie Editor
Oozieとは

•  MapReduceやHiveなどのジョブのワークフ
• 

ローを管理するツール
HueのWebインタフェースから作成・管理可
能
ワークフローの管理
ワークフローの作成
ドラッグ&ドロップが可能	
  
マウス操作だけでワークフ
ローが作成できる	
  
コーディネータ管理

ワークフローを定期実行を設定するための機能	
  
実行日ごとに出力先を変えたり、同時に実行可能な数
を指定することができる	
  
Hue アプリケーション(7) Sqoop
Sqoopのジョブを作成する
Sqoop ジョブの管理
Hue アプリケーション(8) Cloudera Search
Apache Solr

•  オープンソースの検索システム
•  キーワード検索や属性検索により、Googleの
• 

ような検索システムを構築可能
ClouderaではSearchとして2013年6月から提
供開始
o  MapReduc...
Cloudera Search アーキテクチャ
ストリーミングで	
  
インデックスを更新	
  

インデックスを分散保持	
  

Webサーバ等の	
  
ログを生成するサーバ	
  

携帯端末の	
  
通信ログ	
  

Hado...
検索結果
コレクションエディタ
(1) スニペットビジュアルエディタ
コレクションエディタ
(2) ファセット設定
コレクションエディタ(3) ソート
コレクションエディタ(4) ハイライト
インデックス設定
Hue アプリケーション(9) HBase App
HBase も Hue から操作可能
Hueで何ができる?
Demo !
More!

gethue.tumblr.com/tagged/tutorial
What's next
in Hue?
Roadmap

•  3.0 : October
o 
o 
o 
o 
o 

UI の再設計
Google docs っぽいインタフェースに
YARN
ZooKeeper app
? (コミュニティ次第)

•  3.5 : Februa...
Hue 1 - CDH3
Hue 2 - CDH
Hue 2.5 - CDH4.4
Hue 3 - CDH5

New design
New top navigation bar
Hue 3 - New document model

●  Home (like Google Drive)
●  Unified sharing permissions
●  Tags
Links

•  gethue.com
o 
o 
o 

Videos, Hadoop Tutorials
Demo VM
CDH package

•  @gethue
•  hue-user@
o 
o 

Help
Contribut...
Upcoming SlideShare
Loading in...5
×

Hue勉強会 20131008

1,797

Published on

http://www.cloudera.co.jp
2013/10/08 に開催した、Hue 勉強会の資料です。

Published in: Technology
0 Comments
7 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
1,797
On Slideshare
0
From Embeds
0
Number of Embeds
10
Actions
Shares
0
Downloads
24
Comments
0
Likes
7
Embeds 0
No embeds

No notes for slide

Transcript of "Hue勉強会 20131008"

  1. 1. The Hadoop UI Sho / Romain - October 2013 Cloudera Meetup Tokyo
  2. 2. http://www.cloudera.co.jp/jpevents/cwt2013/
  3. 3. Welcome !
  4. 4. 自己紹介 •  嶋内 翔(しまうち しょう) •  2011年4月にClouderaの最初の日本人社員と •  •  •  して入社 テクニカルサポート業務をメインに、日本に おける技術に関係する業務全般を担当 email: sho@cloudera.com twitter: @shiumachi
  5. 5. Romain Rigaux
  6. 6. 今日のアジェンダ •  Hueって何? •  デモ: Hue で何ができるの? •  Hue の将来
  7. 7. Hueって何? •  Hadoopを使いやすくするためのWebUI •  色々なHadoopエコシステムの集合体 •  (e.g. Hive, Pig, Impala, Oozie, Solr, Sqoop, HBase...)
  8. 8. View from 30 000 feet
  9. 9. Ecosystem
  10. 10. Hueの目的 •  Hadoop初心者が触るのに最適 •  色々な角度からプラットフォームを扱い、 •  慣れ親しむ 誰もがビッグデータ処理をできるようにす る
  11. 11. Hue is Open Source
  12. 12. Community hue-user@
  13. 13. Hue and Django Apps = Django apps Core = Libs and main UI
  14. 14. Hue has a lot of Frontend Drag JQuery, Bootstraps KnockOut, CSS… Drag & Drop, UX
  15. 15. Hue アプリケーション(1) ファイルブラウザ
  16. 16. ファイルブラウザ
  17. 17. ファイルのアップロード
  18. 18. ファイルの閲覧
  19. 19. ファイルの編集も可能
  20. 20. Hue アプリケーション(2) Beeswax
  21. 21. Beeswaxとは •  HiveのWebインタフェース •  以下の操作を実行可能 o  サンプルファイルからテーブルを作成(Metastore Manager に統合) o  クエリの保存・実行 o  テーブル内のデータの閲覧
  22. 22. クエリの実行
  23. 23. クエリの保存・管理
  24. 24. Hue アプリケーション(3) Impala Query Editor
  25. 25. ImpalaもHive同様にクエリ実行可能
  26. 26. Hue アプリケーション(4) Pig Editor
  27. 27. Pig も Hue から実行可能
  28. 28. Hue アプリケーション(5) Metastore Manager
  29. 29. Hive/Pig/Impala共通のテーブル管理
  30. 30. ファイルから新しいテーブルを作成
  31. 31. ファイルから新しいテーブルを作成
  32. 32. ファイルから新しいテーブルを作成
  33. 33. Hue アプリケーション(6) Oozie Editor
  34. 34. Oozieとは •  MapReduceやHiveなどのジョブのワークフ •  ローを管理するツール HueのWebインタフェースから作成・管理可 能
  35. 35. ワークフローの管理
  36. 36. ワークフローの作成 ドラッグ&ドロップが可能   マウス操作だけでワークフ ローが作成できる  
  37. 37. コーディネータ管理 ワークフローを定期実行を設定するための機能   実行日ごとに出力先を変えたり、同時に実行可能な数 を指定することができる  
  38. 38. Hue アプリケーション(7) Sqoop
  39. 39. Sqoopのジョブを作成する
  40. 40. Sqoop ジョブの管理
  41. 41. Hue アプリケーション(8) Cloudera Search
  42. 42. Apache Solr •  オープンソースの検索システム •  キーワード検索や属性検索により、Googleの •  ような検索システムを構築可能 ClouderaではSearchとして2013年6月から提 供開始 o  MapReduceによるインデックス作成 o  Flumeによる高速インデックス更新 o  HDFS上の非構造データをそのまま検索可能 42
  43. 43. Cloudera Search アーキテクチャ ストリーミングで   インデックスを更新   インデックスを分散保持   Webサーバ等の   ログを生成するサーバ   携帯端末の   通信ログ   Hadoop   バッチ処理で   インデックス更新   Webインタフェース   43
  44. 44. 検索結果
  45. 45. コレクションエディタ (1) スニペットビジュアルエディタ
  46. 46. コレクションエディタ (2) ファセット設定
  47. 47. コレクションエディタ(3) ソート
  48. 48. コレクションエディタ(4) ハイライト
  49. 49. インデックス設定
  50. 50. Hue アプリケーション(9) HBase App
  51. 51. HBase も Hue から操作可能
  52. 52. Hueで何ができる?
  53. 53. Demo !
  54. 54. More! gethue.tumblr.com/tagged/tutorial
  55. 55. What's next in Hue?
  56. 56. Roadmap •  3.0 : October o  o  o  o  o  UI の再設計 Google docs っぽいインタフェースに YARN ZooKeeper app ? (コミュニティ次第) •  3.5 : February 2014 o  o  o  アプリケーション間連携 グラフ ? (コミュニティ次第)
  57. 57. Hue 1 - CDH3
  58. 58. Hue 2 - CDH
  59. 59. Hue 2.5 - CDH4.4
  60. 60. Hue 3 - CDH5 New design New top navigation bar
  61. 61. Hue 3 - New document model ●  Home (like Google Drive) ●  Unified sharing permissions ●  Tags
  62. 62. Links •  gethue.com o  o  o  Videos, Hadoop Tutorials Demo VM CDH package •  @gethue •  hue-user@ o  o  Help Contributors
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×