Hadoopの標準GUI HUEの最新情報

6,390 views

Published on

Hadoop User Conference 2014のHueのセッション資料です

Published in: Technology

Hadoopの標準GUI HUEの最新情報

  1. 1. HADOOPの標準GUI HUEの 最新情報 Tatsuo Kawasaki kawasaki@cloudera.com Hadoop User Conference 2014, Jul 8, 2014
  2. 2. HUE以前 基本的な操作はコマンド ラインから エンジニア、パワーユー ザー以外には敷居が高い
  3. 3. HUE以後 Hadoop用のGUI ブラウザから操作 ・Windowsでも ・Macでも ・Linuxでも その気になれば、タブ レットやスマホでも!
  4. 4. HUEの目標 APACHE HADOOPで データを分析するための ウェブインタフェース シンプル&統合 無料&オープンソース ̶> ビッグデータを多くの人に
  5. 5. おおまかな概要 Hadoop Web Server あなた、同僚、 IE9を使っている友人でさえも ;)
  6. 6. オープンソース 3350 のコミット 38 人のコントリビュータ 698 のスター 245 のフォーク github.com/cloudera/hue
  7. 7. 開発コアチーム Join  us  at  team.gethue.com   Romain  Rigaux   Enrico  Ber5  Chang   Abraham  Elmahrek  Amstel  
  8. 8. トーク ミートアップとイベント:    NYC,   Paris,  LA,  Tokyo,  SF,  Stockholm,   Vienna,  San  Jose,  Singapore,   Budapest…   近日予定:  London,  West  coast   AROUND
 THE WORLD 避暑 Nov  13  Koh  Chang,  Thailand   May  14  Curaçao,  Netherlands  An5lles   Nov  14  Goa,  India  
  9. 9. トレンド: 成長 gethue.com  
  10. 10. HISTORY
 HUE 1 ブラウザ内でデスクトッ プのような機能を実現し ていたが、かなり遅く、 メモリリークもあり、IE には適していなかった。 しかし、その当時 (2009-2010)は明らか に先進的だった。
  11. 11. HISTORY
 HUE 2 いたるところがTwitter のブートストラップによ る最初のフラット構造な 実装 HUE 2.5 自動補完とドラッグ&ド ロップのような新しい良 い機能を追加し、ユー ザーエクスペリエンスを 改善した新しいアプリ
  12. 12. HISTORY
 HUE 3 ALPHA 提案されたデザイン。 うまくいかなかった
  13. 13. HISTORY
 HUE 3.5 新しいUI、いくつかの新 しいアプリ、これまでで 最もユーザーフレンド リーな機能  
  14. 14. HISTORY
 HUE 3.6+ そして今… データを検索、探索する ための全く新しい方法
  15. 15. どちらのバージョンを使うべきか? その後の2500以上のコミット、 新しいUI、インタラクティブな 検索、SQL、ダッシュボード… 1∼2年古いバージョンで、 Hive0.12以前に依存して いる場合にのみ使用する HUE 2.X HUE 3.X
  16. 16. どのディストリビューションを使うべきか? 先進的なプレビュー版 最も安定し、コンポー ネント間での確認もな されている 非常に新しい GITHUB CDH / CM TARBALL ハッカー 先進的なユーザー 一般ユーザー
  17. 17. どこにHUEを配置するべきか? 1台のマシン
  18. 18. どこにHUEを配置するべきか? クラスタの外
  19. 19. どこにHUEを配置するべきか? クラスタの内側
  20. 20. Python 2.4 2.6 パッケージを使用する場合。 ソースからビルドする場合は その他の packagesが必要 SERVER CLIENT ウェブブラウザ IE 9+, FF 10+, Chrome, Safari 必要なものは? Hi  there,  I’m  “just”  a  web  server.  
  21. 21. HUEのサービスは? ページ、および静的コ ンテンツも提供するプ ロセス 1 SERVER 1 DB クッキー、保存したク エリ、ワークフロー用 Hi  there,  I’m  “just”  a  web  server.  
  22. 22. HUEの設定方法 HUE.INI core-site.xmlに似ている が、.INI形式の構文 場所? /etc/hue/conf/hue.ini または $HUE_HOME/desktop/conf/ pseudo-distributed.ini [desktop] [[database]] # Database engine is typically one of: # postgresql_psycopg2, mysql, or sqlite3 engine=sqlite3 ## host= ## port= ## user= ## password= name=desktop/desktop.db
  23. 23. 認証 データベース (SQLite, MySQL, …)にLogin/ Passwordを管理 SIMPLE ENTERPRISE LDAP (最も使用され ている), OAuth, OpenID, SAML
  24. 24. DBバックエンド
  25. 25. LDAPバックエンド Integrate  your  employees:  LDAP  How  to  guide  
  26. 26. ユーザー ユーザーまたはユー ザーのグループに、権 限を付与、破棄できる 管理者 ユーザー 標準ユーザー + 権限
  27. 27. グループのリストと権限 権限ができること: - アプリ(例: Hiveエ ディタ)へのアクセス を許可 - アプリからデータを 修正 (例: Hiveテーブ ルのDROPや、 HBaseブラウザでセ ルを編集) 設定 ‒ アプリケーションと権限 A  list  of  permissions  
  28. 28. 実行中の権限 「test」ユーザーは 「hive」権限のみを持つ 「hiveonly」グループに 属している 設定 ‒ アプリケーションと権限
  29. 29. どのようにHUEはHADOOPとやり取りするのか YARN JobTracker Oozie Hue Plugins LDAP SAML Pig HDFS HiveServer2 Hive Metastore Cloudera Impala Solr HBase Sqoop2 Zookeeper
  30. 30. RPC CALL 全てのHADOOPコンポーネントに HDFSの例 WebHDFS REST DN DN DN … DN NN hp://localhost:50070/webhdfs/v1/<PATH>?op=LISTSTATUS  
  31. 31. HOW hue.iniにHadoop API の全てのホストとポー トをリスト HBaseとHiveの例 Full  list   [hbase] # Comma-separated list of HBase Thrift servers for # clusters in the format of '(name|host:port)'. hbase_clusters=(Cluster|localhost:9090) [beeswax] hive_server_host=host-abc hive_server_port=10000 RPC CALL 全てのHADOOPコンポーネントに
  32. 32. HTTPS SSL DB SSL WITH HIVESERVER2 さらに多く … AUDITING セキュリティ KERBEROS
  33. 33. 2つのHueインスタンス HA proxy Multi DB パフォーマンス: ウェブ サイトのようにほとんど がRPCコール 高可用性 HOW
  34. 34. Impala, Hiveの統合, Spark (Shark も) 対話的なSQLエディタ MapReduce、メタス トア、HDFSを統合 SQL WHAT
  35. 35. Solr&Cloudを統合 カスタムできる対話的 なダッシュボード ドラッグ&ドロップ ウィジェット (チャー ト、タイムライン…) SEARCH(検索) WHAT
  36. 36. シンプルなカスタムク エリ言語 HBaseフィルタ言語を サポート 選択、コピー&ペース ト 自動補完のヘルプメ ニュー HBASEブラウザ WHAT
  37. 37. DEMO TIME

  38. 38. まとめ Hueでプロキシーユーザーと してHadoop Service APIを 有効化 各サービスAPIを示すよう にhue.iniを設定 @gethue や hue-user マシンにHueを インストール LDAPバックエンドを使用 インストール 設定有効化 ヘルプLDAP
  39. 39. 次の6ヶ月のロードマップ Sentry Search, Spark, SQL 多くのダッシュボード! Oozie v2 内部コンポーネントの統 合 (HBase <-> Search, インデックス作成ウィ ザード、ドキュメントの 権限), Hadoop Web apps SDK あなたのアイデアは? WHAT
  40. 40. 
 …GIVE CLOUDERA MANAGER A TRY! vimeo.com/91805055   設定が難しい…
  41. 41. 何か間違っている? learn.gethue.com  
  42. 42. インストールせずに試してみる demo.gethue.com  
  43. 43. TWITTER @gethue   USER GROUP hue-­‐user@   WEBSITE hp://gethue.com   LEARN hp://learn.gethue.com   THANK YOU! 
 翻訳版ブログ公開中   hp://gethue.com/blog/?lang=ja  

×