Hue勉強会 20131008

  • 1,420 views
Uploaded on

http://www.cloudera.co.jp …

http://www.cloudera.co.jp
2013/10/08 に開催した、Hue 勉強会の資料です。

More in: Technology
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
No Downloads

Views

Total Views
1,420
On Slideshare
0
From Embeds
0
Number of Embeds
10

Actions

Shares
Downloads
23
Comments
0
Likes
7

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. The Hadoop UI Sho / Romain - October 2013 Cloudera Meetup Tokyo
  • 2. http://www.cloudera.co.jp/jpevents/cwt2013/
  • 3. Welcome !
  • 4. 自己紹介 •  嶋内 翔(しまうち しょう) •  2011年4月にClouderaの最初の日本人社員と •  •  •  して入社 テクニカルサポート業務をメインに、日本に おける技術に関係する業務全般を担当 email: sho@cloudera.com twitter: @shiumachi
  • 5. Romain Rigaux
  • 6. 今日のアジェンダ •  Hueって何? •  デモ: Hue で何ができるの? •  Hue の将来
  • 7. Hueって何? •  Hadoopを使いやすくするためのWebUI •  色々なHadoopエコシステムの集合体 •  (e.g. Hive, Pig, Impala, Oozie, Solr, Sqoop, HBase...)
  • 8. View from 30 000 feet
  • 9. Ecosystem
  • 10. Hueの目的 •  Hadoop初心者が触るのに最適 •  色々な角度からプラットフォームを扱い、 •  慣れ親しむ 誰もがビッグデータ処理をできるようにす る
  • 11. Hue is Open Source
  • 12. Community hue-user@
  • 13. Hue and Django Apps = Django apps Core = Libs and main UI
  • 14. Hue has a lot of Frontend Drag JQuery, Bootstraps KnockOut, CSS… Drag & Drop, UX
  • 15. Hue アプリケーション(1) ファイルブラウザ
  • 16. ファイルブラウザ
  • 17. ファイルのアップロード
  • 18. ファイルの閲覧
  • 19. ファイルの編集も可能
  • 20. Hue アプリケーション(2) Beeswax
  • 21. Beeswaxとは •  HiveのWebインタフェース •  以下の操作を実行可能 o  サンプルファイルからテーブルを作成(Metastore Manager に統合) o  クエリの保存・実行 o  テーブル内のデータの閲覧
  • 22. クエリの実行
  • 23. クエリの保存・管理
  • 24. Hue アプリケーション(3) Impala Query Editor
  • 25. ImpalaもHive同様にクエリ実行可能
  • 26. Hue アプリケーション(4) Pig Editor
  • 27. Pig も Hue から実行可能
  • 28. Hue アプリケーション(5) Metastore Manager
  • 29. Hive/Pig/Impala共通のテーブル管理
  • 30. ファイルから新しいテーブルを作成
  • 31. ファイルから新しいテーブルを作成
  • 32. ファイルから新しいテーブルを作成
  • 33. Hue アプリケーション(6) Oozie Editor
  • 34. Oozieとは •  MapReduceやHiveなどのジョブのワークフ •  ローを管理するツール HueのWebインタフェースから作成・管理可 能
  • 35. ワークフローの管理
  • 36. ワークフローの作成 ドラッグ&ドロップが可能   マウス操作だけでワークフ ローが作成できる  
  • 37. コーディネータ管理 ワークフローを定期実行を設定するための機能   実行日ごとに出力先を変えたり、同時に実行可能な数 を指定することができる  
  • 38. Hue アプリケーション(7) Sqoop
  • 39. Sqoopのジョブを作成する
  • 40. Sqoop ジョブの管理
  • 41. Hue アプリケーション(8) Cloudera Search
  • 42. Apache Solr •  オープンソースの検索システム •  キーワード検索や属性検索により、Googleの •  ような検索システムを構築可能 ClouderaではSearchとして2013年6月から提 供開始 o  MapReduceによるインデックス作成 o  Flumeによる高速インデックス更新 o  HDFS上の非構造データをそのまま検索可能 42
  • 43. Cloudera Search アーキテクチャ ストリーミングで   インデックスを更新   インデックスを分散保持   Webサーバ等の   ログを生成するサーバ   携帯端末の   通信ログ   Hadoop   バッチ処理で   インデックス更新   Webインタフェース   43
  • 44. 検索結果
  • 45. コレクションエディタ (1) スニペットビジュアルエディタ
  • 46. コレクションエディタ (2) ファセット設定
  • 47. コレクションエディタ(3) ソート
  • 48. コレクションエディタ(4) ハイライト
  • 49. インデックス設定
  • 50. Hue アプリケーション(9) HBase App
  • 51. HBase も Hue から操作可能
  • 52. Hueで何ができる?
  • 53. Demo !
  • 54. More! gethue.tumblr.com/tagged/tutorial
  • 55. What's next in Hue?
  • 56. Roadmap •  3.0 : October o  o  o  o  o  UI の再設計 Google docs っぽいインタフェースに YARN ZooKeeper app ? (コミュニティ次第) •  3.5 : February 2014 o  o  o  アプリケーション間連携 グラフ ? (コミュニティ次第)
  • 57. Hue 1 - CDH3
  • 58. Hue 2 - CDH
  • 59. Hue 2.5 - CDH4.4
  • 60. Hue 3 - CDH5 New design New top navigation bar
  • 61. Hue 3 - New document model ●  Home (like Google Drive) ●  Unified sharing permissions ●  Tags
  • 62. Links •  gethue.com o  o  o  Videos, Hadoop Tutorials Demo VM CDH package •  @gethue •  hue-user@ o  o  Help Contributors