20分でわかるHBase
•
40 likes•5,233 views
PyFes 2012.07 で発表したときのスライドです。 HBaseのアーキテクチャ周りを中心に話しました
Recommended
More Related Content
What's hot
What's hot (20)
Viewers also liked
Viewers also liked (12)
Similar to 20分でわかるHBase
Similar to 20分でわかるHBase (20)
Recently uploaded
Recently uploaded (9)
20分でわかるHBase
- 1. 20分でわかるHBase Python Developers Festa 2012.07 #pyfes 2012/07/28 @shiumachi
- 2. アジェンダ • HBaseとは • HBaseのデータ構造 • HBaseのテーブル構造とアーキテクチャ • リージョン分割〜HBaseにおけるシャーディン グ〜 • アーキテクチャから見るHBaseの使い方 • ？？？
- 3. お前誰よ？ • Sho Shimauchi ( @shiumachi ) • Cloudera の問い合わせ担当 • ここ最近で一番衝撃的だった問い合わせは、 私の個人ブログの内容について説明してほし いというもの(しかも4年前の記事)
- 4. HBase 本日本語訳出ました • Cloudera の Lars George が書いた HBase のバイ ブル • 訳は安心の玉川さん • レビュー手伝ってました • 今日話すことは全部こ の「馬本」に書いてます
- 5. HBaseとは
- 6. HBase とは • 分散DB • 列ファミリ指向DB • ソートマップDB • キーバリューストア
- 8. なぜHBaseを使うのか 頑張ってシャーディングした 書き込みがスケールしない ＼(^o^)／ｵﾜﾀ
- 9. なぜHBaseを使うのか • シャーディングをサポートしてる – 自動シャーディング – コマンド一発で手動シャーディング • 書き込みがスケールする • データの耐障害性も確保されてる – これはHadoopのファイルシステムHDFSの機能
- 10. HBaseのデータ構造
- 11. HBaseのデータ構造 シンプルなキーバリュー型 キー 値
- 12. HBaseのデータ構造 キーが「行」「列ファミリ」「列」「タイムスタンプ」 に分かれている タイム 行キー 列ファミリ 列 値 スタンプ
- 13. HBaseのデータ構造 キーバリューがソートされてならんでいる タイム 行キー 列ファミリ 列 値 スタンプ r1 cf1 c1 1000 ‘python’ r1 cf1 c2 1000 ‘php’ r1 cf2 c1 1000 ‘ruby’ r2 cf1 c2 1000 ‘java’
- 14. CM データ構造の話は馬本の 9章冒頭に詳しく書かれて います 是非買って読んでください
- 16. HBaseのテーブル構造 • テーブルはリージョン/列ファミリごとに別ファ イルに保存される • リージョンは、指定された行キーの範囲で分 割される
- 17. HBaseのテーブル構造 • 1リージョンには列ファミリの数だけストアファイルが存在 • 実際はもう少し複雑だがここでは簡略化して説明 列ファミリ1 列ファミリ1 リージョン ストアファイル a -‐ c リージョン d -‐ f リージョン d -‐ f
- 18. HBaseのアーキテクチャ • RegionServer – リージョンを管理する • Zookeeper – リージョンサーバの配置や管理テーブルの配置 など、HBaseの中核情報を管理する • HMaster – データそのものは扱わず、管理情報を収集し管 理インタフェースを提供する
- 19. リージョンサーバ クライアントはリージョン クライアント サーバのリージョンに 直接アクセスする リージョンサーバ リージョンサーバ リージョン リージョン
- 20. リージョンの位置を知るには？ • .META. テーブル – リージョンサーバとリージョンのマップ情報 – クライアントは .META. テーブルに問い合せて場所を 確認 • ROOT テーブル – .META. の場所をポイントするだけのテーブル – クライアントはROOTテーブルを見て.META.テーブル を探す – ROOTテーブルの場所はZooKeeperに保存されている
- 21. リージョンAにアクセスする場合 クライアント ZooKeeper リージョンサーバ1 リージョンサーバ2 ROOT .META. リージョンA
- 22. リージョンAにアクセスする場合 クライアント ZooKeeper リージョンAに書き込みたい リージョンサーバ1 リージョンサーバ2 ROOT .META. リージョンA
- 23. リージョンAにアクセスする場合 クライアント ZooKeeper ROOTテーブルどこよ？ リージョンサーバ1 リージョンサーバ2 ROOT .META. リージョンA
- 24. リージョンAにアクセスする場合 クライアント ZooKeeper リージョンサーバ1にあるよ リージョンサーバ1 リージョンサーバ2 ROOT .META. リージョンA
- 25. リージョンAにアクセスする場合 クライアント ZooKeeper .META.テーブルどこよ？ リージョンサーバ1 リージョンサーバ2 ROOT .META. リージョンA
- 26. リージョンAにアクセスする場合 クライアント ZooKeeper リージョンサーバ2にあるよ リージョンサーバ1 リージョンサーバ2 ROOT .META. リージョンA
- 27. リージョンAにアクセスする場合 クライアント ZooKeeper リージョンAはどこよ？ リージョンサーバ1 リージョンサーバ2 ROOT .META. リージョンA
- 28. リージョンAにアクセスする場合 クライアント ZooKeeper リージョンサーバ2にあるよ リージョンサーバ1 リージョンサーバ2 ROOT .META. リージョンA
- 29. リージョンAにアクセスする場合 クライアント ZooKeeper ようやくアクセスできた！ 場所はキャッシュしたので、 もうZooKeeperや管理テー ブルを見る必要はない！ リージョンサーバ1 リージョンサーバ2 ROOT .META. リージョンA
- 30. CM データの流れの話は馬本 の8章に詳しく書かれてい ます 是非買って読んでください
- 32. リージョン分割 • リージョンが大きくなりすぎるとHBaseはリー ジョンを自動で分割する • 分割はコストがかかる上管理が大変になるの で、手動による分割を推奨 • 特にデータ投入前の事前分割は強く推奨
- 33. リージョン分割 このリージョンは大きくなり すぎたので分割しよう リージョンサーバ リージョンサーバ リージョン
- 34. リージョン分割 リージョンサーバ リージョンサーバ リージョン リージョン
- 35. リージョン分割 分割したうちの片方は他の リージョンサーバに渡そう リージョンサーバ リージョンサーバ リージョン リージョン
- 36. リージョン分割 ZooKeeperは分割を常に監 ZooKeeper 視している 分割完了後、.META.も更新 される リージョンサーバ リージョンサーバ ROOT .META. リージョン リージョン
- 38. スキーマ設計 • 列ファミリだけはテーブル作成時に定義しな ければいけない – 列は任意の数だけ追加可能(所詮はただのキー) • 列ファミリの数だけファイル数が増える – 通常1つ、多くとも3つにとどめる
- 39. 行キー設計 • ランダムかシーケンシャルか • ランダムアクセス重視 – 書き込みをリージョンで散らす – 行キーをハッシュにしてしまうなど • シーケンシャル重視 – スキャン(一括取得)したい場合など – 行キーを並べておく
- 40. CM データの流れの話は馬本 の8章に詳しく書かれてい ます スキーマ設計の話は9章 に書いてます 是非買って読んでください
- 41. まとめ
- 42. 今日話したこと • HBaseのデータ構造(キーバリュー) • HBaseのアーキテクチャ • リージョンの考え方 • スキーマ・行キー設計
- 43. 今日話していないこと(一部) • 先行書き込みログ – HBaseが壊れてもデータが残っていることを保証 • メムストア – メモリキャッシュのようなもの • フラッシュとコンパクション • HBase API – Java – Thri (python もあるよ) – REST – hbase shell (jruby ベースのインタラクティブシェル) • フィルタ • コプロセッサ • HBCK • MapReduce • データのインポート・エクスポートツール
- 44. CM もちろん馬本には全部書 いてあります 是非買って読んでください
- 45. まとめ • HBase を使うことはそんなに難しくありません – 少なくとも自力でシャーディングするよりマシ • 性能を引き出そうとすればそれなりの知識が 必要です – 他の技術も同じ • 正しく活用して、高速かつスケーラブルな HBaseをエンジョイしましょう！
- 46. CM HBaseを使いこなすにはド キュメントは必須です 現在手に入る唯一にして 最高のHBase本、それが 馬本です 是非買って読んでください
- 47. HBase トレーニング始めました 7月30日(来週の月曜)から、日本語でもHBase トレーニングを始めます 馬本だけじゃ無理という人は是非参加してくだ さい h]p://www.cloudera.co.jp/university/ hbase.html
- 48. おしまい