Submit Search
Upload
20190213 Cloud-Native StorageとDatabase on Kubernetesの良い関係
•
1 like
•
300 views
T
t8kobayashi
Follow
Yahoo!Japan Meetup#31のLT用資料です。
Read less
Read more
Technology
Report
Share
Report
Share
1 of 13
Download now
Download to read offline
Recommended
20190410 cnjp rancher-flexvolume
20190410 cnjp rancher-flexvolume
t8kobayashi
Database on Kubernetes - HA,Replication and more -
Database on Kubernetes - HA,Replication and more -
t8kobayashi
Introducing PostgreSQL on Kubernetes
Introducing PostgreSQL on Kubernetes
t8kobayashi
[20190530]yahoo japan+kubernetes meetup "Rook v1.0で試すCSI"
[20190530]yahoo japan+kubernetes meetup "Rook v1.0で試すCSI"
t8kobayashi
Postgresql on kubernetesへの道
Postgresql on kubernetesへの道
t8kobayashi
データ可視化とコスト管理
データ可視化とコスト管理
Applibot, Inc.
Infinispan - Open Source Data Grid rev2
Infinispan - Open Source Data Grid rev2
nekop
Introduction to DocumentDB
Introduction to DocumentDB
Takekazu Omi
Recommended
20190410 cnjp rancher-flexvolume
20190410 cnjp rancher-flexvolume
t8kobayashi
Database on Kubernetes - HA,Replication and more -
Database on Kubernetes - HA,Replication and more -
t8kobayashi
Introducing PostgreSQL on Kubernetes
Introducing PostgreSQL on Kubernetes
t8kobayashi
[20190530]yahoo japan+kubernetes meetup "Rook v1.0で試すCSI"
[20190530]yahoo japan+kubernetes meetup "Rook v1.0で試すCSI"
t8kobayashi
Postgresql on kubernetesへの道
Postgresql on kubernetesへの道
t8kobayashi
データ可視化とコスト管理
データ可視化とコスト管理
Applibot, Inc.
Infinispan - Open Source Data Grid rev2
Infinispan - Open Source Data Grid rev2
nekop
Introduction to DocumentDB
Introduction to DocumentDB
Takekazu Omi
今から始めるDocument db
今から始めるDocument db
Kazunori Hamamoto
超実践 Cloud Spanner 設計講座
超実践 Cloud Spanner 設計講座
Samir Hammoudi
Try micronaut
Try micronaut
賢太郎 前多
20171122 altair converge2017publish
20171122 altair converge2017publish
Hiroshi Tanaka
Azure Batch Renderingではじめるクラウドレンダリング
Azure Batch Renderingではじめるクラウドレンダリング
Microsoft
[OLD/STALE] Redis cluster (japanese)
[OLD/STALE] Redis cluster (japanese)
Shunichi Shinohara
Amazon Redshift ことはじめ
Amazon Redshift ことはじめ
Shiro Miyazaki
Google bigquery導入記
Google bigquery導入記
Yugo Shimizu
[db tech showcase Tokyo 2018] Azure Cosmos DB Technical Deep Dive ~グローバル分散型マル...
[db tech showcase Tokyo 2018] Azure Cosmos DB Technical Deep Dive ~グローバル分散型マル...
Naoki (Neo) SATO
データベースの使い分けを考える
データベースの使い分けを考える
Yosuke Katsuki
Pigのインストール
Pigのインストール
Noritada Shimizu
Windows Azure HDInsight サービスの紹介
Windows Azure HDInsight サービスの紹介
Kuninobu SaSaki
第一回Web技術勉強会 efkスタック編
第一回Web技術勉強会 efkスタック編
tzm_freedom
Osc2012.dbに行ってきました
Osc2012.dbに行ってきました
Masaru Kobashigawa
Log collect with google fluentd
Log collect with google fluentd
Zaki_XL
Cloudn PaaSチームのChatOps実践
Cloudn PaaSチームのChatOps実践
Kazuto Kusama
Yahoo! JAPANのプライベートRDBクラウドとマルチライター型 MySQL #dbts2017 #dbtsOSS
Yahoo! JAPANのプライベートRDBクラウドとマルチライター型 MySQL #dbts2017 #dbtsOSS
Yahoo!デベロッパーネットワーク
A 2-3ゾウ使いへの第一歩 hadoop on azure 編
A 2-3ゾウ使いへの第一歩 hadoop on azure 編
GoAzure
ゾウ使いへの第一歩
ゾウ使いへの第一歩
Fumito Ito
サーバーサイドボトルネックの探し方
サーバーサイドボトルネックの探し方
Yugo Shimizu
趣味でのCosmos DBとの付き合い方
趣味でのCosmos DBとの付き合い方
Koichi Ota
AWSerにも知ってほしいDBの話
AWSerにも知ってほしいDBの話
Kenichiro Mori
More Related Content
What's hot
今から始めるDocument db
今から始めるDocument db
Kazunori Hamamoto
超実践 Cloud Spanner 設計講座
超実践 Cloud Spanner 設計講座
Samir Hammoudi
Try micronaut
Try micronaut
賢太郎 前多
20171122 altair converge2017publish
20171122 altair converge2017publish
Hiroshi Tanaka
Azure Batch Renderingではじめるクラウドレンダリング
Azure Batch Renderingではじめるクラウドレンダリング
Microsoft
[OLD/STALE] Redis cluster (japanese)
[OLD/STALE] Redis cluster (japanese)
Shunichi Shinohara
Amazon Redshift ことはじめ
Amazon Redshift ことはじめ
Shiro Miyazaki
Google bigquery導入記
Google bigquery導入記
Yugo Shimizu
[db tech showcase Tokyo 2018] Azure Cosmos DB Technical Deep Dive ~グローバル分散型マル...
[db tech showcase Tokyo 2018] Azure Cosmos DB Technical Deep Dive ~グローバル分散型マル...
Naoki (Neo) SATO
データベースの使い分けを考える
データベースの使い分けを考える
Yosuke Katsuki
Pigのインストール
Pigのインストール
Noritada Shimizu
Windows Azure HDInsight サービスの紹介
Windows Azure HDInsight サービスの紹介
Kuninobu SaSaki
第一回Web技術勉強会 efkスタック編
第一回Web技術勉強会 efkスタック編
tzm_freedom
Osc2012.dbに行ってきました
Osc2012.dbに行ってきました
Masaru Kobashigawa
Log collect with google fluentd
Log collect with google fluentd
Zaki_XL
Cloudn PaaSチームのChatOps実践
Cloudn PaaSチームのChatOps実践
Kazuto Kusama
Yahoo! JAPANのプライベートRDBクラウドとマルチライター型 MySQL #dbts2017 #dbtsOSS
Yahoo! JAPANのプライベートRDBクラウドとマルチライター型 MySQL #dbts2017 #dbtsOSS
Yahoo!デベロッパーネットワーク
A 2-3ゾウ使いへの第一歩 hadoop on azure 編
A 2-3ゾウ使いへの第一歩 hadoop on azure 編
GoAzure
ゾウ使いへの第一歩
ゾウ使いへの第一歩
Fumito Ito
サーバーサイドボトルネックの探し方
サーバーサイドボトルネックの探し方
Yugo Shimizu
What's hot
(20)
今から始めるDocument db
今から始めるDocument db
超実践 Cloud Spanner 設計講座
超実践 Cloud Spanner 設計講座
Try micronaut
Try micronaut
20171122 altair converge2017publish
20171122 altair converge2017publish
Azure Batch Renderingではじめるクラウドレンダリング
Azure Batch Renderingではじめるクラウドレンダリング
[OLD/STALE] Redis cluster (japanese)
[OLD/STALE] Redis cluster (japanese)
Amazon Redshift ことはじめ
Amazon Redshift ことはじめ
Google bigquery導入記
Google bigquery導入記
[db tech showcase Tokyo 2018] Azure Cosmos DB Technical Deep Dive ~グローバル分散型マル...
[db tech showcase Tokyo 2018] Azure Cosmos DB Technical Deep Dive ~グローバル分散型マル...
データベースの使い分けを考える
データベースの使い分けを考える
Pigのインストール
Pigのインストール
Windows Azure HDInsight サービスの紹介
Windows Azure HDInsight サービスの紹介
第一回Web技術勉強会 efkスタック編
第一回Web技術勉強会 efkスタック編
Osc2012.dbに行ってきました
Osc2012.dbに行ってきました
Log collect with google fluentd
Log collect with google fluentd
Cloudn PaaSチームのChatOps実践
Cloudn PaaSチームのChatOps実践
Yahoo! JAPANのプライベートRDBクラウドとマルチライター型 MySQL #dbts2017 #dbtsOSS
Yahoo! JAPANのプライベートRDBクラウドとマルチライター型 MySQL #dbts2017 #dbtsOSS
A 2-3ゾウ使いへの第一歩 hadoop on azure 編
A 2-3ゾウ使いへの第一歩 hadoop on azure 編
ゾウ使いへの第一歩
ゾウ使いへの第一歩
サーバーサイドボトルネックの探し方
サーバーサイドボトルネックの探し方
Similar to 20190213 Cloud-Native StorageとDatabase on Kubernetesの良い関係
趣味でのCosmos DBとの付き合い方
趣味でのCosmos DBとの付き合い方
Koichi Ota
AWSerにも知ってほしいDBの話
AWSerにも知ってほしいDBの話
Kenichiro Mori
20160416 Azure Data Lakeのはまりどころ
20160416 Azure Data Lakeのはまりどころ
一希 大田
第51回NDS PostgreSQLのデータ型 #nds51
第51回NDS PostgreSQLのデータ型 #nds51
civicpg
足を地に着け落ち着いて考える
足を地に着け落ち着いて考える
Ryuji Tamagawa
インフラの話
インフラの話
Tomohiro Ikeda
DB思い出話いろいろ(仮)
DB思い出話いろいろ(仮)
Takahiro Kitayama
データベース2.0
データベース2.0
Shuichi Takaku
サーバレスで分析基盤〜ブートキャンプに参加してみた〜
サーバレスで分析基盤〜ブートキャンプに参加してみた〜
Y K
スマートフォン×Cassandraによるハイパフォーマンス基盤の構築事例
スマートフォン×Cassandraによるハイパフォーマンス基盤の構築事例
terurou
Dokkuの活用と内部構造
Dokkuの活用と内部構造
修平 富田
20120830 DBリファクタリング読書会第三回
20120830 DBリファクタリング読書会第三回
都元ダイスケ Miyamoto
Rdbms起点で考えると見えない世界 okuyama勉強会
Rdbms起点で考えると見えない世界 okuyama勉強会
Masakazu Muraoka
先端技術 No sql
先端技術 No sql
聡 中川
少人数チームでのkubernetesへの移行事例
少人数チームでのkubernetesへの移行事例
Rakuten Group, Inc.
第一回IoT関連技術勉強会 分散処理編
第一回IoT関連技術勉強会 分散処理編
tzm_freedom
Databricks の始め方
Databricks の始め方
Ryoma Nagata
Jaws days 2019_pipeline_is_god
Jaws days 2019_pipeline_is_god
ひろき こにし
初めてのMongo db
初めてのMongo db
Ryuji Tamagawa
次世代エンタープライズの開発環境をライブで読み解く
次世代エンタープライズの開発環境をライブで読み解く
Shin Takeuchi
Similar to 20190213 Cloud-Native StorageとDatabase on Kubernetesの良い関係
(20)
趣味でのCosmos DBとの付き合い方
趣味でのCosmos DBとの付き合い方
AWSerにも知ってほしいDBの話
AWSerにも知ってほしいDBの話
20160416 Azure Data Lakeのはまりどころ
20160416 Azure Data Lakeのはまりどころ
第51回NDS PostgreSQLのデータ型 #nds51
第51回NDS PostgreSQLのデータ型 #nds51
足を地に着け落ち着いて考える
足を地に着け落ち着いて考える
インフラの話
インフラの話
DB思い出話いろいろ(仮)
DB思い出話いろいろ(仮)
データベース2.0
データベース2.0
サーバレスで分析基盤〜ブートキャンプに参加してみた〜
サーバレスで分析基盤〜ブートキャンプに参加してみた〜
スマートフォン×Cassandraによるハイパフォーマンス基盤の構築事例
スマートフォン×Cassandraによるハイパフォーマンス基盤の構築事例
Dokkuの活用と内部構造
Dokkuの活用と内部構造
20120830 DBリファクタリング読書会第三回
20120830 DBリファクタリング読書会第三回
Rdbms起点で考えると見えない世界 okuyama勉強会
Rdbms起点で考えると見えない世界 okuyama勉強会
先端技術 No sql
先端技術 No sql
少人数チームでのkubernetesへの移行事例
少人数チームでのkubernetesへの移行事例
第一回IoT関連技術勉強会 分散処理編
第一回IoT関連技術勉強会 分散処理編
Databricks の始め方
Databricks の始め方
Jaws days 2019_pipeline_is_god
Jaws days 2019_pipeline_is_god
初めてのMongo db
初めてのMongo db
次世代エンタープライズの開発環境をライブで読み解く
次世代エンタープライズの開発環境をライブで読み解く
Recently uploaded
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
博三 太田
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
Toru Tamaki
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Yuma Ohgami
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
taisei2219
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
UEHARA, Tetsutaro
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
FumieNakayama
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
Hiroki Ichikura
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
Yuki Kikuchi
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
sugiuralab
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
FumieNakayama
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
Toru Tamaki
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
iPride Co., Ltd.
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
Toru Tamaki
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
akihisamiyanaga1
Recently uploaded
(14)
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
20190213 Cloud-Native StorageとDatabase on Kubernetesの良い関係
1.
Cloud-Native Storageと Database on
Kubernetesの良い関係 2019/2/13 @tzkb
2.
自己紹介 • 名 前
:Takahiro Kobayashi • 勤務先 :SIer • 出没場所 :Oracle、PostgreSQL、k8s関連に色々と • キャリア :DB、ストレージを中心にインフラ • 好きなもの:速いDB 、太い帯域、小さいレイテンシ
3.
PGConf.Asia 2018で話してきた •タイトルは、 A guide
of PostgreSQL on Kubernetes • のコミュニティで、 「 は良いぞ!」と 呼びかけてみたが、、、 •あんまり反応はなかった。
4.
Advent Calender(全部俺)書いたら、 • ”kubernetes
postgersql”で GoogleのTOPに。 • QiitaさんのSEO力、半端ない。
5.
今日話すこと • OpenSDSもいいけど、Rookもね! • Database
on Rookをやってみた。 • けど、色々と思うとおりには行かないという話。 • 今後のDatabase on Kubernetes。
6.
OpenSDSもいいけど、Rookもね! Cloud-Native Storage (from
cloud native landscape)
7.
DBと良い関係=ブロックデバイス Name Based on
block devとして OSS/Proprietary Cephなど ◎ OSS Rook Cephなど ◎ OSS OpenEBS --- ◎ OSS Redhat OpenShift Container Storage GlusterFS △ Proprietary StorageOS --- ◎ Proprietary
8.
Rook is 何? •
Cephなどをk8sクラスタ内に展開し、管理可能。 【 : Rook】 • Cephのoperatorとして動く。 • Cephは各ノードのVolを まとめて1つにみせる。 • 分散かつ冗長化。 • ブロック/ファイル/オブジェ クト、全て対応可能。
9.
Database on Rook、やってみた。 Replicas:1 【やりたかったこと】 •
Linux-HAっぽい、Active- StandbyなDBクラスタ。 • Auto-Healingを活かす! 【できたこと】 • 手動でのFO、FB。 • Cephスナップショットの 取得とリストア。
10.
ダメだったこと – k8s編
- Replicas:1 • ノード障害時にStatefulSet 内のポッドがフェイルオー バしない。 【原因】 • 仕様です。 • TerminationGracePeriodSeconds=0 • でFOするが、DBには 向かない設定。
11.
ダメだったこと – Ceph編
- • Cephの性能がしょぼい (但しNon-Tuning) • EBS直接使ったケースと 比較して、OSDノードを 相当増やさないとダメ。 • Rookではなく、バックエ ンド(Ceph)の問題。 • 商用SDS(NetApp,EMC)も 試したいところ。 61 43 79 EBS直接 Ceph 3ノード Ceph 12ノード
12.
まとめ • Cloud-Native Storageは黎明期。 •
KubernetesでSDSを動かしてDBから使うのは、 まだまだ厳しい状況。 • 今、Database on Kubernetesしたいなら、 DBレイヤで冗長化が必要(レプリケーション等)。
13.
2019年にきっと来るはず! • Postgresqlで昔からある、 Sharding拡張機能=Citus • “site-us”と読むとのこと。 •
k8s対応は進んでいない様子。 • と思ったら、、、 • Microsoftに買収された! • どちらもありそう。 – Azure版 Aurora – Postgresql版 Vitess
Download now