SlideShare a Scribd company logo
Incline & Pacific
    なぜ作るのか?


   Cybozu Labs, Inc.
     Kazuho Oku
大規模ウェブサービスの課題

   データベースのスケールアウト
        RDBMS のパーティショニングが多数解
              アプリケーション毎のパーティショニングが初期の解
              ユーザ毎のパーティショニングが次のレベル
        RDBMS を捨てて分散キーバリューストア (KVS)
         を使うというラディカルなアプローチも




Sep 25 2009          Incline & Pacific - なぜ作るのか   2
RDBMS パーティショニングの手法と利点

   複数の RDBMS サーバを連携
        ロジックに基づいて、RDBMS を割り当て
              例: user_idが 10,000〜20,000 ならサーバA

   スケールアップに対するコストと規模の
    優位
        スケールアウトすることで、安価なサーバを使用
         可能
        理論的には、スケールの限界はない?
   SQL や OR マッパを引き続き使用可能
        学習コストが低い & Pacific - なぜ作るのか
Sep 25 2009     Incline                           3
RDBMS パーティショニングの問題点

   事前の分割設計が難しい
        特定のサーバが過負荷になったり
        サーバ間の負荷が均等にならない
   運用開始後の再分散が困難
        分散パラメータの動的な変更がしづらい
        再分散時に停止が必要になる可能性




Sep 25 2009    Incline & Pacific - なぜ作るのか   4
分散 KVS の手法と利点

   複数サーバを使用するキーバリュースト
    ア
        Hash(key) の値に基づいて、データの格納先を決
         定
        複数のサーバに同一データを保存して高可用性確
         保
              パーティショニングの場合は DB のレプリケーション
               を使う
        Consistent Hashing による、サーバ追加時の動的
         かつ無停止の負荷再分散
Sep 25 2009          Incline & Pacific - なぜ作るのか   5
分散 KVS の問題点

   機能が原始的
        RDBMSにしかない機能の例: レンジクエリ、トラ
         ンザクション、リレーション、セカンダリイン
         デックス
        開発コストの増加につながる
              OR マッパである程度解決可能

   Consistency のモデルが弱い (ことが多
    い)
   データの局所性がない
Sep 25 2009           Incline & Pacific - なぜ作るのか   6
CAP 定理っておいしいの?

   Consistency, Availability, Partition-
    tolerance のうち、同時に満たせるのは
    2つ
        Extranet P2P では Partition-tolerance は必須
              なので Consistency を諦める
        データセンタ内でも Partition-tolerance は必要?
              ネットワークは冗長化できる
              ノード毎にHAクラスタを組める (or レプリケーション)
                                                       ↓
                         Partition tolerance は (実質的に) 不要
Sep 25 2009   Availability と (必要なら)なぜ作るのか Consistency を確保可能
                                 Incline & Pacific - Strong 7
Incline & Pacific の目指すもの

   RDBMS と分散 KVS のいいとこどり
        RDBMS の動的パーティショニング技術
              事前の分割設計が不要
              (ほぼ) lock-free なデータの再分散
        Range-based partitioning
              イテレーション機能
              関連データの局所化による障害の影響の局所化
        SQL による柔軟なクエリ
        様々な更新手法
              局所的なトランザクション / 2pc / eventual
               consistency
Sep 25 2009             Incline & Pacific - なぜ作るのか   8
Incline & Pacific is not an O-R Mapper

   Incline はノード間のデータ同期に専念
        strong consistency が必要なら 2pc
   Pacific は RDBMS の Shard に専念
        ORマッパを使うか SQL を直書きするかは自由
        ORマッパの Pacific 対応が課題




Sep 25 2009          Incline & Pacific - なぜ作るのか   9

More Related Content

What's hot

OpsWorks aws-cli#11
OpsWorks aws-cli#11OpsWorks aws-cli#11
OpsWorks aws-cli#11
Yuta Shimada
 
知っておくべきCephのIOアクセラレーション技術とその活用方法 - OpenStack最新情報セミナー 2015年9月
知っておくべきCephのIOアクセラレーション技術とその活用方法 - OpenStack最新情報セミナー 2015年9月知っておくべきCephのIOアクセラレーション技術とその活用方法 - OpenStack最新情報セミナー 2015年9月
知っておくべきCephのIOアクセラレーション技術とその活用方法 - OpenStack最新情報セミナー 2015年9月
VirtualTech Japan Inc.
 
EditShare システムの紹介
EditShare システムの紹介EditShare システムの紹介
EditShare システムの紹介
Dell TechCenter Japan
 
ソフトウェア・デファインドが再定義するストレージ -- OpenStackデファクト標準ストレージCeph - OpenStack最新情報セミナー 201...
ソフトウェア・デファインドが再定義するストレージ -- OpenStackデファクト標準ストレージCeph - OpenStack最新情報セミナー 201...ソフトウェア・デファインドが再定義するストレージ -- OpenStackデファクト標準ストレージCeph - OpenStack最新情報セミナー 201...
ソフトウェア・デファインドが再定義するストレージ -- OpenStackデファクト標準ストレージCeph - OpenStack最新情報セミナー 201...
VirtualTech Japan Inc.
 
[AWSマイスターシリーズ]Amazon Elastic Load Balancing (ELB)
[AWSマイスターシリーズ]Amazon Elastic Load Balancing (ELB)[AWSマイスターシリーズ]Amazon Elastic Load Balancing (ELB)
[AWSマイスターシリーズ]Amazon Elastic Load Balancing (ELB)Amazon Web Services Japan
 
とある AWS サービスの運用移管〜データストア編〜 #jawsmeguro
とある AWS サービスの運用移管〜データストア編〜 #jawsmeguroとある AWS サービスの運用移管〜データストア編〜 #jawsmeguro
とある AWS サービスの運用移管〜データストア編〜 #jawsmeguro
IKEDA Kiyoshi
 
Couchbase 101 ja
Couchbase 101 jaCouchbase 101 ja
Couchbase 101 ja
Couchbase Japan KK
 
20140628 AWSの2014前半のアップデートまとめ
20140628 AWSの2014前半のアップデートまとめ20140628 AWSの2014前半のアップデートまとめ
20140628 AWSの2014前半のアップデートまとめYasuhiro Araki, Ph.D
 
Reverse proxyによるWebサーバの負荷分散構成
Reverse proxyによるWebサーバの負荷分散構成Reverse proxyによるWebサーバの負荷分散構成
Reverse proxyによるWebサーバの負荷分散構成CLARA ONLINE, Inc.
 
負荷対策はCloudFront
負荷対策はCloudFront負荷対策はCloudFront
負荷対策はCloudFront
iret, Inc.
 
SAN ブートでベアメタルクラウド
SAN ブートでベアメタルクラウドSAN ブートでベアメタルクラウド
SAN ブートでベアメタルクラウド
ShinjiNakai
 
cloudpack導入資料(20120302版)
cloudpack導入資料(20120302版)cloudpack導入資料(20120302版)
cloudpack導入資料(20120302版)
iret, Inc.
 
cloudpack導入資料(2011/09/01版)
cloudpack導入資料(2011/09/01版)cloudpack導入資料(2011/09/01版)
cloudpack導入資料(2011/09/01版)
iret, Inc.
 
Conoha VPSについて
Conoha VPSについてConoha VPSについて
Conoha VPSについて
Hironobu Saitoh
 
DeNA Private Cloud の現在と未来
DeNA Private Cloud の現在と未来DeNA Private Cloud の現在と未来
DeNA Private Cloud の現在と未来
DeNA
 
Couchbase server入門
Couchbase server入門Couchbase server入門
Couchbase server入門
Yusuke Komatsu
 

What's hot (16)

OpsWorks aws-cli#11
OpsWorks aws-cli#11OpsWorks aws-cli#11
OpsWorks aws-cli#11
 
知っておくべきCephのIOアクセラレーション技術とその活用方法 - OpenStack最新情報セミナー 2015年9月
知っておくべきCephのIOアクセラレーション技術とその活用方法 - OpenStack最新情報セミナー 2015年9月知っておくべきCephのIOアクセラレーション技術とその活用方法 - OpenStack最新情報セミナー 2015年9月
知っておくべきCephのIOアクセラレーション技術とその活用方法 - OpenStack最新情報セミナー 2015年9月
 
EditShare システムの紹介
EditShare システムの紹介EditShare システムの紹介
EditShare システムの紹介
 
ソフトウェア・デファインドが再定義するストレージ -- OpenStackデファクト標準ストレージCeph - OpenStack最新情報セミナー 201...
ソフトウェア・デファインドが再定義するストレージ -- OpenStackデファクト標準ストレージCeph - OpenStack最新情報セミナー 201...ソフトウェア・デファインドが再定義するストレージ -- OpenStackデファクト標準ストレージCeph - OpenStack最新情報セミナー 201...
ソフトウェア・デファインドが再定義するストレージ -- OpenStackデファクト標準ストレージCeph - OpenStack最新情報セミナー 201...
 
[AWSマイスターシリーズ]Amazon Elastic Load Balancing (ELB)
[AWSマイスターシリーズ]Amazon Elastic Load Balancing (ELB)[AWSマイスターシリーズ]Amazon Elastic Load Balancing (ELB)
[AWSマイスターシリーズ]Amazon Elastic Load Balancing (ELB)
 
とある AWS サービスの運用移管〜データストア編〜 #jawsmeguro
とある AWS サービスの運用移管〜データストア編〜 #jawsmeguroとある AWS サービスの運用移管〜データストア編〜 #jawsmeguro
とある AWS サービスの運用移管〜データストア編〜 #jawsmeguro
 
Couchbase 101 ja
Couchbase 101 jaCouchbase 101 ja
Couchbase 101 ja
 
20140628 AWSの2014前半のアップデートまとめ
20140628 AWSの2014前半のアップデートまとめ20140628 AWSの2014前半のアップデートまとめ
20140628 AWSの2014前半のアップデートまとめ
 
Reverse proxyによるWebサーバの負荷分散構成
Reverse proxyによるWebサーバの負荷分散構成Reverse proxyによるWebサーバの負荷分散構成
Reverse proxyによるWebサーバの負荷分散構成
 
負荷対策はCloudFront
負荷対策はCloudFront負荷対策はCloudFront
負荷対策はCloudFront
 
SAN ブートでベアメタルクラウド
SAN ブートでベアメタルクラウドSAN ブートでベアメタルクラウド
SAN ブートでベアメタルクラウド
 
cloudpack導入資料(20120302版)
cloudpack導入資料(20120302版)cloudpack導入資料(20120302版)
cloudpack導入資料(20120302版)
 
cloudpack導入資料(2011/09/01版)
cloudpack導入資料(2011/09/01版)cloudpack導入資料(2011/09/01版)
cloudpack導入資料(2011/09/01版)
 
Conoha VPSについて
Conoha VPSについてConoha VPSについて
Conoha VPSについて
 
DeNA Private Cloud の現在と未来
DeNA Private Cloud の現在と未来DeNA Private Cloud の現在と未来
DeNA Private Cloud の現在と未来
 
Couchbase server入門
Couchbase server入門Couchbase server入門
Couchbase server入門
 

Viewers also liked

Body language
Body languageBody language
Body language
SIVA GOPAL
 
Converting Your Crowd for Culture Days, National Arts Congress
Converting Your Crowd for Culture Days, National Arts CongressConverting Your Crowd for Culture Days, National Arts Congress
Converting Your Crowd for Culture Days, National Arts Congress
Liesl Barrell
 
Aνοιξη της Ευρώπης - Γωγώ
Aνοιξη της Ευρώπης  - ΓωγώAνοιξη της Ευρώπης  - Γωγώ
Aνοιξη της Ευρώπης - ΓωγώΓωγώ Ζάχου
 
Social Media for Photographers
Social Media for PhotographersSocial Media for Photographers
Social Media for Photographers
removed_91ab3cd536b9d7539b7b5ef27d7e54cf
 
Occupabilità e competitività come muoversi da protagonista nel mondo che cambia.
Occupabilità e competitività come muoversi da protagonista nel mondo che cambia.Occupabilità e competitività come muoversi da protagonista nel mondo che cambia.
Occupabilità e competitività come muoversi da protagonista nel mondo che cambia.
Carlo Colomba
 
Clase 3
Clase 3Clase 3
'The university as a hackerspace'
'The university as a hackerspace''The university as a hackerspace'
'The university as a hackerspace'
Joss Winn
 
A Long Walk to Water - Lssn 12
A Long Walk to Water - Lssn 12A Long Walk to Water - Lssn 12
A Long Walk to Water - Lssn 12
Terri Weiss
 
Slavery Module: Lesson three
Slavery Module: Lesson threeSlavery Module: Lesson three
Slavery Module: Lesson three
Terri Weiss
 
Ailehekimligianketi
AilehekimligianketiAilehekimligianketi
Ailehekimligianketi
anttab
 
Cloudcamp- The World Wide Cloud
Cloudcamp- The World Wide CloudCloudcamp- The World Wide Cloud
Cloudcamp- The World Wide Cloud
Reuven Cohen
 
8.5 Y1 Passes Tu Tes Vacances En France
8.5 Y1 Passes Tu Tes Vacances En France8.5 Y1 Passes Tu Tes Vacances En France
8.5 Y1 Passes Tu Tes Vacances En Franceguestc60dc6
 
110217 Adam Presentatie
110217 Adam Presentatie110217 Adam Presentatie
110217 Adam Presentatie
mr38schev
 
St. Mark’S Libraries – Tech Talk
St. Mark’S Libraries – Tech TalkSt. Mark’S Libraries – Tech Talk
St. Mark’S Libraries – Tech Talkguestf47073
 
Youth Campaigns & Social Media - Oct 2008
Youth Campaigns & Social Media -  Oct 2008Youth Campaigns & Social Media -  Oct 2008
Youth Campaigns & Social Media - Oct 2008
Charlie Hunter-Schyff
 
Integracija poslovnega sistema
Integracija poslovnega sistemaIntegracija poslovnega sistema
Integracija poslovnega sistema
Danilo Tic
 
Competencia digital en las Aulas: ¿Exploramos juntos?
Competencia digital en las Aulas: ¿Exploramos juntos?Competencia digital en las Aulas: ¿Exploramos juntos?
Competencia digital en las Aulas: ¿Exploramos juntos?
Ismael Burone
 

Viewers also liked (20)

Body language
Body languageBody language
Body language
 
M02 un04 p03
M02 un04 p03M02 un04 p03
M02 un04 p03
 
Converting Your Crowd for Culture Days, National Arts Congress
Converting Your Crowd for Culture Days, National Arts CongressConverting Your Crowd for Culture Days, National Arts Congress
Converting Your Crowd for Culture Days, National Arts Congress
 
Aνοιξη της Ευρώπης - Γωγώ
Aνοιξη της Ευρώπης  - ΓωγώAνοιξη της Ευρώπης  - Γωγώ
Aνοιξη της Ευρώπης - Γωγώ
 
Social Media for Photographers
Social Media for PhotographersSocial Media for Photographers
Social Media for Photographers
 
Occupabilità e competitività come muoversi da protagonista nel mondo che cambia.
Occupabilità e competitività come muoversi da protagonista nel mondo che cambia.Occupabilità e competitività come muoversi da protagonista nel mondo che cambia.
Occupabilità e competitività come muoversi da protagonista nel mondo che cambia.
 
Clase 3
Clase 3Clase 3
Clase 3
 
'The university as a hackerspace'
'The university as a hackerspace''The university as a hackerspace'
'The university as a hackerspace'
 
A Long Walk to Water - Lssn 12
A Long Walk to Water - Lssn 12A Long Walk to Water - Lssn 12
A Long Walk to Water - Lssn 12
 
Slavery Module: Lesson three
Slavery Module: Lesson threeSlavery Module: Lesson three
Slavery Module: Lesson three
 
Ailehekimligianketi
AilehekimligianketiAilehekimligianketi
Ailehekimligianketi
 
Encienda 2013
Encienda 2013Encienda 2013
Encienda 2013
 
新聞報告
新聞報告新聞報告
新聞報告
 
Cloudcamp- The World Wide Cloud
Cloudcamp- The World Wide CloudCloudcamp- The World Wide Cloud
Cloudcamp- The World Wide Cloud
 
8.5 Y1 Passes Tu Tes Vacances En France
8.5 Y1 Passes Tu Tes Vacances En France8.5 Y1 Passes Tu Tes Vacances En France
8.5 Y1 Passes Tu Tes Vacances En France
 
110217 Adam Presentatie
110217 Adam Presentatie110217 Adam Presentatie
110217 Adam Presentatie
 
St. Mark’S Libraries – Tech Talk
St. Mark’S Libraries – Tech TalkSt. Mark’S Libraries – Tech Talk
St. Mark’S Libraries – Tech Talk
 
Youth Campaigns & Social Media - Oct 2008
Youth Campaigns & Social Media -  Oct 2008Youth Campaigns & Social Media -  Oct 2008
Youth Campaigns & Social Media - Oct 2008
 
Integracija poslovnega sistema
Integracija poslovnega sistemaIntegracija poslovnega sistema
Integracija poslovnega sistema
 
Competencia digital en las Aulas: ¿Exploramos juntos?
Competencia digital en las Aulas: ¿Exploramos juntos?Competencia digital en las Aulas: ¿Exploramos juntos?
Competencia digital en las Aulas: ¿Exploramos juntos?
 

Similar to Incline & Pacific - なぜ作るのか

20130413 JAWS-UG北陸 美人CDP
20130413 JAWS-UG北陸 美人CDP20130413 JAWS-UG北陸 美人CDP
20130413 JAWS-UG北陸 美人CDP
真吾 吉田
 
A Better Cached
A Better CachedA Better Cached
A Better CachedKazuho Oku
 
20130330 JAWS-UG広島 美人CDP
20130330 JAWS-UG広島 美人CDP20130330 JAWS-UG広島 美人CDP
20130330 JAWS-UG広島 美人CDP
真吾 吉田
 
Couchbaseの紹介 2015/03/05
Couchbaseの紹介 2015/03/05Couchbaseの紹介 2015/03/05
Couchbaseの紹介 2015/03/05
Couchbase Japan KK
 
SAP on AWS情報
SAP on AWS情報SAP on AWS情報
SAP on AWS情報
Amazon Web Services Japan
 
Denali ctp3 always on availability groups 概要
Denali ctp3 always on  availability groups 概要Denali ctp3 always on  availability groups 概要
Denali ctp3 always on availability groups 概要Masayuki Ozawa
 
OpenStack Object Storage; Usage
OpenStack Object Storage; UsageOpenStack Object Storage; Usage
OpenStack Object Storage; Usageirix_jp
 
20121115 オープンソースでハイアベイラビリティ! ~クラスタ管理の設計構築ハウツー&エンジニア思考力~
20121115 オープンソースでハイアベイラビリティ! ~クラスタ管理の設計構築ハウツー&エンジニア思考力~20121115 オープンソースでハイアベイラビリティ! ~クラスタ管理の設計構築ハウツー&エンジニア思考力~
20121115 オープンソースでハイアベイラビリティ! ~クラスタ管理の設計構築ハウツー&エンジニア思考力~
Iwasaki Noboru
 
【Interop Tokyo 2015】 DC 5: Cisco ACI とエンタープライズ アプリケーション
【Interop Tokyo 2015】 DC 5: Cisco ACI とエンタープライズ アプリケーション【Interop Tokyo 2015】 DC 5: Cisco ACI とエンタープライズ アプリケーション
【Interop Tokyo 2015】 DC 5: Cisco ACI とエンタープライズ アプリケーション
シスコシステムズ合同会社
 
エンターテイメント業界におけるAWS活用事例
エンターテイメント業界におけるAWS活用事例エンターテイメント業界におけるAWS活用事例
エンターテイメント業界におけるAWS活用事例Amazon Web Services Japan
 
Open stack reference architecture v1 2
Open stack reference architecture v1 2Open stack reference architecture v1 2
Open stack reference architecture v1 2Dell TechCenter Japan
 
20130226 Amazon Web Services 勉強会(新宿)
20130226 Amazon Web Services 勉強会(新宿)20130226 Amazon Web Services 勉強会(新宿)
20130226 Amazon Web Services 勉強会(新宿)真吾 吉田
 
VAアカデミア用 - パーソナライズされたコンテンツ配信のための低遅延分散KVSの構築
VAアカデミア用 - パーソナライズされたコンテンツ配信のための低遅延分散KVSの構築VAアカデミア用 - パーソナライズされたコンテンツ配信のための低遅延分散KVSの構築
VAアカデミア用 - パーソナライズされたコンテンツ配信のための低遅延分散KVSの構築
Yoshiaki Ueda
 
MySQL Cluster でもフラッシュドライブを活用してみる
MySQL Cluster でもフラッシュドライブを活用してみるMySQL Cluster でもフラッシュドライブを活用してみる
MySQL Cluster でもフラッシュドライブを活用してみる
Takahashi Tomoo
 
オラクル・データベース・クラウド~さらなる進化のご紹介(Oracle Cloud Days Tokyo 2015)
オラクル・データベース・クラウド~さらなる進化のご紹介(Oracle Cloud Days Tokyo 2015)オラクル・データベース・クラウド~さらなる進化のご紹介(Oracle Cloud Days Tokyo 2015)
オラクル・データベース・クラウド~さらなる進化のご紹介(Oracle Cloud Days Tokyo 2015)
オラクルエンジニア通信
 
災害対策セミナー 「検証プロジェクト報告と事例紹介」
災害対策セミナー 「検証プロジェクト報告と事例紹介」災害対策セミナー 「検証プロジェクト報告と事例紹介」
災害対策セミナー 「検証プロジェクト報告と事例紹介」
Masaru Hiroki
 
Reflex works20120818 1
Reflex works20120818 1Reflex works20120818 1
Reflex works20120818 1
Shinichiro Takezaki
 
C32 DB Performance on Cloud by 安藤賀章
C32 DB Performance on Cloud by 安藤賀章C32 DB Performance on Cloud by 安藤賀章
C32 DB Performance on Cloud by 安藤賀章Insight Technology, Inc.
 

Similar to Incline & Pacific - なぜ作るのか (20)

20130413 JAWS-UG北陸 美人CDP
20130413 JAWS-UG北陸 美人CDP20130413 JAWS-UG北陸 美人CDP
20130413 JAWS-UG北陸 美人CDP
 
Hadoop
HadoopHadoop
Hadoop
 
A Better Cached
A Better CachedA Better Cached
A Better Cached
 
20130330 JAWS-UG広島 美人CDP
20130330 JAWS-UG広島 美人CDP20130330 JAWS-UG広島 美人CDP
20130330 JAWS-UG広島 美人CDP
 
Couchbaseの紹介 2015/03/05
Couchbaseの紹介 2015/03/05Couchbaseの紹介 2015/03/05
Couchbaseの紹介 2015/03/05
 
SAP on AWS情報
SAP on AWS情報SAP on AWS情報
SAP on AWS情報
 
Denali ctp3 always on availability groups 概要
Denali ctp3 always on  availability groups 概要Denali ctp3 always on  availability groups 概要
Denali ctp3 always on availability groups 概要
 
OpenStack Object Storage; Usage
OpenStack Object Storage; UsageOpenStack Object Storage; Usage
OpenStack Object Storage; Usage
 
20121115 オープンソースでハイアベイラビリティ! ~クラスタ管理の設計構築ハウツー&エンジニア思考力~
20121115 オープンソースでハイアベイラビリティ! ~クラスタ管理の設計構築ハウツー&エンジニア思考力~20121115 オープンソースでハイアベイラビリティ! ~クラスタ管理の設計構築ハウツー&エンジニア思考力~
20121115 オープンソースでハイアベイラビリティ! ~クラスタ管理の設計構築ハウツー&エンジニア思考力~
 
【Interop Tokyo 2015】 DC 5: Cisco ACI とエンタープライズ アプリケーション
【Interop Tokyo 2015】 DC 5: Cisco ACI とエンタープライズ アプリケーション【Interop Tokyo 2015】 DC 5: Cisco ACI とエンタープライズ アプリケーション
【Interop Tokyo 2015】 DC 5: Cisco ACI とエンタープライズ アプリケーション
 
エンターテイメント業界におけるAWS活用事例
エンターテイメント業界におけるAWS活用事例エンターテイメント業界におけるAWS活用事例
エンターテイメント業界におけるAWS活用事例
 
Open stack reference architecture v1 2
Open stack reference architecture v1 2Open stack reference architecture v1 2
Open stack reference architecture v1 2
 
20130226 Amazon Web Services 勉強会(新宿)
20130226 Amazon Web Services 勉強会(新宿)20130226 Amazon Web Services 勉強会(新宿)
20130226 Amazon Web Services 勉強会(新宿)
 
VAアカデミア用 - パーソナライズされたコンテンツ配信のための低遅延分散KVSの構築
VAアカデミア用 - パーソナライズされたコンテンツ配信のための低遅延分散KVSの構築VAアカデミア用 - パーソナライズされたコンテンツ配信のための低遅延分散KVSの構築
VAアカデミア用 - パーソナライズされたコンテンツ配信のための低遅延分散KVSの構築
 
MySQL Cluster でもフラッシュドライブを活用してみる
MySQL Cluster でもフラッシュドライブを活用してみるMySQL Cluster でもフラッシュドライブを活用してみる
MySQL Cluster でもフラッシュドライブを活用してみる
 
Info talk #36
Info talk #36Info talk #36
Info talk #36
 
オラクル・データベース・クラウド~さらなる進化のご紹介(Oracle Cloud Days Tokyo 2015)
オラクル・データベース・クラウド~さらなる進化のご紹介(Oracle Cloud Days Tokyo 2015)オラクル・データベース・クラウド~さらなる進化のご紹介(Oracle Cloud Days Tokyo 2015)
オラクル・データベース・クラウド~さらなる進化のご紹介(Oracle Cloud Days Tokyo 2015)
 
災害対策セミナー 「検証プロジェクト報告と事例紹介」
災害対策セミナー 「検証プロジェクト報告と事例紹介」災害対策セミナー 「検証プロジェクト報告と事例紹介」
災害対策セミナー 「検証プロジェクト報告と事例紹介」
 
Reflex works20120818 1
Reflex works20120818 1Reflex works20120818 1
Reflex works20120818 1
 
C32 DB Performance on Cloud by 安藤賀章
C32 DB Performance on Cloud by 安藤賀章C32 DB Performance on Cloud by 安藤賀章
C32 DB Performance on Cloud by 安藤賀章
 

More from Kazuho Oku

HTTP/2で 速くなるとき ならないとき
HTTP/2で 速くなるとき ならないときHTTP/2で 速くなるとき ならないとき
HTTP/2で 速くなるとき ならないとき
Kazuho Oku
 
QUIC標準化動向 〜2017/7
QUIC標準化動向 〜2017/7QUIC標準化動向 〜2017/7
QUIC標準化動向 〜2017/7
Kazuho Oku
 
HTTP/2の課題と将来
HTTP/2の課題と将来HTTP/2の課題と将来
HTTP/2の課題と将来
Kazuho Oku
 
TLS 1.3 と 0-RTT のこわ〜い話
TLS 1.3 と 0-RTT のこわ〜い話TLS 1.3 と 0-RTT のこわ〜い話
TLS 1.3 と 0-RTT のこわ〜い話
Kazuho Oku
 
Reorganizing Website Architecture for HTTP/2 and Beyond
Reorganizing Website Architecture for HTTP/2 and BeyondReorganizing Website Architecture for HTTP/2 and Beyond
Reorganizing Website Architecture for HTTP/2 and Beyond
Kazuho Oku
 
Recent Advances in HTTP, controlling them using ruby
Recent Advances in HTTP, controlling them using rubyRecent Advances in HTTP, controlling them using ruby
Recent Advances in HTTP, controlling them using ruby
Kazuho Oku
 
Programming TCP for responsiveness
Programming TCP for responsivenessProgramming TCP for responsiveness
Programming TCP for responsiveness
Kazuho Oku
 
Programming TCP for responsiveness
Programming TCP for responsivenessProgramming TCP for responsiveness
Programming TCP for responsiveness
Kazuho Oku
 
Developing the fastest HTTP/2 server
Developing the fastest HTTP/2 serverDeveloping the fastest HTTP/2 server
Developing the fastest HTTP/2 server
Kazuho Oku
 
TLS & LURK @ IETF 95
TLS & LURK @ IETF 95TLS & LURK @ IETF 95
TLS & LURK @ IETF 95
Kazuho Oku
 
HTTPとサーバ技術の最新動向
HTTPとサーバ技術の最新動向HTTPとサーバ技術の最新動向
HTTPとサーバ技術の最新動向
Kazuho Oku
 
ウェブを速くするためにDeNAがやっていること - HTTP/2と、さらにその先
ウェブを速くするためにDeNAがやっていること - HTTP/2と、さらにその先ウェブを速くするためにDeNAがやっていること - HTTP/2と、さらにその先
ウェブを速くするためにDeNAがやっていること - HTTP/2と、さらにその先
Kazuho Oku
 
Cache aware-server-push in H2O version 1.5
Cache aware-server-push in H2O version 1.5Cache aware-server-push in H2O version 1.5
Cache aware-server-push in H2O version 1.5
Kazuho Oku
 
HTTP/2時代のウェブサイト設計
HTTP/2時代のウェブサイト設計HTTP/2時代のウェブサイト設計
HTTP/2時代のウェブサイト設計
Kazuho Oku
 
H2O - making the Web faster
H2O - making the Web fasterH2O - making the Web faster
H2O - making the Web faster
Kazuho Oku
 
H2O - making HTTP better
H2O - making HTTP betterH2O - making HTTP better
H2O - making HTTP better
Kazuho Oku
 
H2O - the optimized HTTP server
H2O - the optimized HTTP serverH2O - the optimized HTTP server
H2O - the optimized HTTP server
Kazuho Oku
 
JSON SQL Injection and the Lessons Learned
JSON SQL Injection and the Lessons LearnedJSON SQL Injection and the Lessons Learned
JSON SQL Injection and the Lessons Learned
Kazuho Oku
 
JSX 速さの秘密 - 高速なJavaScriptを書く方法
JSX 速さの秘密 - 高速なJavaScriptを書く方法JSX 速さの秘密 - 高速なJavaScriptを書く方法
JSX 速さの秘密 - 高速なJavaScriptを書く方法
Kazuho Oku
 
JSX の現在と未来 - Oct 26 2013
JSX の現在と未来 - Oct 26 2013JSX の現在と未来 - Oct 26 2013
JSX の現在と未来 - Oct 26 2013
Kazuho Oku
 

More from Kazuho Oku (20)

HTTP/2で 速くなるとき ならないとき
HTTP/2で 速くなるとき ならないときHTTP/2で 速くなるとき ならないとき
HTTP/2で 速くなるとき ならないとき
 
QUIC標準化動向 〜2017/7
QUIC標準化動向 〜2017/7QUIC標準化動向 〜2017/7
QUIC標準化動向 〜2017/7
 
HTTP/2の課題と将来
HTTP/2の課題と将来HTTP/2の課題と将来
HTTP/2の課題と将来
 
TLS 1.3 と 0-RTT のこわ〜い話
TLS 1.3 と 0-RTT のこわ〜い話TLS 1.3 と 0-RTT のこわ〜い話
TLS 1.3 と 0-RTT のこわ〜い話
 
Reorganizing Website Architecture for HTTP/2 and Beyond
Reorganizing Website Architecture for HTTP/2 and BeyondReorganizing Website Architecture for HTTP/2 and Beyond
Reorganizing Website Architecture for HTTP/2 and Beyond
 
Recent Advances in HTTP, controlling them using ruby
Recent Advances in HTTP, controlling them using rubyRecent Advances in HTTP, controlling them using ruby
Recent Advances in HTTP, controlling them using ruby
 
Programming TCP for responsiveness
Programming TCP for responsivenessProgramming TCP for responsiveness
Programming TCP for responsiveness
 
Programming TCP for responsiveness
Programming TCP for responsivenessProgramming TCP for responsiveness
Programming TCP for responsiveness
 
Developing the fastest HTTP/2 server
Developing the fastest HTTP/2 serverDeveloping the fastest HTTP/2 server
Developing the fastest HTTP/2 server
 
TLS & LURK @ IETF 95
TLS & LURK @ IETF 95TLS & LURK @ IETF 95
TLS & LURK @ IETF 95
 
HTTPとサーバ技術の最新動向
HTTPとサーバ技術の最新動向HTTPとサーバ技術の最新動向
HTTPとサーバ技術の最新動向
 
ウェブを速くするためにDeNAがやっていること - HTTP/2と、さらにその先
ウェブを速くするためにDeNAがやっていること - HTTP/2と、さらにその先ウェブを速くするためにDeNAがやっていること - HTTP/2と、さらにその先
ウェブを速くするためにDeNAがやっていること - HTTP/2と、さらにその先
 
Cache aware-server-push in H2O version 1.5
Cache aware-server-push in H2O version 1.5Cache aware-server-push in H2O version 1.5
Cache aware-server-push in H2O version 1.5
 
HTTP/2時代のウェブサイト設計
HTTP/2時代のウェブサイト設計HTTP/2時代のウェブサイト設計
HTTP/2時代のウェブサイト設計
 
H2O - making the Web faster
H2O - making the Web fasterH2O - making the Web faster
H2O - making the Web faster
 
H2O - making HTTP better
H2O - making HTTP betterH2O - making HTTP better
H2O - making HTTP better
 
H2O - the optimized HTTP server
H2O - the optimized HTTP serverH2O - the optimized HTTP server
H2O - the optimized HTTP server
 
JSON SQL Injection and the Lessons Learned
JSON SQL Injection and the Lessons LearnedJSON SQL Injection and the Lessons Learned
JSON SQL Injection and the Lessons Learned
 
JSX 速さの秘密 - 高速なJavaScriptを書く方法
JSX 速さの秘密 - 高速なJavaScriptを書く方法JSX 速さの秘密 - 高速なJavaScriptを書く方法
JSX 速さの秘密 - 高速なJavaScriptを書く方法
 
JSX の現在と未来 - Oct 26 2013
JSX の現在と未来 - Oct 26 2013JSX の現在と未来 - Oct 26 2013
JSX の現在と未来 - Oct 26 2013
 

Recently uploaded

単腕マニピュレータによる 複数物体の同時組み立ての 基礎的考察 / Basic Approach to Robotic Assembly of Multi...
単腕マニピュレータによる 複数物体の同時組み立ての 基礎的考察 / Basic Approach to Robotic Assembly of Multi...単腕マニピュレータによる 複数物体の同時組み立ての 基礎的考察 / Basic Approach to Robotic Assembly of Multi...
単腕マニピュレータによる 複数物体の同時組み立ての 基礎的考察 / Basic Approach to Robotic Assembly of Multi...
Fukuoka Institute of Technology
 
FIDO Alliance Osaka Seminar: NEC & Yubico Panel.pdf
FIDO Alliance Osaka Seminar: NEC & Yubico Panel.pdfFIDO Alliance Osaka Seminar: NEC & Yubico Panel.pdf
FIDO Alliance Osaka Seminar: NEC & Yubico Panel.pdf
FIDO Alliance
 
【DLゼミ】XFeat: Accelerated Features for Lightweight Image Matching
【DLゼミ】XFeat: Accelerated Features for Lightweight Image Matching【DLゼミ】XFeat: Accelerated Features for Lightweight Image Matching
【DLゼミ】XFeat: Accelerated Features for Lightweight Image Matching
harmonylab
 
論文紹介: Exploiting semantic segmentation to boost reinforcement learning in vid...
論文紹介: Exploiting semantic segmentation to boost reinforcement learning in vid...論文紹介: Exploiting semantic segmentation to boost reinforcement learning in vid...
論文紹介: Exploiting semantic segmentation to boost reinforcement learning in vid...
atsushi061452
 
YugabyteDB適用に向けた取り組みと隠れた魅力 (DSS Asia 2024 発表資料)
YugabyteDB適用に向けた取り組みと隠れた魅力 (DSS Asia 2024 発表資料)YugabyteDB適用に向けた取り組みと隠れた魅力 (DSS Asia 2024 発表資料)
YugabyteDB適用に向けた取り組みと隠れた魅力 (DSS Asia 2024 発表資料)
NTT DATA Technology & Innovation
 
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアルLoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
CRI Japan, Inc.
 
【AI論文解説】Consistency ModelとRectified Flow
【AI論文解説】Consistency ModelとRectified Flow【AI論文解説】Consistency ModelとRectified Flow
【AI論文解説】Consistency ModelとRectified Flow
Sony - Neural Network Libraries
 
FIDO Alliance Osaka Seminar: PlayStation Passkey Deployment Case Study.pdf
FIDO Alliance Osaka Seminar: PlayStation Passkey Deployment Case Study.pdfFIDO Alliance Osaka Seminar: PlayStation Passkey Deployment Case Study.pdf
FIDO Alliance Osaka Seminar: PlayStation Passkey Deployment Case Study.pdf
FIDO Alliance
 
FIDO Alliance Osaka Seminar: CloudGate.pdf
FIDO Alliance Osaka Seminar: CloudGate.pdfFIDO Alliance Osaka Seminar: CloudGate.pdf
FIDO Alliance Osaka Seminar: CloudGate.pdf
FIDO Alliance
 
FIDO Alliance Osaka Seminar: Welcome Slides.pdf
FIDO Alliance Osaka Seminar: Welcome Slides.pdfFIDO Alliance Osaka Seminar: Welcome Slides.pdf
FIDO Alliance Osaka Seminar: Welcome Slides.pdf
FIDO Alliance
 
FIDO Alliance Osaka Seminar: LY-DOCOMO-KDDI-Mercari Panel.pdf
FIDO Alliance Osaka Seminar: LY-DOCOMO-KDDI-Mercari Panel.pdfFIDO Alliance Osaka Seminar: LY-DOCOMO-KDDI-Mercari Panel.pdf
FIDO Alliance Osaka Seminar: LY-DOCOMO-KDDI-Mercari Panel.pdf
FIDO Alliance
 
TaketoFujikawa_物語のコンセプトに基づく情報アクセス手法の基礎検討_JSAI2024
TaketoFujikawa_物語のコンセプトに基づく情報アクセス手法の基礎検討_JSAI2024TaketoFujikawa_物語のコンセプトに基づく情報アクセス手法の基礎検討_JSAI2024
TaketoFujikawa_物語のコンセプトに基づく情報アクセス手法の基礎検討_JSAI2024
Matsushita Laboratory
 
2024年度_サイバーエージェント_新卒研修「データベースの歴史」.pptx
2024年度_サイバーエージェント_新卒研修「データベースの歴史」.pptx2024年度_サイバーエージェント_新卒研修「データベースの歴史」.pptx
2024年度_サイバーエージェント_新卒研修「データベースの歴史」.pptx
yassun7010
 
MPAなWebフレームワーク、Astroの紹介 (その2) 2024/05/24の勉強会で発表されたものです。
MPAなWebフレームワーク、Astroの紹介 (その2) 2024/05/24の勉強会で発表されたものです。MPAなWebフレームワーク、Astroの紹介 (その2) 2024/05/24の勉強会で発表されたものです。
MPAなWebフレームワーク、Astroの紹介 (その2) 2024/05/24の勉強会で発表されたものです。
iPride Co., Ltd.
 
論文紹介: Offline Q-Learning on diverse Multi-Task data both scales and generalizes
論文紹介: Offline Q-Learning on diverse Multi-Task data both scales and generalizes論文紹介: Offline Q-Learning on diverse Multi-Task data both scales and generalizes
論文紹介: Offline Q-Learning on diverse Multi-Task data both scales and generalizes
atsushi061452
 

Recently uploaded (15)

単腕マニピュレータによる 複数物体の同時組み立ての 基礎的考察 / Basic Approach to Robotic Assembly of Multi...
単腕マニピュレータによる 複数物体の同時組み立ての 基礎的考察 / Basic Approach to Robotic Assembly of Multi...単腕マニピュレータによる 複数物体の同時組み立ての 基礎的考察 / Basic Approach to Robotic Assembly of Multi...
単腕マニピュレータによる 複数物体の同時組み立ての 基礎的考察 / Basic Approach to Robotic Assembly of Multi...
 
FIDO Alliance Osaka Seminar: NEC & Yubico Panel.pdf
FIDO Alliance Osaka Seminar: NEC & Yubico Panel.pdfFIDO Alliance Osaka Seminar: NEC & Yubico Panel.pdf
FIDO Alliance Osaka Seminar: NEC & Yubico Panel.pdf
 
【DLゼミ】XFeat: Accelerated Features for Lightweight Image Matching
【DLゼミ】XFeat: Accelerated Features for Lightweight Image Matching【DLゼミ】XFeat: Accelerated Features for Lightweight Image Matching
【DLゼミ】XFeat: Accelerated Features for Lightweight Image Matching
 
論文紹介: Exploiting semantic segmentation to boost reinforcement learning in vid...
論文紹介: Exploiting semantic segmentation to boost reinforcement learning in vid...論文紹介: Exploiting semantic segmentation to boost reinforcement learning in vid...
論文紹介: Exploiting semantic segmentation to boost reinforcement learning in vid...
 
YugabyteDB適用に向けた取り組みと隠れた魅力 (DSS Asia 2024 発表資料)
YugabyteDB適用に向けた取り組みと隠れた魅力 (DSS Asia 2024 発表資料)YugabyteDB適用に向けた取り組みと隠れた魅力 (DSS Asia 2024 発表資料)
YugabyteDB適用に向けた取り組みと隠れた魅力 (DSS Asia 2024 発表資料)
 
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアルLoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
 
【AI論文解説】Consistency ModelとRectified Flow
【AI論文解説】Consistency ModelとRectified Flow【AI論文解説】Consistency ModelとRectified Flow
【AI論文解説】Consistency ModelとRectified Flow
 
FIDO Alliance Osaka Seminar: PlayStation Passkey Deployment Case Study.pdf
FIDO Alliance Osaka Seminar: PlayStation Passkey Deployment Case Study.pdfFIDO Alliance Osaka Seminar: PlayStation Passkey Deployment Case Study.pdf
FIDO Alliance Osaka Seminar: PlayStation Passkey Deployment Case Study.pdf
 
FIDO Alliance Osaka Seminar: CloudGate.pdf
FIDO Alliance Osaka Seminar: CloudGate.pdfFIDO Alliance Osaka Seminar: CloudGate.pdf
FIDO Alliance Osaka Seminar: CloudGate.pdf
 
FIDO Alliance Osaka Seminar: Welcome Slides.pdf
FIDO Alliance Osaka Seminar: Welcome Slides.pdfFIDO Alliance Osaka Seminar: Welcome Slides.pdf
FIDO Alliance Osaka Seminar: Welcome Slides.pdf
 
FIDO Alliance Osaka Seminar: LY-DOCOMO-KDDI-Mercari Panel.pdf
FIDO Alliance Osaka Seminar: LY-DOCOMO-KDDI-Mercari Panel.pdfFIDO Alliance Osaka Seminar: LY-DOCOMO-KDDI-Mercari Panel.pdf
FIDO Alliance Osaka Seminar: LY-DOCOMO-KDDI-Mercari Panel.pdf
 
TaketoFujikawa_物語のコンセプトに基づく情報アクセス手法の基礎検討_JSAI2024
TaketoFujikawa_物語のコンセプトに基づく情報アクセス手法の基礎検討_JSAI2024TaketoFujikawa_物語のコンセプトに基づく情報アクセス手法の基礎検討_JSAI2024
TaketoFujikawa_物語のコンセプトに基づく情報アクセス手法の基礎検討_JSAI2024
 
2024年度_サイバーエージェント_新卒研修「データベースの歴史」.pptx
2024年度_サイバーエージェント_新卒研修「データベースの歴史」.pptx2024年度_サイバーエージェント_新卒研修「データベースの歴史」.pptx
2024年度_サイバーエージェント_新卒研修「データベースの歴史」.pptx
 
MPAなWebフレームワーク、Astroの紹介 (その2) 2024/05/24の勉強会で発表されたものです。
MPAなWebフレームワーク、Astroの紹介 (その2) 2024/05/24の勉強会で発表されたものです。MPAなWebフレームワーク、Astroの紹介 (その2) 2024/05/24の勉強会で発表されたものです。
MPAなWebフレームワーク、Astroの紹介 (その2) 2024/05/24の勉強会で発表されたものです。
 
論文紹介: Offline Q-Learning on diverse Multi-Task data both scales and generalizes
論文紹介: Offline Q-Learning on diverse Multi-Task data both scales and generalizes論文紹介: Offline Q-Learning on diverse Multi-Task data both scales and generalizes
論文紹介: Offline Q-Learning on diverse Multi-Task data both scales and generalizes
 

Incline & Pacific - なぜ作るのか

  • 1. Incline & Pacific なぜ作るのか? Cybozu Labs, Inc. Kazuho Oku
  • 2. 大規模ウェブサービスの課題 データベースのスケールアウト RDBMS のパーティショニングが多数解 アプリケーション毎のパーティショニングが初期の解 ユーザ毎のパーティショニングが次のレベル RDBMS を捨てて分散キーバリューストア (KVS) を使うというラディカルなアプローチも Sep 25 2009 Incline & Pacific - なぜ作るのか 2
  • 3. RDBMS パーティショニングの手法と利点 複数の RDBMS サーバを連携 ロジックに基づいて、RDBMS を割り当て 例: user_idが 10,000〜20,000 ならサーバA スケールアップに対するコストと規模の 優位 スケールアウトすることで、安価なサーバを使用 可能 理論的には、スケールの限界はない? SQL や OR マッパを引き続き使用可能 学習コストが低い & Pacific - なぜ作るのか Sep 25 2009 Incline 3
  • 4. RDBMS パーティショニングの問題点 事前の分割設計が難しい 特定のサーバが過負荷になったり サーバ間の負荷が均等にならない 運用開始後の再分散が困難 分散パラメータの動的な変更がしづらい 再分散時に停止が必要になる可能性 Sep 25 2009 Incline & Pacific - なぜ作るのか 4
  • 5. 分散 KVS の手法と利点 複数サーバを使用するキーバリュースト ア Hash(key) の値に基づいて、データの格納先を決 定 複数のサーバに同一データを保存して高可用性確 保 パーティショニングの場合は DB のレプリケーション を使う Consistent Hashing による、サーバ追加時の動的 かつ無停止の負荷再分散 Sep 25 2009 Incline & Pacific - なぜ作るのか 5
  • 6. 分散 KVS の問題点 機能が原始的 RDBMSにしかない機能の例: レンジクエリ、トラ ンザクション、リレーション、セカンダリイン デックス 開発コストの増加につながる OR マッパである程度解決可能 Consistency のモデルが弱い (ことが多 い) データの局所性がない Sep 25 2009 Incline & Pacific - なぜ作るのか 6
  • 7. CAP 定理っておいしいの? Consistency, Availability, Partition- tolerance のうち、同時に満たせるのは 2つ Extranet P2P では Partition-tolerance は必須 なので Consistency を諦める データセンタ内でも Partition-tolerance は必要? ネットワークは冗長化できる ノード毎にHAクラスタを組める (or レプリケーション) ↓ Partition tolerance は (実質的に) 不要 Sep 25 2009 Availability と (必要なら)なぜ作るのか Consistency を確保可能 Incline & Pacific - Strong 7
  • 8. Incline & Pacific の目指すもの RDBMS と分散 KVS のいいとこどり RDBMS の動的パーティショニング技術 事前の分割設計が不要 (ほぼ) lock-free なデータの再分散 Range-based partitioning イテレーション機能 関連データの局所化による障害の影響の局所化 SQL による柔軟なクエリ 様々な更新手法 局所的なトランザクション / 2pc / eventual consistency Sep 25 2009 Incline & Pacific - なぜ作るのか 8
  • 9. Incline & Pacific is not an O-R Mapper Incline はノード間のデータ同期に専念 strong consistency が必要なら 2pc Pacific は RDBMS の Shard に専念 ORマッパを使うか SQL を直書きするかは自由 ORマッパの Pacific 対応が課題 Sep 25 2009 Incline & Pacific - なぜ作るのか 9