Download free for 30 days
Sign in
Upload
Language (EN)
Support
Business
Mobile
Social Media
Marketing
Technology
Art & Photos
Career
Design
Education
Presentations & Public Speaking
Government & Nonprofit
Healthcare
Internet
Law
Leadership & Management
Automotive
Engineering
Software
Recruiting & HR
Retail
Sales
Services
Science
Small Business & Entrepreneurship
Food
Environment
Economy & Finance
Data & Analytics
Investor Relations
Sports
Spiritual
News & Politics
Travel
Self Improvement
Real Estate
Entertainment & Humor
Health & Medicine
Devices & Hardware
Lifestyle
Change Language
Language
English
Español
Português
Français
Deutsche
Cancel
Save
Submit search
EN
Uploaded by
Kentoku
4,988 views
MariaDB Spider Mroonga 20140218
Talking about Spider and Mroonga with MariaDB 10.0
Technology
◦
Read more
5
Save
Share
Embed
Embed presentation
Download
Downloaded 26 times
1
/ 32
2
/ 32
3
/ 32
4
/ 32
5
/ 32
6
/ 32
7
/ 32
8
/ 32
9
/ 32
10
/ 32
11
/ 32
12
/ 32
13
/ 32
14
/ 32
15
/ 32
16
/ 32
17
/ 32
18
/ 32
19
/ 32
20
/ 32
21
/ 32
22
/ 32
23
/ 32
24
/ 32
25
/ 32
26
/ 32
27
/ 32
28
/ 32
29
/ 32
30
/ 32
31
/ 32
32
/ 32
More Related Content
PDF
Spiderの最新動向 20130419
by
Kentoku
PDF
Spiderの最新動向 20131009
by
Kentoku
PDF
Spiderストレージエンジンのご紹介
by
Kentoku
PDF
Spider storage engine (dec212016)
by
Kentoku
PDF
Spider DeNA Technology Seminar #2
by
Kentoku
PDF
MariaDB 10.3から利用できるSpider関連の性能向上機能・便利機能ほか
by
Kentoku
PDF
Spiderストレージエンジンの使い方と利用事例 他ストレージエンジンの紹介
by
Kentoku
PDF
hs_spider_hs_something_20110906
by
Kentoku
Spiderの最新動向 20130419
by
Kentoku
Spiderの最新動向 20131009
by
Kentoku
Spiderストレージエンジンのご紹介
by
Kentoku
Spider storage engine (dec212016)
by
Kentoku
Spider DeNA Technology Seminar #2
by
Kentoku
MariaDB 10.3から利用できるSpider関連の性能向上機能・便利機能ほか
by
Kentoku
Spiderストレージエンジンの使い方と利用事例 他ストレージエンジンの紹介
by
Kentoku
hs_spider_hs_something_20110906
by
Kentoku
What's hot
PPTX
MySQLの運用でありがちなこと
by
Hiroaki Sano
PDF
MySQLバックアップの基本
by
yoyamasaki
PPT
20170329 D3 DBAが夜間メンテをしなくなった日 発表資料
by
dcubeio
PDF
MySQL のオンラインバックアップ & リカバリ
by
k_teru
PDF
MySQL Cluster 新機能解説 7.5 and beyond
by
Mikiya Okuno
PPTX
innodb_thread_concurrencyとtransparent hugepageの影響
by
hiroi10
DOC
cassandra調査レポート
by
Akihiro Kuwano
PDF
MySQL 初めてのチューニング
by
Craft works
PPTX
My sqlで2億件のシリアルデータと格闘した話
by
saiken3110
PDF
MySQL カジュアル 福岡 03
by
Aya Komuro
PDF
MySQLやSSDとかの話 前編
by
Takanori Sejima
PPT
Cassandraのしくみ データの読み書き編
by
Yuki Morishita
PDF
お金が無いときのMySQL Cluster頼み
by
aoike
PDF
S01 企業で活用が進む Microsoft Azureの仮想マシン (Windows)
by
Microsoft Azure Japan
PDF
Infinispan - Open Source Data Grid
by
nekop
PDF
Dbtechshowcasesapporo mysql-turing-for-cloud-0.9.3
by
infinite_loop
PDF
S10 日本東西リージョンでのディザスタ リカバリ環境の実現
by
Microsoft Azure Japan
PDF
tcpdump & xtrabackup @ MySQL Casual Talks #1
by
Ryosuke IWANAGA
PPTX
Persistence on Azure - Microsoft Azure の永続化
by
Takekazu Omi
PDF
MHA for MySQLとDeNAのオープンソースの話
by
Yoshinori Matsunobu
MySQLの運用でありがちなこと
by
Hiroaki Sano
MySQLバックアップの基本
by
yoyamasaki
20170329 D3 DBAが夜間メンテをしなくなった日 発表資料
by
dcubeio
MySQL のオンラインバックアップ & リカバリ
by
k_teru
MySQL Cluster 新機能解説 7.5 and beyond
by
Mikiya Okuno
innodb_thread_concurrencyとtransparent hugepageの影響
by
hiroi10
cassandra調査レポート
by
Akihiro Kuwano
MySQL 初めてのチューニング
by
Craft works
My sqlで2億件のシリアルデータと格闘した話
by
saiken3110
MySQL カジュアル 福岡 03
by
Aya Komuro
MySQLやSSDとかの話 前編
by
Takanori Sejima
Cassandraのしくみ データの読み書き編
by
Yuki Morishita
お金が無いときのMySQL Cluster頼み
by
aoike
S01 企業で活用が進む Microsoft Azureの仮想マシン (Windows)
by
Microsoft Azure Japan
Infinispan - Open Source Data Grid
by
nekop
Dbtechshowcasesapporo mysql-turing-for-cloud-0.9.3
by
infinite_loop
S10 日本東西リージョンでのディザスタ リカバリ環境の実現
by
Microsoft Azure Japan
tcpdump & xtrabackup @ MySQL Casual Talks #1
by
Ryosuke IWANAGA
Persistence on Azure - Microsoft Azure の永続化
by
Takekazu Omi
MHA for MySQLとDeNAのオープンソースの話
by
Yoshinori Matsunobu
Viewers also liked
PPT
Handlersocket etc. 20110906
by
akirahiguchi
PDF
カジュアルにMySQL Clusterを使ってみよう@MySQL Cluster Casual Talks 2013.09
by
Mikiya Okuno
PPT
HandlerSocket plugin for MySQL (English)
by
akirahiguchi
PPT
Handlersocket 20140218
by
akirahiguchi
PDF
MySQL 5.6への完全移行を実現したTritonnからMroongaへの移行体験記
by
Kentaro Yoshida
PDF
MariaDB ColumnStore 20160721
by
Kentoku
PPTX
日本語:Mongo dbに於けるシャーディングについて
by
ippei_suzuki
PDF
MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS編〜」
by
Kentaro Yoshida
PDF
VPとSPIDERを使ったMySQL運用
by
Ryuta Kamizono
PDF
In-Database Analyticsの必要性と可能性
by
Satoshi Nagayasu
Handlersocket etc. 20110906
by
akirahiguchi
カジュアルにMySQL Clusterを使ってみよう@MySQL Cluster Casual Talks 2013.09
by
Mikiya Okuno
HandlerSocket plugin for MySQL (English)
by
akirahiguchi
Handlersocket 20140218
by
akirahiguchi
MySQL 5.6への完全移行を実現したTritonnからMroongaへの移行体験記
by
Kentaro Yoshida
MariaDB ColumnStore 20160721
by
Kentoku
日本語:Mongo dbに於けるシャーディングについて
by
ippei_suzuki
MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS編〜」
by
Kentaro Yoshida
VPとSPIDERを使ったMySQL運用
by
Ryuta Kamizono
In-Database Analyticsの必要性と可能性
by
Satoshi Nagayasu
Similar to MariaDB Spider Mroonga 20140218
PDF
MariaDB 10.3 概要
by
GOTO Satoru
PDF
MariaDB meetup Tokyo 2019 #01
by
GOTO Satoru
PDF
Introducing Spider 20101206(DTT#7)
by
Kentoku
PDF
Spider Shibuya.pm #12
by
Kentoku
PDF
MariaDB Meetup Tokyo 2019 #2
by
GOTO Satoru
PPTX
たくさんあるよMy sql互換db(正式版)
by
tabun_muri
PPTX
Memcached api搭載の「my sql cluster 7.2」
by
貴仁 大和屋
PDF
Introducing mroonga 20111129
by
Kentoku
MariaDB 10.3 概要
by
GOTO Satoru
MariaDB meetup Tokyo 2019 #01
by
GOTO Satoru
Introducing Spider 20101206(DTT#7)
by
Kentoku
Spider Shibuya.pm #12
by
Kentoku
MariaDB Meetup Tokyo 2019 #2
by
GOTO Satoru
たくさんあるよMy sql互換db(正式版)
by
tabun_muri
Memcached api搭載の「my sql cluster 7.2」
by
貴仁 大和屋
Introducing mroonga 20111129
by
Kentoku
More from Kentoku
PDF
An issue of all slaves stop replication
by
Kentoku
PDF
How to migrate_to_sharding_with_spider
by
Kentoku
PDF
Using spider for sharding in production
by
Kentoku
PDF
Sharding with spider solutions 20160721
by
Kentoku
PDF
Mroonga 20141129
by
Kentoku
PDF
Mroonga 20131129
by
Kentoku
PDF
Newest topic of spider 20131016 in Buenos Aires Argentina
by
Kentoku
PDF
Mroonga 20121129
by
Kentoku
PDF
Mroonga unsupported feature_20111129
by
Kentoku
PDF
Spider HA 20100922(DTT#7)
by
Kentoku
PDF
Charms of MySQL 20101206(DTT#7)
by
Kentoku
PDF
Advanced Sharding Techniques with Spider (MUC2010)
by
Kentoku
PDF
Spider Performance Test(Bench Mark04242009)
by
Kentoku
An issue of all slaves stop replication
by
Kentoku
How to migrate_to_sharding_with_spider
by
Kentoku
Using spider for sharding in production
by
Kentoku
Sharding with spider solutions 20160721
by
Kentoku
Mroonga 20141129
by
Kentoku
Mroonga 20131129
by
Kentoku
Newest topic of spider 20131016 in Buenos Aires Argentina
by
Kentoku
Mroonga 20121129
by
Kentoku
Mroonga unsupported feature_20111129
by
Kentoku
Spider HA 20100922(DTT#7)
by
Kentoku
Charms of MySQL 20101206(DTT#7)
by
Kentoku
Advanced Sharding Techniques with Spider (MUC2010)
by
Kentoku
Spider Performance Test(Bench Mark04242009)
by
Kentoku
Recently uploaded
PDF
基礎から学ぶ PostgreSQL の性能監視 (PostgreSQL Conference Japan 2025 発表資料)
by
NTT DATA Technology & Innovation
PDF
安価な ロジック・アナライザを アナライズ(?),Analyze report of some cheap logic analyzers
by
たけおか しょうぞう
PPTX
DrupalCon Nara 2025の記録 .
by
iPride Co., Ltd.
PDF
PCCC25(設立25年記念PCクラスタシンポジウム):東京大学情報基盤センター テーマ1/2/3「Society5.0の実現を目指す『計算・データ・学習...
by
PC Cluster Consortium
PDF
visionOS TC「新しいマイホームで過ごすApple Vision Proとの新生活」
by
Sugiyama Yugo
PDF
第25回FA設備技術勉強会_自宅で勉強するROS・フィジカルAIアイテム.pdf
by
TomohiroKusu
基礎から学ぶ PostgreSQL の性能監視 (PostgreSQL Conference Japan 2025 発表資料)
by
NTT DATA Technology & Innovation
安価な ロジック・アナライザを アナライズ(?),Analyze report of some cheap logic analyzers
by
たけおか しょうぞう
DrupalCon Nara 2025の記録 .
by
iPride Co., Ltd.
PCCC25(設立25年記念PCクラスタシンポジウム):東京大学情報基盤センター テーマ1/2/3「Society5.0の実現を目指す『計算・データ・学習...
by
PC Cluster Consortium
visionOS TC「新しいマイホームで過ごすApple Vision Proとの新生活」
by
Sugiyama Yugo
第25回FA設備技術勉強会_自宅で勉強するROS・フィジカルAIアイテム.pdf
by
TomohiroKusu
MariaDB Spider Mroonga 20140218
1.
MariaDB 10.0と Spider, Mroonga スパイラルアーム
/ チームラボ 斯波健徳
2.
Spiderストレージエンジン
3.
Spiderストレージエンジンとは? Spiderストレージエンジンは、 MySQL/MariaDBのプラグインで、 別のサーバにあるテーブルもしくはビューを、 ローカルのDBにあるテーブルもしくは パーティションとして利用できる機能を 提供します。 MariaDB 10.0.4から、標準でバンドル されています。
4.
Spiderストレージエンジンの用途 Spiderを利用すると 大量のデータを複数サーバに分散させて ①大量のトラフィックを処理したり(DBシャーディング) ②並列処理したり(パラレル処理) することができるようになります。 また、複数の別々のアプリケーションで利用しているDBを ③1つのDBとして利用することも可能 になります。
5.
Spiderの構成例 3.Response 1.Request AP AP AP AP AP 2.Just connect to
spider SPIDER SPIDER SPIDER (MySQL/MariaDB) (MySQL/MariaDB) (MySQL/MariaDB) tbl_a tbl_b tbl_c DB1 DB2 DB3 アプリケーションは、1つのデータベースに接続すれば、 他のデータベースを意識せずに利用できる。
6.
Spiderの使い方 (1/5) ①Spiderがバンドルされた MySQL/MariaDBをインストール ②MySQLにログインし、 Spiderをプラグインとしてインストール (install_spider.sqlを実行) ③テーブルを作成
7.
Spiderの使い方 (2/5) 1対1リンクテーブルなら CREATE TABLE
t1( c1 int, c2 varchar(100), PRIMARY KEY(c1) )ENGINE=spider DEFAULT CHARSET=utf8 COMMENT ' table "rt1", database "test", port "3306", host "データノードのホスト名", user "データノードログイン用ユーザ名", password "パスワード" '; ストレージエンジンにSpiderを指定し COMMENTに接続情報(パラメータ)を記述すればOK
8.
Spiderの使い方 (3/5) MariaDBだと、Spiderテーブルを作成する場合にカラムの 情報を省略しても、データノードの定義を引き継いで、 テーブルが作成されます。 CREATE TABLE
t1 ENGINE=spider DEFAULT CHARSET=utf8 COMMENT ' table "rt1", database "test", port "3306", host "データノードのホスト名", user "データノードログイン用ユーザ名", password "パスワード" ‘;
9.
Spiderの使い方 (4/5) 分割(sharding)テーブルなら CREATE TABLE
t1( c1 int, c2 varchar(100), PRIMARY KEY(c1) )ENGINE=spider DEFAULT CHARSET=utf8 COMMENT 'table "rt1", database "test", port "3306", user "データノードログイン用ユーザ名", password "パスワード"' PARTITION BY RANGE(c1) ( PARTITION p0 VALUES LESS THAN (100000) COMMENT 'host "h1"', PARTITION p1 VALUES LESS THAN (200000) COMMENT 'host "h2"', PARTITION p2 VALUES LESS THAN (300000) COMMENT 'host "h3"', PARTITION p3 VALUES LESS THAN MAXVALUE COMMENT 'host "h4"' ); テーブルのCOMMENTに共通する接続情報、 各パーティションにパーティション固有の接続情報を記述すればOK
10.
Spiderの使い方 (5/5) これらの接続情報は、CREATE SERVER構文を使ってあらかじめ 定義しておくこともでき CREATE
SERVER srv1 FOREIGN DATA WRAPPER mysql HOST 'データノードのホスト名', DATABASE 'test', USER 'データノードログイン用ユーザ名', PASSWORD 'パスワード', PORT 3306 ; CREATE TABLE t1( c1 int, c2 varchar(100), PRIMARY KEY(c1) )ENGINE=spider DEFAULT CHARSET=utf8 COMMENT 'table "rt1", server "srv1"'; のように利用することができます。
11.
Spiderのその他の機能
12.
Spiderのその他の機能 冗長化機能 テーブル・パーティションの単位で冗長度を設定可能 耐障害性機能 Spider標準のものだけではなく、MySQLで利用可能な 他のソリューションが利用可能 全文検索・位置情報検索対応機能 バックエンドのMySQLの全文検索・位置情報検索 機能がそのまま利用可能
13.
Spiderのその他の機能 NoSQL対応機能(MariaDB未) handlersocketに対応 OracleDB接続機能 データノードとしてOracleDBを利用できる機能です。 ※ソースコードからのビルドが必要です。 パラレル検索機能(MariaDB未、カスタマイズ版 MariaDB 10.0では利用可) shardingされているテーブルの検索時、 複数shardに対して並列に検索を行う機能です。
14.
Spiderが使われているサービス
15.
Spiderが使われているサービス Eight 50万人が使う名刺管理アプリ SpiderとMroongaが使われています。 https://8card.net/ CCM Escape Elastic
statistics cluster http://www.slideshare.net/skysql/ccm-escape-casestudy-skysql-paris-meetup-17122013
16.
Mroongaストレージエンジン
17.
Mroongaストレージエンジンとは? Mroongaストレージエンジンは、全文検索、 位置情報検索を提供するストレージエンジンで、 以下の特徴があります。 1. 高速な全文検索 2. 高速な位置情報検索 3.
検索中でも高速に更新が可能 (ロックフリーモデル) 4. 日本語全文検索に対応
18.
Mroongaストレージエンジンとは? 5. 他のストレージエンジンと組み合わせて、 全文検索と位置情報検索の機能を 付加することも可能 6. Spiderと組み合わせて、分散したデータへの 全文検索、位置情報検索が可能 Mroonga’s
document is available. http://mroonga.github.com/
19.
Mroongaが使われているサービス
20.
Mroongaが使われているサービス PatentField 無料の特許情報検索サイト 日本、海外主要国の特許情報を4,500万件以上収録。 全文検索、連想検索、権利の死活情報やパテントファミリーに 応じた絞り込みといった高度な特許検索サービスを提供 http://patentfield.com/ 全国最新地価マップ 中古住宅・土地購入の際に参考になる地価履歴やその周辺の 公共施設・交通機関などの基本的な情報を地図から表示する ためのサイト http://ww1.chikamap.com/
21.
Mroongaが使われているサービス nanapi 恋愛から生活ネタ、Webサービスの使い方まであらゆる生活の Howtoを集めているサイト http://nanapi.jp/ rec.to Twitterログ保存サービス http://rec.to/ HONYAKU STAR 日英辞書およびコーパス http://honyakustar.com/
22.
Mroongaが使われているサービス ikea-hikaku.com IKEA製品全9,625件の通販/買い物代行価格を比較紹介する サイト http://ikea-hikaku.com/ sinsai.info 東日本大震災 みんなでつくる復興支援プラットフォーム http://sinsai.info/ Bizreach 年収1000万円以上の転職サイト http://www.bizreach.jp/
23.
MariaDB 10.0
24.
MariaDB 10.0とは? MariaDB 10.0とは、次の最新安定版となるMariaDBで、 現在RC(Release
Candidate)で、まもなく安定版に なるというステータスです。 ・マルチソースレプリケーション ・パラレルレプリケーション が利用できるほか、 ・ engine-independent table statistics など、オプティマイザにも力が入っています。
25.
MariaDB 10.0とは? Spiderストレージエンジンが 既にバンドルされているほか、 Mroongaストレージエンジンも 現在バンドル作業中です。
26.
カスタマイズ版MariaDB 10.0
27.
カスタマイズ版MariaDB 10.0とは? カスタマイズ版MariaDB 10.0とは、 これまでSpiderバンドル版MySQL
5.5で加えていた カスタマイズと、 MariaDBの機能をよりよく利用するための カスタマイズを MariaDB 10.0に加えたバージョンです。 カスタマイズは、今後徐々にMariaDB本体に 組み込まれていく予定です。
28.
カスタマイズ版MariaDB 10.0とは? カスタマイズ版MariaDB 10.0では、現在のMariaDB 版では制限となっている、 slave_transaction_retry_errorsを使ったスレーブのリトライ 単一テーブルの更新の最適化 partitionされたSpiderテーブルの ・engine
condition pushdown ・fulltext index search ・spacial index search ・全件countの最適化 ・parallel search が、利用できるほか
29.
カスタマイズ版MariaDB 10.0とは? PartitionされたSpiderテーブルでBKA(Batched Key Access)を利用してjoinを高速化することができます。 Batched
Key Accessは、「join_cache_level=5」以上を 設定することで有効になります。 効果的なので、ぜひお試しください。 カスタマイズ版MariaDB 10.0 with Spider 3.1は以下から ダウンロードできます。 ソースコード http://spiderformysql.com/downloads/spider-3.1/mariadb-10.0.8-spider-3.1p.tgz バイナリ http://spiderformysql.com/downloads/spider-3.1/mariadb-10.0.8-spider-3.1-linux-x86_64p.tgz
30.
まとめ
31.
まとめ ・ Spiderストレージエンジンは、データベース シャーディングを実現するストレージエンジンです。 ・Mroongaストレージエンジンは、全文検索、位置 情報検索を提供するストレージエンジンです。 ・MariaDB 10.0には、Spiderが既にバンドル されており、Mroongaは現在バンドル作業中です。 ・カスタマイズ版MariaDB
10.0を利用すると Spiderの機能がより多く利用できるようになります。
32.
ご清聴ありがとうございました! Any Questions? You can
see me later! Come to visit me!! Kentoku SHIBA (kentokushiba [at] gmail [dot] com) http://spiderformysql.com
Download