SlideShare a Scribd company logo
1 of 63
Download to read offline
© 2022 Toshiba Digital Solutions Corporation
db tech showcase 2022 【E5】
IoT/ビッグデータ向けデータベースGridDB
Deep Dive
東芝デジタルソリューションズ株式会社
ソフトウェアシステム技術開発センター
シニアフェロー 服部 雅一(masakazu.hattori@toshiba.co.jp)
2
© 2022 Toshiba Digital Solutions Corporation
自己紹介
東芝デジタルソリューションズ株式会社 シニアフェロー
• 入社以降、AIシステムやデータベースの研究開発に従事
• 2010年、(社)情報処理学会より「喜安記念業績賞」受賞
• 2012年、スケールアウト型DB “GridDB” の研究立ち上げ
翌年、V1.0を上市。以降、チーフアーキテクトとして開発を主導
その他、2006年 (社)日本電気協会 関東電気協会 電気関係事業従業員功績者表彰(最優秀賞)
2008年(社)発明協会 関東地方発明表彰(日本弁理士会会長奨励賞)
2018年(社)発明協会 関東地方発明表彰、など表彰多数
• 2020年、日本データベース学会の第4回「業績賞」受賞
3
© 2022 Toshiba Digital Solutions Corporation
日本データベース学会の第4回「業績賞」受賞
DB技術と産業の発展に貢献との評価
4
© 2022 Toshiba Digital Solutions Corporation
Agenda
01 GridDBの概要
02 GridDBを使うメリット
03 自律的なDBクラスタ
効率良く複数サーバを利用してパフォーマンスアップ
04 イベント駆動アーキテクチャ
効率良く複数コア、メモリを利用してパフォーマンスアップ
05 他DBとのベンチマーク
06 おわりに
5
© 2022 Toshiba Digital Solutions Corporation
01
GridDBの概要
6
© 2022 Toshiba Corporation
今後、さまざまなモノのデータをサイバー空間に収集し、AI・デジタル技術で分析した結果を、フィジカル世界にフィード
バックすることで価値を創造できるようになります。こういった世界が広がるなか、私たちは、モノづくりの幅広い知見・実績
(フィジカル技術)と、AI・デジタル技術(サイバー技術)を掛け合わせ、さまざまな社会課題を解決していきます。
「×デジタル」により新たな価値を創造
7
© 2022 Toshiba Digital Solutions Corporation
GridDBを自製化
開発背景
• 社会インフラシステムの維持管理には稼働データを管理するデータベースが必要
• システム規模の増大 → ①RDBではその要件を満たせない、②NoSQLの信頼性に不安
電力系統制御 PV監視制御 BEMS HEMS 上下水道 交通 医療
MEMORY
HDD
Scale Out
GridDB
8
© 2022 Toshiba Digital Solutions Corporation
単体製品、クラウドサービス、Meister DigitalTwin基盤などを通してビジネス展開
ペタバイト級IoTデータを高速に処理するスケールアウト型データベース GridDB
• 2013年 GridDB(NoSQLのみ)上市
• 2015年 GridDB/NewSQL(SQLインターフェイス機能)
• 2016年 OSS公開
• 2017年 SQL並列分散処理化
• 2019年 1ノードあたりペタバイト級のデータ管理に対応
• 2022年 アーキテクチャ刷新、クラウド対応強化
• 2011年 研究開発スタート
9
© 2022 Toshiba Digital Solutions Corporation
GridDBの特長
時系列
データ指向
高頻度で大規模な時系
列データを効率よくリアル
タイム処理する時系列
データ指向
高い信頼性と
柔軟な拡張性
障害の発生時やサーバ
増設においてもノンストッ
プ運用を実現する高い信
頼性と柔軟な拡張性
ペタバイト級の
高い処理能力
ペタバイト規模のデータを
扱うためにさまざまな工夫
を組み込み、高い処理能
力を実現
開発の俊敏性
と使いやすさ
NoSQLインターフェースだ
けではなく、SQLインタ
フェースを用意し、開発の
俊敏性と使いやすさを実
現
時系列データ:時間とともに変化するデータ
10
© 2022 Toshiba Digital Solutions Corporation
3つのエディション
GridDB
Community Edition
高頻度・大量に発生する時系列
データの蓄積とリアルタイムな活用を
スムーズに実現する次世代の
オープンソース
データベース
GridDB
Enterprise Edition
高頻度・大量に発生する時系列
データの蓄積とリアルタイムな活用を
スムーズに実現し、
ビジネスを大きく成長させるために
最適化された
次世代のデータベース
GridDB Cloud
高頻度・大量に発生する時系列
データの蓄積とリアルタイムな活用を
スムーズに実現する
クラウドデータベース
サービス
【Day2】
11
© 2022 Toshiba Digital Solutions Corporation
代表的な導入事例
社会インフラを中心に、高い信頼性・性能が求められるシステムで採用
• 電力会社 低圧託送業務システム
スマートメータから収集される電力使用量を集計し、需要量と発電量のバランスを調整
• HDD製造会社の品質管理システム
製造装置のセンサーデータを長期にわたって蓄積・分析し、品質分析・改善に適用
• 半導体製造ラインのトレーサビリティ管理
製造履歴や品質履歴、材料データなどのデータを横串で分析し、製品の品質管理やトレーサビリティに適用
• 半導体製造ラインの故障検出システム
製造ラインのセンサーデータをリアルタイムにAIで分析し、製造ラインの異常を検出
• デンソー ファクトリーIoT
工場のDigital Twinを実現し、生産性を向上。
• DENSO International America 次世代車両管理システム
車両の各センサーデータを用いた車両管理システムのPoC
12
© 2022 Toshiba Digital Solutions Corporation
各エディションの違い
インターフェイスはほぼ同じ。クラスタ構成の有無の違い
項目 機能 Community Edition Enterprise Edition Cloud
サポート ✓ ✓
プロフェッショナルサービス ✓ ✓
データ管理
時系列コンテナ ✓ ✓ ✓
コレクションコンテナ ✓ ✓ ✓
索引 ✓ ✓ ✓
アフィニティ ✓ ✓ ✓
テーブルパーティショニング ✓ ✓ ✓
クエリ言語
TQL ✓ ✓ ✓
SQL ✓ ✓ ✓
NoSQLインタフェース Java ✓ ✓ ✓
C言語 ✓ ✓ ✓
NewSQL(SQL) インタフェース JDBC ✓ ✓ ✓
ODBC ✓ ✓
WebAPI ✓ ✓ ✓
時系列データ
時系列分析関数 ✓ ✓ ✓
期限付き解放機能 ✓ ✓
長期アーカイブ ✓ ✓
クラスタリング
機能クラスタ構成 ✓ ✓
分散データ管理 ✓ ✓
レプリケーション ✓ ✓
運用管理
ローリングアップグレード ✓
オンラインバックアップ ✓ ✓
エクスポート / インポート ✓ ✓
運用管理GUI ✓ ✓
運用コマンド ✓ ✓
セキュリティ
信暗号化 (TLS/SSL) ✓ ✓
認証機能 (LDAP) ✓
オンプレミス環境 オンプレミス環境 ✓ ✓
クラウドサービス クラウドサービス ✓
13
© 2022 Toshiba Digital Solutions Corporation
日本初OSS GridDB Community Edition
2016年公開。近年、DB-Engineランキングで急上昇
ランキング
スコア
2016 2017 2020 2022
14
© 2022 Toshiba Digital Solutions Corporation
02
GridDBを使うメリット
15
© 2022 Toshiba Digital Solutions Corporation
リレーショナルデータベース
Pros.
① ACID
② リレーショナルスキーマ
③ SQL
④ 強い一貫性
Cons.
① スケーラビリティ欠落
数十サーバ以上の環境において
ホリゾンタルなスケール困難
② 1サーバ当たりの基本性能
APL APL APL APL APL APL
競合 Database
Table
Row Columns
SQL
16
© 2022 Toshiba Digital Solutions Corporation
NoSQL(Not Only SQL)
ホリゾンタルなスケールアウトを志向した
Relational Database
NoSQL
NoSQL NoSQL
NoSQL NoSQL NoSQL NoSQL NoSQL
17
© 2022 Toshiba Digital Solutions Corporation
NoSQL(Not Only SQL)
APL APL APL APL APL APL
Pros.
① 高スケーラビリティ
② 高アベイラビリティ
Cons.
① スキーマレス
② 独自のインターフェイス
③ ACID
Database
Key
Values
独自Query
Key
Valus
Key
Valus
Key
Valus
18
© 2022 Toshiba Digital Solutions Corporation
SQL、NoSQL
某NoSQL 某NoSQL SQL(RDB)
問い合わせ言語 独自I/F 独自I/F SQL
スキーマ言語 無い 無い SQL(DDL)
データ一貫性
参照一貫性
テーブル内一貫性
緩やかな一貫性 or
参照一貫性
厳格な一貫性
1台あたりの性能 普通 一貫性を上げると低速
実績あるRDBは
ある程度
高可用性
ノード分散による
冗長性有り
ノード分散による
冗長性有り
別の仕掛けが必要
拡張性 スケールアウトする手段が不明
スケールアウト困難
特にオンラインスケールアウト
スケールアップ
19
© 2022 Toshiba Digital Solutions Corporation
SQL、NoSQL
補完関係にある
某NoSQL 某NoSQL SQL(RDB)
問い合わせ言語 独自I/F 独自I/F SQL
スキーマ言語 無い 無い SQL(DDL)
データ一貫性
参照一貫性
テーブル内一貫性
緩やかな一貫性 or
参照一貫性
厳格な一貫性
1台あたりの性能 普通 一貫性を上げると低速
実績あるRDBは
ある程度
高可用性
ノード分散による
冗長性有り
ノード分散による
冗長性有り
別の仕掛けが必要
拡張性 スケールアウトする手段が不明
スケールアウト困難
特にオンラインスケールアウト
スケールアップ
20
© 2022 Toshiba Digital Solutions Corporation
GridDB NoSQL SQL(RDB)
問い合わせ言語 SQL+独自I/F 独自I/F SQL
スキーマ言語 SQL(DDL) 無い SQL(DDL)
データ一貫性
参照一貫性
テーブル内一貫性
BASE理論
緩やかな一貫性
厳格な一貫性
1台あたりの性能
イベント駆動による
最大限の性能
SW次第
実績あるRDBは
ある程度
高可用性
通常、高速の
2レプリケーション
ノード分散による
冗長性有り
別の仕掛けが必要
拡張性
自律的な
スケールアウト
スケールアウト
SW次第
スケールアップ
GridDB
テーブル間一貫性を除けば、全てをカバーする
21
© 2022 Toshiba Digital Solutions Corporation
IoT System左側
IoTシステムの内部構成
データ収集 データ蓄積 データ分析 データリンク
デバイス
センサー
外部
システム
デバイス
センサー
外部
システム
ERP
MES
…
…
PLM
Visibility
Interface
要件「登録更新レスポンス」 要件「SQL&スループット」
左側 右側
22
© 2022 Toshiba Digital Solutions Corporation
IoT System
従来ケース
異なる特性を持つ複数のDBの使い分け
デバイス
センサー
外部
システム
デバイス
センサー
外部
システム
ERP
MES
…
…
PLM
Visibility
Interface
要件「登録更新レスポンス」 要件「SQL&スループット」
NoSQL
Storage
SQL
(RDB)
NoSQL
DWH
ラムダアーキ
23
© 2022 Toshiba Digital Solutions Corporation
IoT System
デバイス
センサー
外部
システム
デバイス
センサー
外部
システム
ERP
MES
…
…
PLM
Visibility
Interface
NoSQL
Storage
SQL
(RDB)
NoSQL
DWH
使い分けがなぜ問題なのか?
構築・運用コストの上昇
システムの複雑化
可用性・信頼性に不安
リアルタイム性が失われる
ラムダアーキ
24
© 2022 Toshiba Digital Solutions Corporation
GridDBならば
これらの課題を忙殺されずに、ビジネスの付加価値向上に注力できる
IoT System
デバイス
センサー
外部
システム
デバイス
センサー
外部
システム
ERP
MES
…
…
PLM
Visibility
Interface
要件「登録更新レスポンス」 要件「SQL&スループット」
25
© 2022 Toshiba Digital Solutions Corporation
内部構成
ManagementTool Java C API JDBC, ODBC
NoSQL
CLIENT
SQL
EventEngine
Data Processor
Login Handler
Sync Service
Checkpoint Service
SQL Processor
SQL Compiler
SQL Operator
SQL Tmp Store
Log Manager, WAL Buffer
Partition, Chunk Manager
Puggable
Data Stores
DS1 DS2
Checkpoint Files, Log Files
GRIDDB NODE
System
Service
Cluster
Service
GridDBにおける
CPUのようなもの
自律的
DBクラスタ
アルゴリズム
データ管理の
ご本尊
SQL処理
並列処理
WALリカバリや
スナップショットなど
縁の下の力持ち
JDBCなど
クライアント
ライブラリ
26
© 2022 Toshiba Digital Solutions Corporation
03
効率良く複数サーバを利用してパフォーマンスアップ
自律的なDBクラスタ
27
© 2022 Toshiba Digital Solutions Corporation
スケールアウト型DB
効率良く複数サーバを利用してパフォーマンスアップ
NoSQL
NoSQL NoSQL
NoSQL NoSQL NoSQL NoSQL NoSQL
28
© 2022 Toshiba Digital Solutions Corporation
スケールアウトDBの基本概念
ID FirstName LastName Age
1 Taro Yamada 21
2 Jiro Tanaka 25
3 Saburo Sato 33
4 Masakazu Hattori 32
ID FirstName LastName Age
1 Taro Yamada 21
3 Saburo Sato 33
ID FirstName LastName Age
2 Jiro Tanaka 25
4 Masakazu Hattori 32
NoSQL NoSQL
オリジナルテーブル
Horizontal Partitions
NoSQL
NoSQL
NoSQL
ID FirstName LastName Age
1 Taro Yamada 21
3 Saburo Sato 33
4 Masakazu Hattori 32
ID FirstName LastName Age
2 Jiro Tanaka 25
4 Masakazu Hattori 32
1 Taro Yamada 21
ID FirstName LastName Age
3 Saburo Sato 33
2 Jiro Tanaka 25
(1) シャーディング(Sharding)
…複数サーバへのデータ分散
(2) レプリケーション(Replication)
…障害に備えたデータ複製
29
© 2022 Toshiba Digital Solutions Corporation
データサービスを支えるDB。DBライフサイクルの観点で考えるべき
スケールアウトDB
従来のスケールアウト型DB GridDB
初期クラスタ 問題無し 問題無し
サーバ増設
リシャードが遅い
オフラインに戻す必要あり
オンラインスケールアウト
クラスタ縮退 さらにNGなケースも オンラインスケールダウン
障害後の現状復帰 オフライン&マニュアルで復帰 最適なクラスタ維持
30
© 2022 Toshiba Digital Solutions Corporation
自律的DBクラスタを支える技術群
“Database system including a plurality of nodes”
“Database system, server device, computer program product,
and information processing method”
US10162875B2、US10685041B2、US20180150501A1、etc
日米欧等特許済
②高速レプリケーション技術
①プランニング技術
④マスタレスクラスタ技術
③オートシャーディング技術
GridDB
初期クラスタ 問題無し
サーバ増設 オンラインスケールアウト
クラスタ縮退 オンラインスケールダウン
障害後の現状復帰 最適なクラスタ維持
31
© 2022 Toshiba Digital Solutions Corporation
①構成変化
検知
②データ配置
プランニング
③高速
データ移動
④アクセス先
切り替え
アイデアの骨子
サーバA サーバB サーバC
サーバA サーバB サーバC
サーバA サーバB サーバC
サーバA サーバB サーバC
APL APL
32
© 2022 Toshiba Digital Solutions Corporation
オンラインスケールアウト・イメージ
サーバA サーバB
代表
サーバC
○代表サーバ選出フェーズ
サーバ間の選挙により選出
当該サーバ障害後は再選挙
レプリケーション
オーナ 複製
シャーディング
33
© 2022 Toshiba Digital Solutions Corporation
オンラインスケールアウト・イメージ
①構成変化検知
(代表サーバが)
クラスタ構成変更の検知
サーバA サーバB
代表
サーバC
オーナ 複製
サーバD
空
34
© 2022 Toshiba Digital Solutions Corporation
オンラインスケールアウト・イメージ
②データ配置プランニング
(代表サーバが)
データ配置変更プランの作成
サーバA サーバB
代表
サーバC サーバD
空
サーバA サーバB
代表
サーバC サーバD
35
© 2022 Toshiba Digital Solutions Corporation
オンラインスケールアウト・イメージ
③高速データ移動
プランに従い(関連サーバ間で)
• データ送受信により複製作成
• 高速化のため、以下の3手順
(A)ブロックイメージ送受
(B)WALログ送受
(C)トランザクション情報含む
サーバA サーバB
代表
サーバC サーバD
36
© 2022 Toshiba Digital Solutions Corporation
オンラインスケールアウト・イメージ
④アクセス先切り替え
(関連サーバが)
タイミングをとったうえでに
アプリ側に接続先切り替えを通知 サーバA サーバB サーバC サーバD
APL
LSN
時間
サーバB
サーバD
37
© 2022 Toshiba Digital Solutions Corporation
オンラインスケールアウト・イメージ
サーバA サーバB
代表
サーバC サーバD
APL
④アクセス先切り替え
(関連サーバが)
タイミングをとったうえでに
アプリ側に接続先切り替えを通知
38
© 2022 Toshiba Digital Solutions Corporation
①構成変化
検知
②データ配置
プランニング
③高速
データ移動
④アクセス先
切り替え
データライフサイクルの観点
サーバA サーバB サーバC
サーバA サーバB サーバC
サーバA サーバB サーバC
サーバA サーバB サーバC
APL APL
39
© 2022 Toshiba Digital Solutions Corporation
サーバ障害フェールオーバ・イメージ
サーバA サーバB
代表
サーバC サーバD
APL
①構成変化検知
(代表サーバが)
クラスタ構成変更の検知
②データ配置プランニング
(代表サーバが)
データ配置変更プランの作成
40
© 2022 Toshiba Digital Solutions Corporation
サーバ障害フェールオーバ・イメージ
サーバA サーバB
代表
サーバC サーバD
APL
①構成変化検知
(代表サーバが)
クラスタ構成変更の検知
②データ配置プランニング
(代表サーバが)
データ配置変更プランの作成
④アクセス先切り替え
(関連サーバが)
タイミングをとったうえでに
アプリ側に接続先切り替えを通知
41
© 2022 Toshiba Digital Solutions Corporation
DBライフサイクルを支えるGridDB
GridDB
GridDB GridDB
GridDB GridDB GridDB GridDB GridDB
一部
廃棄
導入
運用
拡大
縮小
更新
DBライフサイクル
42
© 2022 Toshiba Digital Solutions Corporation
内部構成
ManagementTool Java C API JDBC, ODBC
NoSQL
CLIENT
SQL
EventEngine
Data Processor
Login Handler
Sync Service
Checkpoint Service
SQL Processor
SQL Compiler
SQL Operator
SQL Tmp Store
Log Manager, WAL Buffer
Partition, Chunk Manager
Puggable
Data Stores
DS1 DS2
Checkpoint Files, Log Files
GRIDDB NODE
System
Service
Cluster
Service
43
© 2022 Toshiba Digital Solutions Corporation
内部構成
ManagementTool Java C API JDBC, ODBC
NoSQL
CLIENT
SQL
EventEngine
Data Processor
Login Handler
Sync Service
Checkpoint Service
SQL Processor
SQL Compiler
SQL Operator
SQL Tmp Store
Log Manager, WAL Buffer
Partition, Chunk Manager
Puggable
Data Stores
DS1 DS2
Checkpoint Files, Log Files
GRIDDB NODE
System
Service
Cluster
Service
自律的
DBクラスタ
アルゴリズム
44
© 2022 Toshiba Digital Solutions Corporation
04
効率良く複数コア、メモリを利用してパフォーマンスアップ
イベント駆動アーキテクチャ
45
© 2022 Toshiba Digital Solutions Corporation
内部構成
ManagementTool Java C API JDBC, ODBC
NoSQL
CLIENT
SQL
EventEngine
Data Processor
Login Handler
Sync Service
Checkpoint Service
SQL Processor
SQL Compiler
SQL Operator
SQL Tmp Store
Log Manager, WAL Buffer
Partition, Chunk Manager
Puggable
Data Stores
DS1 DS2
Checkpoint Files, Log Files
GRIDDB NODE
System
Service
Cluster
Service
46
© 2022 Toshiba Digital Solutions Corporation
イベント駆動アーキテクチャ
効率良く複数コア、メモリを利用してパフォーマンスアップ
Request
SQL
処理
Request
NoSQL
処理
Request
SQL
処理
EventEngine
CPU関係
• スレッドへプロセッサ割り当て
• 要求をスレッドへ振り分け
• 時分割による同時実行
メモリ関係
• ロックフリー化
• バッファ処理の軽量化
ディスク関係
• リカバリ処理の軽量化
• ブロック書き込みの最適化
バッファ
ディスク
プロセッサ
コア
47
© 2022 Toshiba Digital Solutions Corporation
https://vladmihalcea.com/tips-oracle-jpa-hibernate/
既存DBの構成
バッファ
ディスク
プロセッサ
コア
48
© 2022 Toshiba Digital Solutions Corporation
バッファ
期待したパフォーマンスが出てこない
既存DBの構成
Disk
Processor
ロック競合
大容量メモリ
ディスクI/O量減
スループット増大
バッファプールのロック競合増大
ロックオーバヘッド増大
コア待ち時間増大
同時実行数増
メモリ量一定
ディスク
プロセッサ
コア
49
© 2022 Toshiba Digital Solutions Corporation
インメモリ時の実験データ
プロセッサ数
スループット
100
コア数
従来
1 コア数
プロセッサ数
スループット
100
コア数
1 コア数
従来
登録性能 検索性能
50
© 2022 Toshiba Digital Solutions Corporation
GridDBの場合
透過的メモリシェアリング、一種のメモリ融通
Disk
Processor
Disk Disk
Buffer Regulator
メモリ量一定
メモリ融通の一種
• メモリ利用状況を監視
• メモリー割当不足を予測
• バッファプール上の使われ
なさそうなメモリー特定
• メモリの貸し借り実施
• 衝突をできる限り削減
バッファ
ディスク
プロセッサ
コア
51
© 2022 Toshiba Digital Solutions Corporation
GridDBの場合
Disk
Processor
Disk Disk
Buffer Regulator
負荷増大
メモリ量一定
バッファ
ディスク
プロセッサ
コア
メモリ融通の一種
• メモリ利用状況を監視
• メモリー割当不足を予測
• バッファプール上の使われ
なさそうなメモリー特定
• メモリの貸し借り実施
• 衝突をできる限り削減
52
© 2022 Toshiba Digital Solutions Corporation
GridDBの場合
Disk
Processor
Disk Disk
Buffer Regulator
負荷増大
メモリ量一定
バッファ
ディスク
プロセッサ
コア
メモリ融通の一種
• メモリ利用状況を監視
• メモリー割当不足を予測
• バッファプール上の使われ
なさそうなメモリー特定
• メモリの貸し借り実施
• 衝突をできる限り削減
53
© 2022 Toshiba Digital Solutions Corporation
GridDBの場合
Disk
Processor
Disk Disk
Buffer Regulator
負荷増大
メモリ量一定
バッファ
ディスク
プロセッサ
コア
メモリ融通の一種
• メモリ利用状況を監視
• メモリー割当不足を予測
• バッファプール上の使われ
なさそうなメモリー特定
• メモリの貸し借り実施
• 衝突をできる限り削減
54
© 2022 Toshiba Digital Solutions Corporation
インメモリ時の実験データ
数倍から数十倍の差
プロセッサ数
スループット
100
コア数
従来
1 コア数
プロセッサ数
スループット
100
コア数
1 コア数
GridDB
従来
登録性能 検索性能
GridDB
55
© 2022 Toshiba Digital Solutions Corporation
05
他DBとのベンチマーク
56
© 2022 Toshiba Digital Solutions Corporation
ファーストデータ処理の性能
0
100
200
300
400
500
600
700
800
900
Workload A Workload B Workload C Workload D Workload E
スループット(x1000オペレーション/秒)
YCSB ワークロード毎のスループット
Cassandra GridDB
25倍
7.5倍
20倍
15.5倍
14.5倍
57
© 2022 Toshiba Digital Solutions Corporation
ファーストデータ処理の性能
0
20,000
40,000
60,000
80,000
100,000
120,000
スループット(オペレーション/秒)
登録
InfluxDB GridDB
0
500
1,000
1,500
2,000
2,500
3,000
3,500
4,000
4,500
ワークロードA
InfluxDB GridDB
0
500
1,000
1,500
2,000
2,500
3,000
3,500
4,000
4,500
ワークロードB
InfluxDB GridDB
6.5倍
7.5倍 6.5倍
58
© 2022 Toshiba Digital Solutions Corporation
ビッグデータ処理の性能
0
10
20
30
40
50
60
70
80
90
100
PostgreSQL 1ノード 2ノード 3ノード 4ノード
応答時間の比
TPC-H(SF100) 応答時間
GridDB
• PostgreSQL 9.6
• GridDB AE 4.0
• CPU : 8-core Intel® Xeon® E5-2620 v4 2.10GHz
• Memory : 64GB
• HDD : SAS 12TB
• OS : CentOS 7 with kernel 3.10.0-514.el7.x86_64
• Network : 1Gb Ethernet
• HDD : SAS 12T
• OS : CentOS 7 with kernel 3.10.0-514.el7.x86_64
• Network : 1Gb Ethernet
• Dataset : TPC-H(SF 100), Q1-Q8
59
© 2022 Toshiba Digital Solutions Corporation
06
おわりに
60
© 2022 Toshiba Digital Solutions Corporation
2022/04 GridDB 5.0 EE リリース
• アーキテクチャを刷新し、複数のデータモデルを扱えるプラガブルデータストアを実現
• 独自の高効率チェックポイントアルゴリズム技術 HCAL (Highly efficient Checkpoint
Algorithm for Large-scale data)の開発
• 17%~46%(平均26%) TPC-H性能改善
61
© 2022 Toshiba Digital Solutions Corporation
2022/08 GridDB 5.1 EE リリース
• パブリッククラウドのデータセンターに障害や災害が起きてもDB継続使用を可能
62
© 2022 Toshiba Digital Solutions Corporation
2020年6月、SQLインターフェースのソースコード無償公開
https://github.com/griddb
63
© 2022 Toshiba Digital Solutions Corporation
ご清聴ありがとうございました。

More Related Content

Similar to ペタバイト級でも扱えるGridDBのアーキテクチャ Deep Dive

7 Reasons Not to Put an External Cache in Front of Your Database.pptx
7 Reasons Not to Put an External Cache in Front of Your Database.pptx7 Reasons Not to Put an External Cache in Front of Your Database.pptx
7 Reasons Not to Put an External Cache in Front of Your Database.pptxScyllaDB
 
Keeping your application’s latency SLAs no matter what
Keeping your application’s latency SLAs no matter whatKeeping your application’s latency SLAs no matter what
Keeping your application’s latency SLAs no matter whatScyllaDB
 
日本発のオープンソース・データベース GridDB
日本発のオープンソース・データベース GridDB日本発のオープンソース・データベース GridDB
日本発のオープンソース・データベース GridDBgriddb
 
Simplifying MySQL, Pre-FOSDEM MySQL Days, Brussels, January 30, 2020.
Simplifying MySQL, Pre-FOSDEM MySQL Days, Brussels, January 30, 2020.Simplifying MySQL, Pre-FOSDEM MySQL Days, Brussels, January 30, 2020.
Simplifying MySQL, Pre-FOSDEM MySQL Days, Brussels, January 30, 2020.Geir Høydalsvik
 
3. ami big data hadoop on ucs seminar may 2013
3. ami big data hadoop on ucs seminar may 20133. ami big data hadoop on ucs seminar may 2013
3. ami big data hadoop on ucs seminar may 2013Taldor Group
 
Introducción a Microsoft Azure 2023
Introducción a Microsoft Azure 2023Introducción a Microsoft Azure 2023
Introducción a Microsoft Azure 2023Mariano Kovo
 
Jean-René Roy : The Modern DBA
Jean-René Roy : The Modern DBAJean-René Roy : The Modern DBA
Jean-René Roy : The Modern DBAMSDEVMTL
 
Lessons from Building Large-Scale, Multi-Cloud, SaaS Software at Databricks
Lessons from Building Large-Scale, Multi-Cloud, SaaS Software at DatabricksLessons from Building Large-Scale, Multi-Cloud, SaaS Software at Databricks
Lessons from Building Large-Scale, Multi-Cloud, SaaS Software at DatabricksDatabricks
 
Replacing Your Cache with ScyllaDB
Replacing Your Cache with ScyllaDBReplacing Your Cache with ScyllaDB
Replacing Your Cache with ScyllaDBScyllaDB
 
NoSQL/SQLデュアルインタフェースを備えたIoT向けデータベースGridDB ~コマンドライン・インターフェース(CLI)を使ってみましょう~
NoSQL/SQLデュアルインタフェースを備えたIoT向けデータベースGridDB ~コマンドライン・インターフェース(CLI)を使ってみましょう~NoSQL/SQLデュアルインタフェースを備えたIoT向けデータベースGridDB ~コマンドライン・インターフェース(CLI)を使ってみましょう~
NoSQL/SQLデュアルインタフェースを備えたIoT向けデータベースGridDB ~コマンドライン・インターフェース(CLI)を使ってみましょう~griddb
 
Build Low-Latency Applications in Rust on ScyllaDB
Build Low-Latency Applications in Rust on ScyllaDBBuild Low-Latency Applications in Rust on ScyllaDB
Build Low-Latency Applications in Rust on ScyllaDBScyllaDB
 
Evolution of the DBA to Data Platform Administrator/Specialist
Evolution of the DBA to Data Platform Administrator/SpecialistEvolution of the DBA to Data Platform Administrator/Specialist
Evolution of the DBA to Data Platform Administrator/SpecialistTony Rogerson
 
The Modern Data Team for the Modern Data Stack: dbt and the Role of the Analy...
The Modern Data Team for the Modern Data Stack: dbt and the Role of the Analy...The Modern Data Team for the Modern Data Stack: dbt and the Role of the Analy...
The Modern Data Team for the Modern Data Stack: dbt and the Role of the Analy...Databricks
 
Oracle Database Migration to Oracle Cloud Infrastructure
Oracle Database Migration to Oracle Cloud InfrastructureOracle Database Migration to Oracle Cloud Infrastructure
Oracle Database Migration to Oracle Cloud InfrastructureSinanPetrusToma
 
PostgreSQL as a Strategic Tool
PostgreSQL as a Strategic ToolPostgreSQL as a Strategic Tool
PostgreSQL as a Strategic ToolEDB
 
Hadoop & no sql new generation database systems
Hadoop & no sql   new generation database systemsHadoop & no sql   new generation database systems
Hadoop & no sql new generation database systemsramazan fırın
 
The Perfect Storm: The Impact of Analytics, Big Data and Analytics
The Perfect Storm: The Impact of Analytics, Big Data and AnalyticsThe Perfect Storm: The Impact of Analytics, Big Data and Analytics
The Perfect Storm: The Impact of Analytics, Big Data and AnalyticsInside Analysis
 
Sysco Oracle Tour 2016 - What's new in FMW 12.2.1?
Sysco Oracle Tour 2016 - What's new in FMW 12.2.1?Sysco Oracle Tour 2016 - What's new in FMW 12.2.1?
Sysco Oracle Tour 2016 - What's new in FMW 12.2.1?Jon Petter Hjulstad
 
What's New in Upcoming Apache Spark 2.3
What's New in Upcoming Apache Spark 2.3What's New in Upcoming Apache Spark 2.3
What's New in Upcoming Apache Spark 2.3Databricks
 

Similar to ペタバイト級でも扱えるGridDBのアーキテクチャ Deep Dive (20)

7 Reasons Not to Put an External Cache in Front of Your Database.pptx
7 Reasons Not to Put an External Cache in Front of Your Database.pptx7 Reasons Not to Put an External Cache in Front of Your Database.pptx
7 Reasons Not to Put an External Cache in Front of Your Database.pptx
 
Keeping your application’s latency SLAs no matter what
Keeping your application’s latency SLAs no matter whatKeeping your application’s latency SLAs no matter what
Keeping your application’s latency SLAs no matter what
 
日本発のオープンソース・データベース GridDB
日本発のオープンソース・データベース GridDB日本発のオープンソース・データベース GridDB
日本発のオープンソース・データベース GridDB
 
Simplifying MySQL, Pre-FOSDEM MySQL Days, Brussels, January 30, 2020.
Simplifying MySQL, Pre-FOSDEM MySQL Days, Brussels, January 30, 2020.Simplifying MySQL, Pre-FOSDEM MySQL Days, Brussels, January 30, 2020.
Simplifying MySQL, Pre-FOSDEM MySQL Days, Brussels, January 30, 2020.
 
3. ami big data hadoop on ucs seminar may 2013
3. ami big data hadoop on ucs seminar may 20133. ami big data hadoop on ucs seminar may 2013
3. ami big data hadoop on ucs seminar may 2013
 
Introducción a Microsoft Azure 2023
Introducción a Microsoft Azure 2023Introducción a Microsoft Azure 2023
Introducción a Microsoft Azure 2023
 
Jean-René Roy : The Modern DBA
Jean-René Roy : The Modern DBAJean-René Roy : The Modern DBA
Jean-René Roy : The Modern DBA
 
Lessons from Building Large-Scale, Multi-Cloud, SaaS Software at Databricks
Lessons from Building Large-Scale, Multi-Cloud, SaaS Software at DatabricksLessons from Building Large-Scale, Multi-Cloud, SaaS Software at Databricks
Lessons from Building Large-Scale, Multi-Cloud, SaaS Software at Databricks
 
Replacing Your Cache with ScyllaDB
Replacing Your Cache with ScyllaDBReplacing Your Cache with ScyllaDB
Replacing Your Cache with ScyllaDB
 
NoSQL/SQLデュアルインタフェースを備えたIoT向けデータベースGridDB ~コマンドライン・インターフェース(CLI)を使ってみましょう~
NoSQL/SQLデュアルインタフェースを備えたIoT向けデータベースGridDB ~コマンドライン・インターフェース(CLI)を使ってみましょう~NoSQL/SQLデュアルインタフェースを備えたIoT向けデータベースGridDB ~コマンドライン・インターフェース(CLI)を使ってみましょう~
NoSQL/SQLデュアルインタフェースを備えたIoT向けデータベースGridDB ~コマンドライン・インターフェース(CLI)を使ってみましょう~
 
Build Low-Latency Applications in Rust on ScyllaDB
Build Low-Latency Applications in Rust on ScyllaDBBuild Low-Latency Applications in Rust on ScyllaDB
Build Low-Latency Applications in Rust on ScyllaDB
 
Evolution of the DBA to Data Platform Administrator/Specialist
Evolution of the DBA to Data Platform Administrator/SpecialistEvolution of the DBA to Data Platform Administrator/Specialist
Evolution of the DBA to Data Platform Administrator/Specialist
 
The Modern Data Team for the Modern Data Stack: dbt and the Role of the Analy...
The Modern Data Team for the Modern Data Stack: dbt and the Role of the Analy...The Modern Data Team for the Modern Data Stack: dbt and the Role of the Analy...
The Modern Data Team for the Modern Data Stack: dbt and the Role of the Analy...
 
Oracle Database Migration to Oracle Cloud Infrastructure
Oracle Database Migration to Oracle Cloud InfrastructureOracle Database Migration to Oracle Cloud Infrastructure
Oracle Database Migration to Oracle Cloud Infrastructure
 
PostgreSQL as a Strategic Tool
PostgreSQL as a Strategic ToolPostgreSQL as a Strategic Tool
PostgreSQL as a Strategic Tool
 
Hadoop & no sql new generation database systems
Hadoop & no sql   new generation database systemsHadoop & no sql   new generation database systems
Hadoop & no sql new generation database systems
 
The Perfect Storm: The Impact of Analytics, Big Data and Analytics
The Perfect Storm: The Impact of Analytics, Big Data and AnalyticsThe Perfect Storm: The Impact of Analytics, Big Data and Analytics
The Perfect Storm: The Impact of Analytics, Big Data and Analytics
 
Sysco Oracle Tour 2016 - What's new in FMW 12.2.1?
Sysco Oracle Tour 2016 - What's new in FMW 12.2.1?Sysco Oracle Tour 2016 - What's new in FMW 12.2.1?
Sysco Oracle Tour 2016 - What's new in FMW 12.2.1?
 
Sql server2008
Sql server2008Sql server2008
Sql server2008
 
What's New in Upcoming Apache Spark 2.3
What's New in Upcoming Apache Spark 2.3What's New in Upcoming Apache Spark 2.3
What's New in Upcoming Apache Spark 2.3
 

More from griddb

ビッグデータ・IoTシステム向け高速スケールアウト型データベース GridDB - 従来のデータベースでは不可能だったビッグデータのリアルタイム分析が可...
ビッグデータ・IoTシステム向け高速スケールアウト型データベース GridDB  - 従来のデータベースでは不可能だったビッグデータのリアルタイム分析が可...ビッグデータ・IoTシステム向け高速スケールアウト型データベース GridDB  - 従来のデータベースでは不可能だったビッグデータのリアルタイム分析が可...
ビッグデータ・IoTシステム向け高速スケールアウト型データベース GridDB - 従来のデータベースでは不可能だったビッグデータのリアルタイム分析が可...griddb
 
NoSQL/SQLデュアルインターフェースを備えた IoT向けデータベースGridDB - 強化された時系列データ管理・検索機能について -
NoSQL/SQLデュアルインターフェースを備えた IoT向けデータベースGridDB - 強化された時系列データ管理・検索機能について -NoSQL/SQLデュアルインターフェースを備えた IoT向けデータベースGridDB - 強化された時系列データ管理・検索機能について -
NoSQL/SQLデュアルインターフェースを備えた IoT向けデータベースGridDB - 強化された時系列データ管理・検索機能について -griddb
 
東芝のデータ処理技術基盤のご紹介(ポスター)
東芝のデータ処理技術基盤のご紹介(ポスター)東芝のデータ処理技術基盤のご紹介(ポスター)
東芝のデータ処理技術基盤のご紹介(ポスター)griddb
 
NoSQL/SQLデュアルインターフェースを備えた IoT向けデータベースGridDB ~ クラウドでGridDBを使ってみましょう ~
NoSQL/SQLデュアルインターフェースを備えた IoT向けデータベースGridDB ~ クラウドでGridDBを使ってみましょう ~NoSQL/SQLデュアルインターフェースを備えた IoT向けデータベースGridDB ~ クラウドでGridDBを使ってみましょう ~
NoSQL/SQLデュアルインターフェースを備えた IoT向けデータベースGridDB ~ クラウドでGridDBを使ってみましょう ~griddb
 
IoT指向のクラウドデータベースサービスGridDB Cloud ~その特徴とデータ連携の方法~
IoT指向のクラウドデータベースサービスGridDB Cloud ~その特徴とデータ連携の方法~IoT指向のクラウドデータベースサービスGridDB Cloud ~その特徴とデータ連携の方法~
IoT指向のクラウドデータベースサービスGridDB Cloud ~その特徴とデータ連携の方法~griddb
 
多様性時代のDB選択
多様性時代のDB選択多様性時代のDB選択
多様性時代のDB選択griddb
 
ビッグデータやIoTシステムを支えるデータベース 『GridDB』
ビッグデータやIoTシステムを支えるデータベース 『GridDB』ビッグデータやIoTシステムを支えるデータベース 『GridDB』
ビッグデータやIoTシステムを支えるデータベース 『GridDB』griddb
 
【ハンズオンセミナー】NoSQL/SQLデュアルインタフェースを備えたIoT向けデータベースGridDB ~ GridDB CE 4.6のテーブルパーティ...
【ハンズオンセミナー】NoSQL/SQLデュアルインタフェースを備えたIoT向けデータベースGridDB ~ GridDB CE 4.6のテーブルパーティ...【ハンズオンセミナー】NoSQL/SQLデュアルインタフェースを備えたIoT向けデータベースGridDB ~ GridDB CE 4.6のテーブルパーティ...
【ハンズオンセミナー】NoSQL/SQLデュアルインタフェースを備えたIoT向けデータベースGridDB ~ GridDB CE 4.6のテーブルパーティ...griddb
 
データを事業に活かすために必要なデータ基盤とは
データを事業に活かすために必要なデータ基盤とはデータを事業に活かすために必要なデータ基盤とは
データを事業に活かすために必要なデータ基盤とはgriddb
 
GridDB: A Distributed SQL time series database for IoT and Big Data
GridDB: A Distributed SQL time series database for IoT and Big DataGridDB: A Distributed SQL time series database for IoT and Big Data
GridDB: A Distributed SQL time series database for IoT and Big Datagriddb
 
オープンソースデータベース GridDB ~ なぜ いま、データベースを開発したのか?その理由とGridDBの概要紹介 ~
オープンソースデータベース GridDB ~ なぜ いま、データベースを開発したのか?その理由とGridDBの概要紹介 ~オープンソースデータベース GridDB ~ なぜ いま、データベースを開発したのか?その理由とGridDBの概要紹介 ~
オープンソースデータベース GridDB ~ なぜ いま、データベースを開発したのか?その理由とGridDBの概要紹介 ~griddb
 
多様性時代のDB選択
多様性時代のDB選択多様性時代のDB選択
多様性時代のDB選択griddb
 
【GridDB入門】 IoT、そしてサイバー・フィジカル・システムを支える オープンソースデータベース GridDB ~ こだわりの理由と実現方法のポイント
【GridDB入門】 IoT、そしてサイバー・フィジカル・システムを支える オープンソースデータベース GridDB ~ こだわりの理由と実現方法のポイント【GridDB入門】 IoT、そしてサイバー・フィジカル・システムを支える オープンソースデータベース GridDB ~ こだわりの理由と実現方法のポイント
【GridDB入門】 IoT、そしてサイバー・フィジカル・システムを支える オープンソースデータベース GridDB ~ こだわりの理由と実現方法のポイントgriddb
 
ビッグIoTデータに対応したデータベース GridDB
ビッグIoTデータに対応したデータベース GridDBビッグIoTデータに対応したデータベース GridDB
ビッグIoTデータに対応したデータベース GridDBgriddb
 
オープンソースデータベース GridDBとそのオープンコミュニティ活動
オープンソースデータベース GridDBとそのオープンコミュニティ活動オープンソースデータベース GridDBとそのオープンコミュニティ活動
オープンソースデータベース GridDBとそのオープンコミュニティ活動griddb
 
GridDBを使用する理由…IoTビッグデータ システムを支える分散スケールアウト型NoSQL/SQLハイブリットデータベースGridDB
GridDBを使用する理由…IoTビッグデータ システムを支える分散スケールアウト型NoSQL/SQLハイブリットデータベースGridDBGridDBを使用する理由…IoTビッグデータ システムを支える分散スケールアウト型NoSQL/SQLハイブリットデータベースGridDB
GridDBを使用する理由…IoTビッグデータ システムを支える分散スケールアウト型NoSQL/SQLハイブリットデータベースGridDBgriddb
 
IoT時代を迎えて、あなたのシステムは今までのDBで充分ですか?~ GridDBとその適用事例紹介 ~
IoT時代を迎えて、あなたのシステムは今までのDBで充分ですか?~ GridDBとその適用事例紹介 ~ IoT時代を迎えて、あなたのシステムは今までのDBで充分ですか?~ GridDBとその適用事例紹介 ~
IoT時代を迎えて、あなたのシステムは今までのDBで充分ですか?~ GridDBとその適用事例紹介 ~ griddb
 
サイバーフィジカルシステム(CPS)に必要なデータ基盤を考える ~ NoSQL/SQLハイブリット型GridDB ~
サイバーフィジカルシステム(CPS)に必要なデータ基盤を考える ~ NoSQL/SQLハイブリット型GridDB ~サイバーフィジカルシステム(CPS)に必要なデータ基盤を考える ~ NoSQL/SQLハイブリット型GridDB ~
サイバーフィジカルシステム(CPS)に必要なデータ基盤を考える ~ NoSQL/SQLハイブリット型GridDB ~griddb
 
DXを支えるスケールアウト型NoSQL/SQLハイブリッドデータベース GridDB
DXを支えるスケールアウト型NoSQL/SQLハイブリッドデータベース GridDBDXを支えるスケールアウト型NoSQL/SQLハイブリッドデータベース GridDB
DXを支えるスケールアウト型NoSQL/SQLハイブリッドデータベース GridDBgriddb
 
「情報爆発時代」を勝ち抜くためのIT基盤技術とは?膨大な情報から最適解を 「SmartEDA®」
「情報爆発時代」を勝ち抜くためのIT基盤技術とは?膨大な情報から最適解を 「SmartEDA®」「情報爆発時代」を勝ち抜くためのIT基盤技術とは?膨大な情報から最適解を 「SmartEDA®」
「情報爆発時代」を勝ち抜くためのIT基盤技術とは?膨大な情報から最適解を 「SmartEDA®」griddb
 

More from griddb (20)

ビッグデータ・IoTシステム向け高速スケールアウト型データベース GridDB - 従来のデータベースでは不可能だったビッグデータのリアルタイム分析が可...
ビッグデータ・IoTシステム向け高速スケールアウト型データベース GridDB  - 従来のデータベースでは不可能だったビッグデータのリアルタイム分析が可...ビッグデータ・IoTシステム向け高速スケールアウト型データベース GridDB  - 従来のデータベースでは不可能だったビッグデータのリアルタイム分析が可...
ビッグデータ・IoTシステム向け高速スケールアウト型データベース GridDB - 従来のデータベースでは不可能だったビッグデータのリアルタイム分析が可...
 
NoSQL/SQLデュアルインターフェースを備えた IoT向けデータベースGridDB - 強化された時系列データ管理・検索機能について -
NoSQL/SQLデュアルインターフェースを備えた IoT向けデータベースGridDB - 強化された時系列データ管理・検索機能について -NoSQL/SQLデュアルインターフェースを備えた IoT向けデータベースGridDB - 強化された時系列データ管理・検索機能について -
NoSQL/SQLデュアルインターフェースを備えた IoT向けデータベースGridDB - 強化された時系列データ管理・検索機能について -
 
東芝のデータ処理技術基盤のご紹介(ポスター)
東芝のデータ処理技術基盤のご紹介(ポスター)東芝のデータ処理技術基盤のご紹介(ポスター)
東芝のデータ処理技術基盤のご紹介(ポスター)
 
NoSQL/SQLデュアルインターフェースを備えた IoT向けデータベースGridDB ~ クラウドでGridDBを使ってみましょう ~
NoSQL/SQLデュアルインターフェースを備えた IoT向けデータベースGridDB ~ クラウドでGridDBを使ってみましょう ~NoSQL/SQLデュアルインターフェースを備えた IoT向けデータベースGridDB ~ クラウドでGridDBを使ってみましょう ~
NoSQL/SQLデュアルインターフェースを備えた IoT向けデータベースGridDB ~ クラウドでGridDBを使ってみましょう ~
 
IoT指向のクラウドデータベースサービスGridDB Cloud ~その特徴とデータ連携の方法~
IoT指向のクラウドデータベースサービスGridDB Cloud ~その特徴とデータ連携の方法~IoT指向のクラウドデータベースサービスGridDB Cloud ~その特徴とデータ連携の方法~
IoT指向のクラウドデータベースサービスGridDB Cloud ~その特徴とデータ連携の方法~
 
多様性時代のDB選択
多様性時代のDB選択多様性時代のDB選択
多様性時代のDB選択
 
ビッグデータやIoTシステムを支えるデータベース 『GridDB』
ビッグデータやIoTシステムを支えるデータベース 『GridDB』ビッグデータやIoTシステムを支えるデータベース 『GridDB』
ビッグデータやIoTシステムを支えるデータベース 『GridDB』
 
【ハンズオンセミナー】NoSQL/SQLデュアルインタフェースを備えたIoT向けデータベースGridDB ~ GridDB CE 4.6のテーブルパーティ...
【ハンズオンセミナー】NoSQL/SQLデュアルインタフェースを備えたIoT向けデータベースGridDB ~ GridDB CE 4.6のテーブルパーティ...【ハンズオンセミナー】NoSQL/SQLデュアルインタフェースを備えたIoT向けデータベースGridDB ~ GridDB CE 4.6のテーブルパーティ...
【ハンズオンセミナー】NoSQL/SQLデュアルインタフェースを備えたIoT向けデータベースGridDB ~ GridDB CE 4.6のテーブルパーティ...
 
データを事業に活かすために必要なデータ基盤とは
データを事業に活かすために必要なデータ基盤とはデータを事業に活かすために必要なデータ基盤とは
データを事業に活かすために必要なデータ基盤とは
 
GridDB: A Distributed SQL time series database for IoT and Big Data
GridDB: A Distributed SQL time series database for IoT and Big DataGridDB: A Distributed SQL time series database for IoT and Big Data
GridDB: A Distributed SQL time series database for IoT and Big Data
 
オープンソースデータベース GridDB ~ なぜ いま、データベースを開発したのか?その理由とGridDBの概要紹介 ~
オープンソースデータベース GridDB ~ なぜ いま、データベースを開発したのか?その理由とGridDBの概要紹介 ~オープンソースデータベース GridDB ~ なぜ いま、データベースを開発したのか?その理由とGridDBの概要紹介 ~
オープンソースデータベース GridDB ~ なぜ いま、データベースを開発したのか?その理由とGridDBの概要紹介 ~
 
多様性時代のDB選択
多様性時代のDB選択多様性時代のDB選択
多様性時代のDB選択
 
【GridDB入門】 IoT、そしてサイバー・フィジカル・システムを支える オープンソースデータベース GridDB ~ こだわりの理由と実現方法のポイント
【GridDB入門】 IoT、そしてサイバー・フィジカル・システムを支える オープンソースデータベース GridDB ~ こだわりの理由と実現方法のポイント【GridDB入門】 IoT、そしてサイバー・フィジカル・システムを支える オープンソースデータベース GridDB ~ こだわりの理由と実現方法のポイント
【GridDB入門】 IoT、そしてサイバー・フィジカル・システムを支える オープンソースデータベース GridDB ~ こだわりの理由と実現方法のポイント
 
ビッグIoTデータに対応したデータベース GridDB
ビッグIoTデータに対応したデータベース GridDBビッグIoTデータに対応したデータベース GridDB
ビッグIoTデータに対応したデータベース GridDB
 
オープンソースデータベース GridDBとそのオープンコミュニティ活動
オープンソースデータベース GridDBとそのオープンコミュニティ活動オープンソースデータベース GridDBとそのオープンコミュニティ活動
オープンソースデータベース GridDBとそのオープンコミュニティ活動
 
GridDBを使用する理由…IoTビッグデータ システムを支える分散スケールアウト型NoSQL/SQLハイブリットデータベースGridDB
GridDBを使用する理由…IoTビッグデータ システムを支える分散スケールアウト型NoSQL/SQLハイブリットデータベースGridDBGridDBを使用する理由…IoTビッグデータ システムを支える分散スケールアウト型NoSQL/SQLハイブリットデータベースGridDB
GridDBを使用する理由…IoTビッグデータ システムを支える分散スケールアウト型NoSQL/SQLハイブリットデータベースGridDB
 
IoT時代を迎えて、あなたのシステムは今までのDBで充分ですか?~ GridDBとその適用事例紹介 ~
IoT時代を迎えて、あなたのシステムは今までのDBで充分ですか?~ GridDBとその適用事例紹介 ~ IoT時代を迎えて、あなたのシステムは今までのDBで充分ですか?~ GridDBとその適用事例紹介 ~
IoT時代を迎えて、あなたのシステムは今までのDBで充分ですか?~ GridDBとその適用事例紹介 ~
 
サイバーフィジカルシステム(CPS)に必要なデータ基盤を考える ~ NoSQL/SQLハイブリット型GridDB ~
サイバーフィジカルシステム(CPS)に必要なデータ基盤を考える ~ NoSQL/SQLハイブリット型GridDB ~サイバーフィジカルシステム(CPS)に必要なデータ基盤を考える ~ NoSQL/SQLハイブリット型GridDB ~
サイバーフィジカルシステム(CPS)に必要なデータ基盤を考える ~ NoSQL/SQLハイブリット型GridDB ~
 
DXを支えるスケールアウト型NoSQL/SQLハイブリッドデータベース GridDB
DXを支えるスケールアウト型NoSQL/SQLハイブリッドデータベース GridDBDXを支えるスケールアウト型NoSQL/SQLハイブリッドデータベース GridDB
DXを支えるスケールアウト型NoSQL/SQLハイブリッドデータベース GridDB
 
「情報爆発時代」を勝ち抜くためのIT基盤技術とは?膨大な情報から最適解を 「SmartEDA®」
「情報爆発時代」を勝ち抜くためのIT基盤技術とは?膨大な情報から最適解を 「SmartEDA®」「情報爆発時代」を勝ち抜くためのIT基盤技術とは?膨大な情報から最適解を 「SmartEDA®」
「情報爆発時代」を勝ち抜くためのIT基盤技術とは?膨大な情報から最適解を 「SmartEDA®」
 

Recently uploaded

"ML in Production",Oleksandr Bagan
"ML in Production",Oleksandr Bagan"ML in Production",Oleksandr Bagan
"ML in Production",Oleksandr BaganFwdays
 
New from BookNet Canada for 2024: BNC CataList - Tech Forum 2024
New from BookNet Canada for 2024: BNC CataList - Tech Forum 2024New from BookNet Canada for 2024: BNC CataList - Tech Forum 2024
New from BookNet Canada for 2024: BNC CataList - Tech Forum 2024BookNet Canada
 
DevoxxFR 2024 Reproducible Builds with Apache Maven
DevoxxFR 2024 Reproducible Builds with Apache MavenDevoxxFR 2024 Reproducible Builds with Apache Maven
DevoxxFR 2024 Reproducible Builds with Apache MavenHervé Boutemy
 
How AI, OpenAI, and ChatGPT impact business and software.
How AI, OpenAI, and ChatGPT impact business and software.How AI, OpenAI, and ChatGPT impact business and software.
How AI, OpenAI, and ChatGPT impact business and software.Curtis Poe
 
Digital Identity is Under Attack: FIDO Paris Seminar.pptx
Digital Identity is Under Attack: FIDO Paris Seminar.pptxDigital Identity is Under Attack: FIDO Paris Seminar.pptx
Digital Identity is Under Attack: FIDO Paris Seminar.pptxLoriGlavin3
 
DSPy a system for AI to Write Prompts and Do Fine Tuning
DSPy a system for AI to Write Prompts and Do Fine TuningDSPy a system for AI to Write Prompts and Do Fine Tuning
DSPy a system for AI to Write Prompts and Do Fine TuningLars Bell
 
Connect Wave/ connectwave Pitch Deck Presentation
Connect Wave/ connectwave Pitch Deck PresentationConnect Wave/ connectwave Pitch Deck Presentation
Connect Wave/ connectwave Pitch Deck PresentationSlibray Presentation
 
The Ultimate Guide to Choosing WordPress Pros and Cons
The Ultimate Guide to Choosing WordPress Pros and ConsThe Ultimate Guide to Choosing WordPress Pros and Cons
The Ultimate Guide to Choosing WordPress Pros and ConsPixlogix Infotech
 
Ensuring Technical Readiness For Copilot in Microsoft 365
Ensuring Technical Readiness For Copilot in Microsoft 365Ensuring Technical Readiness For Copilot in Microsoft 365
Ensuring Technical Readiness For Copilot in Microsoft 3652toLead Limited
 
Tampa BSides - Chef's Tour of Microsoft Security Adoption Framework (SAF)
Tampa BSides - Chef's Tour of Microsoft Security Adoption Framework (SAF)Tampa BSides - Chef's Tour of Microsoft Security Adoption Framework (SAF)
Tampa BSides - Chef's Tour of Microsoft Security Adoption Framework (SAF)Mark Simos
 
The Role of FIDO in a Cyber Secure Netherlands: FIDO Paris Seminar.pptx
The Role of FIDO in a Cyber Secure Netherlands: FIDO Paris Seminar.pptxThe Role of FIDO in a Cyber Secure Netherlands: FIDO Paris Seminar.pptx
The Role of FIDO in a Cyber Secure Netherlands: FIDO Paris Seminar.pptxLoriGlavin3
 
Transcript: New from BookNet Canada for 2024: BNC CataList - Tech Forum 2024
Transcript: New from BookNet Canada for 2024: BNC CataList - Tech Forum 2024Transcript: New from BookNet Canada for 2024: BNC CataList - Tech Forum 2024
Transcript: New from BookNet Canada for 2024: BNC CataList - Tech Forum 2024BookNet Canada
 
From Family Reminiscence to Scholarly Archive .
From Family Reminiscence to Scholarly Archive .From Family Reminiscence to Scholarly Archive .
From Family Reminiscence to Scholarly Archive .Alan Dix
 
Generative AI for Technical Writer or Information Developers
Generative AI for Technical Writer or Information DevelopersGenerative AI for Technical Writer or Information Developers
Generative AI for Technical Writer or Information DevelopersRaghuram Pandurangan
 
DevEX - reference for building teams, processes, and platforms
DevEX - reference for building teams, processes, and platformsDevEX - reference for building teams, processes, and platforms
DevEX - reference for building teams, processes, and platformsSergiu Bodiu
 
SAP Build Work Zone - Overview L2-L3.pptx
SAP Build Work Zone - Overview L2-L3.pptxSAP Build Work Zone - Overview L2-L3.pptx
SAP Build Work Zone - Overview L2-L3.pptxNavinnSomaal
 
Unraveling Multimodality with Large Language Models.pdf
Unraveling Multimodality with Large Language Models.pdfUnraveling Multimodality with Large Language Models.pdf
Unraveling Multimodality with Large Language Models.pdfAlex Barbosa Coqueiro
 
Gen AI in Business - Global Trends Report 2024.pdf
Gen AI in Business - Global Trends Report 2024.pdfGen AI in Business - Global Trends Report 2024.pdf
Gen AI in Business - Global Trends Report 2024.pdfAddepto
 
New from BookNet Canada for 2024: Loan Stars - Tech Forum 2024
New from BookNet Canada for 2024: Loan Stars - Tech Forum 2024New from BookNet Canada for 2024: Loan Stars - Tech Forum 2024
New from BookNet Canada for 2024: Loan Stars - Tech Forum 2024BookNet Canada
 

Recently uploaded (20)

"ML in Production",Oleksandr Bagan
"ML in Production",Oleksandr Bagan"ML in Production",Oleksandr Bagan
"ML in Production",Oleksandr Bagan
 
New from BookNet Canada for 2024: BNC CataList - Tech Forum 2024
New from BookNet Canada for 2024: BNC CataList - Tech Forum 2024New from BookNet Canada for 2024: BNC CataList - Tech Forum 2024
New from BookNet Canada for 2024: BNC CataList - Tech Forum 2024
 
DevoxxFR 2024 Reproducible Builds with Apache Maven
DevoxxFR 2024 Reproducible Builds with Apache MavenDevoxxFR 2024 Reproducible Builds with Apache Maven
DevoxxFR 2024 Reproducible Builds with Apache Maven
 
How AI, OpenAI, and ChatGPT impact business and software.
How AI, OpenAI, and ChatGPT impact business and software.How AI, OpenAI, and ChatGPT impact business and software.
How AI, OpenAI, and ChatGPT impact business and software.
 
Digital Identity is Under Attack: FIDO Paris Seminar.pptx
Digital Identity is Under Attack: FIDO Paris Seminar.pptxDigital Identity is Under Attack: FIDO Paris Seminar.pptx
Digital Identity is Under Attack: FIDO Paris Seminar.pptx
 
DSPy a system for AI to Write Prompts and Do Fine Tuning
DSPy a system for AI to Write Prompts and Do Fine TuningDSPy a system for AI to Write Prompts and Do Fine Tuning
DSPy a system for AI to Write Prompts and Do Fine Tuning
 
Connect Wave/ connectwave Pitch Deck Presentation
Connect Wave/ connectwave Pitch Deck PresentationConnect Wave/ connectwave Pitch Deck Presentation
Connect Wave/ connectwave Pitch Deck Presentation
 
The Ultimate Guide to Choosing WordPress Pros and Cons
The Ultimate Guide to Choosing WordPress Pros and ConsThe Ultimate Guide to Choosing WordPress Pros and Cons
The Ultimate Guide to Choosing WordPress Pros and Cons
 
Ensuring Technical Readiness For Copilot in Microsoft 365
Ensuring Technical Readiness For Copilot in Microsoft 365Ensuring Technical Readiness For Copilot in Microsoft 365
Ensuring Technical Readiness For Copilot in Microsoft 365
 
Tampa BSides - Chef's Tour of Microsoft Security Adoption Framework (SAF)
Tampa BSides - Chef's Tour of Microsoft Security Adoption Framework (SAF)Tampa BSides - Chef's Tour of Microsoft Security Adoption Framework (SAF)
Tampa BSides - Chef's Tour of Microsoft Security Adoption Framework (SAF)
 
DMCC Future of Trade Web3 - Special Edition
DMCC Future of Trade Web3 - Special EditionDMCC Future of Trade Web3 - Special Edition
DMCC Future of Trade Web3 - Special Edition
 
The Role of FIDO in a Cyber Secure Netherlands: FIDO Paris Seminar.pptx
The Role of FIDO in a Cyber Secure Netherlands: FIDO Paris Seminar.pptxThe Role of FIDO in a Cyber Secure Netherlands: FIDO Paris Seminar.pptx
The Role of FIDO in a Cyber Secure Netherlands: FIDO Paris Seminar.pptx
 
Transcript: New from BookNet Canada for 2024: BNC CataList - Tech Forum 2024
Transcript: New from BookNet Canada for 2024: BNC CataList - Tech Forum 2024Transcript: New from BookNet Canada for 2024: BNC CataList - Tech Forum 2024
Transcript: New from BookNet Canada for 2024: BNC CataList - Tech Forum 2024
 
From Family Reminiscence to Scholarly Archive .
From Family Reminiscence to Scholarly Archive .From Family Reminiscence to Scholarly Archive .
From Family Reminiscence to Scholarly Archive .
 
Generative AI for Technical Writer or Information Developers
Generative AI for Technical Writer or Information DevelopersGenerative AI for Technical Writer or Information Developers
Generative AI for Technical Writer or Information Developers
 
DevEX - reference for building teams, processes, and platforms
DevEX - reference for building teams, processes, and platformsDevEX - reference for building teams, processes, and platforms
DevEX - reference for building teams, processes, and platforms
 
SAP Build Work Zone - Overview L2-L3.pptx
SAP Build Work Zone - Overview L2-L3.pptxSAP Build Work Zone - Overview L2-L3.pptx
SAP Build Work Zone - Overview L2-L3.pptx
 
Unraveling Multimodality with Large Language Models.pdf
Unraveling Multimodality with Large Language Models.pdfUnraveling Multimodality with Large Language Models.pdf
Unraveling Multimodality with Large Language Models.pdf
 
Gen AI in Business - Global Trends Report 2024.pdf
Gen AI in Business - Global Trends Report 2024.pdfGen AI in Business - Global Trends Report 2024.pdf
Gen AI in Business - Global Trends Report 2024.pdf
 
New from BookNet Canada for 2024: Loan Stars - Tech Forum 2024
New from BookNet Canada for 2024: Loan Stars - Tech Forum 2024New from BookNet Canada for 2024: Loan Stars - Tech Forum 2024
New from BookNet Canada for 2024: Loan Stars - Tech Forum 2024
 

ペタバイト級でも扱えるGridDBのアーキテクチャ Deep Dive

  • 1. © 2022 Toshiba Digital Solutions Corporation db tech showcase 2022 【E5】 IoT/ビッグデータ向けデータベースGridDB Deep Dive 東芝デジタルソリューションズ株式会社 ソフトウェアシステム技術開発センター シニアフェロー 服部 雅一(masakazu.hattori@toshiba.co.jp)
  • 2. 2 © 2022 Toshiba Digital Solutions Corporation 自己紹介 東芝デジタルソリューションズ株式会社 シニアフェロー • 入社以降、AIシステムやデータベースの研究開発に従事 • 2010年、(社)情報処理学会より「喜安記念業績賞」受賞 • 2012年、スケールアウト型DB “GridDB” の研究立ち上げ 翌年、V1.0を上市。以降、チーフアーキテクトとして開発を主導 その他、2006年 (社)日本電気協会 関東電気協会 電気関係事業従業員功績者表彰(最優秀賞) 2008年(社)発明協会 関東地方発明表彰(日本弁理士会会長奨励賞) 2018年(社)発明協会 関東地方発明表彰、など表彰多数 • 2020年、日本データベース学会の第4回「業績賞」受賞
  • 3. 3 © 2022 Toshiba Digital Solutions Corporation 日本データベース学会の第4回「業績賞」受賞 DB技術と産業の発展に貢献との評価
  • 4. 4 © 2022 Toshiba Digital Solutions Corporation Agenda 01 GridDBの概要 02 GridDBを使うメリット 03 自律的なDBクラスタ 効率良く複数サーバを利用してパフォーマンスアップ 04 イベント駆動アーキテクチャ 効率良く複数コア、メモリを利用してパフォーマンスアップ 05 他DBとのベンチマーク 06 おわりに
  • 5. 5 © 2022 Toshiba Digital Solutions Corporation 01 GridDBの概要
  • 6. 6 © 2022 Toshiba Corporation 今後、さまざまなモノのデータをサイバー空間に収集し、AI・デジタル技術で分析した結果を、フィジカル世界にフィード バックすることで価値を創造できるようになります。こういった世界が広がるなか、私たちは、モノづくりの幅広い知見・実績 (フィジカル技術)と、AI・デジタル技術(サイバー技術)を掛け合わせ、さまざまな社会課題を解決していきます。 「×デジタル」により新たな価値を創造
  • 7. 7 © 2022 Toshiba Digital Solutions Corporation GridDBを自製化 開発背景 • 社会インフラシステムの維持管理には稼働データを管理するデータベースが必要 • システム規模の増大 → ①RDBではその要件を満たせない、②NoSQLの信頼性に不安 電力系統制御 PV監視制御 BEMS HEMS 上下水道 交通 医療 MEMORY HDD Scale Out GridDB
  • 8. 8 © 2022 Toshiba Digital Solutions Corporation 単体製品、クラウドサービス、Meister DigitalTwin基盤などを通してビジネス展開 ペタバイト級IoTデータを高速に処理するスケールアウト型データベース GridDB • 2013年 GridDB(NoSQLのみ)上市 • 2015年 GridDB/NewSQL(SQLインターフェイス機能) • 2016年 OSS公開 • 2017年 SQL並列分散処理化 • 2019年 1ノードあたりペタバイト級のデータ管理に対応 • 2022年 アーキテクチャ刷新、クラウド対応強化 • 2011年 研究開発スタート
  • 9. 9 © 2022 Toshiba Digital Solutions Corporation GridDBの特長 時系列 データ指向 高頻度で大規模な時系 列データを効率よくリアル タイム処理する時系列 データ指向 高い信頼性と 柔軟な拡張性 障害の発生時やサーバ 増設においてもノンストッ プ運用を実現する高い信 頼性と柔軟な拡張性 ペタバイト級の 高い処理能力 ペタバイト規模のデータを 扱うためにさまざまな工夫 を組み込み、高い処理能 力を実現 開発の俊敏性 と使いやすさ NoSQLインターフェースだ けではなく、SQLインタ フェースを用意し、開発の 俊敏性と使いやすさを実 現 時系列データ:時間とともに変化するデータ
  • 10. 10 © 2022 Toshiba Digital Solutions Corporation 3つのエディション GridDB Community Edition 高頻度・大量に発生する時系列 データの蓄積とリアルタイムな活用を スムーズに実現する次世代の オープンソース データベース GridDB Enterprise Edition 高頻度・大量に発生する時系列 データの蓄積とリアルタイムな活用を スムーズに実現し、 ビジネスを大きく成長させるために 最適化された 次世代のデータベース GridDB Cloud 高頻度・大量に発生する時系列 データの蓄積とリアルタイムな活用を スムーズに実現する クラウドデータベース サービス 【Day2】
  • 11. 11 © 2022 Toshiba Digital Solutions Corporation 代表的な導入事例 社会インフラを中心に、高い信頼性・性能が求められるシステムで採用 • 電力会社 低圧託送業務システム スマートメータから収集される電力使用量を集計し、需要量と発電量のバランスを調整 • HDD製造会社の品質管理システム 製造装置のセンサーデータを長期にわたって蓄積・分析し、品質分析・改善に適用 • 半導体製造ラインのトレーサビリティ管理 製造履歴や品質履歴、材料データなどのデータを横串で分析し、製品の品質管理やトレーサビリティに適用 • 半導体製造ラインの故障検出システム 製造ラインのセンサーデータをリアルタイムにAIで分析し、製造ラインの異常を検出 • デンソー ファクトリーIoT 工場のDigital Twinを実現し、生産性を向上。 • DENSO International America 次世代車両管理システム 車両の各センサーデータを用いた車両管理システムのPoC
  • 12. 12 © 2022 Toshiba Digital Solutions Corporation 各エディションの違い インターフェイスはほぼ同じ。クラスタ構成の有無の違い 項目 機能 Community Edition Enterprise Edition Cloud サポート ✓ ✓ プロフェッショナルサービス ✓ ✓ データ管理 時系列コンテナ ✓ ✓ ✓ コレクションコンテナ ✓ ✓ ✓ 索引 ✓ ✓ ✓ アフィニティ ✓ ✓ ✓ テーブルパーティショニング ✓ ✓ ✓ クエリ言語 TQL ✓ ✓ ✓ SQL ✓ ✓ ✓ NoSQLインタフェース Java ✓ ✓ ✓ C言語 ✓ ✓ ✓ NewSQL(SQL) インタフェース JDBC ✓ ✓ ✓ ODBC ✓ ✓ WebAPI ✓ ✓ ✓ 時系列データ 時系列分析関数 ✓ ✓ ✓ 期限付き解放機能 ✓ ✓ 長期アーカイブ ✓ ✓ クラスタリング 機能クラスタ構成 ✓ ✓ 分散データ管理 ✓ ✓ レプリケーション ✓ ✓ 運用管理 ローリングアップグレード ✓ オンラインバックアップ ✓ ✓ エクスポート / インポート ✓ ✓ 運用管理GUI ✓ ✓ 運用コマンド ✓ ✓ セキュリティ 信暗号化 (TLS/SSL) ✓ ✓ 認証機能 (LDAP) ✓ オンプレミス環境 オンプレミス環境 ✓ ✓ クラウドサービス クラウドサービス ✓
  • 13. 13 © 2022 Toshiba Digital Solutions Corporation 日本初OSS GridDB Community Edition 2016年公開。近年、DB-Engineランキングで急上昇 ランキング スコア 2016 2017 2020 2022
  • 14. 14 © 2022 Toshiba Digital Solutions Corporation 02 GridDBを使うメリット
  • 15. 15 © 2022 Toshiba Digital Solutions Corporation リレーショナルデータベース Pros. ① ACID ② リレーショナルスキーマ ③ SQL ④ 強い一貫性 Cons. ① スケーラビリティ欠落 数十サーバ以上の環境において ホリゾンタルなスケール困難 ② 1サーバ当たりの基本性能 APL APL APL APL APL APL 競合 Database Table Row Columns SQL
  • 16. 16 © 2022 Toshiba Digital Solutions Corporation NoSQL(Not Only SQL) ホリゾンタルなスケールアウトを志向した Relational Database NoSQL NoSQL NoSQL NoSQL NoSQL NoSQL NoSQL NoSQL
  • 17. 17 © 2022 Toshiba Digital Solutions Corporation NoSQL(Not Only SQL) APL APL APL APL APL APL Pros. ① 高スケーラビリティ ② 高アベイラビリティ Cons. ① スキーマレス ② 独自のインターフェイス ③ ACID Database Key Values 独自Query Key Valus Key Valus Key Valus
  • 18. 18 © 2022 Toshiba Digital Solutions Corporation SQL、NoSQL 某NoSQL 某NoSQL SQL(RDB) 問い合わせ言語 独自I/F 独自I/F SQL スキーマ言語 無い 無い SQL(DDL) データ一貫性 参照一貫性 テーブル内一貫性 緩やかな一貫性 or 参照一貫性 厳格な一貫性 1台あたりの性能 普通 一貫性を上げると低速 実績あるRDBは ある程度 高可用性 ノード分散による 冗長性有り ノード分散による 冗長性有り 別の仕掛けが必要 拡張性 スケールアウトする手段が不明 スケールアウト困難 特にオンラインスケールアウト スケールアップ
  • 19. 19 © 2022 Toshiba Digital Solutions Corporation SQL、NoSQL 補完関係にある 某NoSQL 某NoSQL SQL(RDB) 問い合わせ言語 独自I/F 独自I/F SQL スキーマ言語 無い 無い SQL(DDL) データ一貫性 参照一貫性 テーブル内一貫性 緩やかな一貫性 or 参照一貫性 厳格な一貫性 1台あたりの性能 普通 一貫性を上げると低速 実績あるRDBは ある程度 高可用性 ノード分散による 冗長性有り ノード分散による 冗長性有り 別の仕掛けが必要 拡張性 スケールアウトする手段が不明 スケールアウト困難 特にオンラインスケールアウト スケールアップ
  • 20. 20 © 2022 Toshiba Digital Solutions Corporation GridDB NoSQL SQL(RDB) 問い合わせ言語 SQL+独自I/F 独自I/F SQL スキーマ言語 SQL(DDL) 無い SQL(DDL) データ一貫性 参照一貫性 テーブル内一貫性 BASE理論 緩やかな一貫性 厳格な一貫性 1台あたりの性能 イベント駆動による 最大限の性能 SW次第 実績あるRDBは ある程度 高可用性 通常、高速の 2レプリケーション ノード分散による 冗長性有り 別の仕掛けが必要 拡張性 自律的な スケールアウト スケールアウト SW次第 スケールアップ GridDB テーブル間一貫性を除けば、全てをカバーする
  • 21. 21 © 2022 Toshiba Digital Solutions Corporation IoT System左側 IoTシステムの内部構成 データ収集 データ蓄積 データ分析 データリンク デバイス センサー 外部 システム デバイス センサー 外部 システム ERP MES … … PLM Visibility Interface 要件「登録更新レスポンス」 要件「SQL&スループット」 左側 右側
  • 22. 22 © 2022 Toshiba Digital Solutions Corporation IoT System 従来ケース 異なる特性を持つ複数のDBの使い分け デバイス センサー 外部 システム デバイス センサー 外部 システム ERP MES … … PLM Visibility Interface 要件「登録更新レスポンス」 要件「SQL&スループット」 NoSQL Storage SQL (RDB) NoSQL DWH ラムダアーキ
  • 23. 23 © 2022 Toshiba Digital Solutions Corporation IoT System デバイス センサー 外部 システム デバイス センサー 外部 システム ERP MES … … PLM Visibility Interface NoSQL Storage SQL (RDB) NoSQL DWH 使い分けがなぜ問題なのか? 構築・運用コストの上昇 システムの複雑化 可用性・信頼性に不安 リアルタイム性が失われる ラムダアーキ
  • 24. 24 © 2022 Toshiba Digital Solutions Corporation GridDBならば これらの課題を忙殺されずに、ビジネスの付加価値向上に注力できる IoT System デバイス センサー 外部 システム デバイス センサー 外部 システム ERP MES … … PLM Visibility Interface 要件「登録更新レスポンス」 要件「SQL&スループット」
  • 25. 25 © 2022 Toshiba Digital Solutions Corporation 内部構成 ManagementTool Java C API JDBC, ODBC NoSQL CLIENT SQL EventEngine Data Processor Login Handler Sync Service Checkpoint Service SQL Processor SQL Compiler SQL Operator SQL Tmp Store Log Manager, WAL Buffer Partition, Chunk Manager Puggable Data Stores DS1 DS2 Checkpoint Files, Log Files GRIDDB NODE System Service Cluster Service GridDBにおける CPUのようなもの 自律的 DBクラスタ アルゴリズム データ管理の ご本尊 SQL処理 並列処理 WALリカバリや スナップショットなど 縁の下の力持ち JDBCなど クライアント ライブラリ
  • 26. 26 © 2022 Toshiba Digital Solutions Corporation 03 効率良く複数サーバを利用してパフォーマンスアップ 自律的なDBクラスタ
  • 27. 27 © 2022 Toshiba Digital Solutions Corporation スケールアウト型DB 効率良く複数サーバを利用してパフォーマンスアップ NoSQL NoSQL NoSQL NoSQL NoSQL NoSQL NoSQL NoSQL
  • 28. 28 © 2022 Toshiba Digital Solutions Corporation スケールアウトDBの基本概念 ID FirstName LastName Age 1 Taro Yamada 21 2 Jiro Tanaka 25 3 Saburo Sato 33 4 Masakazu Hattori 32 ID FirstName LastName Age 1 Taro Yamada 21 3 Saburo Sato 33 ID FirstName LastName Age 2 Jiro Tanaka 25 4 Masakazu Hattori 32 NoSQL NoSQL オリジナルテーブル Horizontal Partitions NoSQL NoSQL NoSQL ID FirstName LastName Age 1 Taro Yamada 21 3 Saburo Sato 33 4 Masakazu Hattori 32 ID FirstName LastName Age 2 Jiro Tanaka 25 4 Masakazu Hattori 32 1 Taro Yamada 21 ID FirstName LastName Age 3 Saburo Sato 33 2 Jiro Tanaka 25 (1) シャーディング(Sharding) …複数サーバへのデータ分散 (2) レプリケーション(Replication) …障害に備えたデータ複製
  • 29. 29 © 2022 Toshiba Digital Solutions Corporation データサービスを支えるDB。DBライフサイクルの観点で考えるべき スケールアウトDB 従来のスケールアウト型DB GridDB 初期クラスタ 問題無し 問題無し サーバ増設 リシャードが遅い オフラインに戻す必要あり オンラインスケールアウト クラスタ縮退 さらにNGなケースも オンラインスケールダウン 障害後の現状復帰 オフライン&マニュアルで復帰 最適なクラスタ維持
  • 30. 30 © 2022 Toshiba Digital Solutions Corporation 自律的DBクラスタを支える技術群 “Database system including a plurality of nodes” “Database system, server device, computer program product, and information processing method” US10162875B2、US10685041B2、US20180150501A1、etc 日米欧等特許済 ②高速レプリケーション技術 ①プランニング技術 ④マスタレスクラスタ技術 ③オートシャーディング技術 GridDB 初期クラスタ 問題無し サーバ増設 オンラインスケールアウト クラスタ縮退 オンラインスケールダウン 障害後の現状復帰 最適なクラスタ維持
  • 31. 31 © 2022 Toshiba Digital Solutions Corporation ①構成変化 検知 ②データ配置 プランニング ③高速 データ移動 ④アクセス先 切り替え アイデアの骨子 サーバA サーバB サーバC サーバA サーバB サーバC サーバA サーバB サーバC サーバA サーバB サーバC APL APL
  • 32. 32 © 2022 Toshiba Digital Solutions Corporation オンラインスケールアウト・イメージ サーバA サーバB 代表 サーバC ○代表サーバ選出フェーズ サーバ間の選挙により選出 当該サーバ障害後は再選挙 レプリケーション オーナ 複製 シャーディング
  • 33. 33 © 2022 Toshiba Digital Solutions Corporation オンラインスケールアウト・イメージ ①構成変化検知 (代表サーバが) クラスタ構成変更の検知 サーバA サーバB 代表 サーバC オーナ 複製 サーバD 空
  • 34. 34 © 2022 Toshiba Digital Solutions Corporation オンラインスケールアウト・イメージ ②データ配置プランニング (代表サーバが) データ配置変更プランの作成 サーバA サーバB 代表 サーバC サーバD 空 サーバA サーバB 代表 サーバC サーバD
  • 35. 35 © 2022 Toshiba Digital Solutions Corporation オンラインスケールアウト・イメージ ③高速データ移動 プランに従い(関連サーバ間で) • データ送受信により複製作成 • 高速化のため、以下の3手順 (A)ブロックイメージ送受 (B)WALログ送受 (C)トランザクション情報含む サーバA サーバB 代表 サーバC サーバD
  • 36. 36 © 2022 Toshiba Digital Solutions Corporation オンラインスケールアウト・イメージ ④アクセス先切り替え (関連サーバが) タイミングをとったうえでに アプリ側に接続先切り替えを通知 サーバA サーバB サーバC サーバD APL LSN 時間 サーバB サーバD
  • 37. 37 © 2022 Toshiba Digital Solutions Corporation オンラインスケールアウト・イメージ サーバA サーバB 代表 サーバC サーバD APL ④アクセス先切り替え (関連サーバが) タイミングをとったうえでに アプリ側に接続先切り替えを通知
  • 38. 38 © 2022 Toshiba Digital Solutions Corporation ①構成変化 検知 ②データ配置 プランニング ③高速 データ移動 ④アクセス先 切り替え データライフサイクルの観点 サーバA サーバB サーバC サーバA サーバB サーバC サーバA サーバB サーバC サーバA サーバB サーバC APL APL
  • 39. 39 © 2022 Toshiba Digital Solutions Corporation サーバ障害フェールオーバ・イメージ サーバA サーバB 代表 サーバC サーバD APL ①構成変化検知 (代表サーバが) クラスタ構成変更の検知 ②データ配置プランニング (代表サーバが) データ配置変更プランの作成
  • 40. 40 © 2022 Toshiba Digital Solutions Corporation サーバ障害フェールオーバ・イメージ サーバA サーバB 代表 サーバC サーバD APL ①構成変化検知 (代表サーバが) クラスタ構成変更の検知 ②データ配置プランニング (代表サーバが) データ配置変更プランの作成 ④アクセス先切り替え (関連サーバが) タイミングをとったうえでに アプリ側に接続先切り替えを通知
  • 41. 41 © 2022 Toshiba Digital Solutions Corporation DBライフサイクルを支えるGridDB GridDB GridDB GridDB GridDB GridDB GridDB GridDB GridDB 一部 廃棄 導入 運用 拡大 縮小 更新 DBライフサイクル
  • 42. 42 © 2022 Toshiba Digital Solutions Corporation 内部構成 ManagementTool Java C API JDBC, ODBC NoSQL CLIENT SQL EventEngine Data Processor Login Handler Sync Service Checkpoint Service SQL Processor SQL Compiler SQL Operator SQL Tmp Store Log Manager, WAL Buffer Partition, Chunk Manager Puggable Data Stores DS1 DS2 Checkpoint Files, Log Files GRIDDB NODE System Service Cluster Service
  • 43. 43 © 2022 Toshiba Digital Solutions Corporation 内部構成 ManagementTool Java C API JDBC, ODBC NoSQL CLIENT SQL EventEngine Data Processor Login Handler Sync Service Checkpoint Service SQL Processor SQL Compiler SQL Operator SQL Tmp Store Log Manager, WAL Buffer Partition, Chunk Manager Puggable Data Stores DS1 DS2 Checkpoint Files, Log Files GRIDDB NODE System Service Cluster Service 自律的 DBクラスタ アルゴリズム
  • 44. 44 © 2022 Toshiba Digital Solutions Corporation 04 効率良く複数コア、メモリを利用してパフォーマンスアップ イベント駆動アーキテクチャ
  • 45. 45 © 2022 Toshiba Digital Solutions Corporation 内部構成 ManagementTool Java C API JDBC, ODBC NoSQL CLIENT SQL EventEngine Data Processor Login Handler Sync Service Checkpoint Service SQL Processor SQL Compiler SQL Operator SQL Tmp Store Log Manager, WAL Buffer Partition, Chunk Manager Puggable Data Stores DS1 DS2 Checkpoint Files, Log Files GRIDDB NODE System Service Cluster Service
  • 46. 46 © 2022 Toshiba Digital Solutions Corporation イベント駆動アーキテクチャ 効率良く複数コア、メモリを利用してパフォーマンスアップ Request SQL 処理 Request NoSQL 処理 Request SQL 処理 EventEngine CPU関係 • スレッドへプロセッサ割り当て • 要求をスレッドへ振り分け • 時分割による同時実行 メモリ関係 • ロックフリー化 • バッファ処理の軽量化 ディスク関係 • リカバリ処理の軽量化 • ブロック書き込みの最適化 バッファ ディスク プロセッサ コア
  • 47. 47 © 2022 Toshiba Digital Solutions Corporation https://vladmihalcea.com/tips-oracle-jpa-hibernate/ 既存DBの構成 バッファ ディスク プロセッサ コア
  • 48. 48 © 2022 Toshiba Digital Solutions Corporation バッファ 期待したパフォーマンスが出てこない 既存DBの構成 Disk Processor ロック競合 大容量メモリ ディスクI/O量減 スループット増大 バッファプールのロック競合増大 ロックオーバヘッド増大 コア待ち時間増大 同時実行数増 メモリ量一定 ディスク プロセッサ コア
  • 49. 49 © 2022 Toshiba Digital Solutions Corporation インメモリ時の実験データ プロセッサ数 スループット 100 コア数 従来 1 コア数 プロセッサ数 スループット 100 コア数 1 コア数 従来 登録性能 検索性能
  • 50. 50 © 2022 Toshiba Digital Solutions Corporation GridDBの場合 透過的メモリシェアリング、一種のメモリ融通 Disk Processor Disk Disk Buffer Regulator メモリ量一定 メモリ融通の一種 • メモリ利用状況を監視 • メモリー割当不足を予測 • バッファプール上の使われ なさそうなメモリー特定 • メモリの貸し借り実施 • 衝突をできる限り削減 バッファ ディスク プロセッサ コア
  • 51. 51 © 2022 Toshiba Digital Solutions Corporation GridDBの場合 Disk Processor Disk Disk Buffer Regulator 負荷増大 メモリ量一定 バッファ ディスク プロセッサ コア メモリ融通の一種 • メモリ利用状況を監視 • メモリー割当不足を予測 • バッファプール上の使われ なさそうなメモリー特定 • メモリの貸し借り実施 • 衝突をできる限り削減
  • 52. 52 © 2022 Toshiba Digital Solutions Corporation GridDBの場合 Disk Processor Disk Disk Buffer Regulator 負荷増大 メモリ量一定 バッファ ディスク プロセッサ コア メモリ融通の一種 • メモリ利用状況を監視 • メモリー割当不足を予測 • バッファプール上の使われ なさそうなメモリー特定 • メモリの貸し借り実施 • 衝突をできる限り削減
  • 53. 53 © 2022 Toshiba Digital Solutions Corporation GridDBの場合 Disk Processor Disk Disk Buffer Regulator 負荷増大 メモリ量一定 バッファ ディスク プロセッサ コア メモリ融通の一種 • メモリ利用状況を監視 • メモリー割当不足を予測 • バッファプール上の使われ なさそうなメモリー特定 • メモリの貸し借り実施 • 衝突をできる限り削減
  • 54. 54 © 2022 Toshiba Digital Solutions Corporation インメモリ時の実験データ 数倍から数十倍の差 プロセッサ数 スループット 100 コア数 従来 1 コア数 プロセッサ数 スループット 100 コア数 1 コア数 GridDB 従来 登録性能 検索性能 GridDB
  • 55. 55 © 2022 Toshiba Digital Solutions Corporation 05 他DBとのベンチマーク
  • 56. 56 © 2022 Toshiba Digital Solutions Corporation ファーストデータ処理の性能 0 100 200 300 400 500 600 700 800 900 Workload A Workload B Workload C Workload D Workload E スループット(x1000オペレーション/秒) YCSB ワークロード毎のスループット Cassandra GridDB 25倍 7.5倍 20倍 15.5倍 14.5倍
  • 57. 57 © 2022 Toshiba Digital Solutions Corporation ファーストデータ処理の性能 0 20,000 40,000 60,000 80,000 100,000 120,000 スループット(オペレーション/秒) 登録 InfluxDB GridDB 0 500 1,000 1,500 2,000 2,500 3,000 3,500 4,000 4,500 ワークロードA InfluxDB GridDB 0 500 1,000 1,500 2,000 2,500 3,000 3,500 4,000 4,500 ワークロードB InfluxDB GridDB 6.5倍 7.5倍 6.5倍
  • 58. 58 © 2022 Toshiba Digital Solutions Corporation ビッグデータ処理の性能 0 10 20 30 40 50 60 70 80 90 100 PostgreSQL 1ノード 2ノード 3ノード 4ノード 応答時間の比 TPC-H(SF100) 応答時間 GridDB • PostgreSQL 9.6 • GridDB AE 4.0 • CPU : 8-core Intel® Xeon® E5-2620 v4 2.10GHz • Memory : 64GB • HDD : SAS 12TB • OS : CentOS 7 with kernel 3.10.0-514.el7.x86_64 • Network : 1Gb Ethernet • HDD : SAS 12T • OS : CentOS 7 with kernel 3.10.0-514.el7.x86_64 • Network : 1Gb Ethernet • Dataset : TPC-H(SF 100), Q1-Q8
  • 59. 59 © 2022 Toshiba Digital Solutions Corporation 06 おわりに
  • 60. 60 © 2022 Toshiba Digital Solutions Corporation 2022/04 GridDB 5.0 EE リリース • アーキテクチャを刷新し、複数のデータモデルを扱えるプラガブルデータストアを実現 • 独自の高効率チェックポイントアルゴリズム技術 HCAL (Highly efficient Checkpoint Algorithm for Large-scale data)の開発 • 17%~46%(平均26%) TPC-H性能改善
  • 61. 61 © 2022 Toshiba Digital Solutions Corporation 2022/08 GridDB 5.1 EE リリース • パブリッククラウドのデータセンターに障害や災害が起きてもDB継続使用を可能
  • 62. 62 © 2022 Toshiba Digital Solutions Corporation 2020年6月、SQLインターフェースのソースコード無償公開 https://github.com/griddb
  • 63. 63 © 2022 Toshiba Digital Solutions Corporation ご清聴ありがとうございました。