Download free for 30 days
Sign in
Upload
Language (EN)
Support
Business
Mobile
Social Media
Marketing
Technology
Art & Photos
Career
Design
Education
Presentations & Public Speaking
Government & Nonprofit
Healthcare
Internet
Law
Leadership & Management
Automotive
Engineering
Software
Recruiting & HR
Retail
Sales
Services
Science
Small Business & Entrepreneurship
Food
Environment
Economy & Finance
Data & Analytics
Investor Relations
Sports
Spiritual
News & Politics
Travel
Self Improvement
Real Estate
Entertainment & Humor
Health & Medicine
Devices & Hardware
Lifestyle
Change Language
Language
English
Español
Português
Français
Deutsche
Cancel
Save
EN
Uploaded by
株式会社オプト 仙台ラボラトリ
PDF, PPTX
10,856 views
各種データベースの特徴とパフォーマンス比較
ビッグデータとデータマート【タガヤス その2】登壇資料
Data & Analytics
◦
Read more
0
Save
Share
Embed
Embed presentation
Download
Download as PDF, PPTX
1
/ 91
2
/ 91
3
/ 91
4
/ 91
5
/ 91
6
/ 91
7
/ 91
8
/ 91
9
/ 91
10
/ 91
11
/ 91
12
/ 91
13
/ 91
14
/ 91
15
/ 91
16
/ 91
17
/ 91
18
/ 91
19
/ 91
20
/ 91
21
/ 91
22
/ 91
23
/ 91
24
/ 91
25
/ 91
26
/ 91
27
/ 91
28
/ 91
29
/ 91
30
/ 91
31
/ 91
32
/ 91
33
/ 91
34
/ 91
35
/ 91
36
/ 91
37
/ 91
38
/ 91
39
/ 91
40
/ 91
41
/ 91
42
/ 91
43
/ 91
44
/ 91
45
/ 91
46
/ 91
47
/ 91
48
/ 91
49
/ 91
50
/ 91
51
/ 91
52
/ 91
53
/ 91
54
/ 91
55
/ 91
56
/ 91
57
/ 91
58
/ 91
59
/ 91
60
/ 91
61
/ 91
62
/ 91
63
/ 91
64
/ 91
65
/ 91
66
/ 91
67
/ 91
68
/ 91
69
/ 91
70
/ 91
71
/ 91
72
/ 91
73
/ 91
74
/ 91
75
/ 91
76
/ 91
77
/ 91
78
/ 91
79
/ 91
80
/ 91
81
/ 91
82
/ 91
83
/ 91
84
/ 91
85
/ 91
86
/ 91
87
/ 91
88
/ 91
89
/ 91
90
/ 91
91
/ 91
More Related Content
PDF
テスト文字列に「うんこ」と入れるな
by
Kentaro Matsui
PPTX
分散システムについて語らせてくれ
by
Kumazaki Hiroki
PDF
ビッグデータ処理データベースの全体像と使い分け
by
Recruit Technologies
PPTX
本当は恐ろしい分散システムの話
by
Kumazaki Hiroki
PPTX
(2017.6.9) Neo4jの可視化ライブラリまとめ
by
Mitsutoshi Kiuchi
PPTX
MLOps入門
by
Hiro Mura
PPTX
Redisの特徴と活用方法について
by
Yuji Otani
PDF
PHPからgoへの移行で分かったこと
by
gree_tech
テスト文字列に「うんこ」と入れるな
by
Kentaro Matsui
分散システムについて語らせてくれ
by
Kumazaki Hiroki
ビッグデータ処理データベースの全体像と使い分け
by
Recruit Technologies
本当は恐ろしい分散システムの話
by
Kumazaki Hiroki
(2017.6.9) Neo4jの可視化ライブラリまとめ
by
Mitsutoshi Kiuchi
MLOps入門
by
Hiro Mura
Redisの特徴と活用方法について
by
Yuji Otani
PHPからgoへの移行で分かったこと
by
gree_tech
What's hot
PDF
暗号技術の実装と数学
by
MITSUNARI Shigeo
PDF
Cognitive Complexity でコードの複雑さを定量的に計測しよう
by
Shuto Suzuki
PDF
Snowflakeって実際どうなの?数多のDBを使い倒した猛者が語る
by
Ryota Shibuya
PDF
SQLアンチパターン - 開発者を待ち受ける25の落とし穴 (拡大版)
by
Takuto Wada
PPTX
DXとかDevOpsとかのなんかいい感じのやつ 富士通TechLive
by
Tokoroten Nakayama
PPTX
マルチクラウドDWH(Snowflake)のすすめ
by
Yuuta Hishinuma
PDF
YugabyteDBを使ってみよう(NewSQL/分散SQLデータベースよろず勉強会 #1 発表資料)
by
NTT DATA Technology & Innovation
PPT
インフラエンジニアのためのcassandra入門
by
Akihiro Kuwano
PDF
Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ (Hadoop / Spark Conference Japan 2019)
by
Noritaka Sekiyama
PPTX
MongoDBの監視
by
Tetsutaro Watanabe
PDF
ストリーム処理を支えるキューイングシステムの選び方
by
Yoshiyasu SAEKI
PDF
Dockerからcontainerdへの移行
by
Kohei Tokunaga
PDF
例外設計における大罪
by
Takuto Wada
PPTX
DockerコンテナでGitを使う
by
Kazuhiro Suga
PPTX
え、まって。その並列分散処理、Kafkaのしくみでもできるの? Apache Kafkaの機能を利用した大規模ストリームデータの並列分散処理
by
NTT DATA Technology & Innovation
PDF
フロー効率性とリソース効率性について #xpjug
by
Itsuki Kuroda
PPTX
CloudNativePGを動かしてみた! ~PostgreSQL on Kubernetes~(第34回PostgreSQLアンカンファレンス@オンライ...
by
NTT DATA Technology & Innovation
PDF
バイトコードって言葉をよく目にするけど一体何なんだろう?(JJUG CCC 2022 Spring 発表資料)
by
NTT DATA Technology & Innovation
PDF
コンテナの作り方「Dockerは裏方で何をしているのか?」
by
Masahito Zembutsu
PDF
pgvectorを使ってChatGPTとPostgreSQLを連携してみよう!(PostgreSQL Conference Japan 2023 発表資料)
by
NTT DATA Technology & Innovation
暗号技術の実装と数学
by
MITSUNARI Shigeo
Cognitive Complexity でコードの複雑さを定量的に計測しよう
by
Shuto Suzuki
Snowflakeって実際どうなの?数多のDBを使い倒した猛者が語る
by
Ryota Shibuya
SQLアンチパターン - 開発者を待ち受ける25の落とし穴 (拡大版)
by
Takuto Wada
DXとかDevOpsとかのなんかいい感じのやつ 富士通TechLive
by
Tokoroten Nakayama
マルチクラウドDWH(Snowflake)のすすめ
by
Yuuta Hishinuma
YugabyteDBを使ってみよう(NewSQL/分散SQLデータベースよろず勉強会 #1 発表資料)
by
NTT DATA Technology & Innovation
インフラエンジニアのためのcassandra入門
by
Akihiro Kuwano
Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ (Hadoop / Spark Conference Japan 2019)
by
Noritaka Sekiyama
MongoDBの監視
by
Tetsutaro Watanabe
ストリーム処理を支えるキューイングシステムの選び方
by
Yoshiyasu SAEKI
Dockerからcontainerdへの移行
by
Kohei Tokunaga
例外設計における大罪
by
Takuto Wada
DockerコンテナでGitを使う
by
Kazuhiro Suga
え、まって。その並列分散処理、Kafkaのしくみでもできるの? Apache Kafkaの機能を利用した大規模ストリームデータの並列分散処理
by
NTT DATA Technology & Innovation
フロー効率性とリソース効率性について #xpjug
by
Itsuki Kuroda
CloudNativePGを動かしてみた! ~PostgreSQL on Kubernetes~(第34回PostgreSQLアンカンファレンス@オンライ...
by
NTT DATA Technology & Innovation
バイトコードって言葉をよく目にするけど一体何なんだろう?(JJUG CCC 2022 Spring 発表資料)
by
NTT DATA Technology & Innovation
コンテナの作り方「Dockerは裏方で何をしているのか?」
by
Masahito Zembutsu
pgvectorを使ってChatGPTとPostgreSQLを連携してみよう!(PostgreSQL Conference Japan 2023 発表資料)
by
NTT DATA Technology & Innovation
Similar to 各種データベースの特徴とパフォーマンス比較
PDF
Japan.r 2データベース
by
sleipnir002
PPTX
【schoo WEB-campus】#49業務改善のためのデータサイエンス 先生:倉橋一成
by
webcampusschoo
PDF
データベースをAI開発に活用
by
ReNom User Group
PPT
今年こそ始めたい!SQL超入門 MIRACLE Linux Meetup版 0620
by
Toru Miyahara
PPTX
企業等に蓄積されたデータを分析するための処理機能の提案
by
Toshiyuki Shimono
PDF
DDD 2016 DB 12c クエリー・オプティマイザ新機能活用と統計情報運用の戦略
by
歩 柴田
PPT
今年こそ始めたい!SQL超入門 セミナー資料 2024年5月22日 富士通クラウドミートアップ
by
Toru Miyahara
PDF
HBase at Ameba
by
Toshihiro Suzuki
PPTX
【スクー】業務改善のためのデータサイエンス
by
Issei Kurahashi
PDF
db analytics showcase sapporo 2017 発表資料
by
Kunihiko Miyoshi
PDF
SQL Server チューニング基礎
by
Microsoft
PDF
20170411 ヒカラボ データを武器に変える
by
Naoto Tamiya
PDF
ビッグデータとデータマート
by
株式会社オプト 仙台ラボラトリ
PDF
データベース03 - SQL(CREATE, INSERT, DELETE, UPDATEなど)
by
Kenta Oku
PPTX
Amazon Athena で実現する データ分析の広がり
by
Amazon Web Services Japan
PDF
Webで役立つRDBの使い方
by
Soudai Sone
PPTX
【NYSOL】ビッグデータをシンプル・高速に!日本発の大規模データ解析用OSS
by
NYSOL
PDF
データサイエンティスト養成勉強会 こんな僕がデータサイエンティストになれた秘密
by
Ryo Matsuura
PPTX
Python for Data Analysis: Chapter 2
by
智哉 今西
PDF
#経済学のための実践的データ分析 6. データを実際に分析するまでのとてもとても遠く険しく細く長い道
by
Yasushi Hara
Japan.r 2データベース
by
sleipnir002
【schoo WEB-campus】#49業務改善のためのデータサイエンス 先生:倉橋一成
by
webcampusschoo
データベースをAI開発に活用
by
ReNom User Group
今年こそ始めたい!SQL超入門 MIRACLE Linux Meetup版 0620
by
Toru Miyahara
企業等に蓄積されたデータを分析するための処理機能の提案
by
Toshiyuki Shimono
DDD 2016 DB 12c クエリー・オプティマイザ新機能活用と統計情報運用の戦略
by
歩 柴田
今年こそ始めたい!SQL超入門 セミナー資料 2024年5月22日 富士通クラウドミートアップ
by
Toru Miyahara
HBase at Ameba
by
Toshihiro Suzuki
【スクー】業務改善のためのデータサイエンス
by
Issei Kurahashi
db analytics showcase sapporo 2017 発表資料
by
Kunihiko Miyoshi
SQL Server チューニング基礎
by
Microsoft
20170411 ヒカラボ データを武器に変える
by
Naoto Tamiya
ビッグデータとデータマート
by
株式会社オプト 仙台ラボラトリ
データベース03 - SQL(CREATE, INSERT, DELETE, UPDATEなど)
by
Kenta Oku
Amazon Athena で実現する データ分析の広がり
by
Amazon Web Services Japan
Webで役立つRDBの使い方
by
Soudai Sone
【NYSOL】ビッグデータをシンプル・高速に!日本発の大規模データ解析用OSS
by
NYSOL
データサイエンティスト養成勉強会 こんな僕がデータサイエンティストになれた秘密
by
Ryo Matsuura
Python for Data Analysis: Chapter 2
by
智哉 今西
#経済学のための実践的データ分析 6. データを実際に分析するまでのとてもとても遠く険しく細く長い道
by
Yasushi Hara
More from 株式会社オプト 仙台ラボラトリ
PDF
クラウド入門(AWS編)
by
株式会社オプト 仙台ラボラトリ
PPTX
失敗から学ぶAWSの監視
by
株式会社オプト 仙台ラボラトリ
PDF
ログについて改めて考えてみた
by
株式会社オプト 仙台ラボラトリ
PDF
フレームワークも使っていないWebアプリをLaravel+PWAでモバイルアプリっぽくしてみちゃう
by
株式会社オプト 仙台ラボラトリ
PPTX
RPAって何、どんなことできるの
by
株式会社オプト 仙台ラボラトリ
PPTX
業務の自動化をはじめよう!!
by
株式会社オプト 仙台ラボラトリ
PDF
RPA(ロボティック・プロセ ス・オートメーション) 仮想労働者の雇い方
by
株式会社オプト 仙台ラボラトリ
PDF
データマート対応した話
by
株式会社オプト 仙台ラボラトリ
PDF
ビッグデータ・データマートとは
by
株式会社オプト 仙台ラボラトリ
PDF
一歩前に進めるWeb開発のスパイス(仙台Geek★Night #1)
by
株式会社オプト 仙台ラボラトリ
クラウド入門(AWS編)
by
株式会社オプト 仙台ラボラトリ
失敗から学ぶAWSの監視
by
株式会社オプト 仙台ラボラトリ
ログについて改めて考えてみた
by
株式会社オプト 仙台ラボラトリ
フレームワークも使っていないWebアプリをLaravel+PWAでモバイルアプリっぽくしてみちゃう
by
株式会社オプト 仙台ラボラトリ
RPAって何、どんなことできるの
by
株式会社オプト 仙台ラボラトリ
業務の自動化をはじめよう!!
by
株式会社オプト 仙台ラボラトリ
RPA(ロボティック・プロセ ス・オートメーション) 仮想労働者の雇い方
by
株式会社オプト 仙台ラボラトリ
データマート対応した話
by
株式会社オプト 仙台ラボラトリ
ビッグデータ・データマートとは
by
株式会社オプト 仙台ラボラトリ
一歩前に進めるWeb開発のスパイス(仙台Geek★Night #1)
by
株式会社オプト 仙台ラボラトリ
各種データベースの特徴とパフォーマンス比較
1.
© Opt, Inc.
All Rights Reserved. 各種データベースの特徴と パフォーマンス比較 株式会社オプト 仙台テクノロジー開発部 第2回タガヤス登壇資料
2.
© Opt, Inc.
All Rights Reserved. 自己紹介 名前:堀内依子 所属:株式会社オプト 仙台テクノロジー開発部 入社:2016年 一番好きなお土産: 南部せんべい
3.
© Opt, Inc.
All Rights Reserved. データベースって 色々ありますよね
4.
© Opt, Inc.
All Rights Reserved. データベース ● Oracle ● AWS RDS ○ MySQL ○ PostgreSQL ● TreasureData ● Redshift
5.
© Opt, Inc.
All Rights Reserved. オプト仙台ラボでは 目的別大量データ を取り扱う
6.
© Opt, Inc.
All Rights Reserved. 特定のレコードを取り出す レコード集計をする
7.
© Opt, Inc.
All Rights Reserved. DWH(データウェアハウス)向 けのデータストア & 列指向 Redshiftを採用しました
8.
© Opt, Inc.
All Rights Reserved. Redshift AWS(Amazonのクラウドサービス) で提供されているDWH構築向け大規模 データ解析システム
9.
© Opt, Inc.
All Rights Reserved. 列指向のデータベース ってなに?
10.
© Opt, Inc.
All Rights Reserved. 行指向のデータベース 列指向のデータベース
11.
© Opt, Inc.
All Rights Reserved. 行指向データベース ● データの持ち方 ○ データを行で扱う
12.
© Opt, Inc.
All Rights Reserved. 行指向データベース ● データの持ち方 ○ データを行で扱う ● 例えば… ○ Oracle ○ MySQL
13.
© Opt, Inc.
All Rights Reserved. 列指向データベース カラム型データベース カラムストア型データベース カラムナデータベース ● データの持ち方 ○ データを列で扱う
14.
© Opt, Inc.
All Rights Reserved. 列指向データベース ● データの持ち方 ○ データを列で扱う ● 例えば… ○ Cassandra ○ Redshift カラム型データベース カラムストア型データベース カラムナデータベース
15.
© Opt, Inc.
All Rights Reserved. でも、つまり… 行指向・列指向 どっちがいいの?
16.
© Opt, Inc.
All Rights Reserved. 学生のテストの点数テーブル No 氏名 フリガナ 性別 生年月日 点数 1 板橋範久 イタバシノリヒサ 男 2001/08/19 94 2 猪俣清治 イノマタセイジ 男 2001/09/13 41 3 福島莉乃 フクシマリノ 女 1998/07/05 46 4 碓井桃歌 ウスイモモカ 女 2004/10/29 63 5 木田和島 キダワジマ 男 2006/11/01 60
17.
© Opt, Inc.
All Rights Reserved. No 氏名 フリガナ 性別 生年月日 点数 1 板橋範久 イタバシノリヒサ 男 2001/08/19 94 2 猪俣清治 イノマタセイジ 男 2001/09/13 41 3 福島莉乃 フクシマリノ 女 1998/07/05 46 4 碓井桃歌 ウスイモモカ 女 2004/10/29 63 5 木田和島 キダワジマ 男 2006/11/01 60 行指向データベース
18.
© Opt, Inc.
All Rights Reserved. No 氏名 フリガナ 性別 生年月日 点数 1 板橋範久 イタバシノリヒサ 男 2001/08/19 94 2 猪俣清治 イノマタセイジ 男 2001/09/13 41 3 福島莉乃 フクシマリノ 女 1998/07/05 46 4 碓井桃歌 ウスイモモカ 女 2004/10/29 63 5 木田和島 キダワジマ 男 2006/11/01 60 行指向データベース データの塊は行!
19.
© Opt, Inc.
All Rights Reserved. No 氏名 フリガナ 性別 生年月日 点数 1 板橋範久 イタバシノリヒサ 男 2001/08/19 94 2 猪俣清治 イノマタセイジ 男 2001/09/13 41 3 福島莉乃 フクシマリノ 女 1998/07/05 46 4 碓井桃歌 ウスイモモカ 女 2004/10/29 63 5 木田和島 キダワジマ 男 2006/11/01 60 列指向データベース
20.
© Opt, Inc.
All Rights Reserved. No 氏名 フリガナ 性別 生年月日 点数 1 板橋範久 イタバシノリヒサ 男 2001/08/19 94 2 猪俣清治 イノマタセイジ 男 2001/09/13 41 3 福島莉乃 フクシマリノ 女 1998/07/05 46 4 碓井桃歌 ウスイモモカ 女 2004/10/29 63 5 木田和島 キダワジマ 男 2006/11/01 60 列指向データベース データの塊は列!
21.
© Opt, Inc.
All Rights Reserved. ① レコードを追加するとき
22.
© Opt, Inc.
All Rights Reserved. 学生を一人増やしたい
23.
© Opt, Inc.
All Rights Reserved. INSERT INTO 学生テーブル VALUES (No,氏名,フリガナ,性 別,生年月日,点数);
24.
© Opt, Inc.
All Rights Reserved. No 氏名 フリガナ 性別 生年月日 点数 1 板橋範久 イタバシノリヒサ 男 2001/08/19 94 2 猪俣清治 イノマタセイジ 男 2001/09/13 41 3 福島莉乃 フクシマリノ 女 1998/07/05 46 4 碓井桃歌 ウスイモモカ 女 2004/10/29 63 5 木田和島 キダワジマ 男 2006/11/01 60 行指向データベース 6 江田幸雄 エダサチオ 男 2004/11/04 55
25.
© Opt, Inc.
All Rights Reserved. No 氏名 フリガナ 性別 生年月日 点数 1 板橋範久 イタバシノリヒサ 男 2001/08/19 94 2 猪俣清治 イノマタセイジ 男 2001/09/13 41 3 福島莉乃 フクシマリノ 女 1998/07/05 46 4 碓井桃歌 ウスイモモカ 女 2004/10/29 63 5 木田和島 キダワジマ 男 2006/11/01 60 行指向データベース 6 江田幸雄 エダサチオ 男 2004/11/04 55
26.
© Opt, Inc.
All Rights Reserved. No 氏名 フリガナ 性別 生年月日 点数 1 板橋範久 イタバシノリヒサ 男 2001/08/19 94 2 猪俣清治 イノマタセイジ 男 2001/09/13 41 3 福島莉乃 フクシマリノ 女 1998/07/05 46 4 碓井桃歌 ウスイモモカ 女 2004/10/29 63 5 木田和島 キダワジマ 男 2006/11/01 60 行指向データベース 6 江田幸雄 エダサチオ 男 2004/11/04 55
27.
© Opt, Inc.
All Rights Reserved. No 氏名 フリガナ 性別 生年月日 点数 1 板橋範久 イタバシノリヒサ 男 2001/08/19 94 2 猪俣清治 イノマタセイジ 男 2001/09/13 41 3 福島莉乃 フクシマリノ 女 1998/07/05 46 4 碓井桃歌 ウスイモモカ 女 2004/10/29 63 5 木田和島 キダワジマ 男 2006/11/01 60 列指向データベース 6 江田幸雄 エダサチオ 男 2004/11/04 55
28.
© Opt, Inc.
All Rights Reserved. No 氏名 フリガナ 性別 生年月日 点数 1 板橋範久 イタバシノリヒサ 男 2001/08/19 94 2 猪俣清治 イノマタセイジ 男 2001/09/13 41 3 福島莉乃 フクシマリノ 女 1998/07/05 46 4 碓井桃歌 ウスイモモカ 女 2004/10/29 63 5 木田和島 キダワジマ 男 2006/11/01 60 列指向データベース 6 江田幸雄 エダサチオ 男 2004/11/04 55
29.
© Opt, Inc.
All Rights Reserved. No 氏名 フリガナ 性別 生年月日 点数 1 板橋範久 イタバシノリヒサ 男 2001/08/19 94 2 猪俣清治 イノマタセイジ 男 2001/09/13 41 3 福島莉乃 フクシマリノ 女 1998/07/05 46 4 碓井桃歌 ウスイモモカ 女 2004/10/29 63 5 木田和島 キダワジマ 男 2006/11/01 60 列指向データベース 6 江田幸雄 エダサチオ 男 2004/11/04 55
30.
© Opt, Inc.
All Rights Reserved. No 氏名 フリガナ 性別 生年月日 点数 1 板橋範久 イタバシノリヒサ 男 2001/08/19 94 2 猪俣清治 イノマタセイジ 男 2001/09/13 41 3 福島莉乃 フクシマリノ 女 1998/07/05 46 4 碓井桃歌 ウスイモモカ 女 2004/10/29 63 5 木田和島 キダワジマ 男 2006/11/01 60 列指向データベース 6 エダサチオ 男 2004/11/04 55 江田幸雄
31.
© Opt, Inc.
All Rights Reserved. No 氏名 フリガナ 性別 生年月日 点数 1 板橋範久 イタバシノリヒサ 男 2001/08/19 94 2 猪俣清治 イノマタセイジ 男 2001/09/13 41 3 福島莉乃 フクシマリノ 女 1998/07/05 46 4 碓井桃歌 ウスイモモカ 女 2004/10/29 63 5 木田和島 キダワジマ 男 2006/11/01 60 列指向データベース 6 男 2004/11/04 55 江田幸雄 エダサチオ
32.
© Opt, Inc.
All Rights Reserved. No 氏名 フリガナ 性別 生年月日 点数 1 板橋範久 イタバシノリヒサ 男 2001/08/19 94 2 猪俣清治 イノマタセイジ 男 2001/09/13 41 3 福島莉乃 フクシマリノ 女 1998/07/05 46 4 碓井桃歌 ウスイモモカ 女 2004/10/29 63 5 木田和島 キダワジマ 男 2006/11/01 60 列指向データベース 6 2004/11/04 55 江田幸雄 エダサチオ 男
33.
© Opt, Inc.
All Rights Reserved. 2004/11/04 No 氏名 フリガナ 性別 生年月日 点数 1 板橋範久 イタバシノリヒサ 男 2001/08/19 94 2 猪俣清治 イノマタセイジ 男 2001/09/13 41 3 福島莉乃 フクシマリノ 女 1998/07/05 46 4 碓井桃歌 ウスイモモカ 女 2004/10/29 63 5 木田和島 キダワジマ 男 2006/11/01 60 列指向データベース 6 55 江田幸雄 エダサチオ 男
34.
© Opt, Inc.
All Rights Reserved. No 氏名 フリガナ 性別 生年月日 点数 1 板橋範久 イタバシノリヒサ 男 2001/08/19 94 2 猪俣清治 イノマタセイジ 男 2001/09/13 41 3 福島莉乃 フクシマリノ 女 1998/07/05 46 4 碓井桃歌 ウスイモモカ 女 2004/10/29 63 5 木田和島 キダワジマ 男 2006/11/01 60 列指向データベース 6 江田幸雄 エダサチオ 男 2004/11/04 55
35.
© Opt, Inc.
All Rights Reserved. INSERTは 行指向の方が速い
36.
© Opt, Inc.
All Rights Reserved. ② レコードを集計するとき
37.
© Opt, Inc.
All Rights Reserved. 性別ごとに 平均点を出したい
38.
© Opt, Inc.
All Rights Reserved. SELECT 性別,AVG(点数) FROM 学生テーブル GROUP BY 性別
39.
© Opt, Inc.
All Rights Reserved. No 氏名 フリガナ 性別 生年月日 点数 1 板橋範久 イタバシノリヒサ 男 2001/08/19 94 2 猪俣清治 イノマタセイジ 男 2001/09/13 41 3 福島莉乃 フクシマリノ 女 1998/07/05 46 4 碓井桃歌 ウスイモモカ 女 2004/10/29 63 5 木田和島 キダワジマ 男 2006/11/01 60 行指向データベース
40.
© Opt, Inc.
All Rights Reserved. No 氏名 フリガナ 性別 生年月日 点数 1 板橋範久 イタバシノリヒサ 男 2001/08/19 94 2 猪俣清治 イノマタセイジ 男 2001/09/13 41 3 福島莉乃 フクシマリノ 女 1998/07/05 46 4 碓井桃歌 ウスイモモカ 女 2004/10/29 63 5 木田和島 キダワジマ 男 2006/11/01 60 行指向データベース
41.
© Opt, Inc.
All Rights Reserved. No 氏名 フリガナ 性別 生年月日 点数 1 板橋範久 イタバシノリヒサ 男 2001/08/19 94 2 猪俣清治 イノマタセイジ 男 2001/09/13 41 3 福島莉乃 フクシマリノ 女 1998/07/05 46 4 碓井桃歌 ウスイモモカ 女 2004/10/29 63 5 木田和島 キダワジマ 男 2006/11/01 60 行指向データベース 全カラムを走査して 性別列と点数列を使う
42.
© Opt, Inc.
All Rights Reserved. No 氏名 フリガナ 性別 生年月日 点数 1 板橋範久 イタバシノリヒサ 男 2001/08/19 94 2 猪俣清治 イノマタセイジ 男 2001/09/13 41 3 福島莉乃 フクシマリノ 女 1998/07/05 46 4 碓井桃歌 ウスイモモカ 女 2004/10/29 63 5 木田和島 キダワジマ 男 2006/11/01 60 列指向データベース
43.
© Opt, Inc.
All Rights Reserved. 性別 点数 男 94 男 41 女 46 女 63 男 60 列指向データベース
44.
© Opt, Inc.
All Rights Reserved. 性別 点数 男 94 男 41 女 46 女 63 男 60 列指向データベース 必要な列だけを走査 捜索するデータ量を削減
45.
© Opt, Inc.
All Rights Reserved. 集計は列指向の方が速い
46.
© Opt, Inc.
All Rights Reserved. つまり… 行指向・列指向 どっちもよい!
47.
© Opt, Inc.
All Rights Reserved. 行指向データベース ● データの持ち方 ○ データを行で扱う ● 例えば… ○ Oracle ○ MySQL
48.
© Opt, Inc.
All Rights Reserved. 列指向データベース ● データの持ち方 ○ データを列で扱う ● 例えば… ○ Cassandra ○ Redshift
49.
© Opt, Inc.
All Rights Reserved. 列 行 トランザクション処理に強い 行単位で処理するUPDATE/INSERTが 速い 特定のカラムしか利用しない SELECT/集計が得意
50.
© Opt, Inc.
All Rights Reserved. 各種データベースの特徴
51.
© Opt, Inc.
All Rights Reserved. データベース ● Oracle ● AWS RDS ○ MySQL ○ PostgreSQL ● TreasureData ● Redshift
52.
© Opt, Inc.
All Rights Reserved. データベース ● Oracle ● AWS RDS ○ MySQL ○ PostgreSQL ● TreasureData ● Redshift オプト仙台では これらのDBを活 用しています
53.
© Opt, Inc.
All Rights Reserved. Oracle ● 有償のみ ● 行指向 ● 分散処理 ※デフォルト設定の場合
54.
© Opt, Inc.
All Rights Reserved. Oracle シェアNo.1 ※出典:https://www.marineroad.com/staff-blog/17102.html 自動でチューニングしてくれるので、 チューニングなしでもそこそこのパ フォーマンスが期待できる
55.
© Opt, Inc.
All Rights Reserved. MySQL ● オープンソース 無料 ● 行指向 ● 分散処理 ※デフォルト設定の場合
56.
© Opt, Inc.
All Rights Reserved. MySQL シェアNo.2 ※出典:https://www.marineroad.com/staff-blog/17102.html ユーザーが多くコミュニティが活発。 調べると初歩的なものからたくさん情 報が出てくる
57.
© Opt, Inc.
All Rights Reserved. PostgreSQL ● オープンソース 無料 ● 行指向 ● 分散処理 ※デフォルト設定の場合
58.
© Opt, Inc.
All Rights Reserved. PostgreSQL シェアNo.4 ※出典:https://www.marineroad.com/staff-blog/17102.html PostGISと言う位置情報を扱う拡張機能 が有名。位置情報アプリに便利。 チューニング次第で高速化できる!
59.
© Opt, Inc.
All Rights Reserved. TREASURE DATA ● 有償(機能制限版の無償あり) ○ 月額料金 ● 列指向 ● 分散処理 ● アーキテクチャはHadoop ※デフォルト設定の場合
60.
© Opt, Inc.
All Rights Reserved. TREASURE DATA トレジャーデータより提供されているクラウド上の DMS(データマネジメントサービス)。 ※オプトでは「トレジャーデータサービス by IDCF」を活用しています。 テーブル定義なしでデータの保存が可能。パーティ ションのため時刻のカラムが必須 DELETE・更新はできない。 partial_delete:時刻カラムで期間指定削除は可
61.
© Opt, Inc.
All Rights Reserved. Redshift ● 有償のみ ○ 従量課金 ● 列指向 ● 分散処理 ● アーキテクチャはActian Matrix ※デフォルト設定の場合
62.
© Opt, Inc.
All Rights Reserved. Redshift AWSで提供されているDWH構築向け 大規模データ解析システム。 スケーラブル、クラスターサイズ変更可。 Amazon S3との連携が便利。 COPYコマンドを利用し高速取り込みが可能。 ※Amazon S3:Simple Storage Service データ保存取得可能なオブジェクトストレージ
63.
© Opt, Inc.
All Rights Reserved. 比較 MySQL PostgeSQL TreasureData Redshift アーキテ クチャ MySQL PostgreSQL Hadoop Actian Matrix 指向 行 行 列 列 分散 ❌ ❌ ○ ○ 料金 無償あり 無償あり 基本有償 有償のみ ※デフォルト設定の場合
64.
© Opt, Inc.
All Rights Reserved. パフォーマンス比較
65.
© Opt, Inc.
All Rights Reserved. データベース ● Oracle ● AWS RDS ○ MySQL ○ PostgreSQL ● TreasureData ● Redshift オプト仙台では これらのDBを活 用しています なので…
66.
© Opt, Inc.
All Rights Reserved. データベース ● Oracle ● AWS RDS ○ MySQL ○ PostgreSQL ● TreasureData ● Redshift これらのDBのパ フォーマンス検 証しました!
67.
© Opt, Inc.
All Rights Reserved. データ偏り・カラムの数や型など でパフォーマンスは大きく変わる ので、数値は一例としてご覧くだ さい。
68.
© Opt, Inc.
All Rights Reserved. DB名 プラン CPU RAM (GiB) MySQL db.r3.large 2 15.25 PostgreSQL db.r3.large 2 15.25 TreasureData プランS 4 -- Redshift dc1.large 2 15 比較環境
69.
© Opt, Inc.
All Rights Reserved. 検証データ量 DB名 1万件 100万件 1億件 TresureData 12M 1,243M 124,357M Redshift 108M 206M 10,004M PostgreSQL 6M 1,113M 207,497M MySQL 16M 1,206M 115,307M
70.
© Opt, Inc.
All Rights Reserved. 検証SQL SELECT SELECT date,COUNT(*),SUM(数値) FROM table GROUP BY date SELECT UNION SELECT SELECT date,COUNT(*),SUM(数値) FROM table GROUP BY date UNION ALL SELECT date,COUNT(*),SUM(数値) FROM table2 GROUP BY date INSERT INSERT INTO table2 SELECT * FROM table ADD COLUMN ALTER TABLE table ADD COLUMN additional VARCHAR(100)
71.
© Opt, Inc.
All Rights Reserved. パフォーマンス比較 DB名 SELECT UNION INSERT ADD COLUMN 1万 100万 1億 1万 100万 1億 1万 100万 1億 1億 MySQL 0.06s 1.5s 55.5 m 0.08s 2.7s 1.8h 3s 1.1m 2.2h 3.3h PostgreSQL 0.06s 0.7s 1.2h 0.07s 0.9s 3.5h 0.1s 0.9s 6.2h 0.2s TREASURE DATA 2s 2s 8s 2s 3s 11s 8s 2.5m 7.3h -- Redshift 0.2s 0.3s 0.4s 0.3s 0.4s 0.7s 4.5s 17.75 s 2.5m 2s 3回試行平均値
72.
© Opt, Inc.
All Rights Reserved. パフォーマンス比較 DB名 SELECT 1万 100万 1億 MySQL 0.06s 1.5s 55.5m PostgreSQL 0.06s 0.7s 1.2h TREASURE DATA 2s 2s 8s Redshift 0.2s 0.3s 0.4s
73.
© Opt, Inc.
All Rights Reserved. パフォーマンス比較 DB名 SELECT 1万 100万 1億 MySQL 0.06s 1.5s 55.5m PostgreSQL 0.06s 0.7s 1.2h TREASURE DATA 2s 2s 8s Redshift 0.2s 0.3s 0.4s 集計クエリだけど 列指向のRedshiftより 行指向のPostgreSQL が速い
74.
© Opt, Inc.
All Rights Reserved. パフォーマンス比較 DB名 SELECT 1万 100万 1億 MySQL 0.06s 1.5s 55.5m PostgreSQL 0.06s 0.7s 1.2h TREASURE DATA 2s 2s 8s Redshift 0.2s 0.3s 0.4s Redshiftはクエリを コンパイルするので オーバーヘッドがある
75.
© Opt, Inc.
All Rights Reserved. パフォーマンス比較 DB名 SELECT 1万 100万 1億 MySQL 0.06s 1.5s 55.5m PostgreSQL 0.06s 0.7s 1.2h TREASURE DATA 2s 2s 8s Redshift 0.2s 0.3s 0.4s データ量の増加で爆 発的に処理時間が増 えている!
76.
© Opt, Inc.
All Rights Reserved. パフォーマンス比較 DB名 SELECT 1万 100万 1億 MySQL 0.06s 1.5s 55.5m PostgreSQL 0.06s 0.7s 1.2h TREASURE DATA 2s 2s 8s Redshift 0.2s 0.3s 0.4sデータ量:10,000倍 処理速度:72,857倍
77.
© Opt, Inc.
All Rights Reserved. パフォーマンス比較 DB名 SELECT 1万 100万 1億 MySQL 0.06s 1.5s 55.5m PostgreSQL 0.06s 0.7s 1.2h TREASURE DATA 2s 2s 8s Redshift 0.2s 0.3s 0.4s Redshiftはデータ量 に対して速度劣化が 少ない
78.
© Opt, Inc.
All Rights Reserved. パフォーマンス比較 DB名 SELECT 1万 100万 1億 MySQL 0.06s 1.5s 55.5m PostgreSQL 0.06s 0.7s 1.2h TREASURE DATA 2s 2s 8s Redshift 0.2s 0.3s 0.4s データ量:10,000倍 処理速度:2倍
79.
© Opt, Inc.
All Rights Reserved. パフォーマンス比較 DB名 UNION 1万 100万 1億 MySQL 0.08s 2.7s 1.8h PostgreSQL 0.07s 0.9s 3.5h TREASURE DATA 2s 3s 11s Redshift 0.3s 0.4s 0.7s 3回試行平均値
80.
© Opt, Inc.
All Rights Reserved. パフォーマンス比較 DB名 UNION 1万 100万 1億 MySQL 0.08s 2.7s 1.8h PostgreSQL 0.07s 0.9s 3.5h TREASURE DATA 2s 3s 11s Redshift 0.3s 0.4s 0.7s 処理時間の増加はよ り顕著
81.
© Opt, Inc.
All Rights Reserved. パフォーマンス比較 DB名 INSERT 1万 100万 1億 MySQL 3s 1.1m 2.2h PostgreSQL 0.1s 0.9s 6.2h TREASURE DATA 8s 2.5m 7.3h Redshift 4.5s 17.75s 2.5m 3回試行平均値
82.
© Opt, Inc.
All Rights Reserved. パフォーマンス比較 DB名 INSERT 1万 100万 1億 MySQL 3s 1.1m 2.2h PostgreSQL 0.1s 0.9s 6.2h TREASURE DATA 8s 2.5m 7.3h Redshift 4.5s 17.75s 2.5m 3回試行平均値 Redshiftでも それなりの 処理時間が かかっている
83.
© Opt, Inc.
All Rights Reserved. パフォーマンス比較 DB名 ADD COLUMN 1億 MySQL 3.3h PostgreSQL 0.2s TREASURE DATA -- Redshift 2s 3回試行平均値
84.
© Opt, Inc.
All Rights Reserved. パフォーマンス比較 DB名 ADD COLUMN 1億 MySQL 3.3h PostgreSQL 0.2s TREASURE DATA -- Redshift 2s 3回試行平均値 MySQLは カラム追加は遅い
85.
© Opt, Inc.
All Rights Reserved. パフォーマンス比較 DB名 ADD COLUMN 1億 MySQL 3.3h PostgreSQL 0.2s TREASURE DATA -- Redshift 2s 3回試行平均値 PostgreSQLは デフォルト値を 設定していない 場合、テーブル 定義への追加だ けなので速い
86.
© Opt, Inc.
All Rights Reserved. パフォーマンス比較 DB名 ADD COLUMN 1億 MySQL 3.3h PostgreSQL 0.2s TREASURE DATA -- Redshift 2s 3回試行平均値 Redshiftも PostgreSQLと 同様に速い。 がやはりコンパ イルのオーバー ヘッドがある。
87.
© Opt, Inc.
All Rights Reserved. まとめ 今回の検証では、 以上の結果が得られました
88.
© Opt, Inc.
All Rights Reserved. まとめ そもそもこのように大きなデータを 一つのテーブルに入れて集計するのは、 RDBは適切でないという前提があります 決してMySQLやPostgreSQLの 性能が悪い訳ではありません
89.
© Opt, Inc.
All Rights Reserved. まとめ Redshiftは大きなデータの 単一テーブルを扱うことが得意です。 このような適性からオプト仙台では、 Redshiftを採用しています。
90.
© Opt, Inc.
All Rights Reserved. アプリケーションによって 適切なDBを!
91.
© Opt, Inc.
All Rights Reserved. ご清聴 ありがとうございました
Download