Copyright @2019 Insight Technology, Inc. All Right Reserved
講演者名︓ ⽯川雅也
9/27 オープニング
Copyright @2019 Insight Technology, Inc. All Right Reserved
…
オラクル
ネティーザ
IBM
Copyright @2019 Insight Technology, Inc. All Right Reserved
講演者名︓ ⽯川雅也
原沢さんの経歴から
データマネジメントの過去と現在と未来を考察する
特に DWH, ビッグデータ界隈 (と AI )
Copyright @2019 Insight Technology, Inc. All Right Reserved
n ⽯川 雅也 (いしかわ まさや)
株式会社インサイトテクノロジー 取締役 兼 CTO
プロダクト開発本部⻑
n 外資系HWベンダー
• UNIX担当SE、トラブルシュート, crash dump解析, UNIX SCSI Device Driver改造
n 1993年 ⽇本オラクル
• DBインフラ系SE、コンサルティング、トラブルシュート
n 1995年 インサイトテクノロジー設⽴
• DBコンサルティング、トラブルシュート
• Oracleパフォーマンス管理ツール Performance Insight (1995~)
• Oracleアクセスログ取得管理ツール PISO (2004~)
• SQL Server版, 富⼠通Symfoware版 PISO (2005~)
• DB専⽤IAサーバー Insight Qube (2012~)
• 2013年 Actian DWH向けRDBMS 販売
• 2015年 Delphix データ仮想化ソリューション 販売
• 2016年 PostgreSQL版、MySQL版 PISO開発
• 2018年 AI型予兆予測サービス LUiNa
来客予測AI
• 2019年 Insight Database Testing
Copyright @2019 Insight Technology, Inc. All Right ReservedCopyright @2019 Insight Technology, Inc. All Right Reserved
00 10 20
Netezza(Netezza)
DATAAllegro (DATAAllegro) (MS)
Asterdata (Aster Data Systems) Teradata Aster (Teradata) ☁
Greenplum (Greenplum)
[OSS] Apache HAWQ
(EMC) [OSS] Greenplum (Pivotal)(Pivotal)
HAWQ(Pivotal)
Cloudera
MapR Technologies ☁ (HPE)
Hortonworks ☁ (IPO)
Vertica (HP) Vertica (Microfocus)Vertica (Vertica) ☁
SAP HANA (SAP) ☁
☁ Google Big Query
Vector-H (Actian) ☁ Avalanche
☁ Snowflake
☁ Azure SQL Data WarehouseParallel Data Warehouse
(IBM) PureData(IBM)
ParAccel (ParAccel) Matrix (Actian)
☁ Amazon Redshift
(IPO)☁
Copyright @2019 Insight Technology, Inc. All Right Reserved
聞いてみたいデータベース TOP20推移 (選択肢の数)
2014 (33) 2015 (39) 2016 (59) 2017 (87) 2018 (89) 2019(x)
1 Oracle Oracle Oracle PostgreSQL PostgreSQL
Amazon Aurora
(PostgreSQL)
2 MySQL MySQL MySQL MySQL MySQL Amazon Aurora(MySQL)
3 PostgreSQL PostgreSQL PostgreSQL Amazon Aurora Amazon Aurora Amazon Redshift
4 Microsoft SQL Server MongoDB Spark Oracle Oracle PostgreSQL
5 MongoDB Amazon Redshift Microsoft SQL Server Hadoop Amazon Redshift Oracle Cloud Database
6 Hadoop Hadoop Hadoop Spark MariaDB Amazon DynamoDB
7 Amazon Redshift Microsoft SQL Server MongoDB Amazon Redshift Google BigQuery Google Cloud Datastore
8 Amazon DynamoDB Amazon Aurora Amazon Aurora MariaDB Hadoop Hadoop
9 MariaDB Amazon DynamoDB Cassandra Google BigQuery Spark MySQL
10 SAP HANA MariaDB MariaDB MongoDB Amazon DynamoDB Microsoft Azure SQL Database
11 MapR Cassandra Amazon Redshift Microsoft SQL Server MongoDB Google Cloud Spanner
12 Hive SAP HANA SAP HANA Azure SQL Database Azure SQL Database Google CLOUD BIGTABLE
13 Cloudera Hive Amazon DynamoDB Amazon DynamoDB Azure Cosmos DB MongoDB
14 Cassandra MapR Google BigQuery Google Cloud Spanner Azure Database for PostgreSQL Microsoft Azure Cosmos DB
15 Riak TreasureData SQL Azure Apache Kafka Oracle Cloud
Microsoft Azure
SQL Data Warehouse
16 Impala Vertica Apache Kafka Cassandra Cassandra Cassandra
17 Couchbase Impala MapR Google Cloud SQL Apache Kafka Neo4j
18 Presto Cloudera Hive SAP HANA Google Cloud Spanner MariaDB
19 Netezza Riak Azure SQL Data Warehouse SQLite SAP HANA Oracle Database
20 DB2 Presto Cloudera Google Cloud Datastore Google Cloud SQL EDB
Copyright @2019 Insight Technology, Inc. All Right Reserved
0 1 1
3
5 5
2
3 4
5
5 6
9
8 7
4
4 24
4 4 5
3 5
5 4 4 3 3 2
0
10
20
2014 2015 2016 2017 2018 2019
Cloud-OLTP Cloud-DWH BigData RDBMS-OSS RDBMS
聞いてみたいデータベース TOP20 内訳
Copyright @2019 Insight Technology, Inc. All Right Reserved
0.0
1.2 1.8
3.0
3.9
7.6
2.6
3.2 2.6
3.9
5.0
6.2
6.4
5.2 5.4
4.0
3.2
1.7
6.2
6.2 5.9
6.2
6.1
4.24.9 4.1 4.3
2.9
1.8
0.3
0
10
20
2014 2015 2016 2017 2018 2019
Cloud-OLTP Cloud-DWH BigData RDBMS-OSS RDBMS
聞いてみたいデータベース TOP20 内訳 (順位補正済み)
Copyright @2019 Insight Technology, Inc. All Right Reserved
利⽤してみたいデータベース製品 2019
0% 20% 40% 60% 80% 100%
Amazon Aurora(PostgreSQL)
Amazon Aurora(MySQL)
Amazon Redshift
PostgreSQL
Oracle Cloud Databese
Amazon DynamoDB
Google Cloud Datastore
Hadoop
MySQL
Microsoft Azure SQL Database
Google Cloud Spanner
Google CLOUD BIGTABLE
MongoDB
Microsoft Azure Cosmos DB
Microsoft Azure SQL Data Warehouse
Cassandra
Neo4j
MariaDB
Oracle Databese
Copyright @2019 Insight Technology, Inc. All Right Reserved
利⽤しているデータベース製品 2019
0% 20% 40% 60% 80% 100%
Oracle Databese
PostgreSQL
MySQL
Microsoft SQLServer
Hadoop
Amazon Aurora(MySQL)
Amazon Redshift
MariaDB
Microsoft Azure SQL Database
Redis
Amazon Aurora(PostgreSQL)
Microsoft Access
MongoDB
Amazon DynamoDB
IBM Db2
Oracle Cloud Databese
SAP HANA
EDB
Cassandra
Fujitsu Symfoware Server
Copyright @2019 Insight Technology, Inc. All Right Reserved
⽇本におけるテクノロジトレンド – ビッグ・データ
Copyright @2019 Insight Technology, Inc. All Right Reserved
2019年の Hadoopは激動の年?
– 2019年1月 Cloudera と Hortonworksが合併 (2018年10月 発表)
– 2019年6月 Clouderaのトム・ライリーCEOが退任、一時株価急落
– 2019年6月 MapR レイオフ実施
– 2019年8月 MapR のビジネス資産を HPEが買収
Copyright @2019 Insight Technology, Inc. All Right Reserved
クラウドは Hadoop (Vendor)を殺したのか?
Hadoopの問題点
1. 運⽤の複雑さ
• → クラウド(マネージドサービス)が解決
2. 開発の複雑さ
• → クラウドは解決出来るのか?
3. Schema on Read
• → 活⽤事例の蓄積・データの取捨選択
(ハイプ・サイクルの幻滅期・啓蒙活動期)
Copyright @2019 Insight Technology, Inc. All Right Reserved
ここまでのまとめ
• ビッグデータ関連プロダクトへの興味は2014年をピークにシュリンクしている
• Hadoop市場は各社売上が難しい状況となっている
これは Hadoop以外のビッグデータ関連プロダクト(NoSQL, SQL on Hadoop)につ
いても同じ傾向
• 代わりにクラウド・サービスへの興味の増加が特に2017年以降加速している
• Cloud-DHW (マネージドのビッグデータソリューション)での
NoSQL, Hadoop, DWH のシェアが増えている
• (Cloud-OLTP も市場としての成長率の増加がいちじるしい)
• 実体はまだ4つのOLTP RDBMS製品がメインで使用されている
Copyright @2019 Insight Technology, Inc. All Right Reserved
将来への考察
• DWH/ビッグデータ システムは運用の複雑さの問題からクラウドへ
• クラウドベンダーだけでなく製品ベンダー自身も提供
• DWH/ビッグデータ システムの開発の複雑さの問題は?
• クラウドサービスとして解決
• Operational RDBMS と Analytic DBMSは一緒になるのか?
• OLTP と DWH を一つのリポジトリで
• OLTP と ビッグデータは、、、
• 将来的には AI処理もDBMSにビルトイン
Copyright @2019 Insight Technology, Inc. All Right Reserved
…
オラクル
ネティーザ
IBM
Copyright @2019 Insight Technology, Inc. All Right Reserved
記載されている会社名、サービス名、製品名は、株式会社インサイトテクノロジーおよび各社の商標または登録商標です。

db tech showcase2019 オープニングセッション @ 石川 雅也

  • 1.
    Copyright @2019 InsightTechnology, Inc. All Right Reserved 講演者名︓ ⽯川雅也 9/27 オープニング
  • 2.
    Copyright @2019 InsightTechnology, Inc. All Right Reserved … オラクル ネティーザ IBM
  • 3.
    Copyright @2019 InsightTechnology, Inc. All Right Reserved 講演者名︓ ⽯川雅也 原沢さんの経歴から データマネジメントの過去と現在と未来を考察する 特に DWH, ビッグデータ界隈 (と AI )
  • 4.
    Copyright @2019 InsightTechnology, Inc. All Right Reserved n ⽯川 雅也 (いしかわ まさや) 株式会社インサイトテクノロジー 取締役 兼 CTO プロダクト開発本部⻑ n 外資系HWベンダー • UNIX担当SE、トラブルシュート, crash dump解析, UNIX SCSI Device Driver改造 n 1993年 ⽇本オラクル • DBインフラ系SE、コンサルティング、トラブルシュート n 1995年 インサイトテクノロジー設⽴ • DBコンサルティング、トラブルシュート • Oracleパフォーマンス管理ツール Performance Insight (1995~) • Oracleアクセスログ取得管理ツール PISO (2004~) • SQL Server版, 富⼠通Symfoware版 PISO (2005~) • DB専⽤IAサーバー Insight Qube (2012~) • 2013年 Actian DWH向けRDBMS 販売 • 2015年 Delphix データ仮想化ソリューション 販売 • 2016年 PostgreSQL版、MySQL版 PISO開発 • 2018年 AI型予兆予測サービス LUiNa 来客予測AI • 2019年 Insight Database Testing
  • 5.
    Copyright @2019 InsightTechnology, Inc. All Right ReservedCopyright @2019 Insight Technology, Inc. All Right Reserved 00 10 20 Netezza(Netezza) DATAAllegro (DATAAllegro) (MS) Asterdata (Aster Data Systems) Teradata Aster (Teradata) ☁ Greenplum (Greenplum) [OSS] Apache HAWQ (EMC) [OSS] Greenplum (Pivotal)(Pivotal) HAWQ(Pivotal) Cloudera MapR Technologies ☁ (HPE) Hortonworks ☁ (IPO) Vertica (HP) Vertica (Microfocus)Vertica (Vertica) ☁ SAP HANA (SAP) ☁ ☁ Google Big Query Vector-H (Actian) ☁ Avalanche ☁ Snowflake ☁ Azure SQL Data WarehouseParallel Data Warehouse (IBM) PureData(IBM) ParAccel (ParAccel) Matrix (Actian) ☁ Amazon Redshift (IPO)☁
  • 6.
    Copyright @2019 InsightTechnology, Inc. All Right Reserved 聞いてみたいデータベース TOP20推移 (選択肢の数) 2014 (33) 2015 (39) 2016 (59) 2017 (87) 2018 (89) 2019(x) 1 Oracle Oracle Oracle PostgreSQL PostgreSQL Amazon Aurora (PostgreSQL) 2 MySQL MySQL MySQL MySQL MySQL Amazon Aurora(MySQL) 3 PostgreSQL PostgreSQL PostgreSQL Amazon Aurora Amazon Aurora Amazon Redshift 4 Microsoft SQL Server MongoDB Spark Oracle Oracle PostgreSQL 5 MongoDB Amazon Redshift Microsoft SQL Server Hadoop Amazon Redshift Oracle Cloud Database 6 Hadoop Hadoop Hadoop Spark MariaDB Amazon DynamoDB 7 Amazon Redshift Microsoft SQL Server MongoDB Amazon Redshift Google BigQuery Google Cloud Datastore 8 Amazon DynamoDB Amazon Aurora Amazon Aurora MariaDB Hadoop Hadoop 9 MariaDB Amazon DynamoDB Cassandra Google BigQuery Spark MySQL 10 SAP HANA MariaDB MariaDB MongoDB Amazon DynamoDB Microsoft Azure SQL Database 11 MapR Cassandra Amazon Redshift Microsoft SQL Server MongoDB Google Cloud Spanner 12 Hive SAP HANA SAP HANA Azure SQL Database Azure SQL Database Google CLOUD BIGTABLE 13 Cloudera Hive Amazon DynamoDB Amazon DynamoDB Azure Cosmos DB MongoDB 14 Cassandra MapR Google BigQuery Google Cloud Spanner Azure Database for PostgreSQL Microsoft Azure Cosmos DB 15 Riak TreasureData SQL Azure Apache Kafka Oracle Cloud Microsoft Azure SQL Data Warehouse 16 Impala Vertica Apache Kafka Cassandra Cassandra Cassandra 17 Couchbase Impala MapR Google Cloud SQL Apache Kafka Neo4j 18 Presto Cloudera Hive SAP HANA Google Cloud Spanner MariaDB 19 Netezza Riak Azure SQL Data Warehouse SQLite SAP HANA Oracle Database 20 DB2 Presto Cloudera Google Cloud Datastore Google Cloud SQL EDB
  • 7.
    Copyright @2019 InsightTechnology, Inc. All Right Reserved 0 1 1 3 5 5 2 3 4 5 5 6 9 8 7 4 4 24 4 4 5 3 5 5 4 4 3 3 2 0 10 20 2014 2015 2016 2017 2018 2019 Cloud-OLTP Cloud-DWH BigData RDBMS-OSS RDBMS 聞いてみたいデータベース TOP20 内訳
  • 8.
    Copyright @2019 InsightTechnology, Inc. All Right Reserved 0.0 1.2 1.8 3.0 3.9 7.6 2.6 3.2 2.6 3.9 5.0 6.2 6.4 5.2 5.4 4.0 3.2 1.7 6.2 6.2 5.9 6.2 6.1 4.24.9 4.1 4.3 2.9 1.8 0.3 0 10 20 2014 2015 2016 2017 2018 2019 Cloud-OLTP Cloud-DWH BigData RDBMS-OSS RDBMS 聞いてみたいデータベース TOP20 内訳 (順位補正済み)
  • 9.
    Copyright @2019 InsightTechnology, Inc. All Right Reserved 利⽤してみたいデータベース製品 2019 0% 20% 40% 60% 80% 100% Amazon Aurora(PostgreSQL) Amazon Aurora(MySQL) Amazon Redshift PostgreSQL Oracle Cloud Databese Amazon DynamoDB Google Cloud Datastore Hadoop MySQL Microsoft Azure SQL Database Google Cloud Spanner Google CLOUD BIGTABLE MongoDB Microsoft Azure Cosmos DB Microsoft Azure SQL Data Warehouse Cassandra Neo4j MariaDB Oracle Databese
  • 10.
    Copyright @2019 InsightTechnology, Inc. All Right Reserved 利⽤しているデータベース製品 2019 0% 20% 40% 60% 80% 100% Oracle Databese PostgreSQL MySQL Microsoft SQLServer Hadoop Amazon Aurora(MySQL) Amazon Redshift MariaDB Microsoft Azure SQL Database Redis Amazon Aurora(PostgreSQL) Microsoft Access MongoDB Amazon DynamoDB IBM Db2 Oracle Cloud Databese SAP HANA EDB Cassandra Fujitsu Symfoware Server
  • 11.
    Copyright @2019 InsightTechnology, Inc. All Right Reserved ⽇本におけるテクノロジトレンド – ビッグ・データ
  • 12.
    Copyright @2019 InsightTechnology, Inc. All Right Reserved 2019年の Hadoopは激動の年? – 2019年1月 Cloudera と Hortonworksが合併 (2018年10月 発表) – 2019年6月 Clouderaのトム・ライリーCEOが退任、一時株価急落 – 2019年6月 MapR レイオフ実施 – 2019年8月 MapR のビジネス資産を HPEが買収
  • 13.
    Copyright @2019 InsightTechnology, Inc. All Right Reserved クラウドは Hadoop (Vendor)を殺したのか? Hadoopの問題点 1. 運⽤の複雑さ • → クラウド(マネージドサービス)が解決 2. 開発の複雑さ • → クラウドは解決出来るのか? 3. Schema on Read • → 活⽤事例の蓄積・データの取捨選択 (ハイプ・サイクルの幻滅期・啓蒙活動期)
  • 14.
    Copyright @2019 InsightTechnology, Inc. All Right Reserved ここまでのまとめ • ビッグデータ関連プロダクトへの興味は2014年をピークにシュリンクしている • Hadoop市場は各社売上が難しい状況となっている これは Hadoop以外のビッグデータ関連プロダクト(NoSQL, SQL on Hadoop)につ いても同じ傾向 • 代わりにクラウド・サービスへの興味の増加が特に2017年以降加速している • Cloud-DHW (マネージドのビッグデータソリューション)での NoSQL, Hadoop, DWH のシェアが増えている • (Cloud-OLTP も市場としての成長率の増加がいちじるしい) • 実体はまだ4つのOLTP RDBMS製品がメインで使用されている
  • 15.
    Copyright @2019 InsightTechnology, Inc. All Right Reserved 将来への考察 • DWH/ビッグデータ システムは運用の複雑さの問題からクラウドへ • クラウドベンダーだけでなく製品ベンダー自身も提供 • DWH/ビッグデータ システムの開発の複雑さの問題は? • クラウドサービスとして解決 • Operational RDBMS と Analytic DBMSは一緒になるのか? • OLTP と DWH を一つのリポジトリで • OLTP と ビッグデータは、、、 • 将来的には AI処理もDBMSにビルトイン
  • 16.
    Copyright @2019 InsightTechnology, Inc. All Right Reserved … オラクル ネティーザ IBM
  • 17.
    Copyright @2019 InsightTechnology, Inc. All Right Reserved 記載されている会社名、サービス名、製品名は、株式会社インサイトテクノロジーおよび各社の商標または登録商標です。