データをどこに溜めよう?
ローカル?クラウド?どのデータベース?
2018/4/13 LT会
石原雅崇
CONFIDENTIAL © Core Concept Technologies Inc.
自己紹介
2
• IoT/AIソリューション事業部 チーフエンジニア 石原雅崇
• Orizuru=IoTプラットフォーム
• サーバサイド開発
• プリセールス・構成提案
• 得意分野
• データベース設計・構築・チューニング
• AWS設計・構築
• ビッグデータ処理・機械学習: Hadoop/Spark・Pandas
• 画面開発: Vue.js
• Deep Learning: Keras/TensorFlow
CONFIDENTIAL © Core Concept Technologies Inc.
IoTプラットフォームOrizuruにおけるデータベースの役割
3
工場から24時間365日上がってくるデータを溜め続ける!
アプリケーションから活用しやすい状態にする!
CONFIDENTIAL © Core Concept Technologies Inc.
よくいただく疑問
4
• オンプレミスとクラウドはどちらがいいの?
• BIツールと連携したいんだけど、どのデータベースがいいの?
• NoSQLとか時系列データベースって何?
CONFIDENTIAL © Core Concept Technologies Inc.
オンプレミスとクラウドはどちらがいいの?
5
オンプレミス クラウド (AWS/GCP等)
可用性
✕災害対策のためには複数拠点が必要
✕ハードウェア障害時の予備機が必要
○複数データセンター間での冗長化が容易
○ハードウェア障害時の復旧自動化が可能
性能・拡張性
○専有サーバのため性能予測が容易
✕拡張時はハードウェア調達・移行が必要
✕仮想サーバのため、他ユーザの影響を受ける可能性がある
○拡張に時間と手間がかからない
運用・保守性 ✕ハードウェア調達・運用・保守が必要 ○サーバ・データセンター運用をクラウドサービス側が負担
セキュリティ ○社内ネットワークに構築可能
△仮想プライベートネットワークを構築できるが、
ファイアウォール設定や暗号化等には注意が必要
コスト
✕初期コストが高い
○ランニングコストは安い
✕災害対策には数倍の費用が必要
○初期コストが安価
×従量課金なのでランニングコストは高くなりがち
○災害対策コストが安価
○高価な計算リソースを必要なとき(機械学習など)のみ利用可能
楽したいならクラウドがおすすめ!
(オンプレのメリットがどうしても大事ならオンプレミスで)
CONFIDENTIAL © Core Concept Technologies Inc.
BIツールと連携したいんだけど、どのデータベースがいいの?
NoSQLとか時系列データベースって何?
6
参考: https://www.slideshare.net/recruitcojp/ss-64189311
スケールアップ指向
=スペックを上げる=高くなりがち
スケールアウト指向
=台数を増やす
スループット重視
=分析向け
レスポンス重視
=速い
Oracle
SQL Server
MySQL
PostgreSQL
Oracle
PureData
Google BigQuery
Amazon Redshift
DWH
=分析用SQL
OLTP
=普通のSQL
BIツールと連携するならこれ
オンプレとクラウドの価格差がすごい
世の中のDBの
99%はこれ
Elasticsearch
MongoDB
Redis
DynamoDB
Graphite
InfluxDB
NoSQL
=SQLでないもの
時系列DB
用途は限定的
個人的には多用
(ログ、ユーザ情報、etc.)
BIツールとの連携もできる
テキストデータだけでなく
画像なども保管できるHadoop
AWS S3
分散ストレージ
CONFIDENTIAL © Core Concept Technologies Inc.
まとめ
7
• オンプレミスとクラウドはどちらがいいの?
• クラウドがおすすめ
• BIツールと連携したいんだけど、どのデータベースがいいの?
• Amazon RedshiftなどのクラウドDWHが安くておすすめ
• スタンダードなSQLを選ぼう
• 個人的には何でも放り込めて安いAWS S3を使い倒していきたい
• NoSQLとか時系列データベースって何?
• 用途にハマると効果を発揮する
• 興味ある方は後ほどお話しましょう
データをどこに溜めよう?ローカル?クラウド?どのデータベース?

データをどこに溜めよう?ローカル?クラウド?どのデータベース?

  • 1.
  • 2.
    CONFIDENTIAL © CoreConcept Technologies Inc. 自己紹介 2 • IoT/AIソリューション事業部 チーフエンジニア 石原雅崇 • Orizuru=IoTプラットフォーム • サーバサイド開発 • プリセールス・構成提案 • 得意分野 • データベース設計・構築・チューニング • AWS設計・構築 • ビッグデータ処理・機械学習: Hadoop/Spark・Pandas • 画面開発: Vue.js • Deep Learning: Keras/TensorFlow
  • 3.
    CONFIDENTIAL © CoreConcept Technologies Inc. IoTプラットフォームOrizuruにおけるデータベースの役割 3 工場から24時間365日上がってくるデータを溜め続ける! アプリケーションから活用しやすい状態にする!
  • 4.
    CONFIDENTIAL © CoreConcept Technologies Inc. よくいただく疑問 4 • オンプレミスとクラウドはどちらがいいの? • BIツールと連携したいんだけど、どのデータベースがいいの? • NoSQLとか時系列データベースって何?
  • 5.
    CONFIDENTIAL © CoreConcept Technologies Inc. オンプレミスとクラウドはどちらがいいの? 5 オンプレミス クラウド (AWS/GCP等) 可用性 ✕災害対策のためには複数拠点が必要 ✕ハードウェア障害時の予備機が必要 ○複数データセンター間での冗長化が容易 ○ハードウェア障害時の復旧自動化が可能 性能・拡張性 ○専有サーバのため性能予測が容易 ✕拡張時はハードウェア調達・移行が必要 ✕仮想サーバのため、他ユーザの影響を受ける可能性がある ○拡張に時間と手間がかからない 運用・保守性 ✕ハードウェア調達・運用・保守が必要 ○サーバ・データセンター運用をクラウドサービス側が負担 セキュリティ ○社内ネットワークに構築可能 △仮想プライベートネットワークを構築できるが、 ファイアウォール設定や暗号化等には注意が必要 コスト ✕初期コストが高い ○ランニングコストは安い ✕災害対策には数倍の費用が必要 ○初期コストが安価 ×従量課金なのでランニングコストは高くなりがち ○災害対策コストが安価 ○高価な計算リソースを必要なとき(機械学習など)のみ利用可能 楽したいならクラウドがおすすめ! (オンプレのメリットがどうしても大事ならオンプレミスで)
  • 6.
    CONFIDENTIAL © CoreConcept Technologies Inc. BIツールと連携したいんだけど、どのデータベースがいいの? NoSQLとか時系列データベースって何? 6 参考: https://www.slideshare.net/recruitcojp/ss-64189311 スケールアップ指向 =スペックを上げる=高くなりがち スケールアウト指向 =台数を増やす スループット重視 =分析向け レスポンス重視 =速い Oracle SQL Server MySQL PostgreSQL Oracle PureData Google BigQuery Amazon Redshift DWH =分析用SQL OLTP =普通のSQL BIツールと連携するならこれ オンプレとクラウドの価格差がすごい 世の中のDBの 99%はこれ Elasticsearch MongoDB Redis DynamoDB Graphite InfluxDB NoSQL =SQLでないもの 時系列DB 用途は限定的 個人的には多用 (ログ、ユーザ情報、etc.) BIツールとの連携もできる テキストデータだけでなく 画像なども保管できるHadoop AWS S3 分散ストレージ
  • 7.
    CONFIDENTIAL © CoreConcept Technologies Inc. まとめ 7 • オンプレミスとクラウドはどちらがいいの? • クラウドがおすすめ • BIツールと連携したいんだけど、どのデータベースがいいの? • Amazon RedshiftなどのクラウドDWHが安くておすすめ • スタンダードなSQLを選ぼう • 個人的には何でも放り込めて安いAWS S3を使い倒していきたい • NoSQLとか時系列データベースって何? • 用途にハマると効果を発揮する • 興味ある方は後ほどお話しましょう