© 2019 CData Software Japan, LLC | www.cdata.com/jp
kintone データをDB/DWH にまるっと複製するCData Sync
CData Software Japan
© 2019 CData Software Japan, LLC | www.cdata.com/jp
About Speaker
cdata software japan session speaker
疋田 圭介
•CData Software Japan 合同会社 代表社員
経歴
•業務データ活用一筋10年+
•金融機関10年(内、インドネシア5年)
•コンポーネント開発の海外オペレーション
•CData Software の日本オペ立ち上げ
@cdatajapan (中の人)
@keisuke.hikita.5
https://qiita.com/jonathanh
© 2019 CData Software Japan, LLC | www.cdata.com/jp
1. About CData Software
© 2019 CData Software Japan, LLC | www.cdata.com/jp
About CData Software
Bi-directional Access to Live App, Database, & Web API Data Through Standard Drivers
・CData Software, Inc. / Started: 1994 (/nsoftware)
・Location: Chapel Hill, NC a spin-off of /n software
・CData Japan: 2016/6 (JV with ASTERIA)
・20年以上にわたりデータ関連コンポーネントを提供
・100+ 対応データソース
・「標準化によりAPI を使いやすく」をミッションに連携ツールを提供c
© 2019 CData Software Japan, LLC | www.cdata.com/jp
業界最多級のデータソース
Drivers for NoSQL, Big Data, & SaaS Connectivity
CRMおよびマーケティング自動化
会計システム
コラボレーションおよびERP
オンプレミスおよびクラウドDB
ドキュメントおよびファイル形式
ソーシャルネットワーキングネットワーキングおよび認証
電子商取引
その他
© 2019 CData Software Japan, LLC | www.cdata.com/jp
データ連携 & データ仮想化ソリューション
A straightforward approach to data access based on established standards
標準インターフェースの提供でAPI をRDB に仮想化。アプリケーション、BI、
ETL ツールからシームレスなクラウド連携を実現。
DRIVERS & ADAPTERS
データベース接続、公開リソース選択、アクセス設定の3ステップだけで
データベースから本格的なREST API とドキュメントを公開できます。
REMOTE ACCESS (API SERVER)
幅広いクラウドデータをノンコーディングでお好みのDB に同期。
DATA REPLICATION (SYNC)
 ODBC
 JDBC
 ADO.NET
 ODATA
インストール不要の仮想RDB のクラウドインスタンス
CDATA CLOUD HUB

© 2019 CData Software Japan, LLC | www.cdata.com/jp
Global Customers
© 2019 CData Software Japan, LLC | www.cdata.com/jp
CData Software Japan Customers
© 2019 CData Software Japan, LLC | www.cdata.com/jp
Top Vendors Choose CData
Embedded in the leading BI, ETL, Data Integration, Data Virtualization, and Data Warehousing tools
© 2019 CData Software Japan, LLC | www.cdata.com/jp
2. Why need Sync
© 2019 CData Software Japan, LLC | www.cdata.com/jp
あるある①「データはやっぱりオンプレに持ちたい」
• kintone などのクラウドサービスの理解はようやく得られたが、最終的
にデータをオンプレに持たないことはNG
• 「サイボウズが倒産したらどうするんだ?」(オイオイ)
• 「理不尽な係争になってサービスを止められたら?」
• 災害や障害でインターネットが使えなくなったら?
• 理屈じゃなく業務データは手元に置きたい
© 2019 CData Software Japan, LLC | www.cdata.com/jp
あるある②「社内にはSQL エンジニアはいるのに」
• 社内のエンジニアはRDB、Access、Excel は得意だけど、Web API は。。。
• 既存のエンジニアがRDB とのギャップに引いてしまう
• 情シスが疎外感というか敵対
© 2019 CData Software Japan, LLC | www.cdata.com/jp
あるある③「既存のアプリすべてを廃止できない」
• kintone を導入するためだけに既存アプリケーション資産をゴミ箱に?
• オンプレ型の帳票
• MS Access ベースのアプリ
• 基幹システムは当面維持
© 2019 CData Software Japan, LLC | www.cdata.com/jp
なぜなら、連携が必要ないSaaS はない
• 連携:Point to point
• データ量:大きくなる可能性も
• 同期頻度:リアルタイム~日時バッ
チ程度
• 難易度:低(通知)、高(オート
メーション)
通知だけなどであれば、リアルタイム性
が重視されるが連携の難易度自体は
低く、API での連携実装向き。
オートメーションとなると、ロジック、重
複の扱いなど難易度があがる
• 連携:DB 同期
• データ量:小~中
• 同期頻度:日時バッチで充分
• 難易度:高
DB の同期は、細かいところで難易度
が高い
• 連携:DB 同期(マスター+トラン
ザクション)
• データ量:大
• 同期頻度:日時バッチで充分
• 難易度:中
データの量が多いことや非構造化デー
タの問題
オートメーション・通知系 マスター同期 分析用DB
• 連携:バックアップDB
• データ量:大
• 同期頻度:日時バッチで充分
• 難易度:中
データの量が多いことや非構造化デー
タの問題
バックアップ
© 2019 CData Software Japan, LLC | www.cdata.com/jp
何とかAPI での連携ができるようになったとしても、
© 2019 CData Software Japan, LLC | www.cdata.com/jp
まだ残る面倒なポイント
• API は呼ばれるインター
フェースであり、ジョブ起動
やマッピングは必要
• カスタムアプリを作るのは手
間
• むやみにAPI を叩くとアクセ
ス制限がかかる
• クエリ量や通信料が増える
• 「差分更新」の組み方は?
• network
• パフォーマンスを出すクエリ
の検討
• API 自体ではなく、アプリ
へのアクセス制限やセキュリ
ティ機能の実装が必要
ジョブ起動=アプリ
作成
リミット制限・課金 パフォーマンス セキュリティ機能
© 2019 CData Software Japan, LLC | www.cdata.com/jp
「kintone データをまるっとDB に同期」して解決
• 差分更新機能でAPI リミット制限を回避
• RDB に実際にデータを書き込む
• 反復同期ジョブ設定
• 同期DB にハイパフォーマンスアクセス
© 2019 CData Software Japan, LLC | www.cdata.com/jp
オンプレデータ連携の多くは「DB への同期」でカバーできる!
こちらのケースは「DB への同期」でカバーできる場合が多い
• 連携:Point to point
• データ量:大きくなる可能性も
• 同期頻度:リアルタイム~日時バッ
チ程度
• 難易度:低(通知)、高(オート
メーション)
通知だけなどであれば、リアルタイム性
が重視されるが連携の難易度自体は
低く、API での連携実装向き。
オートメーションとなると、ロジック、重
複の扱いなど難易度があがる
• 連携:DB 同期
• データ量:小~中
• 同期頻度:日時バッチで充分
• 難易度:高
DB の同期は、細かいところで難易度
が高い
• 連携:DB 同期(マスター+トラン
ザクション)
• データ量:大
• 同期頻度:日時バッチで充分
• 難易度:中
データの量が多いことや非構造化デー
タの問題
オートメーション・通知系 マスター同期 分析用DB
• 連携:バックアップDB
• データ量:大
• 同期頻度:日時バッチで充分
• 難易度:中
データの量が多いことや非構造化デー
タの問題
バックアップ
© 2019 CData Software Japan, LLC | www.cdata.com/jp
kintone Sync の利用シーン
© 2019 CData Software Japan, LLC | www.cdata.com/jp
向き/不向き
ケース CData Sync レコメンド
バックアップ ◎ 最適 -
DataLake (分析・帳票) ◎ 最適 -
複数SaaS -> 統合DB ◎ 最適
マスター同期 〇 適 既存DB へのマッピングは次期リリース
ワークフロー × ワークフローサービス、FaaS、ETL を
通知 × FaaS やAPI コーディングを
既存テーブルへのマッピング △ 次期リリース
他のSaaS との連携 × ETL ツールか、カスタム連携アプリを
© 2019 CData Software Japan, LLC | www.cdata.com/jp
3. Features of CData Sync
© 2019 CData Software Japan, LLC | www.cdata.com/jp
Sync
クラウドサービスのデータをポイント&クリッ
ク操作でレプリカ(コピー)を作成
CData Sync Features
Replicate Any Data Source To Any Database With A Few Clicks
© 2019 CData Software Japan, LLC | www.cdata.com/jp
CData Sync Features
Replicate Any Data Source To Any Database With A Few Clicks
• SQL Server, MySQL,
DB2, など多様なデータ
ベースをサポート。
• MongoDB, Cassandra
などのNoSQLやクラウド
サービスも対応予定。
• インテリジェントな差分更新
でデータ同期の通信を効率
化
• シンプルな管理コンソールで
直観的な設定操作。
• クラウドデータの意図しない
喪失への対策として、バック
アップ・アーカイブとしての利
用も。
豊富な
データベース対応
差分更新 ノンコーディング
バックアップ・
アーカイブとして
© 2019 CData Software Japan, LLC | www.cdata.com/jp
New ↓
And more…
Salesforce
FacebookGmail Twitter Stripe
Google
Adwords
Dynamics
365
JSON
Google
Analytics
JiraGitHubTwilio
kintone
Office 365
Quick BooksZohoHubSpot Sugar CRMSharePointEloquaMarketoNetSuiteDynamics
CRM
YouTube
Analytics
Google
Spreadsheets
SendGridSAPActive
Driectory
Google
Contacts
XML
CData Sync Data Sources
100 を超えるエンタープライズデータソースに対応
© 2019 CData Software Japan, LLC | www.cdata.com/jp
Cloud
Access
On premise
MySQLDB2 MongoDB
PosgreSQL SQL Server SQLite
CSVCassandra
Oracle
Amazon
Redshift
Amazon S3 Snowflake
Google
Cloud SQL
Google
BigQuery
Azure SQL
Database
CData Sync 同期先DB
主要RDB から、クラウドデータストアまで
© 2019 CData Software Japan, LLC | www.cdata.com/jp
4. Demo:シンプルな3ステップでのkintone 同期
© 2019 CData Software Japan, LLC | www.cdata.com/jp
ステップ①:kintone をデータソースに登録
kintone をデータ
ソースに選択
kintone のアカウ
ント情報を入力
© 2019 CData Software Japan, LLC | www.cdata.com/jp
ステップ②:同期先DB を登録
同期先DB を選択
同期先DB に接続
© 2019 CData Software Japan, LLC | www.cdata.com/jp
ステップ③:Sync ジョブを設定
同期元、同期先
DB を選択
同期するオブジェ
クト(アプリ)を
選択
© 2019 CData Software Japan, LLC | www.cdata.com/jp
© 2019 CData Software Japan, LLC | www.cdata.com/jp
Thank You!

20180319 ccon sync kintone

  • 1.
    © 2019 CDataSoftware Japan, LLC | www.cdata.com/jp kintone データをDB/DWH にまるっと複製するCData Sync CData Software Japan
  • 2.
    © 2019 CDataSoftware Japan, LLC | www.cdata.com/jp About Speaker cdata software japan session speaker 疋田 圭介 •CData Software Japan 合同会社 代表社員 経歴 •業務データ活用一筋10年+ •金融機関10年(内、インドネシア5年) •コンポーネント開発の海外オペレーション •CData Software の日本オペ立ち上げ @cdatajapan (中の人) @keisuke.hikita.5 https://qiita.com/jonathanh
  • 3.
    © 2019 CDataSoftware Japan, LLC | www.cdata.com/jp 1. About CData Software
  • 4.
    © 2019 CDataSoftware Japan, LLC | www.cdata.com/jp About CData Software Bi-directional Access to Live App, Database, & Web API Data Through Standard Drivers ・CData Software, Inc. / Started: 1994 (/nsoftware) ・Location: Chapel Hill, NC a spin-off of /n software ・CData Japan: 2016/6 (JV with ASTERIA) ・20年以上にわたりデータ関連コンポーネントを提供 ・100+ 対応データソース ・「標準化によりAPI を使いやすく」をミッションに連携ツールを提供c
  • 5.
    © 2019 CDataSoftware Japan, LLC | www.cdata.com/jp 業界最多級のデータソース Drivers for NoSQL, Big Data, & SaaS Connectivity CRMおよびマーケティング自動化 会計システム コラボレーションおよびERP オンプレミスおよびクラウドDB ドキュメントおよびファイル形式 ソーシャルネットワーキングネットワーキングおよび認証 電子商取引 その他
  • 6.
    © 2019 CDataSoftware Japan, LLC | www.cdata.com/jp データ連携 & データ仮想化ソリューション A straightforward approach to data access based on established standards 標準インターフェースの提供でAPI をRDB に仮想化。アプリケーション、BI、 ETL ツールからシームレスなクラウド連携を実現。 DRIVERS & ADAPTERS データベース接続、公開リソース選択、アクセス設定の3ステップだけで データベースから本格的なREST API とドキュメントを公開できます。 REMOTE ACCESS (API SERVER) 幅広いクラウドデータをノンコーディングでお好みのDB に同期。 DATA REPLICATION (SYNC)  ODBC  JDBC  ADO.NET  ODATA インストール不要の仮想RDB のクラウドインスタンス CDATA CLOUD HUB 
  • 7.
    © 2019 CDataSoftware Japan, LLC | www.cdata.com/jp Global Customers
  • 8.
    © 2019 CDataSoftware Japan, LLC | www.cdata.com/jp CData Software Japan Customers
  • 9.
    © 2019 CDataSoftware Japan, LLC | www.cdata.com/jp Top Vendors Choose CData Embedded in the leading BI, ETL, Data Integration, Data Virtualization, and Data Warehousing tools
  • 10.
    © 2019 CDataSoftware Japan, LLC | www.cdata.com/jp 2. Why need Sync
  • 11.
    © 2019 CDataSoftware Japan, LLC | www.cdata.com/jp あるある①「データはやっぱりオンプレに持ちたい」 • kintone などのクラウドサービスの理解はようやく得られたが、最終的 にデータをオンプレに持たないことはNG • 「サイボウズが倒産したらどうするんだ?」(オイオイ) • 「理不尽な係争になってサービスを止められたら?」 • 災害や障害でインターネットが使えなくなったら? • 理屈じゃなく業務データは手元に置きたい
  • 12.
    © 2019 CDataSoftware Japan, LLC | www.cdata.com/jp あるある②「社内にはSQL エンジニアはいるのに」 • 社内のエンジニアはRDB、Access、Excel は得意だけど、Web API は。。。 • 既存のエンジニアがRDB とのギャップに引いてしまう • 情シスが疎外感というか敵対
  • 13.
    © 2019 CDataSoftware Japan, LLC | www.cdata.com/jp あるある③「既存のアプリすべてを廃止できない」 • kintone を導入するためだけに既存アプリケーション資産をゴミ箱に? • オンプレ型の帳票 • MS Access ベースのアプリ • 基幹システムは当面維持
  • 14.
    © 2019 CDataSoftware Japan, LLC | www.cdata.com/jp なぜなら、連携が必要ないSaaS はない • 連携:Point to point • データ量:大きくなる可能性も • 同期頻度:リアルタイム~日時バッ チ程度 • 難易度:低(通知)、高(オート メーション) 通知だけなどであれば、リアルタイム性 が重視されるが連携の難易度自体は 低く、API での連携実装向き。 オートメーションとなると、ロジック、重 複の扱いなど難易度があがる • 連携:DB 同期 • データ量:小~中 • 同期頻度:日時バッチで充分 • 難易度:高 DB の同期は、細かいところで難易度 が高い • 連携:DB 同期(マスター+トラン ザクション) • データ量:大 • 同期頻度:日時バッチで充分 • 難易度:中 データの量が多いことや非構造化デー タの問題 オートメーション・通知系 マスター同期 分析用DB • 連携:バックアップDB • データ量:大 • 同期頻度:日時バッチで充分 • 難易度:中 データの量が多いことや非構造化デー タの問題 バックアップ
  • 15.
    © 2019 CDataSoftware Japan, LLC | www.cdata.com/jp 何とかAPI での連携ができるようになったとしても、
  • 16.
    © 2019 CDataSoftware Japan, LLC | www.cdata.com/jp まだ残る面倒なポイント • API は呼ばれるインター フェースであり、ジョブ起動 やマッピングは必要 • カスタムアプリを作るのは手 間 • むやみにAPI を叩くとアクセ ス制限がかかる • クエリ量や通信料が増える • 「差分更新」の組み方は? • network • パフォーマンスを出すクエリ の検討 • API 自体ではなく、アプリ へのアクセス制限やセキュリ ティ機能の実装が必要 ジョブ起動=アプリ 作成 リミット制限・課金 パフォーマンス セキュリティ機能
  • 17.
    © 2019 CDataSoftware Japan, LLC | www.cdata.com/jp 「kintone データをまるっとDB に同期」して解決 • 差分更新機能でAPI リミット制限を回避 • RDB に実際にデータを書き込む • 反復同期ジョブ設定 • 同期DB にハイパフォーマンスアクセス
  • 18.
    © 2019 CDataSoftware Japan, LLC | www.cdata.com/jp オンプレデータ連携の多くは「DB への同期」でカバーできる! こちらのケースは「DB への同期」でカバーできる場合が多い • 連携:Point to point • データ量:大きくなる可能性も • 同期頻度:リアルタイム~日時バッ チ程度 • 難易度:低(通知)、高(オート メーション) 通知だけなどであれば、リアルタイム性 が重視されるが連携の難易度自体は 低く、API での連携実装向き。 オートメーションとなると、ロジック、重 複の扱いなど難易度があがる • 連携:DB 同期 • データ量:小~中 • 同期頻度:日時バッチで充分 • 難易度:高 DB の同期は、細かいところで難易度 が高い • 連携:DB 同期(マスター+トラン ザクション) • データ量:大 • 同期頻度:日時バッチで充分 • 難易度:中 データの量が多いことや非構造化デー タの問題 オートメーション・通知系 マスター同期 分析用DB • 連携:バックアップDB • データ量:大 • 同期頻度:日時バッチで充分 • 難易度:中 データの量が多いことや非構造化デー タの問題 バックアップ
  • 19.
    © 2019 CDataSoftware Japan, LLC | www.cdata.com/jp kintone Sync の利用シーン
  • 20.
    © 2019 CDataSoftware Japan, LLC | www.cdata.com/jp 向き/不向き ケース CData Sync レコメンド バックアップ ◎ 最適 - DataLake (分析・帳票) ◎ 最適 - 複数SaaS -> 統合DB ◎ 最適 マスター同期 〇 適 既存DB へのマッピングは次期リリース ワークフロー × ワークフローサービス、FaaS、ETL を 通知 × FaaS やAPI コーディングを 既存テーブルへのマッピング △ 次期リリース 他のSaaS との連携 × ETL ツールか、カスタム連携アプリを
  • 21.
    © 2019 CDataSoftware Japan, LLC | www.cdata.com/jp 3. Features of CData Sync
  • 22.
    © 2019 CDataSoftware Japan, LLC | www.cdata.com/jp Sync クラウドサービスのデータをポイント&クリッ ク操作でレプリカ(コピー)を作成 CData Sync Features Replicate Any Data Source To Any Database With A Few Clicks
  • 23.
    © 2019 CDataSoftware Japan, LLC | www.cdata.com/jp CData Sync Features Replicate Any Data Source To Any Database With A Few Clicks • SQL Server, MySQL, DB2, など多様なデータ ベースをサポート。 • MongoDB, Cassandra などのNoSQLやクラウド サービスも対応予定。 • インテリジェントな差分更新 でデータ同期の通信を効率 化 • シンプルな管理コンソールで 直観的な設定操作。 • クラウドデータの意図しない 喪失への対策として、バック アップ・アーカイブとしての利 用も。 豊富な データベース対応 差分更新 ノンコーディング バックアップ・ アーカイブとして
  • 24.
    © 2019 CDataSoftware Japan, LLC | www.cdata.com/jp New ↓ And more… Salesforce FacebookGmail Twitter Stripe Google Adwords Dynamics 365 JSON Google Analytics JiraGitHubTwilio kintone Office 365 Quick BooksZohoHubSpot Sugar CRMSharePointEloquaMarketoNetSuiteDynamics CRM YouTube Analytics Google Spreadsheets SendGridSAPActive Driectory Google Contacts XML CData Sync Data Sources 100 を超えるエンタープライズデータソースに対応
  • 25.
    © 2019 CDataSoftware Japan, LLC | www.cdata.com/jp Cloud Access On premise MySQLDB2 MongoDB PosgreSQL SQL Server SQLite CSVCassandra Oracle Amazon Redshift Amazon S3 Snowflake Google Cloud SQL Google BigQuery Azure SQL Database CData Sync 同期先DB 主要RDB から、クラウドデータストアまで
  • 26.
    © 2019 CDataSoftware Japan, LLC | www.cdata.com/jp 4. Demo:シンプルな3ステップでのkintone 同期
  • 27.
    © 2019 CDataSoftware Japan, LLC | www.cdata.com/jp ステップ①:kintone をデータソースに登録 kintone をデータ ソースに選択 kintone のアカウ ント情報を入力
  • 28.
    © 2019 CDataSoftware Japan, LLC | www.cdata.com/jp ステップ②:同期先DB を登録 同期先DB を選択 同期先DB に接続
  • 29.
    © 2019 CDataSoftware Japan, LLC | www.cdata.com/jp ステップ③:Sync ジョブを設定 同期元、同期先 DB を選択 同期するオブジェ クト(アプリ)を 選択
  • 30.
    © 2019 CDataSoftware Japan, LLC | www.cdata.com/jp
  • 31.
    © 2019 CDataSoftware Japan, LLC | www.cdata.com/jp Thank You!