【最小限の学習コスト】効率的なビッグデータ収集・連携とは？

【最小限の学習コスト】
効率的なビッグデータ収集・連携とは？
Excel
ERP Snowflake
Copyright(C)2022 Climb Inc. All Rights Reserved.

クライムとは
• 弊社製品サイト https://www.climb.co.jp/soft/
• お問い合わせ
東京：03-3660-9336
大阪：06-6147-8201
https://www.climb.co.jp/soft/contact/contact.php
• 主な事業内容
ソフトウェアの販売とサポート
海外ソフトウェアの日本語対応
2

Excel
ERP Snowflake
リモートワーク
グローバル進出
DX

データ知識やツール習得には
多くの時間を費やす
よくあるリソース不足や
ツール学習の手間、人材獲得の苦労など・・・
活用例から学ぶ解決ヒント

Copyright(C)2022 Climb Inc. All Rights Reserved. 5
社内リソースが足りない
データの種類が多すぎる
データ(DB/DWH)の連携
データ活用でつまずく３つの悩み

6
•専門スキル人材
データエンジニアやデータアナリスト
•ハードウェア設備
保守費用や空調/電力費用
•時間的な余裕
分析や施策の実行、改善

8
•プラットフォーム
オンプレミス、クラウド
•多様化するデバイス
PC、スマホ、IOT端末など
•WEBサービスの充実
TwitterなどSNS

10
•社内外データの混在
経理や人事、生産、製造、営業、販売データ
サンプリング・ビッグデータなど
•データの拠点/環境
部署や拠点、海外
DB種類やプラットフォームなど

どうすればいい？
お悩みを解決する方法

多様なデータに対応
開発手間を削減、効率的、そして高速に
AS/400
Excel

13
製造業のマーケティング部署
売上やCRM分析で、商品販促につなげたい
「採用方針で、人材獲得が難しい」
「現HWがまだ使えるので、追加は難しい」
活用例①

データの関連付け、フィルタ、変換などを
マッピング機能によりグラフィカルに設定が可能
ソース側ターゲット側
人材/スキル不安にも対応

利点
→パフォーマンス最大化
→アーキテクチャ簡素化
→既存リソースの活用
ETLツール側が行っていたデータの変換処理を
データソース側に任せることでボトルネックを回避
従来アーキテクチャ E-LTアーキテクチャ
今あるHW資産活用＆効率的な処理

16
製造業のマーケティング部署
売上やCRM分析で、商品販促につなげたい
「採用方針で、人材獲得が難しい」
「現HWがまだ使えるので、追加は難しい」
チーム人材不足、HW投資できない中
プロモーション施策に成功
活用例①

17
とある小売業・DXマーケティング部署では
オンプレ・クラウド、ビッグデータ活用へ
「顧客データやアプリ顧客データを購買行動分析に」
「SNSプロモーションの実施」
活用例②

• Actian Ingres
• IBM DB2 UDB
V8.x, V9.x, V10.x
• IBM DB2/400, DB2/MVS
• Informix
• Oracle, Oracle Exadata,
8i, 9i, 10g, 11g, 12c
• Oracle RAC
 Microsoft SQL Server,
2005, 2008, 2012,
2014
 MySQL,
V5.0 to 5.7 and
followings
 Postgre SQL, V8.x, V9.x
 SAP Sybase ASE
主要なDBに対応

• Amazon Redshift
• Amazon S3
• Amazon RDS
- Oracle
- MySQL
- Amazon Aurora
- MariaDB
- Microsoft SQL Server
• Google Spreadsheet
• Hive
• Cassandra
• Elastic Search
• Parstream
クラウド・ビッグデータも

• EMC Greenplum
• IBM Netezza
(Pure Data)
• Teradata
V13, V14, V15
• CSV, XML
• WEB API
• DBase
• H2
• Hyperfile
• Hypersonic SQL
• Lotus Notes
• Microsoft Access
• Microsoft Excel
• Paradox
• Monet DB
• HP Vertica
• SAP Sybase IQ
• SAP Hana
• Salesforce
• Actian Vectorwise
身近なOfficeやCRMデータも

21
社内DBとアプリケーションデータを
収集・連携し、無事にプロジェクト成功
とある小売業・DXマーケティング部署では
オンプレ・クラウド、ビッグデータ活用へ
「顧客データやアプリ顧客データを購買行動分析に」
「SNSプロモーションの実施」
活用例②

とある化粧品会社では
WEBサイトの設定～公開をカンタン実現
「ネット通販を始めたいが、WEB知識が不足」
「外部委託せず、内製化したい」
22
活用例③

スターデータ
カタログデータ
WEBサーバー
Web API連携
在庫データ
SNSトレンド
DWH
カンタンにWEBサーバー構築
WEBサーバ構築の設定～公開

・自動生成されるコードをデフォルトで数多く用意
・用途やデータソースの種類に適したコードを自動選択
・テンプレートのカスタマイズや自作が可能
ソース側ターゲット側
複雑なプログラミング手間は不要

どんなデータも、同じ操作で

とある化粧品会社では
WEBサイトの設定～公開をカンタン実現
「ネット通販を始めたいが、WEB知識が不足」
「外部委託せず、内製化したい」
26
単一GUI上から、専門知識なくとも
データ連携からWEBサーバ構築まで実現
活用例③

複製元DB 複製先DB
システム要件
CPU：2GHz以上、2Core以上推奨
メモリ：8GB以上
HDD：20GB以上
Windows 10/8.1/8/7
OS： Windows Server
2019/2016/2012R2/2012/2008
R2/2008
異種DB間のリアルタイムデータ複製ツール
テーブルのレプリケーションが可能。
27

リフレッシュ
（全件）
ミラーリング
（片方向差分）
シンクロナイゼーション
（双方向差分）
変更
複製
変更
変更
複製
複製
ソース
（複製元）
ターゲット
（複製先）
28

参照先はテーブルバルクインサートで高速転送
ソースターゲット
SELECT INSERT
29
リフレッシュ(全件)の仕組み

トランザクションを参照
ソースターゲット
トランザクションログ
SELECT INSERT/UPDATE/DELETE
更新
30
ミラーリング(片方向)の仕組み

31
とある広告会社の情報システム部門
基幹データもクラウドDBや他部署DBへ連携
「営業先で広告分析データを見れない」
「ERP、CRMをマーケティング部門へ連携難しい」
活用例④

IBM DB2 for i(AS/400)
IBM DB2 for z/OS
IBM DB2 for AIX, Linux, Windows
Oracle
MS SQL Server
MS Azure SQL Database
MySQL/Amazon Aurora/MariaDB
Gupta SQLBase
IBM Informix
SAP Sybase ASE
SAP Sybase SQL Anywhere
IBM PureData(Netezza)
PostgreSQL(Amazon RDS)
Amazon Redshift
SAP HANA
SAP Sybase IQ
Actian Vectorwise
HP Vertica
MS Access
Firebird
Ingres
IBM SolidDB
IBM dashDB
Teradata
Hadoop(※リフレッシュのターゲットのみ)
Snowflake
リフレッシュ(全件)
ミラーリング、シンクロナイゼーション(差分)
リフレッシュ(全件)
ミラーリング(差分)のターゲット[複製先]
リフレッシュ
ミラーリング
32
様々な社内DBにも対応

SQLクエリ生成
Unicode処理
Oracle
データベース
異種DB間対応：レプリケーションはすべてSQLクエリで処理
異種文字コード間対応：文字コードはUnicodeで処理
文字コード:
Shift JIS
文字コード:
ASCII
SQLでデータ抽出
Unicodeへ変換
SQLでデータ抽出
Unicodeから変換
33
Amazon Aurora
PostgreSQL
連携データベースの縛りなし

待機時間レプリケーション処理時間
34
「ソースのトランザクションログを参照し、ターゲットへレプリケーションするまで」を含みます。
処理するトランザクションレコード数によって時間は変動します。
処理時間が参照サイクルを上回った場合は待機時間なしで次のレプリケーション処理に移ります。
面倒なデータ連携作業も自動ラクラク

35
活用例④
とある広告会社の情報システム部門
基幹データもクラウドDBや他部署DBへ連携
「営業先で広告分析データを見れない」
「ERP、CRMをマーケティング部門へ連携難しい」
社内Oracle DBと営業/マーケティングの
Amazon DBを、DB制限ない連携に成功

とある情報通信会社の情報システム部門
大規模データ連携も、最小限の作業・運用
「顧客データをマーケティング部門に連携したい」
「DBの連携運用で苦労した苦い思い出がある」
36
活用例⑤

CREATEクエリ自動生成
テーブル構成抽出
自動で適切なデータ型を選定
サイズ、PK、NOT NULLをそのまま引継ぐ
ソースのテーブル構成を元にSynitiが自動でクエリを作成
ターゲットへのテーブル作成
CREATE発行
37
面倒なDB連携も工数最小限に

レプリケーション進捗モニター
ひと目で確認できる
メール通知(アラート)
万が一も登録メールにお知らせ
GUIはもちろん日本語！
日本語ローカライズ、手順書も用意
38
そして運用も！ラクラク管理

とある情報通信会社の情報システム部門
大規模データ連携も、最小限の作業・運用
「顧客データをマーケティング部門に連携したい」
「DBの連携運用で苦労した苦い思い出がある」
39
活用例⑤
顧客DBをマーケティング部門へ連携
作業＋運用管理負担を減らすことに成功

用途に合わせ自由に、連携作業から運用までラクに
形式問わず統一GUIで操作できる
既存IT資産活用し、最小限の学習コストで
まとめ

41
Stambia：連携＋変換
・連携に加え、変換が可能
・対応データがより豊富
・WEB連携がカンタン
Syniti: 連携(移行)
・DB/DWHに特化
・リアルタイムな連携
活用したツール
https://www.climb.co.jp/soft/stambia/
https://www.climb.co.jp/soft/dbmoto/
E-mail: soft@climb.co.jp
東京：03-3660-9336
大阪：06-6147-8201

https://www.climb.co.jp/soft/stambia/
https://www.climb.co.jp/soft/dbmoto/
E-mail: soft@climb.co.jp
東京：03-3660-9336
大阪：06-6147-8201

【最小限の学習コスト】効率的なビッグデータ収集・連携とは？

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to 【最小限の学習コスト】効率的なビッグデータ収集・連携とは？

Similar to 【最小限の学習コスト】効率的なビッグデータ収集・連携とは？ (20)

More from 株式会社クライム

More from 株式会社クライム (20)

【最小限の学習コスト】効率的なビッグデータ収集・連携とは？