Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Copyright @2017 Insight Technology, Inc. All Right Reserved
データレプリケーション技術を適用した
データベース移行と分析基盤の構築
株式会社インサイトテクノロジー
森田 俊哉
Copyright @2017 Insight Technology, Inc. All Right Reserved
Agenda
データレプリケーション技術を適用した
データベース移行と分析基盤の構築
 データレプリケーションテクノロジー...
Copyright @2017 Insight Technology, Inc. All Right Reserved
Copyright @2017 Insight Technology, Inc. All Right Reserved
Insight Technologyとは?
コンサルティングサービス ソフトウェア ハードウェア
システム設計~運用まで
デ...
Copyright @2017 Insight Technology, Inc. All Right Reserved 5
Sep 5th-7th
Akihabara UDX Conference
Copyright @2017 Insight Technology, Inc. All Right Reserved
2012年 db tech showcase
Oracle
MySQL
PostgreSQL
SQLServer
Copyright @2017 Insight Technology, Inc. All Right Reserved
2016年 db tech showcase
Oracle IBM DB2
mongoDBCloudera
IMPALA
H...
Copyright @2017 Insight Technology, Inc. All Right Reserved
データも適材適所?! [データベースマッピング]
HiRDB
IBM/DB2
Symfoware
HP NonStop
Or...
Copyright @2017 Insight Technology, Inc. All Right Reserved
ロジカルレプリケーションテクノロジー
Mainframe
On Prem
Cloud
RDBMS
Hadoop
Data
W...
Copyright @2017 Insight Technology, Inc. All Right Reserved
ロジカルレプリケーションテクノロジーって?
Copyright @2017 Insight Technology, Inc. All Right Reserved
データベースデータ連携(レプリケーション)~1
Source DB Target DB
EMP
DEPT
SALGRADE
...
Copyright @2017 Insight Technology, Inc. All Right Reserved
Source DB Target DB
Change
Data
Capture
トランザクションログ
EMP
DEPT
SA...
Copyright @2017 Insight Technology, Inc. All Right Reserved
レプリケーションテクノロジーの
ミニマムダウンタイム移行への適用
Copyright @2017 Insight Technology, Inc. All Right Reserved
OracleからSQL Serverへの
移行アセスメント
14
Oracle
Copyright @2017 Insight Technology, Inc. All Right Reserved
Oracle Migration Assessment (OMA)
OMAとは
Oracle Migration Asses...
Copyright @2017 Insight Technology, Inc. All Right Reserved 16
OMAレポート
構成、オブジェクト、プロシージャ、機能、運用、ライセンスの6つのカテゴリ毎に評価
Oracle Mig...
Copyright @2017 Insight Technology, Inc. All Right Reserved
アセスメント結果サマリー(OMA)~1
17
Copyright @2017 Insight Technology, Inc. All Right Reserved
アセスメント結果サマリー(OMA)~2
18
Copyright @2017 Insight Technology, Inc. All Right Reserved
OracleからSQL Serverへデータ移行方式の検討
19
Copyright @2017 Insight Technology, Inc. All Right Reserved
SQL Server Integration Services(SSIS)
コピー&変換
SSISとは
SQL Server...
Copyright @2017 Insight Technology, Inc. All Right Reserved
移行によるサービス停止
移行時には、提供サービスを停止する必要がある…
 サービス停止は、できる限り短時間にしたい
 サ...
Copyright @2017 Insight Technology, Inc. All Right Reserved
初期コピー
レプリケーションを適用したミニマムダウンタイム移行
Archive
Log
移行前同期移行当日
22
=
同期状...
Copyright @2017 Insight Technology, Inc. All Right Reserved
データベース移行時間
データ移行
サービス確認
サービス確認
0 2 4 6 8 10 12 14 16
レプリケーションに...
Copyright @2017 Insight Technology, Inc. All Right Reserved
CaseStudy:某大手小売系発注システム移行
24
移行対象 移行元 移行先
OS Solaris Windows
デー...
Copyright @2017 Insight Technology, Inc. All Right Reserved
CaseStudy:某大手小売系発注システム移行
25
SQL Server新規ライセンス
T-SQLへ書換
シェルスクリプ...
Copyright @2017 Insight Technology, Inc. All Right Reserved
レプリケーションテクノロジーの
データ分析基盤への適用
Copyright @2017 Insight Technology, Inc. All Right Reserved
[レプリケーションテクノロジーの適用]
データ分析は、バッチ指向からリアルタイムへ
従来型のデータ分析は、主に企業の経営層、...
Copyright @2017 Insight Technology, Inc. All Right Reserved
[レプリケーションテクノロジーの適用]
データ分析は、バッチ指向からリアルタイムへ
既に海外では、リアルタイム分析を行うこと...
Copyright @2017 Insight Technology, Inc. All Right Reserved
従来型DWHとリアルタイムDWH
従来型DWH リアルタイムDWH
ユーザ 経営層・マーケティング部門 現場マネージャ
分析...
Copyright @2017 Insight Technology, Inc. All Right Reserved
レプリケーションを適用したマルチDB分析基盤運用
トランザクションログから
抽出された変更情報を適用
↓
=
同期状態
基幹...
Copyright @2017 Insight Technology, Inc. All Right Reserved 31
移行対象 レプリケーション元(基幹システム) レプリケーション先(データ分析基盤)
OS Windows / IBM ...
Copyright @2017 Insight Technology, Inc. All Right Reserved
BI / Data Analytics
BI / Data Analytics
マーケティング分析・財務分析・クレーム処理な...
Copyright @2017 Insight Technology, Inc. All Right Reserved
ロジカルレプリケーションツール
Copyright @2017 Insight Technology, Inc. All Right Reserved
Source DB Target DB
トランザクションログ
EMP
DEPT
SALGRADE
EMP
DEPT
SALG...
Copyright @2017 Insight Technology, Inc. All Right Reserved
LUW(Linux/Unix/Windows)
Mainframe
DB2
IMS/DB
VSAM
IBM iSeries
...
Copyright @2017 Insight Technology, Inc. All Right Reserved
 DBサーバ側エージェントレス
 データベースへのソフトウェアインストール不要
 初期同期(FULL LOAD)から差...
Copyright @2017 Insight Technology, Inc. All Right Reserved
On-Premises(VAIO S13)
Processor : 1 core
Memory : 1024MB
DEMO
...
Copyright @2017 Insight Technology, Inc. All Right Reserved
データレプリケーション技術を適用した
データベース移行と分析基盤の構築
まとめ
38
Copyright @2017 Insight Technology, Inc. All Right Reserved
データレプリケーションテクノロジーを活用して
ミニマムダウンタイム移行やデータ分析基盤構築を!
データ処理種別毎に適したデー...
20170413_データレプリケーション技術を適用したデータベース移行と分析基盤の構築 by 株式会社インサイトテクノロジー 森田俊哉
Upcoming SlideShare
Loading in …5
×

20170413_データレプリケーション技術を適用したデータベース移行と分析基盤の構築 by 株式会社インサイトテクノロジー 森田俊哉

584 views

Published on

データレプリケーション技術を適用することによって、異機種のデータベースプラットフォーム、オンプレミスやクラウドに関係なく、データ同期、分散を行うことが可能です。
本セッションでは、データ同期及びデータ管理ツールのデモを交えてデータレプリケーションによってもたらされるメリットをデータベース移行とデータ分析基盤構築についてご説明致します。

Published in: Technology
  • Be the first to comment

20170413_データレプリケーション技術を適用したデータベース移行と分析基盤の構築 by 株式会社インサイトテクノロジー 森田俊哉

  1. 1. Copyright @2017 Insight Technology, Inc. All Right Reserved データレプリケーション技術を適用した データベース移行と分析基盤の構築 株式会社インサイトテクノロジー 森田 俊哉
  2. 2. Copyright @2017 Insight Technology, Inc. All Right Reserved Agenda データレプリケーション技術を適用した データベース移行と分析基盤の構築  データレプリケーションテクノロジー  ミニマムダウンタイム移行への適用  OracleからSQLServerへの移行アセスメント  データ移行方式の検討  データ分析基盤への適用  レプリケーションツール”Attunity Replicate”  まとめ
  3. 3. Copyright @2017 Insight Technology, Inc. All Right Reserved
  4. 4. Copyright @2017 Insight Technology, Inc. All Right Reserved Insight Technologyとは? コンサルティングサービス ソフトウェア ハードウェア システム設計~運用まで データベース総合ソリューション データベースの様々な課題を 解決する各種ソフトウェア 高性能・低コスト・高信頼性 データベース専用マシン データベースに関連するナレッジと技術力を追求し、ソフトウェア、ハードウェア、 サービスを最適に組み合わせてお客様に提供する会社です。 高速・低コスト・セキュア なデータベース環境を実現 データベースのアクセス監査ツール(自社開発) マルチデータベースのリアルタイムレプリケーションツール データベースのパフォーマンス監視・分析ツール(自社開発) 世界最速のデータベース専用高速マシン(自社開発) 4 バーチャルデータプラットホームツール
  5. 5. Copyright @2017 Insight Technology, Inc. All Right Reserved 5 Sep 5th-7th Akihabara UDX Conference
  6. 6. Copyright @2017 Insight Technology, Inc. All Right Reserved 2012年 db tech showcase Oracle MySQL PostgreSQL SQLServer
  7. 7. Copyright @2017 Insight Technology, Inc. All Right Reserved 2016年 db tech showcase Oracle IBM DB2 mongoDBCloudera IMPALA Hortonworks presto InfoFrameHP NonStopSQL MySQL EDB MarkLogic riak PostgreSQL actian TERADATA NETEZZA HiRDB Amazon Redshift cassandra MariaDB Cloudant SAP/HANA Picotal HAWQ CouchbaseSymfoware hadoop VERTICAVOLTDB cloudera TREASURE SQLServer MAPR Sybase IQ Pivotal Greenplum
  8. 8. Copyright @2017 Insight Technology, Inc. All Right Reserved データも適材適所?! [データベースマッピング] HiRDB IBM/DB2 Symfoware HP NonStop Oracle SQL Server Cloudant Amazon Redshift TRESURE DATA MySQL PostgreSQL MariaDB EDB Cloudera IMPALA Presto HAWQ MarkLogic Cassandra Riak mongoDB Couchbase MAPR Cloudera Hortonworks Mission Criticalhadoop Leader Challenger SQL on Hadoop Cloud NoSQL Hadoop TERADATA SybaseIQ Pivotal VERTICA NETEZZA Actian SAP/HANA BigData
  9. 9. Copyright @2017 Insight Technology, Inc. All Right Reserved ロジカルレプリケーションテクノロジー Mainframe On Prem Cloud RDBMS Hadoop Data Warehouse Kafka Files On Prem Cloud RDBMS Hadoop Data Warehouse Files  異なるOS、バージョン、 RDBMS間のデータ連携  データ分散やデータベース統合 など複雑な構成でのデータ連携  データ保護、移行/アップグレー ド、レポーティング、リアルタ イムBI、参照処理のオフロード 等の用途で使用可能
  10. 10. Copyright @2017 Insight Technology, Inc. All Right Reserved ロジカルレプリケーションテクノロジーって?
  11. 11. Copyright @2017 Insight Technology, Inc. All Right Reserved データベースデータ連携(レプリケーション)~1 Source DB Target DB EMP DEPT SALGRADE EMP DEPT SALGRADE 初期同期 (COPY) 11
  12. 12. Copyright @2017 Insight Technology, Inc. All Right Reserved Source DB Target DB Change Data Capture トランザクションログ EMP DEPT SALGRADE EMP DEPT SALGRADE Change Data Apply データベースデータ連携(レプリケーション)~2 INSERT UPDATE DELETE 12 SQL SQL
  13. 13. Copyright @2017 Insight Technology, Inc. All Right Reserved レプリケーションテクノロジーの ミニマムダウンタイム移行への適用
  14. 14. Copyright @2017 Insight Technology, Inc. All Right Reserved OracleからSQL Serverへの 移行アセスメント 14 Oracle
  15. 15. Copyright @2017 Insight Technology, Inc. All Right Reserved Oracle Migration Assessment (OMA) OMAとは Oracle Migration Assessmentの略で、OracleからSQL Serverに 移行を検討しているお客様にマイクロソフト様が提供する移行を評価す るサービス 移行時の問題点や問題の難易度、移行にかかる時間、移行時のコスト を比較し、レポートとして提示  本サービスは、インサイトテクノロジー社他数社より実施・提供され インサイトテクノロジー実績は30社以上 15
  16. 16. Copyright @2017 Insight Technology, Inc. All Right Reserved 16 OMAレポート 構成、オブジェクト、プロシージャ、機能、運用、ライセンスの6つのカテゴリ毎に評価 Oracle Migration Assessment (OMA)
  17. 17. Copyright @2017 Insight Technology, Inc. All Right Reserved アセスメント結果サマリー(OMA)~1 17
  18. 18. Copyright @2017 Insight Technology, Inc. All Right Reserved アセスメント結果サマリー(OMA)~2 18
  19. 19. Copyright @2017 Insight Technology, Inc. All Right Reserved OracleからSQL Serverへデータ移行方式の検討 19
  20. 20. Copyright @2017 Insight Technology, Inc. All Right Reserved SQL Server Integration Services(SSIS) コピー&変換 SSISとは SQL Server Integration Servicesの略で、SQL Server の標準機能として 搭載されている。 データの「コピー」や「変換」などが行える "データ転送ツール" 20 Oracle
  21. 21. Copyright @2017 Insight Technology, Inc. All Right Reserved 移行によるサービス停止 移行時には、提供サービスを停止する必要がある…  サービス停止は、できる限り短時間にしたい  サービス切替時間確認時間は短縮出来ない データ移行 サービス確認 0 2 4 6 8 10 12 14 16 SSISによる移行 サービス停止線表(例) サービス停止 データ移行 サービス確認 サービス開始 21
  22. 22. Copyright @2017 Insight Technology, Inc. All Right Reserved 初期コピー レプリケーションを適用したミニマムダウンタイム移行 Archive Log 移行前同期移行当日 22 = 同期状態 トランザクションログから 抽出された変更情報を適用 本番 本番 Archive Log Archive Log Archive Log Oracle
  23. 23. Copyright @2017 Insight Technology, Inc. All Right Reserved データベース移行時間 データ移行 サービス確認 サービス確認 0 2 4 6 8 10 12 14 16 レプリケーションによる移行 SSISによる移行 サービス停止線表(例) サービス停止 データ移行 サービス確認 サービス開始 データベースレプリケーション技術を移行に適用することで 移行当日は、切替後のサービス確認がメインとなりデータベース移行 によるサービス停止時間を最小化することが出来る! 23
  24. 24. Copyright @2017 Insight Technology, Inc. All Right Reserved CaseStudy:某大手小売系発注システム移行 24 移行対象 移行元 移行先 OS Solaris Windows データベース Oracle10gR2 SQLServer2016 プログラム言語 Java Java プロシジャー PL/SQL T-SQL シェルスクリプト bash Powershell データローダー SQL Loader SSIS ユーザ様背景 「Oracleを使用して構築したシステムのハードウェア更改があった。 そのタイミングでOracleのアップグレードを検討していたが、アップグレードによるテス トが必要であり、テスト時の作業工数が発生してしまう。 Oracleのライセンスは会社として大量に購入しているが、毎年のようにライセンスの変更 (値上げ)が行われていたためOracleをどうにかしないといけないと考えていた。MSの プログラムでアセスメントを実施」
  25. 25. Copyright @2017 Insight Technology, Inc. All Right Reserved CaseStudy:某大手小売系発注システム移行 25 SQL Server新規ライセンス T-SQLへ書換 シェルスクリプト書換 SSISへ書換 Javaソースクエリ書換 アップグレード対応書換 テスト工数 Oracle継続ライセンス テスト工数 移行工数 Javaソース内のクエリの変換と、SQL Loader+シェルスクリプトの書き換え 工数が発生するものの、PL/SQLが少ないため、移行は容易と判断。 Oracle(アップグレード+テスト工数)とSQL Server(新規購入+変換工数 +テスト工数)の見積もりを比較したところ、価格的にはほぼ同程度だったた め、移行を実行 現在は、移行終了しパフォーマンス劣化無く運用開始した Oracle
  26. 26. Copyright @2017 Insight Technology, Inc. All Right Reserved レプリケーションテクノロジーの データ分析基盤への適用
  27. 27. Copyright @2017 Insight Technology, Inc. All Right Reserved [レプリケーションテクノロジーの適用] データ分析は、バッチ指向からリアルタイムへ 従来型のデータ分析は、主に企業の経営層、マーケティング部門がユーザであり、企業戦略の意思 決定プロセス(中長期的戦略)に活用されてきた。 その場合には、前日までのデータが夜間バッチで取り込まれたDWHを使用して分析を行っており 分析は週次・月次で行われているケースが未だに多くある。 Sources Data Warehouse Dashboards Reports Analytics Spreadsheets 定期的に抽出 経営者 分析担当者 中長期的 企業戦略策定 SCM ERP CRM Oracle
  28. 28. Copyright @2017 Insight Technology, Inc. All Right Reserved [レプリケーションテクノロジーの適用] データ分析は、バッチ指向からリアルタイムへ 既に海外では、リアルタイム分析を行うことで重要なビジネスイベントに対して迅速にア クションを起こすための意思決定を可能にしている事例が多い 従来型のデータ分析が過去に発生した事象を分析するのに対してリアルタイム分析は今現 在発生しているまたは、これから何が起きるのか?を分析することを目的としている Sources Files, DB, SNS マネージャ 行動 JSON XML イベント 発生 Data Warehouse 日常業務 行動策定 Oracle
  29. 29. Copyright @2017 Insight Technology, Inc. All Right Reserved 従来型DWHとリアルタイムDWH 従来型DWH リアルタイムDWH ユーザ 経営層・マーケティング部門 現場マネージャ 分析目的 中長期的経営戦略策定 日常業務における意思決定 分析頻度 日次・週次・月次 リアルタイム 分析対象データ 定期蓄積データ 定期蓄積データ+イベントデータ(IOT) お役立ち 経営戦略 マーケット需要予測 レコメンデーション最適化 リアルタイム需要予測 リアルタイム不正検出 電力需要予測・・・・・ SCM ERP CRM
  30. 30. Copyright @2017 Insight Technology, Inc. All Right Reserved レプリケーションを適用したマルチDB分析基盤運用 トランザクションログから 抽出された変更情報を適用 ↓ = 同期状態 基幹システム 情報系システム Azure SQL DW Archive Log Archive Log Archive Log REDO Log Oracle
  31. 31. Copyright @2017 Insight Technology, Inc. All Right Reserved 31 移行対象 レプリケーション元(基幹システム) レプリケーション先(データ分析基盤) OS Windows / IBM zOS Windows / Linux(Cloud) データベース SQL Server IBM/DB2 × 3 IBM/IMSDB SQLServer Hadoop(Cloud) ユーザ様背景 チューリッヒ生命保険では、有効証券請求時にリアルタイムな情報を手に入れることが、 プロセス改善に必要とされていました。またプロセス改善には日常的な検索が必要とされ 、メインフレームとWintelプラットフォームの双方で構成される5つのポリシー管理シス テムから機能検索をしていました。(うち4システムはメインフレーム) 問合せ処理システムと基幹システムを分離するために、不変的なアクセスが可能な基幹シ ステムデータベースと問合せ処理用データベースを必要としていました。コピーされたデ ータベースは、可能な限りリアルタイムに同期する必要がありました。 CaseStudy : チューリッヒ保険会社
  32. 32. Copyright @2017 Insight Technology, Inc. All Right Reserved BI / Data Analytics BI / Data Analytics マーケティング分析・財務分析・クレーム処理など にデータ分析基盤を活用しています。 Copy Data (Data Replilcate) メタデータを含むトランザクションデータをニアリ アルタイムでデータ分析基盤に反映することで現在 発生しているイベントに対して遅延なく分析を行う ことが出来ます。 Data storage データ分析基盤として SQL Serverとクラウド上のHadoop使用しています structured data unstructured data Data ソースデータとして社内外の無償・有償の外部デー タ及び社内の基幹データベースのデータを分析のた めに適用しています。 IBM DB2 on M/F IBM IMS DB on M/F IBM DB2 on iSeries Microsoft SQL Server JSON XML TEXT CaseStudy : チューリッヒ保険会社
  33. 33. Copyright @2017 Insight Technology, Inc. All Right Reserved ロジカルレプリケーションツール
  34. 34. Copyright @2017 Insight Technology, Inc. All Right Reserved Source DB Target DB トランザクションログ EMP DEPT SALGRADE EMP DEPT SALGRADE Attunity Replicateデータベースデータ連携 INSERT UPDATE DELETE 34
  35. 35. Copyright @2017 Insight Technology, Inc. All Right Reserved LUW(Linux/Unix/Windows) Mainframe DB2 IMS/DB VSAM IBM iSeries DB2/400 HP NonStop Enscribe SQL/MP Oracle SQLSever MySQL PostgreSQL SYBASE IBM/DB2 hadoop サポートデータベース LUW(Linux/Unix/Windows) As same as Replication sources Large DW Platforms Actian Vector Oracle Exadata Microsoft PDW HP Vertica Pivottal Greenplum Database Teradata IBM Puredata(Netezza) Amazon Redshift Azure SQL DW Hadoop (SAP/HANA) Replication TargetsReplication Sources
  36. 36. Copyright @2017 Insight Technology, Inc. All Right Reserved  DBサーバ側エージェントレス  データベースへのソフトウェアインストール不要  初期同期(FULL LOAD)から差分同期(CDC)までシームレスにデータ連携  初期同期から差分同期へ自動切り替え  ブラウザベースのGUIによる簡易設定・監視  短期のスキルトレーニングで同期設定と稼働監視が可能  異種データベース間のテーブル高速データ転送・同期(マルチDB対応)  オンプレ・クラウドを問わない主要データベース間のデータ同期をサポート 36
  37. 37. Copyright @2017 Insight Technology, Inc. All Right Reserved On-Premises(VAIO S13) Processor : 1 core Memory : 1024MB DEMO No TABLE NAME COUNT 1 CUSTOMER 30,000 2 DISTRICT 10 3 HISTORY 30,000 4 ITEM 100,000 5 STOCK 100,000 6 ORDERS 30,000 7 ORDER_LINE 299,617 8 NEW_ORDER 9,000 9 WAREHOUSE 1 175MB 598,628 Service Plan : Basic Location : Japan West Performance Level : S0(10 DTU) データベース負荷テスト ベンチ マーキング ・ ツール TPC-C 37 Oracle
  38. 38. Copyright @2017 Insight Technology, Inc. All Right Reserved データレプリケーション技術を適用した データベース移行と分析基盤の構築 まとめ 38
  39. 39. Copyright @2017 Insight Technology, Inc. All Right Reserved データレプリケーションテクノロジーを活用して ミニマムダウンタイム移行やデータ分析基盤構築を! データ処理種別毎に適したデータベースを運用する時代となった → 異なるデータベース・ストレージで管理されたデータをオンプレ・クラウド 基盤に同期する必要がある。可能であればリアルタイムで・・ → クラウドを含む異なる環境間でデータ連携は、移行用途としても適用可能

×