20170413_データレプリケーション技術を適用したデータベース移行と分析基盤の構築 by 株式会社インサイトテクノロジー森田俊哉

2. Copyright @2017 Insight Technology, Inc. All Right Reserved Agenda データレプリケーション技術を適用したデータベース移行と分析基盤の構築  データレプリケーションテクノロジー  ミニマムダウンタイム移行への適用  OracleからSQLServerへの移行アセスメント  データ移行方式の検討  データ分析基盤への適用  レプリケーションツール”Attunity Replicate”  まとめ

4. Copyright @2017 Insight Technology, Inc. All Right Reserved Insight Technologyとは？コンサルティングサービスソフトウェアハードウェアシステム設計～運用までデータベース総合ソリューションデータベースの様々な課題を解決する各種ソフトウェア高性能・低コスト・高信頼性データベース専用マシンデータベースに関連するナレッジと技術力を追求し、ソフトウェア、ハードウェア、サービスを最適に組み合わせてお客様に提供する会社です。高速・低コスト・セキュアなデータベース環境を実現データベースのアクセス監査ツール（自社開発）マルチデータベースのリアルタイムレプリケーションツールデータベースのパフォーマンス監視・分析ツール（自社開発）世界最速のデータベース専用高速マシン（自社開発） 4 バーチャルデータプラットホームツール

7. Copyright @2017 Insight Technology, Inc. All Right Reserved 2016年 db tech showcase Oracle IBM DB2 mongoDBCloudera IMPALA Hortonworks presto InfoFrameHP NonStopSQL MySQL EDB MarkLogic riak PostgreSQL actian TERADATA NETEZZA HiRDB Amazon Redshift cassandra MariaDB Cloudant SAP/HANA Picotal HAWQ CouchbaseSymfoware hadoop VERTICAVOLTDB cloudera TREASURE SQLServer MAPR Sybase IQ Pivotal Greenplum

8. Copyright @2017 Insight Technology, Inc. All Right Reserved データも適材適所?! [データベースマッピング] HiRDB IBM/DB2 Symfoware HP NonStop Oracle SQL Server Cloudant Amazon Redshift TRESURE DATA MySQL PostgreSQL MariaDB EDB Cloudera IMPALA Presto HAWQ MarkLogic Cassandra Riak mongoDB Couchbase MAPR Cloudera Hortonworks Mission Criticalhadoop Leader Challenger SQL on Hadoop Cloud NoSQL Hadoop TERADATA SybaseIQ Pivotal VERTICA NETEZZA Actian SAP/HANA BigData

9. Copyright @2017 Insight Technology, Inc. All Right Reserved ロジカルレプリケーションテクノロジー Mainframe On Prem Cloud RDBMS Hadoop Data Warehouse Kafka Files On Prem Cloud RDBMS Hadoop Data Warehouse Files  異なるOS、バージョン、 RDBMS間のデータ連携  データ分散やデータベース統合など複雑な構成でのデータ連携  データ保護、移行/アップグレード、レポーティング、リアルタイムBI、参照処理のオフロード等の用途で使用可能

12. Copyright @2017 Insight Technology, Inc. All Right Reserved Source DB Target DB Change Data Capture トランザクションログ EMP DEPT SALGRADE EMP DEPT SALGRADE Change Data Apply データベースデータ連携(レプリケーション)～２ INSERT UPDATE DELETE 12 SQL SQL

15. Copyright @2017 Insight Technology, Inc. All Right Reserved Oracle Migration Assessment （OMA） OMAとは Oracle Migration Assessmentの略で、OracleからSQL Serverに移行を検討しているお客様にマイクロソフト様が提供する移行を評価するサービス移行時の問題点や問題の難易度、移行にかかる時間、移行時のコストを比較し、レポートとして提示  本サービスは、インサイトテクノロジー社他数社より実施・提供されインサイトテクノロジー実績は30社以上 15

20. Copyright @2017 Insight Technology, Inc. All Right Reserved SQL Server Integration Services（SSIS）コピー&変換 SSISとは SQL Server Integration Servicesの略で、SQL Server の標準機能として搭載されている。データの「コピー」や「変換」などが行える "データ転送ツール" 20 Oracle

21. Copyright @2017 Insight Technology, Inc. All Right Reserved 移行によるサービス停止移行時には、提供サービスを停止する必要がある…  サービス停止は、できる限り短時間にしたい  サービス切替時間確認時間は短縮出来ないデータ移行サービス確認 0 2 4 6 8 10 12 14 16 SSISによる移行サービス停止線表(例) サービス停止データ移行サービス確認サービス開始 21

23. Copyright @2017 Insight Technology, Inc. All Right Reserved データベース移行時間データ移行サービス確認サービス確認 0 2 4 6 8 10 12 14 16 レプリケーションによる移行 SSISによる移行サービス停止線表（例）サービス停止データ移行サービス確認サービス開始データベースレプリケーション技術を移行に適用することで移行当日は、切替後のサービス確認がメインとなりデータベース移行によるサービス停止時間を最小化することが出来る！ 23

24. Copyright @2017 Insight Technology, Inc. All Right Reserved CaseStudy:某大手小売系発注システム移行 24 移行対象移行元移行先 OS Solaris Windows データベース Oracle10gR2 SQLServer2016 プログラム言語 Java Java プロシジャー PL/SQL T-SQL シェルスクリプト bash Powershell データローダー SQL Loader SSIS ユーザ様背景「Oracleを使用して構築したシステムのハードウェア更改があった。そのタイミングでOracleのアップグレードを検討していたが、アップグレードによるテストが必要であり、テスト時の作業工数が発生してしまう。 Oracleのライセンスは会社として大量に購入しているが、毎年のようにライセンスの変更（値上げ）が行われていたためOracleをどうにかしないといけないと考えていた。MSのプログラムでアセスメントを実施」

25. Copyright @2017 Insight Technology, Inc. All Right Reserved CaseStudy:某大手小売系発注システム移行 25 SQL Server新規ライセンス T-SQLへ書換シェルスクリプト書換 SSISへ書換 Javaソースクエリ書換アップグレード対応書換テスト工数 Oracle継続ライセンステスト工数移行工数 Javaソース内のクエリの変換と、SQL Loader＋シェルスクリプトの書き換え工数が発生するものの、PL/SQLが少ないため、移行は容易と判断。 Oracle（アップグレード＋テスト工数）とSQL Server（新規購入＋変換工数＋テスト工数）の見積もりを比較したところ、価格的にはほぼ同程度だったため、移行を実行現在は、移行終了しパフォーマンス劣化無く運用開始した Oracle

27. Copyright @2017 Insight Technology, Inc. All Right Reserved [レプリケーションテクノロジーの適用] データ分析は、バッチ指向からリアルタイムへ従来型のデータ分析は、主に企業の経営層、マーケティング部門がユーザであり、企業戦略の意思決定プロセス（中長期的戦略）に活用されてきた。その場合には、前日までのデータが夜間バッチで取り込まれたDWHを使用して分析を行っており分析は週次・月次で行われているケースが未だに多くある。 Sources Data Warehouse Dashboards Reports Analytics Spreadsheets 定期的に抽出経営者分析担当者中長期的企業戦略策定 SCM ERP CRM Oracle

28. Copyright @2017 Insight Technology, Inc. All Right Reserved [レプリケーションテクノロジーの適用] データ分析は、バッチ指向からリアルタイムへ既に海外では、リアルタイム分析を行うことで重要なビジネスイベントに対して迅速にアクションを起こすための意思決定を可能にしている事例が多い従来型のデータ分析が過去に発生した事象を分析するのに対してリアルタイム分析は今現在発生しているまたは、これから何が起きるのか？を分析することを目的としている Sources Files, DB, SNS マネージャ行動 JSON XML イベント発生 Data Warehouse 日常業務行動策定 Oracle

29. Copyright @2017 Insight Technology, Inc. All Right Reserved 従来型DWHとリアルタイムDWH 従来型DWH リアルタイムDWH ユーザ経営層・マーケティング部門現場マネージャ分析目的中長期的経営戦略策定日常業務における意思決定分析頻度日次・週次・月次リアルタイム分析対象データ定期蓄積データ定期蓄積データ＋イベントデータ(IOT) お役立ち経営戦略マーケット需要予測レコメンデーション最適化リアルタイム需要予測リアルタイム不正検出電力需要予測・・・・・ SCM ERP CRM

31. Copyright @2017 Insight Technology, Inc. All Right Reserved 31 移行対象レプリケーション元(基幹システム) レプリケーション先(データ分析基盤) OS Windows / IBM zOS Windows / Linux(Cloud) データベース SQL Server IBM/DB2 × 3 IBM/IMSDB SQLServer Hadoop(Cloud) ユーザ様背景チューリッヒ生命保険では、有効証券請求時にリアルタイムな情報を手に入れることが、プロセス改善に必要とされていました。またプロセス改善には日常的な検索が必要とされ、メインフレームとWintelプラットフォームの双方で構成される5つのポリシー管理システムから機能検索をしていました。（うち4システムはメインフレーム）問合せ処理システムと基幹システムを分離するために、不変的なアクセスが可能な基幹システムデータベースと問合せ処理用データベースを必要としていました。コピーされたデータベースは、可能な限りリアルタイムに同期する必要がありました。 CaseStudy : チューリッヒ保険会社

32. Copyright @2017 Insight Technology, Inc. All Right Reserved BI / Data Analytics BI / Data Analytics マーケティング分析・財務分析・クレーム処理などにデータ分析基盤を活用しています。 Copy Data (Data Replilcate) メタデータを含むトランザクションデータをニアリアルタイムでデータ分析基盤に反映することで現在発生しているイベントに対して遅延なく分析を行うことが出来ます。 Data storage データ分析基盤として SQL Serverとクラウド上のHadoop使用しています structured data unstructured data Data ソースデータとして社内外の無償・有償の外部データ及び社内の基幹データベースのデータを分析のために適用しています。 IBM DB2 on M/F IBM IMS DB on M/F IBM DB2 on iSeries Microsoft SQL Server JSON XML TEXT CaseStudy : チューリッヒ保険会社

35. Copyright @2017 Insight Technology, Inc. All Right Reserved LUW(Linux/Unix/Windows) Mainframe DB2 IMS/DB VSAM IBM iSeries DB2/400 HP NonStop Enscribe SQL/MP Oracle SQLSever MySQL PostgreSQL SYBASE IBM/DB2 hadoop サポートデータベース LUW(Linux/Unix/Windows) As same as Replication sources Large DW Platforms Actian Vector Oracle Exadata Microsoft PDW HP Vertica Pivottal Greenplum Database Teradata IBM Puredata(Netezza) Amazon Redshift Azure SQL DW Hadoop (SAP/HANA) Replication TargetsReplication Sources

36. Copyright @2017 Insight Technology, Inc. All Right Reserved  DBサーバ側エージェントレス  データベースへのソフトウェアインストール不要  初期同期(FULL LOAD)から差分同期(CDC)までシームレスにデータ連携  初期同期から差分同期へ自動切り替え  ブラウザベースのGUIによる簡易設定・監視  短期のスキルトレーニングで同期設定と稼働監視が可能  異種データベース間のテーブル高速データ転送・同期(マルチDB対応)  オンプレ・クラウドを問わない主要データベース間のデータ同期をサポート 36

37. Copyright @2017 Insight Technology, Inc. All Right Reserved On-Premises(VAIO S13) Processor : 1 core Memory : 1024MB DEMO No TABLE NAME COUNT 1 CUSTOMER 30,000 2 DISTRICT 10 3 HISTORY 30,000 4 ITEM 100,000 5 STOCK 100,000 6 ORDERS 30,000 7 ORDER_LINE 299,617 8 NEW_ORDER 9,000 9 WAREHOUSE 1 175MB 598,628 Service Plan : Basic Location : Japan West Performance Level : S0(10 DTU) データベース負荷テストベンチマーキング・ツール TPC-C 37 Oracle

39. Copyright @2017 Insight Technology, Inc. All Right Reserved データレプリケーションテクノロジーを活用してミニマムダウンタイム移行やデータ分析基盤構築を！データ処理種別毎に適したデータベースを運用する時代となった → 異なるデータベース・ストレージで管理されたデータをオンプレ・クラウド基盤に同期する必要がある。可能であればリアルタイムで・・ → クラウドを含む異なる環境間でデータ連携は、移行用途としても適用可能

20170413_データレプリケーション技術を適用したデータベース移行と分析基盤の構築 by 株式会社インサイトテクノロジー 森田俊哉

Insight Technology, Inc.