[db tech showcase Tokyo 2018] #dbts2018 #C17 『OracleからPostgreSQLへ移行する際のポイントとレプリケーション活用による無停止移行およびデータ連携術』
•
1 like•633 views
[db tech showcase Tokyo 2018] #dbts2018 #C17 『OracleからPostgreSQLへ移行する際のポイントとレプリケーション活用による無停止移行およびデータ連携術』 クエスト・ソフトウェア株式会社 - 技術部ソリューションコンサルタント 青木 浩朗 氏
Recommended
Recommended
More Related Content
What's hot
What's hot (6)
Similar to [db tech showcase Tokyo 2018] #dbts2018 #C17 『OracleからPostgreSQLへ移行する際のポイントとレプリケーション活用による無停止移行およびデータ連携術』
Similar to [db tech showcase Tokyo 2018] #dbts2018 #C17 『OracleからPostgreSQLへ移行する際のポイントとレプリケーション活用による無停止移行およびデータ連携術』 (20)
More from Insight Technology, Inc.
More from Insight Technology, Inc. (20)
[db tech showcase Tokyo 2018] #dbts2018 #C17 『OracleからPostgreSQLへ移行する際のポイントとレプリケーション活用による無停止移行およびデータ連携術』
- 2. 自己紹介: 青木浩朗（あおきひろあき） • 2001年よりデータベース関連のバックアップ/リカバリ製品を中心 に担当 • 2011年にクエスト・ソフトウェアに買収された後より現職 • DBの開発/管理/モニタリング/レプリケーション等全般 • 著書として「Oracleバックアップ・リカバリ実践テクニック」 quest.com | confidential2
- 3. Questは情報管理ソフトウェアにおける20年以上の経験 quest.com | confidential3 1990年後半 Tool for Oracle Application Developers 開発 1998年 Questは にTOAD を買収 1999年 Questは SharePlex を開発 2000年 Questは Spotlight を開発 2000年代 TOADのサポート がSQL Server, Sybase, IBM DB2, MySQLへ と拡張 2009年 データアナリスト向 けのToad Data Point発売 2012年 DellがQuest Software を買収 2016年 Quest Software としてDellから 独立 2017年 オープンソース対応 開発ツールToad Edge開発 2000年 Questは にFoglight を買収 2005年 Questは にImcedaを買収によ りSQL Server強化
- 4. 情報管理の製品ポートフォリオ quest.com | confidential4 インフラ 適時、適所に データを配置 管理 データ基盤の パフォーマンス向上 統合 リアルタイム・ データ移動・統合 より良い意思決定の ためにデータを洞察 分析/可視化 Storage, Servers, Networking Toad Spotlight Foglight SharePlex Toad Data Point
- 5. • 2018年のDatabase Trends and Applicationsのサイトにて、 読者投票による各種ベストソリューションを受賞 • 28部門中Winner3部門はAmazon 4部門に次ぐ2位 (MSおよびOracleは2部門) quest.com | confidential5 http://www.dbta.com/Editorial/Trends-and-Applications/The-2018-DBTA-Readers-Choice-Awards-Winners-126438.aspx Winner Best Data Replication Solution: Quest SharePlex Winner Best Database Performance Solution: Quest Foglight for Databases Winner Best Database Development Solution: Quest Toad Development Suite Finalists Best BI Solution: Quest Toad Data Point Finalists Best Data Integration Solution: Quest SharePlex Finalists Best DBA Solution: Quest Toad DBA Suite Finalists Best Database Backup Solution: Quest LiteSpeed for SQL Server
- 9. オープンソースRDBMSについての数字 quest.com | confidential9 70 50 96 % の内製アプリケーションはオープンソースRDBMS上で実装される (2018年までに) % の既存の商用データベースがオープンソースRDBMSに移行される (2018年までに) % でOracleからオープンソースRDBMSに移行するとライセンスコストの削減見込み
- 10. DBマーケットのトレンド • Source: https://db-engines.com/en/ranking_trend Method of calculating the scores of the DB-Engines Ranking • Number of mentions of the system on websites. • General interest in the system. • Frequency of technical discussions about the system. • Number of job offers, in which the system is mentioned. • Number of profiles in professional networks, in which the system is mentioned. • Relevance in social networks.
- 11. ACHIEVING YOUR 2018 DATABASE GOALS THROUGH REPLICATIONより http://www.dbta.com/DBTA-Downloads/ResearchReports/ACHIEVING-YOUR-2018-DATABASE-GOALS- THROUGH-REPLICATION-REAL-WORLD-MARKET-INSIGHTS-AND-BEST-PRACTICES-7863.aspx quest.com | confidential11 • 285のIT意思決定者の考察と経験を含む調 査結果 • 少なくとも半数以上は従業員5000以上のエ ンタープライズ企業 • 資料のすべては以下よりダウンロード可能 • 詳細な調査対象者についても資料内明記
- 16. 論理レプリケーションは様々なビジネス課題を解決 quest.com | confidential16 情報系データベース・BIシステムの構築 • 高パフォーマンスレプリケーション • 低負荷のプロセス • システムに応じたデータ構造の最適化 データベースの停止を極小化して移行 • Oracle 10gから11gや12cへ • 異なるOSプラットホーム • 移行に失敗した際の切り戻し 常にデータベースを同期してDRに活用 • Standard EditionでDataGuradの代わりに • 遠隔地への災害対策に • 双方向レプリケーション 1:N, N:1, N:Nでのレプリケーション • 異なるOracleのバージョン間で • 異なるOSプラットホーム間で • 柔軟なシステム構成を実現 運用レポート、アーカイブ、 データウェアハウス データ分散/分散処理 高可用性/ディザスタリカバリ マイグレーション、アップグレード 集中処理（統合） 中継システムを 使用したカスケード構成 アクティブアクティブ/ロードバランス 変更履歴
- 18. Quest SharePlex Oracleデータベースに、シンプルで、確実、柔軟性に富んだデ ータベース・レプリケーション技術を提供し、複雑になったデータ ベース環境とそのデータ管理を改善します。 Questは、1999年からSharePlexの開発を開始し、以降、 Oracleの変更データ取得技術の研究を重ね、確実な複製と 転送、比較と修復、監視とアラートなど包括的なデータベースレ プリケーションソフトウェアの開発を行っています。 現在、データベースベンダーが提供するレプリケーションソフトウェ アを除き、3rd Partyデータベースレプリケーションの市場シェア 圧倒的#1のソフトウェアです。 Winner Best Data Replication Solution Finalists Best Data Integration Solution
- 20. SharePlex Open Target – リアルタイムデータレプリケーションと統合 quest.com | confidential20
- 21. マルチDB環境で多様なシステム構成 quest.com | confidential21 Oracle PostgreSQL Oracle メインの基幹システムから リモートDR用 レポーティングシステム用に データ連携 災害対策用システムから データ連携 DR切り戻し時
- 22. SharePlex for Postgresで短時間かつ 確実な移行を実現 quest.com | confidential22 Oracle PostgreSQL ユーザーは移行前はOracleにアクセス 開発者は移行前からPostgres上 で最新データを使って開発とテスト レプリケーションを停止すれば 短時間で移行完了 事前に確認済みなので、移行プロジェクト がスムーズかつ確実に実現 最新のデータを常時複製 Oracle PostgreSQL
- 24. ALTER DATABASE ADD SUPPLEMENTAL LOG DATA • Oracle9iから導入された機能 • 「最小サプリメンタル・ロギングは、LogMinerでDML変更と関連付けられた REDO操作を識別、グループ化およびマージするために必要な最小限の情報 を記録します。」(Oracleマニュアルより) • 「また、LogMiner(およびLogMinerテクノロジに基づいた他の製品)に、連鎖 行や様々な記憶域構成(クラスタ表、索引構成表など)のサポートに十分な情報 を確保します。」(Oracleマニュアルより) • SharePlexはレプリケーションのためにOralce v7から独自対応 • 本機能はQuestがOracleに開発リクエストしてできた機能 • ちなみにSharePlexはLogMinerをほぼ使っていません (Amazon RDSからのレプリケーション時に状況確認のみ) quest.com | confidential24
- 25. 高速化を実現するコミット前転送(Oracle間のみ) quest.com | confidential25 INSERT INSERT UPDATE UPDATE UPDATE UPDATE DELETE DELETE COMMIT COMMIT バッチの実行 時間分遅延 遅延が少ない SharePlexの場合 – Before Commit 他社製品の場合 – After Commit INSERT UPDATE UPDATE DELETE COMMIT INSERT UPDATE UPDATE DELETE COMMIT • バッチ処理などの大量更新時の動作 – コミット前の変更情報もすべてリアルタイムに転送するため、大規模バッチ処理時のデータ反映の遅延時間が最小化
- 26. 整合性を実現するCompare/Repair機能 • 1:1のSharePlexのノード間で、データを 比較する機能を標準実装(compare機能) – 定義ファイルレベルでの比較 – テーブル単位で指定しての比較 – スナップショットを使用して、特定時点の静 的な状態を比較 • 比較後にデータを修復したい場合のrepair 機能を論理レプリケーションソフトウェア の中で唯一実装 – 軽微なデータの非同期状態はrepair機能を使 用して修正が可能 quest.com | confidential26 Usage: compare {source_owner}.{source_table}[.{partition}] [not ({list of exceptions})] [to {target_owner}.{target_table}[.{partition}]] [at {target_host}[@o.{target_sid}]] [for o.{source_sid}] [key] [quickcheck] [orderby "{column_list}"] [exclude "{column list}"] [hint "{hint}"] [where "{clause}"] [sourcewhere "{clause}"] [targetwhere "{clause}"] [on {host}] | [on {host}:{port}] | [on {login}/{password}@{host}] | [on {login}/{password}@{host}:{port}]
- 27. 整合性を実現するCompare/Repair機能 quest.com | confidential27 A 1 あ 東京 B 2 い 大阪 C 3 う 福岡 D 4 え 沖縄 A 1 あ 東京 B 2 い 大阪 C 3 う 福岡 D 4 え 京都 A 1 あ 東京 B 2 い 大阪 C 3 う 福岡 D 4 え 沖縄 A 1 あ 東京 B 2 い 大阪 C 3 う 福岡 D 4 え 京都 Viewを取得 Viewを取得 レプリケーション ストーリムに乗せて マーカーを飛ばす ので同じタイミング Hash関数を 使用して値を 取得して突合 Compare: Hash値が異なる場合には、行単位で確認して、修正のためのSQL文を作成 Repair: Hash値が異なる場合には、行単位で確認して、修正のためのSQL文を適用
- 28. 最新バージョン SharePlex 9.2で 異DB間比較/初期同期対応(年内リリース予定) quest.com | confidential28 A 1 あ 東京 B 2 い 大阪 C 3 う 福岡 D 4 え 沖縄 A 1 あ 東京 B 2 い 大阪 C 3 う 福岡 D 4 え 京都 比較 A 1 あ 東京 B 2 い 大阪 C 3 う 福岡 D 4 え 沖縄 初期 同期
- 30. データベースを止めずに移行したい、ほんとにこれで良い？ quest.com | confidential30 101100 Datafile バックアップリカバリで初期同期 102 102のログからレプリケーション
- 32. 3232 移行 海外導入事例 某グローバルオンライン会社様 OracleからPostgreSQLへ ダウンタイムゼロで異DB移行 ZE RO • 海外PostgreSQLベンダー製の移行ツールは、大規 模な環境では活用できなかった • ユーザ環境のDBが100TBを超え、いくつかのテーブル は1TB近かった • JDBC経由接続のツールは役に立たなかった • 従来からOracle to Oracleでの大規模環境で実績 があったSharePlexを採用 • 旧環境から新環境へアクセスするユーザを移動させる 以外のダウンタイムは不要 • 大容量のデータをレプリケーションするために開発された SharePlexが最適
- 33. quest.com | confidential33 中間サーバ Oracle SharePlex (Port 2200) Replication 本番環境 Oracle SharePlex(Port 2100) 本番環境のバックアップを 中間サーバにリストア （SCNもしくはログ順序番号 までリカバリ） 新本番環境 PostgreSQL SharePlex (Port 2100 & 2200) Capture queue Export queue Post queue Reconcile SharePlex (Port 2200) Postgresのターゲットテーブルへ Insertをレプリケーション ”insert into..select from”を使用して 中間サーバ(Oracle)からレプリケーション 初回同期後の変更データをレプリケーション
- 35. RACによるサイトの可用性とSharePlexによる グローバルな可用性の実現– Verizon Wireless quest.com | confidential35 • すべてのビジネスクリティカルなデータは、4000km離れた2つのデータベース間で複製 • レプリケーションの遅延は2秒以下 • それぞれのサイトは、統合されたピークワークロードをサポート • それぞれのサイトがDR用として使用できるため、異なるDR環境が不要 • 使用例 ✓ ひとつのサイトは、他のサイトがメンテナンス中であってもフルのワークロードをサポート ✓ 定期的なDRテストの実行 • 2つのサイトを使用しての継続的な可用性 • GSSとCSSがトランザクションをルーティング • SharePlexを使用した双方向データレプリケーション • サイトの可用性のためにOracle RACを使用 継続的可用性技術
- 37. リアルタイムBIの活用 quest.com | confidential37 • 従来のシステムの課題点 – オーダー管理システムに対し、経営分析用のレポートを直接出力 させていたため、運用でスケジュール調整を行う必要があった • システム要件 – アプリケーションを変更せずインフラ的に容易に参照用 データベースを作成できること – 特定のテーブルのみ複製できるツールを使用すること – Oracle SEでも動作すること • 導入効果 – リアルタイムリスク管理のシステムと連携が可能に – 経営分析に必要な情報がリアルタイムに自由にアクセス できるようになった – 情報システム部の運用調整が必要無くなった – 社外用および社内用の計７システムのデータベースを １台の参照用データベースに統合
- 38. 従業員レコグニションのリーダー企業が、容易かつ信頼 性の高いデータベースのレプリケーションと監視を実現 quest.com | confidential38 • 導入検討 – Oracle Streamsを試みるも伝搬停止 – Oracle GoldenGateを試みるも、稼働させるのに膨大な時 間がかかり、サポートがうまく受けられず。さらには非常に高額 な見積 • 導入効果 – SAPのテーブルを他のプラットフォームにコピーしてアップデートす るという一時しのぎの方法から脱却 – O.C. Tannerのデータベース管理者はわずか1日でレプリケー ションを正常に稼働開始 – レプリケーションを別のレポート作成データベースに対して行える ので、OLTPシステムのワークロードを本番のために軽減可能 「SharePlex®は簡単に使えるうえ、高 速、かつ信頼性があります。価格も妥当 で、優れたユーティリティが付属しています。 データベース管理者からすると申し分あり ません」 O.C. Tanner、データベース管理者、 Joel Barrow氏 導入事例ダウンロード https://www.quest.com/jp-ja/casestudy/replicate-and-monitor-databases-easily-and-reliably-with-shareplex-jap8131875/
- 40. DBAs FACE NEW CHALLENGESより http://www.dbta.com/DBTA-Downloads/ResearchReports/DBAs-Face-New-Challenges-Trends-in-Database- Administration-7676.aspx quest.com | confidential40 • 200以上の広範囲な業種および組織の主に DBA/ITマネージャー/開発者からのフィー ドバック • 少なくとも20%以上は従業員5000以上のエ ンタープライズ企業 • 資料のすべては以下よりダウンロード可能 • 詳細な調査対象者についても資料内明記
- 43. データベース統合開発環境 Toad for Oracle 開発者向けに世界最上級の機能を提供 quest.com | confidential43 Winner Best Database Development Solution Quest Toad Development Suite Toad Data Modeler 質の高いデータベース構造を作 成するデリングツール Database Browser 単一のビューで複数のデータベ ースやスキーマを管理 Code Tester PL/SQLの静的解析によりコー ド品質の改善 SQL Optimizer 数学的にすべてのSQL書き換え 可能パターン抽出により最適化 Benchmark Factory データベースのベンチマークに必要 な機能をすべて実装、TPC対応
- 44. PostgreSQLとMySQL環境での開発をシンプル化 Toad Edge • 従来のToad製品と親和性の高い使いやすい インタフェース • WindowsとMacOSの両方に対応した開発ツール • オンプレミスとクラウドを問わずにPostgreSQL、 MySQLに対応, RedShiftはβ対応 • 豊富な機能 ✓ オブジェクトとユーザ管理 ✓ SQLワークシート ✓ SQLクエリモニタ ✓ データのインポートとエクスポート(一部対応) ✓ スキーマ比較と同期機能(有償) ✓ データベーススナップショット(有償) ✓ アドバンスドJSONエディタ(有償) quest.com | confidential44 30日フル機能評価後は フリーウェアエディショ ンとして使用できるよ
- 45. quest.com | confidential45 Winner Best Database Performance Solution Quest Foglight for Databases データベース統合開発環境 Foglight for Databases
- 48. Foglight for Virtualization/ Cloud Managerと連携 quest.com | confidential48 Data → Improve VM performance → Proactively avoid problems → Reduce OPEX and CAPEX → Recover full systems in minutes → Predict Azure costs → Migrate to cloud with ease Manage Foglight for Virtualization Optimize Protect Virtual Infrastructure Storage Backup Monitoring Rapid Recovery NetVault VEEAM Container
- 49. SharePlex ManagerもFoglightを最新版 にしてリニューアル予定 • 製品にバンドル • Quest Foglightの技術を使用した 高機能なステータス表示 quest.com | confidential49
- 51. Thank you 問い合わせ先 クエスト・ソフトウェア株式会社 E-mail: hiroaki.aoki@quest.com 製品サイト https://www.quest.com/jp-ja/ Quest Japan Communityサイト https://www.quest.com/community/jp-ja/