商用DBからPostgreSQLへ まず知っておいて欲しいまとめ
•
10 likes•16,649 views
福岡データベース勉強会 2016年春 第14回 中国地方DB勉強会 in 福山
Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Similar to 商用DBからPostgreSQLへ まず知っておいて欲しいまとめ
Similar to 商用DBからPostgreSQLへ まず知っておいて欲しいまとめ (20)
More from Kosuke Kida
商用DBからPostgreSQLへ まず知っておいて欲しいまとめ
- 1. 1/24 福岡データベース勉強会福岡データベース勉強会 20162016年春年春 中国地方中国地方DBDB勉強会勉強会 inin 福山福山 商用データベースからPostgreSQLへの移行入門 まず知っておいて欲しいまとめ 日本PostgreSQLユーザ会 株式会社アシスト 喜田 紘介
- 2. 2/24 自己紹介
- 6. 6/24 ポスグレどれぐらい使えるの？ 軽量なトランザクションを捌く ● 同時1000～程度のセッション ✔ シングルノードやHA構成で稼動するシステムとしては十分 ✔ H/WスペックではCPU 16～32core、メモリ数十GB程度はスケール可能 ● 商用パッケージの大部分が置き換え可能？ ✔ 商用パッケージユーザの約9割がPostgreSQLで十分 – 弊社にPostgreSQL対応で相談いただいた商用パッケージ – 約9割のエンドユーザでは有償オプションを あてにしない基本機能 – 残る1割程度のエンドーユーザ環境で – 更新負荷分散・無停止を期待
- 7. 7/24 商用DBの高速化オプション ーーーーーーーーーーーーーー ・パーティショニング ・パラレルクエリ ・インメモリ ・カラムストア ・ビットマップインデックス ・MVIEWの差分更新 ポスグレどれぐらい使えるの？ 集計・分析を気軽に行いたい ● 夜間バッチで集計、日中は結果を参照 ✔ 大量データを検索、集計する機能は数年ここで大幅向上 ✔ ただし制限事項も多く、リアルタイム性の高い分析は実用的でない ✔ データ量で数100GB～TB、集計の鮮度が1日単位ぐらい ● 期待を集めるパラレルクエリ、MVIEWの差分更新など ✔ ビッグデータ対応が最近のキーワード ✔ 今秋リリース予定のVer9.6～パラレルクエリが可能に？ ぽすぐれ 開発中！
- 8. 8/24 ポスグレどれぐらい使えるの？ 負荷分散・可用性 ● 参照負荷分散と高可用構成は可能 ✔ マスター/スレーブ型、ログ転送方式によるレプリケーション ✔ スレーブ側は参照のみ可能、複数スレーブで効果UP ✔ マスター障害時はスレーブに切り替え
- 9. 9/24 何が似てるの？何が違うの？ RDBMSとしての基本は備えている ● ACIDを守る、標準SQLに準拠、メンテナンス性・・などなど ✔ A：原始性 C：一貫性 I：独立性 D：永続性 ✔ 標準SQLに準拠し、そのための追加要素も常時検討されている ✔ メンテナンス性 豊富な管理ビュー パラメータチューニング SQLチューニング SQLクエリでがんばる 各種イベントの ロギング オブジェクトの メンテナンス
- 10. 10/24 何が似てるの？何が違うの？ 全体のアーキテクチャ ● 用語の違いはあるものの、ほぼ同じ図でイメージできる Oracle Database SGA データベース バッファキャッシュ 共有プール ログバッファ LGWR DBWR CKPT SMON PMON ARCH専用サーバプロセス 専用サーバプロセス 専用サーバプロセス PGA データベース 表領域 データファイル データファイル REDO ログファイル 表 索引 各種 設定ファイル etc… PostgreSQL 共有メモリ 共有バッファ WALバッファ writer wal writer stats collector archiver logger autovacuum launcher バックエンドプロセス バックエンドプロセス バックエンドプロセス デーモンプロセス データベースクラスタ データベース 表 索引 データベース 表 VM索引 FSM WALファイル 各種 設定ファイル システム カタログ 各種状態 管理ファイル
- 11. 11/24 何が似てるの？何が違うの？ MVCCの実現 ● 異なるアーキテクチャでは、異なる運用課題もある Oracle DatabasePostgreSQL EMPNO=20 ENAME=TIGER UNDOセグメント EMPNO=10 ENAME=SCOTT EMPNO=20 ENAME=NEW EMPNO=30 ENAME=KING EMPNO=40 ENAME=ALLEN 時間の流れ 変更前情報 表データ EMPNO=10 ENAME=SCOTT EMPNO=20 ENAME=TIGER EMPNO=30 ENAME=KING EMPNO=40 ENAME=ALLEN EMPNO=20 ENAME=NEW 時間の流れ 変更前情報 表データ 変更前情報を必要とするSQL変更前情報を必要とするSQL 追記方式のため 変更前の行は表 に保持する ORA-1555？VACUUM？
- 13. 13/24 PostgreSQLへの移行を考えるなら PGEConsで移行をテーマに研究成果を発表 ● 3年にわたる成果が公開中 ✔ 2012年度：異種DBからの移行ノウハウ・ツール等整理 ✔ 2013年度：移行元として対象にするDB製品を追加 ✔ 2014年度：DBを移行した場合にクリアしておくべき試験項目を整理 ✔ 2015年度：継続中。現在成果発表に向けて鋭意対応中
- 16. 16/24 構成検討・データ連携検討 ここで決断が必要！決めるのは「あなた自身」ですよ！ ● PostgreSQLで本当に大丈夫なのか ● ポイントは、本日冒頭の話 ✔ OLTP系のシングル構成であれば、性能を実現できる（可能性が高い） ✔ 複数台構成も可能、だが、サービスレベルの見直しは避けられない ✔ DWH用途では、どこまで期待するか判断基準を誤らないこと ● データ連携の選択肢 ✔ 複数DBで連携しているものを一部だけPostgreSQLに置き換える？ ✔ 手段はいくつか提供されている – 各種FDW（Foreign Data Wrapper：Database Link的な使い方） – OSSツール（トリガベースのテーブル単位レプリケーション）
- 17. 17/24 定義移行、データ移行 OSSツールOra2Pgが有用 ● 定義移行 ✔ 使用できないオブジェクトの扱いが悩ましい ✔ Ora2Pgの使い方に慣れ、それがハードルにならないように頑張る ✔ PostgreSQLのほうがデータ型を細かく使い分ける （例：NUMBER → numeric？integer？real？） ● データ移行 ✔ Ora2Pgで中間ファイル生成 ✔ 文字コード変換を行う ✔ 移行にかかる時間に縛りがある場合、ハードルが高いので注意
- 18. 18/24 SQL修正 OSSツールdb_syntaxdiffを利用 ● 修正箇所を確認 ✔ 数が多いことがほとんどなので、なるべくツールでカバー ✔ ただし、修正箇所のピックアップ精度は高くない ● SQL修正 ✔ 対応が決まっているものがほとんど、でも人手が必要 Oracleの独自構文 PostgreSQLでの対応 ・外部結合演算子（+） ・ROWNUM ・集合演算子 minus ・FROM句内サブクエリの別名不要 ・MERGE ・NULLを検索するクエリ （NULLと空文字を考える） ・トランザクションの違い ・外部結合OUTER JOIN ・Window関数 row_number() ・集合演算子 except ・FROM句内サブクエリの別名必須 ・INSERT ・・・ON CONFRICT
- 19. 19/24 ストアド・プログラムの修正 全面書き換えになるので覚悟が必要 ● PL/SQLのプロシージャ、ファンクション、パッケージ →すべてPL/pgSQLファンクションで書き換え ✔ 実は公式のマニュアルに対応が書かれている ✔ https://www.postgresql.jp/document/current/html/plpgsql-porting.html プロシージャ ーーーーーー トランザクション制御をアプリケーション側で 実装し、PostgreSQLに担当させる部分は トランザクション制御を排除 プロシージャ内でのトランザクション制御が 必須でなければそのままファンクション化 パッケージ ーーーーーー ファンクションで代替し、スキーマでまとめる スキーマ名.ファンクション として、 パッケージ名.サブプログラム と同じように呼び出すことができる。 パッケージ内で保持される定数・変数の 考慮が必要 パッケージ定数：一時テーブルに格納 パッケージ変数：ファンクションで代替
- 20. 20/24 本日のテーマ 異種DBからPostgreSQLへ ポスグレ どれぐらい使えるの？ なにが違うの？ 良い資料ある？ 移行時の大変なところ 早急に なんとかしたい！ 早急に なんとかしたい！
- 21. 21/24 プロダクトサポート、教育サービ スを提供する株式会社アシスト 市ヶ谷 オフィスのサービス事業部は ISO27001の認証を取得していま す。 オフィス所在地 設立 代表取締役会長 ビル・トッテン 代表取締役社長 大塚 辰男 売上高 社員数 事業内容 本社所在地 オフィス所在地 取引会社数 主要取扱製品数 1972年3月 241億円 （2015年度） 1070名 （2016年4月現在） コンピュータ用パッケージ・ソフト ウェアの販売、技術サポート、教育 およびコンサルティング 東京都千代田区九段北4-2-1 市ヶ谷東急ビル 札幌、仙台、名古屋、金沢、 大阪、広島、宇部、福岡、沖縄 5,500社 （2012年度） 50製品 （2013年4月現在） ※サポートセンターのみ 金沢 札幌 仙台 東京本社 名古屋 宇部 福岡 広島 大阪 沖縄 ※㈱アシスト北海道 (サポートセンター業務) サポートセンター アシスト会社概要
- 23. 23/24 EDB PostgresのOracle互換 PostgreSQLを大幅に機能強化 ● Oracle互換 ✔ SQL構文 Oracleの方言を吸収 ✔ PL/SQL互換 パッケージ、プロシージャが定義可能、トランザクションも ● ツール ✔ データ移行ツール Ora2Pgに相当 ✔ 異種DBとのデータ連携ツール ● 性能向上 ✔ パーティショニングのOracle互換構文 ✔ 待機イベントに対応 「アシスト EDB」で検索！！！