Download free for 30 days
Sign in
Upload
Language (EN)
Support
Business
Mobile
Social Media
Marketing
Technology
Art & Photos
Career
Design
Education
Presentations & Public Speaking
Government & Nonprofit
Healthcare
Internet
Law
Leadership & Management
Automotive
Engineering
Software
Recruiting & HR
Retail
Sales
Services
Science
Small Business & Entrepreneurship
Food
Environment
Economy & Finance
Data & Analytics
Investor Relations
Sports
Spiritual
News & Politics
Travel
Self Improvement
Real Estate
Entertainment & Humor
Health & Medicine
Devices & Hardware
Lifestyle
Change Language
Language
English
Español
Português
Français
Deutsche
Cancel
Save
EN
Uploaded by
Kosuke Kida
PDF, PPTX
964 views
[OSC2016沖縄]商用DBからPostgreSQLへの移行入門
2016年7月2日沖縄コンベンションセンターで行われたOSCのPostgreSQLセッションです。
Technology
◦
Read more
0
Save
Share
Embed
Embed presentation
Download
Download as PDF, PPTX
1
/ 22
2
/ 22
3
/ 22
4
/ 22
5
/ 22
6
/ 22
7
/ 22
8
/ 22
9
/ 22
10
/ 22
11
/ 22
12
/ 22
13
/ 22
14
/ 22
15
/ 22
16
/ 22
17
/ 22
18
/ 22
19
/ 22
20
/ 22
21
/ 22
22
/ 22
More Related Content
PDF
商用DBからPostgreSQLへ まず知っておいて欲しいまとめ
by
Kosuke Kida
PDF
Oss x user_meeting_6_postgres
by
Kosuke Kida
PDF
Oratopostgres-hiroshima
by
Kosuke Kida
PDF
Chugokudb18_1
by
Kosuke Kida
PDF
[B32] クイズと都市伝説から見る、ありのままのPostgreSQL by Shigeyuki Tokuhara
by
Insight Technology, Inc.
PDF
便利なHerokuと active recordの 速度改善tips
by
豊明 尾古
PDF
PostgreSQLレプリケーション(pgcon17j_t4)
by
Kosuke Kida
PDF
PostgreSQLでスケールアウト
by
Masahiko Sawada
商用DBからPostgreSQLへ まず知っておいて欲しいまとめ
by
Kosuke Kida
Oss x user_meeting_6_postgres
by
Kosuke Kida
Oratopostgres-hiroshima
by
Kosuke Kida
Chugokudb18_1
by
Kosuke Kida
[B32] クイズと都市伝説から見る、ありのままのPostgreSQL by Shigeyuki Tokuhara
by
Insight Technology, Inc.
便利なHerokuと active recordの 速度改善tips
by
豊明 尾古
PostgreSQLレプリケーション(pgcon17j_t4)
by
Kosuke Kida
PostgreSQLでスケールアウト
by
Masahiko Sawada
What's hot
PDF
Db tech showcase2015 how to replicate between clusters
by
Hiroaki Kubota
PDF
NoSQLデータベースと位置情報
by
Koji Ichiwaki
PDF
RDB経験者に送るMongoDBの勘所(db tech showcase tokyo 2013)
by
Ryuji Tamagawa
PDF
Chugokudb18_2
by
Kosuke Kida
PDF
Mongo dbを知ろう devlove関西
by
Ryuji Tamagawa
PDF
Dbtechshowcasesapporo mysql-turing-for-cloud-0.9.3
by
infinite_loop
PDF
今すぐ使えるクラウドとPostgreSQL
by
Soudai Sone
PDF
RDB技術者のためのNoSQLガイド NoSQLの必要性と位置づけ
by
Recruit Technologies
PDF
DB tech showcase: 噂のMongoDBその用途は?
by
Hiroaki Kubota
PDF
さいきんの InnoDB Adaptive Flushing (仮)
by
Takanori Sejima
PDF
実務で役立つデータベースの活用法
by
Soudai Sone
PDF
データベース勉強会 In 広島 mongodb
by
Ryuji Tamagawa
PDF
OSC北海道2014_JPUG資料
by
Chika SATO
PDF
20140418 info talkセミナー資料
by
Takahiro Iwase
PDF
東北クラウド実践カンファレンス2011
by
Shinichiro Isago
PDF
初めてのMongo db
by
Ryuji Tamagawa
PDF
B 2-1 はじめての Windows Azure
by
GoAzure
PDF
OSS 開発ってどうやっているの? ~ PostgreSQL の現場から~
by
Masahiko Sawada
PPTX
日本語:Mongo dbに於けるシャーディングについて
by
ippei_suzuki
PPT
mongoDB: OSC Tokyo2010 spring
by
ichikaway
Db tech showcase2015 how to replicate between clusters
by
Hiroaki Kubota
NoSQLデータベースと位置情報
by
Koji Ichiwaki
RDB経験者に送るMongoDBの勘所(db tech showcase tokyo 2013)
by
Ryuji Tamagawa
Chugokudb18_2
by
Kosuke Kida
Mongo dbを知ろう devlove関西
by
Ryuji Tamagawa
Dbtechshowcasesapporo mysql-turing-for-cloud-0.9.3
by
infinite_loop
今すぐ使えるクラウドとPostgreSQL
by
Soudai Sone
RDB技術者のためのNoSQLガイド NoSQLの必要性と位置づけ
by
Recruit Technologies
DB tech showcase: 噂のMongoDBその用途は?
by
Hiroaki Kubota
さいきんの InnoDB Adaptive Flushing (仮)
by
Takanori Sejima
実務で役立つデータベースの活用法
by
Soudai Sone
データベース勉強会 In 広島 mongodb
by
Ryuji Tamagawa
OSC北海道2014_JPUG資料
by
Chika SATO
20140418 info talkセミナー資料
by
Takahiro Iwase
東北クラウド実践カンファレンス2011
by
Shinichiro Isago
初めてのMongo db
by
Ryuji Tamagawa
B 2-1 はじめての Windows Azure
by
GoAzure
OSS 開発ってどうやっているの? ~ PostgreSQL の現場から~
by
Masahiko Sawada
日本語:Mongo dbに於けるシャーディングについて
by
ippei_suzuki
mongoDB: OSC Tokyo2010 spring
by
ichikaway
Viewers also liked
PDF
[9.5新機能]追加されたgroupbyの使い方
by
Kosuke Kida
PDF
まずやっとくPostgreSQLチューニング
by
Kosuke Kida
PDF
PostgreSQLによるデータ分析ことはじめ
by
Ohyama Masanori
PDF
Jpug study-pq 20170121
by
Kosuke Kida
KEY
Hadoopを業務で使ってみた
by
Tatsuya Sasaki
PDF
S12 t1 python学習奮闘記#5
by
Takeshi Akutsu
PDF
S03 t2 sta_py_tsuji_0810_slides
by
Takeshi Akutsu
PPTX
Pythonのプロファイリング
by
ysakaguchi
PDF
S10 p1 mitsuyoshi-sama_2
by
Takeshi Akutsu
PDF
Djangoで業務改善したい
by
Satoshi Yamada
PDF
DBエンジニアに必要だったPythonのスキル
by
Satoshi Yamada
PDF
S09 t0 orientation
by
Takeshi Akutsu
PDF
S14 t0 introduction
by
Takeshi Akutsu
PDF
PostgreSQLのパラレル化に向けた取り組み@第30回(仮名)PostgreSQL勉強会
by
Shigeru Hanada
PDF
プログラミング学習とScratch raspi python
by
Yoshitaka Shiono
PDF
[Postgre sql9.4新機能]レプリケーション・スロットの活用
by
Kosuke Kida
PDF
[db tech showcase Sapporo 2015] C15:商用RDBをOSSへ Oracle to Postgres 徹底解説 by 株式会...
by
Insight Technology, Inc.
PDF
大規模データ分析を支えるインフラ系オープンソースソフトウェアの最新事情
by
nagix
PDF
PostgreSQL実行計画入門@関西PostgreSQL勉強会
by
Satoshi Yamada
PDF
見た目だけのデザインと意味を持つデザイン
by
Isezaki Toshiaki
[9.5新機能]追加されたgroupbyの使い方
by
Kosuke Kida
まずやっとくPostgreSQLチューニング
by
Kosuke Kida
PostgreSQLによるデータ分析ことはじめ
by
Ohyama Masanori
Jpug study-pq 20170121
by
Kosuke Kida
Hadoopを業務で使ってみた
by
Tatsuya Sasaki
S12 t1 python学習奮闘記#5
by
Takeshi Akutsu
S03 t2 sta_py_tsuji_0810_slides
by
Takeshi Akutsu
Pythonのプロファイリング
by
ysakaguchi
S10 p1 mitsuyoshi-sama_2
by
Takeshi Akutsu
Djangoで業務改善したい
by
Satoshi Yamada
DBエンジニアに必要だったPythonのスキル
by
Satoshi Yamada
S09 t0 orientation
by
Takeshi Akutsu
S14 t0 introduction
by
Takeshi Akutsu
PostgreSQLのパラレル化に向けた取り組み@第30回(仮名)PostgreSQL勉強会
by
Shigeru Hanada
プログラミング学習とScratch raspi python
by
Yoshitaka Shiono
[Postgre sql9.4新機能]レプリケーション・スロットの活用
by
Kosuke Kida
[db tech showcase Sapporo 2015] C15:商用RDBをOSSへ Oracle to Postgres 徹底解説 by 株式会...
by
Insight Technology, Inc.
大規模データ分析を支えるインフラ系オープンソースソフトウェアの最新事情
by
nagix
PostgreSQL実行計画入門@関西PostgreSQL勉強会
by
Satoshi Yamada
見た目だけのデザインと意味を持つデザイン
by
Isezaki Toshiaki
Similar to [OSC2016沖縄]商用DBからPostgreSQLへの移行入門
PDF
PostgreSQL UPDATEs 2016年5月 - OSC群馬
by
Haruka Takatsuka
PDF
各スペシャリストがお届け!データベース最新情報セミナー -PostgreSQL10-
by
Yoshinori Nakanishi
PDF
[db tech showcase Tokyo 2015] B16:最新版PostgreSQLのパフォーマンスを引き出すためのポイント by Postgr...
by
Insight Technology, Inc.
PDF
PostgreSQLの運用・監視にまつわるエトセトラ
by
NTT DATA OSS Professional Services
PDF
[db tech showcase Tokyo 2014] C31: PostgreSQLをエンタープライズシステムで利用しよう by PostgreS...
by
Insight Technology, Inc.
PDF
Chugoku db 17th-postgresql-9.6
by
Toshi Harada
PPTX
自社パッケージのDBをSQL ServerからPostgreSQLに移行してみた
by
Taiji Uchida
PDF
MySQLからPostgreSQLへのマイグレーションのハマリ所
by
Makoto Kaga
PDF
Jjugccc2017spring-postgres-ccc_m1
by
Kosuke Kida
PDF
Postgre sql update_20170310
by
Haruka Takatsuka
PDF
Kof2016 postgresql-9.6
by
Toshi Harada
PDF
NTT DATA と PostgreSQL が挑んだ総力戦
by
NTT DATA OSS Professional Services
PDF
PostgreSQLの新バージョン -PostgreSQL9.4- のご紹介
by
Insight Technology, Inc.
PDF
Osc2015 hokkaido postgresql-semi-stuructured-datatype
by
Toshi Harada
PDF
PostgreSQLではじめるOSS開発@OSC 2014 Hiroshima
by
Shigeru Hanada
PDF
PostgreSQLアーキテクチャ入門(PostgreSQL Conference 2012)
by
Uptime Technologies LLC (JP)
PDF
C27 基幹領域への適用におけるpostgre sqlの抱える課題 by 原嘉彦
by
Insight Technology, Inc.
PDF
20170310_InDatabaseAnalytics_#1
by
Kohei KaiGai
PPTX
PostgreSQL使いのエンジニアから見たMySQL
by
toshihiro_kitagawa
PDF
[C31] OSS-DB Exam Silver 技術解説セミナー by Ryota Watabe
by
Insight Technology, Inc.
PostgreSQL UPDATEs 2016年5月 - OSC群馬
by
Haruka Takatsuka
各スペシャリストがお届け!データベース最新情報セミナー -PostgreSQL10-
by
Yoshinori Nakanishi
[db tech showcase Tokyo 2015] B16:最新版PostgreSQLのパフォーマンスを引き出すためのポイント by Postgr...
by
Insight Technology, Inc.
PostgreSQLの運用・監視にまつわるエトセトラ
by
NTT DATA OSS Professional Services
[db tech showcase Tokyo 2014] C31: PostgreSQLをエンタープライズシステムで利用しよう by PostgreS...
by
Insight Technology, Inc.
Chugoku db 17th-postgresql-9.6
by
Toshi Harada
自社パッケージのDBをSQL ServerからPostgreSQLに移行してみた
by
Taiji Uchida
MySQLからPostgreSQLへのマイグレーションのハマリ所
by
Makoto Kaga
Jjugccc2017spring-postgres-ccc_m1
by
Kosuke Kida
Postgre sql update_20170310
by
Haruka Takatsuka
Kof2016 postgresql-9.6
by
Toshi Harada
NTT DATA と PostgreSQL が挑んだ総力戦
by
NTT DATA OSS Professional Services
PostgreSQLの新バージョン -PostgreSQL9.4- のご紹介
by
Insight Technology, Inc.
Osc2015 hokkaido postgresql-semi-stuructured-datatype
by
Toshi Harada
PostgreSQLではじめるOSS開発@OSC 2014 Hiroshima
by
Shigeru Hanada
PostgreSQLアーキテクチャ入門(PostgreSQL Conference 2012)
by
Uptime Technologies LLC (JP)
C27 基幹領域への適用におけるpostgre sqlの抱える課題 by 原嘉彦
by
Insight Technology, Inc.
20170310_InDatabaseAnalytics_#1
by
Kohei KaiGai
PostgreSQL使いのエンジニアから見たMySQL
by
toshihiro_kitagawa
[C31] OSS-DB Exam Silver 技術解説セミナー by Ryota Watabe
by
Insight Technology, Inc.
[OSC2016沖縄]商用DBからPostgreSQLへの移行入門
1.
1/22 OSC2016 Okinawa 2016.7.2(Sat) 商用データベースからPostgreSQLへの移行入門 まず知っておいて欲しいまとめ 日本PostgreSQLユーザ会 喜田
紘介
2.
2/22 自己紹介
3.
3/22 自己紹介 ブログはじめました! 「kkida-galaxy postgres」で 検索してね☆ おススメ投稿はこちら (だってそれしか無いから・・・)
4.
4/22 本日のテーマ 異種DBからPostgreSQLへ 良い資料ある? ポスグレ どれぐらい使えるの? なにが違うの? 移行時の大変なところ まずやってみよう! ポスグレ どれぐらい使えるの? なにが違うの?
5.
5/22 ポスグレどれぐらい使えるの? 軽量なトランザクションを捌く ● 同時1000~程度のセッション ✔ シングルノードやHA構成で稼動するシステムとしては十分 ✔
H/WスペックではCPU 16~32core、メモリ数十GB程度はスケール可能 ● 商用パッケージの大部分が置き換え可能? ✔ 商用パッケージユーザの約9割がPostgreSQLで十分 – 弊社にPostgreSQL対応で相談いただいた商用パッケージ – 約9割のエンドユーザでは有償オプションを あてにしない基本機能 – 残る1割程度のエンドーユーザ環境で – 更新負荷分散・無停止を期待
6.
6/22 商用DBの高速化オプション ーーーーーーーーーーーーーー ・パーティショニング ・パラレルクエリ ・インメモリ ・カラムストア ・ビットマップインデックス ・MVIEWの差分更新 ポスグレどれぐらい使えるの? 集計・分析を気軽に行いたい ● 夜間バッチで集計、日中は結果を参照 ✔ 大量データを検索、集計する機能は数年ここで大幅向上 ✔
ただし制限事項も多く、リアルタイム性の高い分析は実用的でない ✔ データ量で数100GB~TB、集計の鮮度が1日単位ぐらい ● 期待を集めるパラレルクエリ、MVIEWの差分更新など ✔ ビッグデータ対応が最近のキーワード ✔ 今秋リリース予定のVer9.6~パラレルクエリが可能に? ぽすぐれ 開発中!
7.
7/22 ポスグレどれぐらい使えるの? 負荷分散・可用性 ● 参照負荷分散と高可用構成は可能 ✔ マスター/スレーブ型、ログ転送方式によるレプリケーション ✔
スレーブ側は参照のみ可能、複数スレーブで効果UP ✔ マスター障害時はスレーブに切り替え
8.
8/22 何が似てるの?何が違うの? RDBMSとしての基本は備えている ● ACIDを守る、標準SQLに準拠、メンテナンス性・・などなど ✔ A:原始性 C:一貫性 I:独立性 D:永続性 ✔
標準SQLに準拠し、そのための追加要素も常時検討されている ✔ メンテナンス性 豊富な管理ビュー パラメータチューニング SQLチューニング SQLクエリでがんばる 各種イベントの ロギング オブジェクトの メンテナンス
9.
9/22 何が似てるの?何が違うの? 全体のアーキテクチャ ● 用語の違いはあるものの、ほぼ同じ図でイメージできる Oracle Database SGA データベース バッファキャッシュ 共有プール ログバッファ LGWR DBWR CKPT SMON PMON ARCH専用サーバプロセス 専用サーバプロセス 専用サーバプロセス PGA データベース 表領域 データファイル データファイル REDO ログファイル 表
索引 各種 設定ファイル etc… PostgreSQL 共有メモリ 共有バッファ WALバッファ writer wal writer stats collector archiver logger autovacuum launcher バックエンドプロセス バックエンドプロセス バックエンドプロセス デーモンプロセス データベースクラスタ データベース 表 索引 データベース 表 VM索引 FSM WALファイル 各種 設定ファイル システム カタログ 各種状態 管理ファイル
10.
10/22 何が似てるの?何が違うの? MVCCの実現 ● 異なるアーキテクチャでは、異なる運用課題もある Oracle DatabasePostgreSQL EMPNO=20
ENAME=TIGER UNDOセグメント EMPNO=10 ENAME=SCOTT EMPNO=20 ENAME=NEW EMPNO=30 ENAME=KING EMPNO=40 ENAME=ALLEN 時間の流れ 変更前情報 表データ EMPNO=10 ENAME=SCOTT EMPNO=20 ENAME=TIGER EMPNO=30 ENAME=KING EMPNO=40 ENAME=ALLEN EMPNO=20 ENAME=NEW 時間の流れ 変更前情報 表データ 変更前情報を必要とするSQL変更前情報を必要とするSQL 追記方式のため 変更前の行は表 に保持する ORA-1555?VACUUM?
11.
11/22 本日のテーマ 異種DBからPostgreSQLへ ポスグレ どれぐらい使えるの? なにが違うの? 良い資料ある? まずやってみよう! 良い資料ある? 移行時の大変なところ移行時の大変なところ
12.
12/22 PostgreSQLへの移行を考えるなら PGEConsで移行をテーマに研究成果を発表 ● 3年にわたる成果が公開中 ✔ 2012年度:異種DBからの移行ノウハウ・ツール等整理 ✔
2013年度:移行元として対象にするDB製品を追加 ✔ 2014年度:DBを移行した場合にクリアしておくべき試験項目を整理 ✔ 2015年度:継続中。現在成果発表に向けて鋭意対応中
13.
13/22 PostgreSQLへの移行を考えるなら PGEConsで移行をテーマに研究成果を発表 ● 移行の行程を定義し、各工程での検討ポイントを調査 ✔ 注目されがちなSQLやストアドの移行以外ももれなく調査
14.
14/22 DB移行フレームワーク編 後続の各ステップで収集する情報と、成果物を整理 ● 移行作業全体の工程を知る
15.
15/22 構成検討・データ連携検討 ここで決断が必要!決めるのは「あなた自身」ですよ! ● PostgreSQLで本当に大丈夫なのか ● ポイントは、本日冒頭の話 ✔
OLTP系のシングル構成であれば、性能を実現できる(可能性が高い) ✔ 複数台構成も可能、だが、サービスレベルの見直しは避けられない ✔ DWH用途では、どこまで期待するか判断基準を誤らないこと ● データ連携の選択肢 ✔ 複数DBで連携しているものを一部だけPostgreSQLに置き換える? ✔ 手段はいくつか提供されている – 各種FDW(Foreign Data Wrapper:Database Link的な使い方) – OSSツール(トリガベースのテーブル単位レプリケーション)
16.
16/22 定義移行、データ移行 OSSツールOra2Pgが有用 ● 定義移行 ✔ 使用できないオブジェクトの扱いが悩ましい ✔
Ora2Pgの使い方に慣れ、それがハードルにならないように頑張る ✔ PostgreSQLのほうがデータ型を細かく使い分ける (例:NUMBER → numeric?integer?real?) ● データ移行 ✔ Ora2Pgで中間ファイル生成 ✔ 文字コード変換を行う ✔ 移行にかかる時間に縛りがある場合、ハードルが高いので注意
17.
17/22 SQL修正 OSSツールdb_syntaxdiffを利用 ● 修正箇所を確認 ✔ 数が多いことがほとんどなので、なるべくツールでカバー ✔
ただし、修正箇所のピックアップ精度は高くない ● SQL修正 ✔ 対応が決まっているものがほとんど、でも人手が必要 Oracleの独自構文 PostgreSQLでの対応 ・外部結合演算子(+) ・ROWNUM ・集合演算子 minus ・FROM句内サブクエリの別名不要 ・MERGE ・NULLを検索するクエリ (NULLと空文字を考える) ・トランザクションの違い ・外部結合OUTER JOIN ・Window関数 row_number() ・集合演算子 except ・FROM句内サブクエリの別名必須 ・INSERT ・・・ON CONFRICT
18.
18/22 ストアド・プログラムの修正 全面書き換えになるので覚悟が必要 ● PL/SQLのプロシージャ、ファンクション、パッケージ →すべてPL/pgSQLファンクションで書き換え ✔ 実は公式のマニュアルに対応が書かれている ✔
https://www.postgresql.jp/document/current/html/plpgsql-porting.html プロシージャ ーーーーーー トランザクション制御をアプリケーション側で 実装し、PostgreSQLに担当させる部分は トランザクション制御を排除 プロシージャ内でのトランザクション制御が 必須でなければそのままファンクション化 パッケージ ーーーーーー ファンクションで代替し、スキーマでまとめる スキーマ名.ファンクション として、 パッケージ名.サブプログラム と同じように呼び出すことができる。 パッケージ内で保持される定数・変数の 考慮が必要 パッケージ定数:一時テーブルに格納 パッケージ変数:ファンクションで代替
19.
19/22 本日のテーマ 異種DBからPostgreSQLへ ポスグレ どれぐらい使えるの? なにが違うの? 良い資料ある? 移行時の大変なところ 早急に なんとかしたい! まずやってみよう!
20.
20/22 そんなDB移行、やってみませんか ブログはじめました! 「kkida-galaxy postgres」で 検索してね☆ おススメ投稿はこちら (だってそれしか無いから・・・) 今回用に投稿した二つの記事で、PostgreSQLを触った事の無い方が、とりあえず環境構築~ 移行のとっかかり的なステップまでを体験できます。 ・CentOS 7上でのPostgreSQL構築手順(RPM編) ・Ora2Pgでやってみよう!テーブル定義移行編
21.
21/22 困った時は PostgreSQL周辺幅広くなら、今だとSlackが活発 ● コミュニティ ✔ postgresql-jp.slack.com –
2015年頃から アクティブな人数も結構増えてきて、いろいろなバック グラウンドの方が発言してくれます。 ✔ 日本PostgreSQLユーザ会 メーリングリスト – PostgreSQLの直接的な質問は、昔ながらのMLでもかなり詳細なやりと りが行われていることがあります。 ● サービス提供企業 ✔ サポート提供社は10社前後あると思われる – http://lets.postgresql.jp/documents/tutorial/UserSurvey/Postgresql_Usage _Report_2#commercial-support ✔ データベース移行サービス – 「Postgres Oracle 移行」などで検索
22.
22/22 まとめ 異種DBからPostgreSQLへ ポスグレ どれぐらい使えるの? なにが違うの? 良い資料ある? 移行時の大変なところ まずやってみよう! OLTP系ならかなり広範囲に使える リアルタイム集計は苦手だがゆくゆくは! アーキテクチャは似ているので理解しやすい 移行を本気で考えている方は、PGEConsの資料を 読んでみましょう。 どこが大変か、外せないところはどこか、明確にしておくことで 失敗を回避しやすくなるのではないでしょうか。 PostgreSQLやOra2Pgの使い始め、それなりに情報が 世に出ています。現時点の各最新版で試してみた記事を 書きましたので、是非みなさまもトライしてみてください。
Download