Dblt#2 do-postgres-dream-of-graph-database
•
0 likes•466 views
Dblt#2 do-postgres-dream-of-graph-database
More Related Content
Viewers also liked
Similar to Dblt#2 do-postgres-dream-of-graph-database
Similar to Dblt#2 do-postgres-dream-of-graph-database (6)
More from Toshi Harada
More from Toshi Harada (20)
Recently uploaded
Recently uploaded (14)
Dblt#2 do-postgres-dream-of-graph-database
- 1. DBLT #2 で LT やってきた話 ぬこ＠横浜 (@nuko_yokohama)
- 2. 2 先日参加した、 Database Lounge Tokyo #2 の話 Database Lounge Tokyo #2 公式ページ http://database-lounge-tokyo.connpass.com/event/37649/ ツイートまとめ http://togetter.com/li/1022509
- 4. 4 で、そんなオサレなとこで喋ってきた。 Lighting Talks 1 「差分、増分、デルタ ( って何 ?) バックアップあれやこれや」 by @meijik 2 「 Postgres はグラフデータベースの夢を見るか？」 by @nuko_yokohama 3 「 An intelligent storage? 」 by @kkaigai 4 「ポスグレのバックアップでやらかした話 (˚&˚) 」 by @kkkida_twtr プログラム バックアップと障害復旧から考える Oracle Database, MySQL, PostgreSQL の違 い ( 仮 ) @wrcsus4 パネルディスカッション データベースのバックアップ、リストアについて @wrcsus4 @yoku0825 @kasa_zip @kumagi 今更ながら、俺以外の スピーカーが豪華すぎるなｗ
- 7. 7 グラフデータベース Neo4j ノード 関連 https://neo4j.com/ Community Edition と Enterprise Edition があります。
- 9. 9 Neo4j Server Logideco4neo4j PostgreSQL Relational Model Cypher Query WAL (wal_level=logical) Logical Replication Slot Execute Cypher Query on REST Convert Cypher Query PostgreSQL WAL to Neo4j Graph Model olumn1 column2 column3 ・・・ ・・・ ・・・ ・・・・ ・・・・ ・・・ Get Replication Slot Data Decoding Function Convert JSON スロット定義
- 10. 10 ロジカル デコーディング
- 11. 11 ロジカルデコーディング PostgreSQL 9.4 から導入された基盤 WAL を任意形式にデコーディングする基盤 デコーディング方法や、 デコードされた更新情報の反映は 利用者が好きに開発できる。 夢が広がりんぐ機能
- 12. 12 Decoding Function ざっくり言うと PostgreSQL の 更新ログ (WAL) を 任意の形式の論理ログに変換する関数。 どういった形式に変換するのかは、 Decoding Function 実装者まかせ。 JSON に変換すると捗りそう・・・
- 13. 13 Decoding Function 探したら、やっぱりありましたｗ 「 PostgreSQL の Logical Decoding 機能についての紹介」 http://qiita.com/bwtakacy/items/d8461518a1770524e0d6 まとめを書いたのは @bwtakacy さん pg_rman や pg_bulkload の メンテナやってる人です。 Deconding Function Plug-in wal2json https://github.com/eulerto/wal2json 名前のとおり WAL を JSON 形式にデコードしてくれる。 せっかくなので、今回はこれを使ってみる。
- 14. 14 Logideco4neo4j Logical Decoding 内容から Neo4j への反映に必要な処理 レプリケーションスロットへの検索 検索結果から Cypher Query を生成 Cypher Query を REST API で Neo4j へ これを繰り返す
- 15. 15 デモ
- 17. 17 PostgreSQL から SQL で Neo4j を検索
- 19. 19 PostgreSQL の外部にある データに対して 標準的な SQL クエリで アクセスするための 夢が広がりんぐ基盤
- 20. 20 Neo4j のデータを SQL で検索するための Foreign Data Wrapper を 開発する。
- 21. 21 Neo4j Server Logideco4neo4j PostgreSQL Cypher Query WAL (wal_level=logical) Logical Replication Slot Execute Cypher Query on REST Convert Cypher Query olumn1 column2 column3 ・・・ ・・・ ・・・ ・・・・ ・・・・ ・・・ Get Replication Slot Data Decoding Function Convert JSON Neo4j Foriegn Data Wrapper Defined Cypher Query Execute Cypher Query on REST Generate PostgreSQL Record PostgreSQL Record JSON Result Provide Cypher Result View SQL Cypher Query スロット定義
- 22. 22 というか、 以前 Neo4j に 接続する FDW を 作っていた https://github.com/nuko-yokohama/neo4j_fdw
- 23. 23 何故か PostgreSQL Wiki に載ってる・・・ メンテナンスをサボっているので、 PostgreSQL 9.5 以降に対応してません・・・
- 24. 24 neo4j_fdw 外部データラッパを登録 外部サーバと外部テーブルを定義 CREATE EXTENSION neo4j_fdw; CREATE SERVER foo FOREIGN DATA WRAPPER neo4j_fdw OPTIONS (url 'http://localhost:7474/db/data/cypher'); CREATE FOREIGN TABLE persons ( uid text, name text, gender text, age text, company text ) SERVER foo OPTIONS (query '{"query":"MATCH (c:company)-[e:employ]->(p:person) RETURN p.nid, p.name, p.gender, p.age, c.name"}'); あとは persons テーブルに SELECT 文を発行すれば OK!
- 25. 25 デモ
- 26. 26 PostgreSQL から SQL を使って Neo4j の検索ができた。 やったね♪
- 27. 27 と、いうことで
- 29. 29 で、何の役に立つのそれ？
- 30. 30 おしまい