More Related Content
Similar to 10大ニュースで振り返るpg con2013 (20)
More from NTT DATA OSS Professional Services (20)
10大ニュースで振り返るpg con2013
- 1. Copyright © 2012 NTT DATA Corporation
10⼤大ニュースで振り返る
PGCon2013
2013年年6⽉月8⽇日(⼟土)
- 4. あらためまして⾃自⼰己紹介
⽒氏名
Twitter
@daiti0804
Copyright © 2012 NTT DATA Corporation 4
Copyright © 2011 NTT DATA CORPORATION
NTTデータ
基盤システム事業本部
システム⽅方式技術ビジネスユニット
江川 ⼤大地
所属
やっていたこと
年年代やったこと
-‐‑‒2009歴史のお勉強(⼤大学時代)
2009-‐‑‒2011Webシステム開発(Javaなど)
2011-‐‑‒現在PostgreSQL関係
近況
ご存知の通りオタワ⾏行行ってきました。
- 6. PGConとは
u PostgreSQL最⼤大のカンファレンス
— ⽇日程:2013年年5/21(⽕火)ー25(⼟土)
— 年年に⼀一度度、オタワにて開催
— 過去の参加⼈人数:150名(2010年年)→ 200名(2011年年) → 250名
(2012年年)
— Tutorials, Talks, Unconferenceの三部構成
— カンファレンスと同⽇日程で、Developer meetingも開催
— 開発者、ユーザが⼀一堂に会し、PostgreSQLの最新動向をチェック
— PostgreSQLコミュニティ内の関係構築
— URL: http://www.pgcon.org/2013/
— NTTデータからは、藤井、江川が参加いたしました。
Copyright © 2012NTT DATA Corporation 6
- 7. PGConスケジュール
— ⽇日程:2013年年5/21(⽕火)ー25(⼟土)
⽇日付イベントその他
5/21
Tutorials Day1
Cluster summit, XC Day
5/22
Tutorials Day2
Developer Meeting
5/23
Talks Day1
Major Social Event!
5/24
Talks Day2
5/25
Unconference Day
5/26
Tourist Day
Copyright © 2012NTT DATA Corporation 7
- 8. その道のりは過酷
およそ12時間のフライト、5時間以上のトランジット、13時間の時差。
DATE/TIME CITY/AIRPORT FLIGHT FLTTIME
-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒
5/20 (⽉月) 10:45 東京/成⽥田 NH 012/V 11:35
08:20 シカゴ、オヘア (アメ5
-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒
5/20 (⽉月) 13:47 シカゴ、オヘア (アメ UA3501/V 01:53
16:40 オタワ (カナダ) *01*
-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒-‐‑‒
Copyright © 2012 NTT DATA Corporation 8
- 13. people overflowing
⼈人、⼈人、⼈人
• 参加⼈人数:256名
Ø ⽇日本⼈人参加者も(おそらく)過去最多の12名が参加
会場に⼈人が⼊入りきらず、Tom Lane, Magnus, Heikkiら
PostgreSQLコミッター床に座るなんてことも…
Copyright © 2012 NTT DATA Corporation 13
- 15. Cluster Summit/XC DAY開催
– スポンサーはNTT OSSセンタ
– PGConの会場近くのオタワ⼤大学敷地内で朝から晩まで会議
• 9:30-‐‑‒14:30 Clustering and Replication Developers Summit
• 15:00-‐‑‒18:00 PostgresXC Day
– 参加は希望制で、レプリケーション製品やクラスタ製品の関係者が集結
以下のような製品開発者が参加
• pgpool-‐‑‒II
• Stado
• Postgres-‐‑‒XC
• PostgreSQL本体のレプリケーション
• Slony-‐‑‒I
– 議論論の概要はWikiに。
http://wiki.postgresql.org/wiki/PgCon2013CanadaClusterSummit
Copyright © 2012 NTT DATA Corporation 15
n Cluster Summitとは…
Ø 毎年年、PGConの裏裏で開催される会議の⼀一つ。PostgreSQLのレプリケーション製品や
クラスタ製品の状況や製品に今後求められる機能の共有が⾏行行われる。
- 16. Cluster Summit/XC DAY開催
印象に残った機能たち(by 藤井)
p Logical Replication Updates
– 詳細はまた後程。
p Event Triggers
– Slony-‐‑‒Iでは、DROP TABLEなどのDDLをレプリケーションすることはできません。
– しかし、9.3でEvent Triggerが実装され、DDLにもトリガを定義できるようになり、
それを使うことでDDLもレプリケーションできる下地ができました。
– まだまだEvent Triggerはレプリケーションに必要な情報までは扱えないなど課題があ
るため、それを解決していこうというような議論論になりました。
p Pooling
– コネクションプーリングの機能をPostgreSQL本体に⼊入れるべきではという話です。
– Slony-‐‑‒Iの関係者がこの機能を提案しており、この⽅方はUnconferenceでも同様の議論論
をするなど、かなり強い思いを持っているようです。
Copyright © 2012 NTT DATA Corporation 16
- 18. Tutorials
n Tutorialsとは…
Ø PostgreSQLの基礎的な内容の解説や周辺ツールの使⽤用⽅方法などをてほどきしてくれる
Copyright © 2012 NTT DATA Corporation 18
p ⼀一⽇日⽬目
– Data Processing Inside PostgreSQL
Ø 資料料:http://momjian.us/main/writings/pgsql/data_̲processing.pdf
– PostgreSQL Data Types
Ø 資料料:http://www.pgcon.org/2013/schedule/attachments/269_̲tour-‐‑‒of-‐‑‒postgresql-‐‑‒data-‐‑‒types.pdf
p ⼆二⽇日⽇日
– PostgreSQL on ZFS
Ø 資料料:http://static4.usurf.usu.edu/vms/
– Agile Database Development
Ø 資料料:
http://www.pgcon.org/2013/schedule/attachments/271_̲agile_̲db_̲dev.pdf
PGCon⼀一⽇日⽬目、⼆二⽇日⽬目に⾏行行われるセッション。
- 19. Tutorials
n Tutorialsとは…
Ø PostgreSQLの基礎的な内容の解説や周辺ツールの使⽤用⽅方法などをてほどきしてくれる
Copyright © 2012 NTT DATA Corporation 19
p ⼀一⽇日⽬目
– Data Processing Inside PostgreSQL
Ø 資料料:http://momjian.us/main/writings/pgsql/data_̲processing.pdf
– PostgreSQL Data Types
Ø 資料料:http://www.pgcon.org/2013/schedule/attachments/269_̲tour-‐‑‒of-‐‑‒postgresql-‐‑‒data-‐‑‒types.pdf
p ⼆二⽇日⽇日
– PostgreSQL on ZFS
Ø 資料料:http://static4.usurf.usu.edu/vms/
– Agile Database Development
Ø 資料料:
http://www.pgcon.org/2013/schedule/attachments/271_̲agile_̲db_̲dev.pdf
PGCon⼀一⽇日⽬目、⼆二⽇日⽬目に⾏行行われるセッション。
このセッションの模様を次からのスライドで振り返ります
- 20. PostgreSQL on ZFS
ZFSファイルシステムを使⽤用したレプリケーション、バックアップなどを⾏行行う
チュートリアル。
q ZFSを使⽤用するメリット
– 速いレプリケーション
– 低いオーバヘッドでスナップショットがとれる。
– スナップショットを送ったり、受け取ったり
– SSDキャッシュドライブ
– 定期的なデータチェックと⾃自動修復復
– データ圧縮機能
Copyright © 2012 NTT DATA Corporation 20
- 21. PostgreSQL on ZFS
講師「仮想環境を⽤用意してきた⼈人?」
(2/3くらいの⼈人が⼿手を上げる)
講師「じゃあ、容易易できていない⼈人はこのUSBを使って⽤用意してくれ」
(USBは1個。ほしい⼈人は20⼈人弱…。)
(みんな準備できるまではじまらない雰囲気…)
講師「よし、じゃあネットワーク設定やるぞ。詰まったら質問してくれ」
参加者「できません。」「俺も」「俺も」「俺も俺も」
(……)
講師「休憩にしよう」
(⼀一時間半過ぎてる…)
Copyright © 2012 NTT DATA Corporation 21
参加者はチュートリアルで使⽤用する仮想環境をあらかじめ⽤用意しなければいけ
なかったのだが…
- 23. Developers meeting開催
– スポンサーはEDB
– PGConの会場近くのNovotelホテルで朝から晩まで会議
– ⽇日本からは海外さんと藤井が参加
– 議論論の内容はWikiに。
http://wiki.postgresql.org/wiki/PgCon_̲2013_̲Developer_̲Meeting
– Wikiの議論論を読むことで、将来的にPostgreSQLに⼊入る機能について予⾒見見可能
Copyright © 2012 NTT DATA Corporation 23
n Developer Meetingとは…
Ø 毎年年、PGConの裏裏で開催される会議。PostgreSQLのコア開発者のみが招待制で参加
し、次リリースでの機能提案や開発の進め⽅方など様々な技術トピックについて議論論。
- 24. 印象に残った機能提案
p パラレルクエリ
– パラレル化が熱い(e.g. 9.3審機能パラレルpg_̲dump)
– 現在のPostgreSQLでは、1クエリは1プロセス(1コア)でしか処理理できないた
め、CPU数を増やしても1クエリの性能を上げることはできませんでした。
– パラレルクエリは、1クエリを複数プロセスで並列列に(パラレルに)処理理して、
性能を向上させる機能のことです。
– 会議では、EDBが本格的にパラレルクエリに取り組むと宣⾔言していました。
– また、パラレルクエリを実装するのは⾮非常に難しいため、まずはパラレル
ソートやインデックス作成のパラレル化から徐々に取り組むことなどが議論論
されました。
Copyright © 2012 NTT DATA Corporation 24
- 25. 印象に残った機能提案
p ⾼高速フェイルバック
– レプリケーションに対する不不満
Ø フェイルバック
– 例例えば、フェイルオーバ後に、古いマスタを新しいスタンバイとしてレプリ
ケーションに組み込む場合、常に新しいマスタからバックアップが必要なこ
とです。
– 会議では、バックアップが必要な理理由や、その回避⽅方法、それに伴って解決
しなければならない技術的な問題などが議論論されました。
Copyright © 2012 NTT DATA Corporation 25
- 27. Talks List
q Day1 ※橙⾊色のものに参加
- Postgres at Disqus -‐‑‒ keynote
- PostgresSQL Concurrency
- Postgres Preview
- Monitoring of Machines using PostgreSQL
- Corruption Detection and Containment
- On the road to in-‐‑‒core logical replication!?
- Nulls Make Things Easier?
- Use logging hooks for real-‐‑‒time log analysis
- Hacking on PostgreSQL
- Sphinx and Postgres
- Query Planning Gone Wrong
- Row Level Security
- PostgreSQL on Hadoop
- Lightning talks
Cf.http://www.pgcon.org/2013/schedule/day_̲2013-‐‑‒05-‐‑‒23.en.html
Copyright © 2012 NTT DATA Corporation 27
- 28. Talks List
q Day2 ※橙⾊色のものに参加
- Implementing High Availability
- Using PostgreSQL with Redis
- Postgresql in Education
- How Postgres Got Its Groove Back
- PostgreSQL High Availability with Corosync/Pacemaker
- Elephant Puppets
- Understanding PostgreSQL timelines
- Visualizing Postgres
- PostgreSQL Backup Strategies
- SQL hints, tips, tricks and tuning
- Estimating query progress
- The Billion Tables Project
- Introducing PostgreSQL Enterprise Consortium activities
- One step forward true json data type.
- Automated PostgreSQL Scaling on AWS
- Closing sessions
Cf.http://www.pgcon.org/2013/schedule/day_̲2013-‐‑‒05-‐‑‒24.en.html
Copyright © 2012 NTT DATA Corporation 28
- 29. Talksの傾向
- HA関連のセッションが多い
Ø レプリケーション、クラスタ製品のトピック
- AWSなどクラウド関連の話も⼈人気
Ø 「Automated PostgreSQL Scaling on AWS」は⽴立立ち⾒見見
- Hackingの話も増加
- 事例例(Case Study)は減少
詳しい分析はJPUG夏セミナ(6/22)でNTT OSSセンタの坂⽥田さんより⾏行行われる予定です。
ぜひともご参加ください!
Copyright © 2012 NTT DATA Corporation 29
- 30. ロジカルレプリケーション
Andres Freundによるロジカルレプリケーションの講演がありました。すぐにコアに
⼊入る機能ではないが、バージョンをまたがったレプリケーションやテーブル単位のレ
プリケーションが可能になるという夢が広がる機能です。
p 講演タイトル:On the road to in-‐‑‒core logical replication!? Part 1:
Architecture of Changeset Extraction
p フィジカルレプリケーションとロジカルレプリケーションの違い
Ø フィジカルレプリケーション
̶— マスタDBに⼊入っているWALを直接、スレーブDBに送る。
Ø ロジカルレプリケーション
̶— マスタDBにデータが⼊入るときのSQLが、スレーブDB送られる。
p この機能で何ができるのか
Ø レプリケーション
̶— DBクラスタ単位のレプリケーション
̶— テーブル単位のレプリケーション
̶— DBMSやバージョンをまたがったレプリケーション
Ø 監査
Ø ローリングアップデート
Copyright © 2012 NTT DATA Corporation 30
- 32. Postgres Preview
Robert TreatよりPostgreSQL9.3の新機能紹介がされました。ViewやFDWに関⼼心が寄
せられているようで、コントリビュータの中では9⽉月頃のリリースが予想されています。
p View
̶— UPDATEABLE VIEW(更更新可能ビュー)
̶— MATERIALIZEABLE VIEW(マテリアライズドビュー)
p FDW
̶— writable_̲FDW 花⽥田さんの講演でみなさんお分かりですね
p 新しいロックモード
̶— FOR KEY SHARE
̶— FOR NO KEY UPDATE
p レプリケーションの拡張
̶— 性能向上
p データ型の拡張
̶— ラージオブジェクトの格納サイズアップ
̶— JSON型向けの関数追加
Copyright © 2012 NTT DATA Corporation 32
- 33. Postgres Preview
Robert TreatよりPostgreSQL9.3の新機能紹介がされました。ViewやFDWに関⼼心が寄
せられているようで、コントリビュータの中では9⽉月頃のリリースが予想されています。
p イベントトリガ
p psqlコマンドの拡張
p LATERAL句句
p parallel pg_̲dump
p parallel pg_̲upgrade
p pg_̲xlogdump
p COPY FREEZE
p page level checksums
p index based regex searches
Ø 資料料:http://slid.es/xzilla/postgres-‐‑‒9-‐‑‒3
9.3の新機能紹介はJPUGの夏セミナで⾏行行います。詳しく知りたい⽅方はぜひご参加ください!
http://www.postgresql.jp/events/jpug201306semi/
Copyright © 2012 NTT DATA Corporation 33
- 34. How Postgres Got Its Groove Back
Peter van Hardenbergが今までPostgreSQLを振り返り、今後のPostgreSQLの予測を
⽴立立てるという講演を⾏行行いました…が、その最中によもやのアクシデントが…
p 講演タイトル:How Postgres Got Its Groove Back
̶— アメリカの映画をもじったユニークなタイトル
p バージョンごとの⽬目⽟玉機能を振り返る
Ø ちなみに9.3は、
̶— マテリアライズドビュ―
̶— JSON型向け関数
̶— 書き込み可能FDW
̶— 正規表現を利利⽤用した検索索に対するインデックス提供(pg_̲trgm)
Copyright © 2012 NTT DATA Corporation 34
- 35. How Postgres Got Its Groove Back
講演がのってきたところで、Twitterの通知が⼊入る気を取られるPeter…
Copyright © 2012 NTT DATA Corporation 35
- 36. How Postgres Got Its Groove Back
何度度も来る通知に、「やめてくれ」と頼むPeter
Copyright © 2012 NTT DATA Corporation 36
- 37. How Postgres Got Its Groove Back
悪ノリする他の参加者も。。。
Copyright © 2012 NTT DATA Corporation 37
- 41. 第2位 Tom Lane's job change
Copyright © 2012 NTT DATA Corporation 41
- 42. Tom Lane moves to Salesforce
開発者会議中にTom LaneがSalesforceに転職したことを発表しました。
その⽇日の懇親会ではTom Laneがいないところでもその話題で持ちきりでした。
Copyright © 2012 NTT DATA Corporation 42
- 43. Tom Lane moves to Salesforce
PGConのクロージングセッションでは恒例例のチャリティーオークションが⾏行行われ
ましたが、Tomはそこで前職RedHat印のカバンを出品し、笑いを誘いました。
Copyright © 2012 NTT DATA Corporation 43
- 46. コミッタ藤井雅雄からのメッセージ
この度度、PostgreSQLコミュニティからの要請を受け、コ
ミッタに就任しました。
NTTデータやNTT OSSセンタでの業務を通じ、
PostgreSQLのレプリケーション機能の開発や品質向上な
どで微⼒力力ながらコミュニティ活動に尽くしてまいりました。
その貢献が認められ、PostgreSQLのコミッタ就任という
栄誉を得ましたことは、ひとえにJPUG含めPostgreSQL関
係者の皆様を初め多くの⽅方々のご指導や⽀支えがあってのこ
とであり、⼼心から感謝しております。
コミュニティが私を評価 した最⼤大のポイントは、レプリケーションをはじめとした
PostgreSQLの⾼高可⽤用化・⾼高信頼化への取り組みです。現在、その成果を存分に活
かしたDB製品であるGresCube(注)の開発に従事しております。これからは、
ビジネスへの貢献でもPostgreSQL関係者、ユーザの皆様に恩返ししていきたいで
す。今後もPostgreSQLコミュニティの発展の為、決意を新たに邁進したいと思い
ます。
注:http://oss.nttdata.co.jp/grescube/
Copyright © 2012 NTT DATA Corporation 46
- 48. 感想など…
p PGConは最新のPostgreSQL動向をチェックできるだけではなく、PostgreSQL
のコア開発者とも話すことができるとてもエキサイティングなカンファレンスで
した!
p PostgreSQLに新しい機能を⼊入れたい⽅方は(おそらく来年年も開発社会議に出る)藤
井まで。
p 9.3の新機能を知りたい⽅方はJPUG夏セミナで!
p PGCon2013についてもっと知りたい⽅方はJPUG夏セミナで!
Ø http://www.postgresql.jp/events/jpug201306semi/
Copyright © 2012 NTT DATA Corporation 48