並列再構築とは

並列再構築とは MTDDC 2012 2012/08/04 井内政宏

自己紹介• 井内政宏 • @masiuchi• スカイアーク帯広本社 • エンジニア

本日の内容• 並列再構築とは• やり方、必要環境、メリット、懸念点• Movable Type を知っているエンジニア向けの内容です

「並列再構築とは」

複数のプロセスを使って同時に再構築する方法

検討のきっかけ• 社内の声 • 再構築を速くしたい • 管理画面レスポンスを良くしたい

並列再構築のやりかた

これだけ• 公開キューを設定する• run-periodic-tasks をデーモンで複数起動しておく

公開キュー設定

run-periodic-tasks をデーモンで複数起動• $ ./run-periodic-tasks -d &• $ ./run-periodic-tasks -d & • 並列数分、実行する

オリジナル手法のつもりでしたが

実は英語版公式サイトにも載ってますhttp://www.movabletype.org/documentation/administrator/publishing/publish-queue.html

公式サイトに載ってるのでサポートしてもらえるかも

並列再構築に必要な環境

• 下記要件を満たすサーバ• SSH使えてプロセス常駐可能• マルチコア• 多分レンタルサーバでは使えない• さくらのレンタルサーバも無理• VPS などを使う必要がある

並列再構築のメリット

メリットその１「再構築高速化」

通常の再構築 DBMTプロセス

通常の再構築 DBMTプロセス静的ファイル 1ファイルずつ再構築していく

並列再構築 DBrun-periodic-tasks デーモン

並列再構築 DB 静的ファイルrun-periodic-tasks デーモン同時に再構築するので高速化できる

メリットその２「レスポンス向上」

通常の再構築

通常の再構築同時に保存した分、プロセスが起動する

並列再構築事前指定しておいた数に管理画面プロセス数を制限できるレスポンスの向上

並列再構築の懸念点

メモリ不足• rpt デーモンが複数同時に動作する • メモリが足りなくなる可能性がある • RPTFreeMemoryLimit などでは回避できない

CPUリソース不足• 起動デーモン数 <= コア数 • 超えると多分性能劣化する • 管理画面プロセスもあるので、もう少し少なめが良い

想定性能が出ない• run-periodic-tasks は公開キュー以外の処理も行う。• スケジュールタスク処理はプラグインで追加可能• 公開キュー以外の処理に時間を取られると、想定性能が出ない。

並列再構築まとめ• 公開キュー＆ rptデーモン複数起動 • 公式手法• 再構築を時短化＆プロセス数制限• メモリ／CPUリソース／処理時間の奪い合いが懸念点

ちょっと宣伝

YAPC::Asia Tokyo 2012• Movable Type の開発言語である Perl のカンファレンス • 2012/09/27 29 • http://yapcasia.org/2012/• 今年もスポンサーやってます！

遠方からの参加者支援制度• 今年もやります！• 8/24（金）〆切• ご応募お待ちしております！！

http://www.movabletype.jp	1264
http://www.skyarc.co.jp	27
https://si0.twimg.com	10
http://webcache.googleusercontent.com	1
http://translate.googleusercontent.com	1

by Masahiro Iuchi on Aug 05, 2012