rsyncのちょっとイイ話

rsync のちょっとイイ話生沼一公 ID: oinume

株式会社サイバーエージェント勤務
仕事ではアプリケーションエンジニア
言語は主に Java と Perl あたり
Apache とか Tomcat のミドルウェアの管理はギリギリ守備範囲内
自己紹介

rsync とは…
もともとは rcp の置き換えとして開発された
ローカル / リモートにファイルを効率的に転送
daemon として立ち上げることもできるし、 ssh 経由でファイルが転送出来たり
使われ方としてはバックアップとか Web アプリケーションのディプロイとか？

まずは実行例を

rsync -avz --delete srcdir/ destdir
-a: 可能な限り元のファイルの属性を維持して、 srcdir のファイルを dstdir にコピー
-v: 冗長出力。転送するファイルが出力される
-z: 転送時に圧縮をかける
--delete: dstdir にあって srcdir にないファイルは dstdir から削除

おすすめのオプション

--dry-run

これをつければ大抵は後悔しない

特に --delete をつけている時に効果絶大

そろそろデフォルトで dry-run にしてほしい

rsync のハマりポイント

ディレクトリをコピーするときの末尾の /

これをつける・つけないで挙動が違う

具体的には…
1. rsync –avz srcdir dstdir
-> srcdir ごと dstdir にコピー
2. rsync –avz srcdir/ dstdir ->srcdir 配下のファイルを dstdir にコピーして、 srcdir 自体はコピーされない
-> これを知らないと意図していないところにファルをコピーしてしまう可能性

scp との比較

rsync v.s. scp
【 rsync のメリット】
scp は差分のみのファイル転送ができないので、差分コピーの時は rsync の方が効率が良い
安全。 scp は転送するときにコピー先のファイルを open してしまうが、 rsync はコピーして最後に mv する。
-> scp は途中で止めたり異常終了するとファイルが壊れる可能性がある

【デメリット】
rsync は差分のチェックサムをとるので、 CPU パワーを必要とする。

速度比較

測定環境
165 個の細かいファイルをコピー (iTunes の Album Artwork)
転送するファイルのサイズは合計で約 42MB
コピー元： Mac OSX 10.5, Core2 Duo 2GHz, HDD 5400RPM
コピー先： Ubuntu 9.04, Athlon X2 5050e 2.6GHz, HDD 7200RPM
ネットワーク：無線 LAN(802.11n)

測定方法
time scp -Cr 8C46D567D97F73F2 ubuntu:/home/oinume/scp ( 実際は一行 )
time rsync -avz –e ssh 8C46D567D97F73F2/ ubuntu: /home/oinume/rsync
上記を scp と rsync で 3 回分計測

測定結果
scp: 12.8 秒
rsync: 6.1 秒
今回のケースでは rsync の方が 2 倍は速い
CPU 使用率は scp: 44%, rsync: 87% で rsync が倍ぐらい使ってる
※ コピーするファイルの容量や数、使用するマシンによって結果は変わる可能性はあるので鵜呑みは禁物

ちなみに今日話したことの 70% ぐらいは Web+DB Press vol.51 に載っています。興味があればぜひみなさん買ってください。

ありがとうございました

http://tech.lampetty.net	246
http://www.slideshare.net	136
https://si0.twimg.com	14
https://twimg0-a.akamaihd.net	2
http://webcache.googleusercontent.com	1

rsyncのちょっとイイ話

by Kazuhiro Oinuma on May 19, 2010

Accessibility

Categories

Tags

Upload Details

Usage Rights

5 Embeds 399

Statistics

rsyncのちょっとイイ話 — Presentation Transcript