DIFF/PATCHの技術が基盤ではあるが、最近、テキスト型diffと共に、ファイルシステムdiff（Docker）、バイナリdiffなどの新たな使用方法が出てきている．特に、クラウド時代には、バイナリdiffの技術が、マイグレーションを行う際に、転送量の減少に効くので、課題として最近はやっている．本クラウディ会では、テキスト・ファイルシステム・バイナリの３つの種類を勉強・演習した上、「マイグレーション量の減少」の課題に解決方法を探していく．

1. DIFF法：
テキスト、
ファイルシステム
… バイナリ差分
Marat Zhanikeev
maratishe@gmail.com
maratishe.github.io
2015/01/10
Cloudy＠iizuka

2. .
maratishe.github.io
diffとpatchの考え方
• AとBの差分をとって、DIFFファイルで保存する
• AとDIFFを使って、Bファイルを再現する（Aをパッチするとい
う）
• あるDIFFツールは、diffとpatch、両方の機能をもっている
M.Zhanikeev -- maratishe@gmail.com DIFF法：テキスト・ファイルシステム・バイナリ差分 -- bit.do/marat140110 2/44
...
2/44

3. .
maratishe.github.io
標準（テキスト）diff
M.Zhanikeev -- maratishe@gmail.com DIFF法：テキスト・ファイルシステム・バイナリ差分 -- bit.do/marat140110 3/44
...
3/44

4. .
maratishe.github.io
標準のDIFF
M.Zhanikeev -- maratishe@gmail.com DIFF法：テキスト・ファイルシステム・バイナリ差分 -- bit.do/marat140110 4/44
...
4/44

5. .
maratishe.github.io
標準のDIFF: Nice!
• チームワークがスムーズに行け
た方
• みんなが嬉し
M.Zhanikeev -- maratishe@gmail.com DIFF法：テキスト・ファイルシステム・バイナリ差分 -- bit.do/marat140110 5/44
...
5/44

6. .
maratishe.github.io
標準のDIFF: 衝突!
• PULLせずにPUSHすれば、ぶつか
る可能性がある
• チームの中で、一番苦しむこと
• 衝突回避の方法は？
M.Zhanikeev -- maratishe@gmail.com DIFF法：テキスト・ファイルシステム・バイナリ差分 -- bit.do/marat140110 6/44
...
6/44

7. .
maratishe.github.io
標準のDIFF: まとめ
• diffは一行の単位で働く
• x行からy行が更新されたという記録なので、衝突が反応しやすい
M.Zhanikeev -- maratishe@gmail.com DIFF法：テキスト・ファイルシステム・バイナリ差分 -- bit.do/marat140110 7/44
...
7/44

8. .
maratishe.github.io
Docker型（ファイルシステム)DIFF
M.Zhanikeev -- maratishe@gmail.com DIFF法：テキスト・ファイルシステム・バイナリ差分 -- bit.do/marat140110 8/44
...
8/44

9. .
maratishe.github.io
Docker : ファイルシステムDIFF
• Dockerの商品：コンテナ＝OSイメージ = フ
ァイルシステム
• Dockerの大問題：量、大量のトラヒック
• Dockerの解決：LAYERS = 階層化
• Dockerの技術：Git/Githubそのまま
M.Zhanikeev -- maratishe@gmail.com DIFF法：テキスト・ファイルシステム・バイナリ差分 -- bit.do/marat140110 9/44
...
9/44

10. .
maratishe.github.io
Docker: Dockerfile (FROMコマンド)
M.Zhanikeev -- maratishe@gmail.com DIFF法：テキスト・ファイルシステム・バイナリ差分 -- bit.do/marat140110 10/44
...
10/44

11. .
maratishe.github.io
Docker: トラヒック量
• 数分かかるから、マイグレーションの柔軟性に限りがある
• マイグレーションの面、Dockerの動作がマニュアルなので、その限りも
M.Zhanikeev -- maratishe@gmail.com DIFF法：テキスト・ファイルシステム・バイナリ差分 -- bit.do/marat140110 11/44
...
11/44

12. .
maratishe.github.io
Docker大問題とその解決へ向けた技
• １アカウントに、（無料で）１レポの限定
• ストーレジ節約：95%のDockerユーザがDockerカウントを持っていない
◦ Dockerfileで十分に対応できる
◦ PUSHする必要のある時だけにアカウントをつくる
• アカウントを持っていないなら、FROMを使うしかない
◦ FROM＋alphaでアプリを構築する（との考え）
M.Zhanikeev -- maratishe@gmail.com DIFF法：テキスト・ファイルシステム・バイナリ差分 -- bit.do/marat140110 12/44
...
12/44

13. .
maratishe.github.io
バイナリDIFF
M.Zhanikeev -- maratishe@gmail.com DIFF法：テキスト・ファイルシステム・バイナリ差分 -- bit.do/marat140110 13/44
...
13/44

14. .
maratishe.github.io
標準のDIFF → バイナリDIFF
M.Zhanikeev -- maratishe@gmail.com DIFF法：テキスト・ファイルシステム・バイナリ差分 -- bit.do/marat140110 14/44
...
14/44

15. .
maratishe.github.io
バイナリDIFFの手に入りやすさ
• The VCDIFF Generic Differencing and Compression Data Format, (RFC3284)
• xdeltaコマンドライン http://xdelta.org
• xdelta以外にいくつかのツールがあるが、妥当性でxdeltaに負ける
M.Zhanikeev -- maratishe@gmail.com DIFF法：テキスト・ファイルシステム・バイナリ差分 -- bit.do/marat140110 15/44
...
15/44

16. .
maratishe.github.io
Xdelta in Action
• 適当に、いくつかのバ
イナリDIFF事例
• .xvaに注目
M.Zhanikeev -- maratishe@gmail.com DIFF法：テキスト・ファイルシステム・バイナリ差分 -- bit.do/marat140110 16/44
...
16/44

17. .
maratishe.github.io
バイナリDIFF性能
Application or Filetype Filesize Diffsize Diff %
SC: Source Code (1min auto-save) ~40kb 0.2kb 0.5%
PPT: Power Point 100kb 10kb 10%
DOC: Word Document 60kb 5kb ~10%
PDF: PDF Annotation 100kb 2kb 2%
ZIP: Archive (Github commits/exports) 2Mb 2kb 0.01%
VM1: VM Images (xva, small) 800Mb 150Mb 20%
VM2: VM Images (xva, large) 2Gb 200Mb 10%
M.Zhanikeev -- maratishe@gmail.com DIFF法：テキスト・ファイルシステム・バイナリ差分 -- bit.do/marat140110 17/44
...
17/44

18. .
maratishe.github.io
Xdelta man page
• diffとpatchはもちろんのこと
• mergeの機能が面白い -- 詳しく後で
M.Zhanikeev -- maratishe@gmail.com DIFF法：テキスト・ファイルシステム・バイナリ差分 -- bit.do/marat140110 18/44
...
18/44

19. .
maratishe.github.io
バイナリDIFFの活用化（の事例探し）
M.Zhanikeev -- maratishe@gmail.com DIFF法：テキスト・ファイルシステム・バイナリ差分 -- bit.do/marat140110 19/44
...
19/44

20. .
maratishe.github.io
バイナリDIFFが活用されていますか？
• （テキスト) DIFF?
• git/github？
• Docker?
• GoogleDrive, Dropbox, ...?
M.Zhanikeev -- maratishe@gmail.com DIFF法：テキスト・ファイルシステム・バイナリ差分 -- bit.do/marat140110 20/44
...
20/44

21. .
maratishe.github.io
GDrive: Probing
…
Slave
Cloud
Drive
Clients Probe
Traffic
Filesystem
Master
M.Zhanikeev -- maratishe@gmail.com DIFF法：テキスト・ファイルシステム・バイナリ差分 -- bit.do/marat140110 21/44
...
21/44

22. .
maratishe.github.io
GDrive: File Sync Traffic
0 0.15 0.3 0.45 0.6 0.75 0.9 1.05 1.2
File lifespan (hours)
0
120
240
360
480
Trafficvolume(kbytes)
• 何かへんーすね、トラヒック
量が増えているんじゃ
ん！
• ちなみに、diffで確認したとこ
ろ、細かい差分のみのこ
とが確かめてある！
M.Zhanikeev -- maratishe@gmail.com DIFF法：テキスト・ファイルシステム・バイナリ差分 -- bit.do/marat140110 22/44
...
22/44

23. .
maratishe.github.io
GDrive: File Sync Traffic
0 5 10 15 20 25 30 35
File ordered by increasing size
-0.75
-0.5
-0.25
0
0.25
0.5
0.75
ccf(trafficvolumevstime)
Per file CCF
0:50 50:100 100:500 500:1000 1000:100000
-0.06
0
0.06
0.12
0.18
0.24
0.3
0.36
ccf(trafficvolumevstime)
Per class CCF
Class (min:max volume in kbytes)
• データが汚いけど、ファイルサイズ
で集合して、CCFをかけると、トラヒッ
ク量とファイルサイズの２つの傾向
が同一のものであることが分かる
M.Zhanikeev -- maratishe@gmail.com DIFF法：テキスト・ファイルシステム・バイナリ差分 -- bit.do/marat140110 23/44
...
23/44

24. .
maratishe.github.io
バイナリDIFFが活用されていますか？
• （テキスト) DIFF?
• git/github？
• Docker?
• GoogleDrive, Dropbox, ...?
M.Zhanikeev -- maratishe@gmail.com DIFF法：テキスト・ファイルシステム・バイナリ差分 -- bit.do/marat140110 24/44
...
24/44

25. .
maratishe.github.io
DiffHubのアイディア
M.Zhanikeev -- maratishe@gmail.com DIFF法：テキスト・ファイルシステム・バイナリ差分 -- bit.do/marat140110 25/44
...
25/44

26. .
maratishe.github.io
Traditional vs Efficient vs DiffHub
Cloud
Drive
User A
User B
New
Old
Old
Diff Diff
Old version
New version
Binary diff
DiffHub
M.Zhanikeev -- maratishe@gmail.com DIFF法：テキスト・ファイルシステム・バイナリ差分 -- bit.do/marat140110 26/44
...
26/44

27. .
maratishe.github.io
クラウド上のチーム開発？
• PUSHより細かい単位でファイル同期する（autosaveでもよい）
• 主な利点：衝突にすぐに気づく
• ところで：Cloud Drive上でバージョン管理がすでにある！
◦ APIを使って衝突回避の技術が作れる
M.Zhanikeev -- maratishe@gmail.com DIFF法：テキスト・ファイルシステム・バイナリ差分 -- bit.do/marat140110 27/44
...
27/44

28. .
maratishe.github.io
Cloud Driveの動作（と待ち時間）
1. ファイル同期 (file sync)
2. （新規）クライアント追加
M.Zhanikeev -- maratishe@gmail.com DIFF法：テキスト・ファイルシステム・バイナリ差分 -- bit.do/marat140110 28/44
...
28/44

29. .
maratishe.github.io
DiffHub: クライアント追加
DiffHub
Existing
Client(s)
Master
Copy
New
Client
Register
1
2
Notify 3
3
v0 diff
P2P Sync
• DiffHubがファイルをも
っていない！
• 解決１： v0diff (フ
ァイル全体が差分であ
る）
• 解決２： P2P型同
期
M.Zhanikeev -- maratishe@gmail.com DIFF法：テキスト・ファイルシステム・バイナリ差分 -- bit.do/marat140110 29/44
...
29/44

30. .
maratishe.github.io
DiffHub: P2P型同期の２種類
VM
population
Current
Sources
Service
Provider
(SP)
Tracker
Service
Provider
(SP)
Parent
peers
P2P
streaming
Cloud
streaming
ClientClient
M.Zhanikeev -- maratishe@gmail.com DIFF法：テキスト・ファイルシステム・バイナリ差分 -- bit.do/marat140110 30/44
...
30/44

31. .
maratishe.github.io
DiffHub: バージョン管理
• MD5でバージョンを特定する
◦ 旧バージョン + 新バ
ージョンの２つのMD5
• バージョン更新に必要な
DIFF
M.Zhanikeev -- maratishe@gmail.com DIFF法：テキスト・ファイルシステム・バイナリ差分 -- bit.do/marat140110 31/44
...
31/44

32. .
maratishe.github.io
バイナリDIFFの性能
M.Zhanikeev -- maratishe@gmail.com DIFF法：テキスト・ファイルシステム・バイナリ差分 -- bit.do/marat140110 32/44
...
32/44

33. .
maratishe.github.io
Binary vs Text Diff
0 5 10 15 20 25 30 35 40
Ordered list (decreasing filesize)
1.5
2.5
3.5
4.5
5.5
6.5
File-anddiff-size(logofbytes)
File size
Binary diff
0 5 10 15 20 25 30 35 40
Ordered list (decreasing binary diff size)
1.5
2
2.5
3
3.5
4
Diffsize(logofbytes)
Binary diff
Text diff
Compressed text diff
• ファイルサイズに依存しない（更新量がメイン）
• たまに、テキストDIFFより有利
• テキストDIFFを圧縮することに効果が殆ど無
い
M.Zhanikeev -- maratishe@gmail.com DIFF法：テキスト・ファイルシステム・バイナリ差分 -- bit.do/marat140110 33/44
...
33/44

34. .
maratishe.github.io
GDrive: HotSpot分布
0 10 20 30 40 50
Ordered lists
0
0.6
1.2
1.8
2.4
3
3.6
4.2
4.8
5.4
log(1+filesize)
pophotflash
Magnitude(5) Variance(2)
M.Zhanikeev -- maratishe@gmail.com DIFF法：テキスト・ファイルシステム・バイナリ差分 -- bit.do/marat140110 34/44
...
34/44

35. .
maratishe.github.io
GDrive: DiffHub性能
0 10 20 30 40 50
Ratio of updated files (%)
0
0.35
0.7
1.05
1.4
1.75
2.1
2.45
2.8
Averagewaitingtime(logofseconds)
TraditionalDiffHub
1,3
1,5
1,7
1,10
3,3
3,5
3,7
3,10
5,3
5,5
5,7
5,10
7,3
7,5
7,7
7,10
10,3
10,5
10,7
10,10
0
0.5
1
1.5
2
2.5
Averagewaitingtime(logofseconds)
Hotspot setup (Magnitute, Variance)
15% diff
10% diff
5% diff
• 実運用データ（上部）：１０倍の効果
• HotSpot分布をもとにしたシミュレーションデータ
（下部）：１５～２０倍の効果
M.Zhanikeev -- maratishe@gmail.com DIFF法：テキスト・ファイルシステム・バイナリ差分 -- bit.do/marat140110 35/44
...
35/44

36. .
maratishe.github.io
DiffHubの活用化
M.Zhanikeev -- maratishe@gmail.com DIFF法：テキスト・ファイルシステム・バイナリ差分 -- bit.do/marat140110 36/44
...
36/44

37. .
maratishe.github.io
DiffHub + GoogleDrive
• GDrive上エミュレーション
APPは実装済み
• GDrive空間＋ローカル
ファイル空間に分解
• GDrive空間：DIFFファイル（＋
MD5などのメタ）のみ
• ローカル空間：ファイル自体
• 利点： GDrive容量１０倍増
加、同時待ち時間15倍低下
• 欠点： 新規クライアントの問
題がまだです（v0diff方法は完
成）
M.Zhanikeev -- maratishe@gmail.com DIFF法：テキスト・ファイルシステム・バイナリ差分 -- bit.do/marat140110 37/44
...
37/44

38. .
maratishe.github.io
DiffHub + Docker (思い出し）
M.Zhanikeev -- maratishe@gmail.com DIFF法：テキスト・ファイルシステム・バイナリ差分 -- bit.do/marat140110 38/44
...
38/44

39. .
maratishe.github.io
DiffHub + Docker（思い出し）
• ユーザ側でマイグレーションを管
理することが出来るので、 herokuよ
り柔軟
• コンテナ管理、インストール、実行は、全
部ユーザ側で実行
• 柔軟性として、AWS ... Docker ...
Herokuのスケールの中で、真ん中に
入る
M.Zhanikeev -- maratishe@gmail.com DIFF法：テキスト・ファイルシステム・バイナリ差分 -- bit.do/marat140110 39/44
...
39/44

40. .
maratishe.github.io
DiffHub + Docker（更新後）
• HAVEコマンド
◦ ローカルでもってい
るイメージのリスト
• NEED（FROMと同じ
機能）
• 動き： Dockerが、
HAVEの中で一番近い
DIFFを送ってくれる
• 利点： トラヒック
10倍以上節約の
可能性
M.Zhanikeev -- maratishe@gmail.com DIFF法：テキスト・ファイルシステム・バイナリ差分 -- bit.do/marat140110 40/44
...
40/44

41. .
maratishe.github.io
DiffHub + Docker: Dockerfile
M.Zhanikeev -- maratishe@gmail.com DIFF法：テキスト・ファイルシステム・バイナリ差分 -- bit.do/marat140110 41/44
...
41/44

42. .
maratishe.github.io
DiffHub + Docker: (new) Dockerfile
M.Zhanikeev -- maratishe@gmail.com DIFF法：テキスト・ファイルシステム・バイナリ差分 -- bit.do/marat140110 42/44
...
42/44

43. .
maratishe.github.io
議論の課題
• バイナリDIFFの使用方法として、他に何が考えられますか？
M.Zhanikeev -- maratishe@gmail.com DIFF法：テキスト・ファイルシステム・バイナリ差分 -- bit.do/marat140110 43/44
...
43/44

44. .
maratishe.github.io
That’s all, thank you ...
M.Zhanikeev -- maratishe@gmail.com DIFF法：テキスト・ファイルシステム・バイナリ差分 -- bit.do/marat140110 44/44
...
44/44