這場議程將以 ZFS 為主軸來介紹一些現代檔案系統上的功能以及特色，例如內建的 Volume Manager/RAID，以及 Incremental Snapshot Backup。再來會介紹這些功能跟特色在各類儲存應用上好用在哪裡。

1. 現代檔案系統 ZFS 的簡介與應用
zuan@chroot

2. Who am I?
- Zuan
- 118畢業，112 & 119休學中
- Chroot讀書會成員，較常在資安圈出沒
- 什麼都略懂一點，但什麼都不精通
- 喜歡玩資訊跟電子領域的各種事務
- 興趣是買學生證，發廢文，還有騎腳踏車

3. 檔案系統的發展大約可以分三個時期

4. 初期：堪用就好的檔案系統

5. https://commons.wikimedia.org/wiki/File:Samsung_HD400LD_Hard_Disk_A.jpg

8. FAT32

9. https://commons.wikimedia.org/wiki/File:Micro_SD_card_(Nokia).jpg

10. 中期

11. Journaling功能

12. 解決斷電檔案/檔案系統毀損的問題

13. https://www.flickr.com/photos/deerwooduk/3743375034

15. 硬碟
寫入
檔案
0000 | 44 75 4C 10 32 76 BD F3 13 CB A1 5D 43 76 49 45
0010 | 6A 0F 28 FC 07 E4 F0 A8 D8 5C 11 C3 98 54 F1 3A
0020 | B5 1C D6 FC 4B 61 60 F1 7F 14 11 07 96 38 38 58
0030 | 86 49 A6 DB 1C CA CF 46 92 73 4A 41 C4 99 45 62
0040 | 6F 24 CF 65 DA A8 0F C5 15 23 F4 75 0B C0 6C 8B
0050 | ** ** ** ** ** ** ** ** ** ** ** ** ** ** ** **
0060 | ** ** ** ** ** ** ** ** ** ** ** ** ** ** ** **
0070 | A6 2A 27 BB 2A C4 7B BC 9D 43 A6 49 8E 7C 4A 20
0080 | 76 B3 FD 54 3A 64 27 70 BF 1B 08 28 FF 1B D3 88
0090 | 43 EB 76 0D 96 C6 09 8A F6 7E AD 79 21 AC DE FC

16. 硬碟
斷電
檔案
0000 | 44 75 4C 10 32 76 BD F3 13 CB A1 5D 43 76 49 45
0010 | 6A 0F 28 FC 07 E4 F0 A8 D8 5C 11 C3 98 54 F1 3A
0020 | B5 1C D6 FC 4B 61 60 F1 7F 14 11 07 96 38 38 58
0030 | 86 49 A6 DB 1C CA CF 46 92 73 4A 41 C4 99 45 62
0040 | 6F 24 CF 65 DA A8 0F C5 15 23 F4 75 0B C0 6C 8B
0050 | ** ** ** ** ** ** ** ** ** ** ** ** ** ** ** **
0060 | ** ** ** ** ** ** ** ** ** ** ** ** ** ** ** **
0070 | A6 2A 27 BB 2A C4 7B BC 9D 43 A6 49 8E 7C 4A 20
0080 | 76 B3 FD 54 3A 64 27 70 BF 1B 08 28 FF 1B D3 88
0090 | 43 EB 76 0D 96 C6 09 8A F6 7E AD 79 21 AC DE FC

17. 硬碟
寫入Journal
檔案
0000 | 44 75 4C 10 32 76 BD F3 13 CB A1 5D 43 76 49 45
0010 | 6A 0F 28 FC 07 E4 F0 A8 D8 5C 11 C3 98 54 F1 3A
0020 | B5 1C D6 FC 4B 61 60 F1 7F 14 11 07 96 38 38 58
0030 | 86 49 A6 DB 1C CA CF 46 92 73 4A 41 C4 99 45 62
0040 | 6F 24 CF 65 DA A8 0F C5 15 23 F4 75 0B C0 6C 8B
0050 | ** ** ** ** ** ** ** ** ** ** ** ** ** ** ** **
0060 | ** ** ** ** ** ** ** ** ** ** ** ** ** ** ** **
0070 | A6 2A 27 BB 2A C4 7B BC 9D 43 A6 49 8E 7C 4A 20
0080 | 76 B3 FD 54 3A 64 27 70 BF 1B 08 28 FF 1B D3 88
0090 | 43 EB 76 0D 96 C6 09 8A F6 7E AD 79 21 AC DE FC
1. 將
8C CE 6B CE F7 C5 34 3D 93 39 B6 88 A5 5B 52 2A
C6 4C 89 A5 40 0E 5A 5C 86 6B AA D2 44 0B 69 AF
寫入0050-006F
Journal

18. 硬碟
寫入檔案
檔案
0000 | 44 75 4C 10 32 76 BD F3 13 CB A1 5D 43 76 49 45
0010 | 6A 0F 28 FC 07 E4 F0 A8 D8 5C 11 C3 98 54 F1 3A
0020 | B5 1C D6 FC 4B 61 60 F1 7F 14 11 07 96 38 38 58
0030 | 86 49 A6 DB 1C CA CF 46 92 73 4A 41 C4 99 45 62
0040 | 6F 24 CF 65 DA A8 0F C5 15 23 F4 75 0B C0 6C 8B
0050 | 8C CE 6B CE F7 C5 34 3D 93 39 B6 88 A5 5B 52 2A
0060 | C6 4C 89 A5 40 0E 5A 5C 86 6B AA D2 44 0B 69 AF
0070 | A6 2A 27 BB 2A C4 7B BC 9D 43 A6 49 8E 7C 4A 20
0080 | 76 B3 FD 54 3A 64 27 70 BF 1B 08 28 FF 1B D3 88
0090 | 43 EB 76 0D 96 C6 09 8A F6 7E AD 79 21 AC DE FC
1. 將
8C CE 6B CE F7 C5 34 3D 93 39 B6 88 A5 5B 52 2A
C6 4C 89 A5 40 0E 5A 5C 86 6B AA D2 44 0B 69 AF
寫入0050-006F
Journal

19. 硬碟
移除Journal
檔案
0000 | 44 75 4C 10 32 76 BD F3 13 CB A1 5D 43 76 49 45
0010 | 6A 0F 28 FC 07 E4 F0 A8 D8 5C 11 C3 98 54 F1 3A
0020 | B5 1C D6 FC 4B 61 60 F1 7F 14 11 07 96 38 38 58
0030 | 86 49 A6 DB 1C CA CF 46 92 73 4A 41 C4 99 45 62
0040 | 6F 24 CF 65 DA A8 0F C5 15 23 F4 75 0B C0 6C 8B
0050 | 8C CE 6B CE F7 C5 34 3D 93 39 B6 88 A5 5B 52 2A
0060 | C6 4C 89 A5 40 0E 5A 5C 86 6B AA D2 44 0B 69 AF
0070 | A6 2A 27 BB 2A C4 7B BC 9D 43 A6 49 8E 7C 4A 20
0080 | 76 B3 FD 54 3A 64 27 70 BF 1B 08 28 FF 1B D3 88
0090 | 43 EB 76 0D 96 C6 09 8A F6 7E AD 79 21 AC DE FC
Journal

20. 多了使用者權限的功能

22. 改用B-Tree之類的資料結構加速檔案存取

23. http://www.tomshardware.com/reviews/ssd-file-system-ntfs,3166-5.html

24. NTFS, ext3, reiserfs, HFS+

25. 現代的檔案系統

26. ZFS, btrfs, ReFS

27. 硬碟會有Silent Corruption

28. ZFS內建資料Checksum

29. zfs有scrub功能

31. 資料不會一聲不響的就毀壞

32. 內建Volume Manager以及RAID

33. 什麼是Volume Manager?

35. 傳統磁碟分割有許多問題

36. 分割區無法跨硬碟
分割區移動需要複製全部資料
空間會被卡住

37. 什麼是RAID?

38. https://commons.wikimedia.org/wiki/File:RAID_1.svg

39. 為什麼需要把RAID整合進檔案系統?

40. https://commons.wikimedia.org/wiki/File:RAID_1.svg

41. 如果資料有毀壞，不知道哪一份才是對的

42. 檔案系統Checksum結合RAID
就可以知道哪一份是對的

43. RAID Recovery時其實不用恢復所有資料

44. Snapshot功能

45. => 檔案系統S&L大法

47. 等同於Linux版的Time Machine

48. 快照及快照差異可以被dd出來
(zfs send/recv)

49. 可以用來做差異備份

50. 版本A
備份
100GB
雲端磁碟

51. 版本A
100GB
雲端磁碟
版本A
100GB

52. 版本B
105GB
雲端磁碟
版本A
100GB

53. 版本B
105GB
雲端磁碟
版本A
100GB
版本B
105GB

54. 版本B
105GB
雲端磁碟
版本A
100GB
版本B - 版本A

55. 檔案系統壓縮功能

56. 不是XP就有了?

58. LZ4 vs DEFLATE(LZ77):
~400MB/s vs ~50MB/s

59. 壓縮耗費的CPU幾乎感受不到

60. 壓縮比也不差

62. 說了那麼多...

63. How do you turn this on?

64. 硬碟 硬碟 硬碟
ZFS Pool (ZPOOL)
File System File System zvol
ext4, fat… etc

65. zpool create

66. zfs create

67. zfs snapshot

68. zfs send / zfs recv

69. 有什麼應用?

70. 應用一：家用NAS備份上Google Drive

71. zfs snapshot x/x@snap2
zfs send -I x/x@snap1 x/x@snap2 | skicka ...

72. 放crontab

73. 可以自己寫一套bash shellscript

74. 應用二：Ubuntu root fs直接灌在zfs上面

75. https://github.com/zfsonlinux/zfs/wiki/Ubuntu-16.0
4-Root-on-ZFS

77. 個人沒有使用這方法，因為太麻煩

78. 1. 正常灌在ext4上面
2. 開啟新安裝的系統，安裝ZFS
3. USB開機，將root fs複製到ZFS上面
4. chroot進去，update-grub
5. 重開機

79. 剛開使用ZFS的常見問題

80. Q: ZFS很吃記憶體?

81. 真的很吃，但可以把它限到1G左右

83. Q: 一定要ECC嗎?

84. 不用的話，如果RAM壞掉，檔案會很難救

85. END