Документ представляет собой материалы одиннадцатой независимой научно-практической конференции, посвященной сжатию данных на блочном уровне в Linux. Рассматриваются возможности, задачи и проблемы данного подхода, включая алгоритмы сжатия и архитектуру входа/выхода. Также обсуждаются плюсы и минусы блокового сжатия, а также направления для будущих исследований.

1. Одиннадцатая независимая научно-
практическая конференция
«Разработка ПО 2015»
22 - 24 октября, Москва
К.Кринкин, Н.Плохой
Сжатие данных на блочном уровне в Linux
”За и против”
СПбГЭТУ “ЛЭТИ”

2. 2
Мотивация
● большой размер файлов с “сырыми“ данными
● требуется on-line сжатие без потерь
● необходима независимость от ФС
Тестовый набор данных: результаты
медицинского 3D сканирования
Сценарий: однократная запись,
множественное чтение

3. 3
Задачи
● Оценить возможности для компрессии
блочного уровня в Linux
● Качественно сравнить file-level и block-level
сжатие
● Подобрать алгоритмы сжатия блоков
● Разработать схему трансляции

4. 4
Блочный ввод-вывод в Linux
(с) www.thomas-krenn.com
ФС
DM
BLK-IO
BLK-DEVS

5. 5
Существующие работы
● Th. Makatos et al. ZBD – compressed block
device, 2010-2012
● Y. Klonatos et al. Azor (HDD/SDD compression
scheme), 2011
● Y. Cao et al. Block level memory compression,
2015

6. 6
Проблемы сжатия блоков
● Разный размер после сжатия
● Не все блоки нужно сжимать
● Требуется уровень трансляции
● Увеличение количества ввода-вывода (read-
before-write)
● Фрагментация данных на диске

7. 7
Архитектура I/O
App
FS
Buffers cache
Block
compression
Ph.disk
user
kernel
© см. [1]
Log->ph read XT
load
balance
decomp
Read
load
balance
compress
Map
and store XT
Write ph
Write

8. 8
Трансляция блоков: extents
1st
header
free offset blk num blk sz comp. data
free space
next blk
blk num blk sz comp. datanext blk
blk num. . .

9. 9
Трансляция блоков: упаковка
Ph.disk
1/4 1/4 1/4 1/4 1/2 1/2 1/1
meta
физические блоки
упаковка
логические блоки

10. 10
Координатное пространство
NL → {Nph,P}
Где:
– NL – логический номер блока
– Nph – физический номер блока
– P – позиция внутри физического блока
Nph
0 1 2 3
NL
P:

11. 11
Статическая разметка диска
Ph.disk свободно
занято
метаданные
. . .
блоки х1 блоки х2 блоки х4 фикс. размер

12. 12
Динамическая разметка диска*
Ph.disk
свободно
x4 метаданные
. . .
фикс. размер
x2
x1

13. 13
Device Mapper
dm-device
Logical Volume
BIOs
Logical/Physical Volume
BIOs
BIOs
BIOs

14. 14
Device mapper iface
dm_target
: dm_dev
/device-mapper.h#L124

15. 15
Компрессоры: степень сжатия

16. 16
Компрессоры: время сжатия

17. 17
Подключение компрессоров
● in kernel
● Shared memory + User space daemon

18. 18
In-kernel compressor
App
FS
Buffers cache
Block
compression
Ph.disk
user
kernel
compression
module
compression buffer

19. 19
User space compressor
App
FS
Buffers cache
Block
compression
Ph.disk
user
kernel
compression
daemon
comp.
buffer
comp xcomp xcomp x
Shared memory Pluggable
compressors

20. 20
Сжатие блоков: “за” и “против”
● За:
– прозрачное
увеличение дискового
пространства
– лучшая (по сравнению
с ФС) гранулярность
объектов сжатия
– скорость доступа*
● Против:
– фрагментация*
– затраты на хранение
мета информации
– отсутствие
интеграции с ФС

21. 21
Развитие
● Балансировка нагрузки
● Тестирование производительности (HDD,
SSD)
● Эффективное кэширование
● Использование аппаратного ускорения
сжатия

22. 22
Источники
[1] Y. Klonatos et al. Transparent Online Storage Compression at
the Block-Level. ACM Trans. Storage 8, 2, Article 5 (May 2012)
[2] ZBD: Using Transparent Compression at the Block Level to
Increase Storage Space Efficiency // 2010 International
Workshop on Storage Network Architecture and Parallel I/Os
● [3] Y. Cao Flexible Memory: A Novel Main Memory Architecture
with Block-level Memory Compression // Networking,
Architecture and Storage (NAS), 2015 IEEE International
Conference on
[4] www.thomas-krenn.com

23. 23
Вопросы?
Кирилл Кринкин
kirill.krinkin@gmail.com

24. 24
запасные слайды

25. 25
Intel DEFLATE
Vinodh Gopal et al. High Performance DEFLATE
Compression on Intel ® Architecture Processors
(igzip library) Nov 2011

26. 26
Возможности для компрессии

27. 27
Уровень BIOs