Документ обсуждает оптимизацию резервного копирования с использованием технологии дедупликации средств Symantec NetBackup PureDisk. Дедупликация позволяет значительно сократить объем передаваемых и хранимых данных, улучшая производительность резервного копирования и экономя ресурсы. В документе также представлены примеры успешного внедрения и результаты в различных отраслях.

1. ОПТИМИЗАЦИЯ РЕЗЕРВНОГО
КОПИРОВАНИЯ СРЕДСТВАМИ
ДЕДУПЛИКАЦИИ.
SYMANTEC NETBACKUP PUREDISK
Борис Черных,
ВЕДУЩИЙ ИНЖЕНЕР
ПО ВНЕДРЕНИЮ И ЭКСПЛУАТАЦИИ
ВЫЧИСЛИТЕЛЬНЫХ КОМПЛЕКСОВ
КОМПАНИИ КРОК

2. Дедупликация «на источнике»
Инструменты для Disaster Recovery
Что такое дедупликация, и почему она важна
СОДЕРЖАНИЕ
1
2
4
Производительность и масштабируемость5
Дедупликация off-host или на системе хранения3

3. ЧТО ТАКОЕ ДЕДУПЛИКАЦИЯ
• Исключает избыточные данные на уровне блоков — независимо
от атрибутов, места положения и других параметров файлов
• Значительно сокращает загрузку сети и потребления дискового
пространства процессом резервного копирования
Отрасль
Степень
дедупликации
Сокращение
объемов
данных
Исходные
данные
(GB)
Переданные
данные
(GB)
Гос. сектор 99.8% 473:1 714 1.5
Потреб.
товары
99.2% 130:1 2,683 20.7
Гос. сектор 99.7% 386:1 4,332 11.23
Реальные
результаты
компаний
Технология для оптимизации пространства на системе хранения
средствами сокращения количества копий повторяющихся данных

4. КАК ДЕДУПЛИКАЦИЯ УЛУЧШАЕТ
РЕЗЕРВНОЕ КОПИРОВАНИЕ?
Уменьшение загрузки канала
Уменьшение потребления
пространства для хранения копий
Лучшее использование ресурсов
Более надежное
резервное копирование


5. КАК РАБОТАЕТ ДЕДУПЛИКАЦИЯ
С PUREDISK
Content Router
Content Router
Content Router
Content Router
Данные разбиваются
на сегменты
1
Передаются
и хранятся лишь
уникальные части
данных (сокращение
в 50-500 раз)
2
Создаются ссылки
в каталоге
метаданных
для управления
версиями и сроками
хранения
3
Client1File 1
Client2File 2
A B C D E F G
A B C D O F P
MetaBase
Client1File 1
Client2File 2
PureDisk Storage Pool

6. КАК ДЕДУПЛИКАЦИЯ УЛУЧШАЕТ
ПРОИЗВОДИТЕЛЬНОСТЬ
Ded
upe
* Результаты получены в лаборатории
99%
85%-99%
85-90%
VCB
File,
FILES
MS SQL
Lotus
Notes
Compress
Encrypt
85-90%
65-75% 80-95%
Oracle
Exchange
Чем больше
дедупликация,
тем больше
скорость РК
< 10%
Степень дедупликации, %
Скорость,%
Без сжатия
Со сжатием

7. ИСПОЛЬЗОВАНИЕ ДЕДУПЛИКАЦИИ
Защита данных
в удаленных офисах
• Бэкапы
удаленных
офисов
с оптимизацией
места и трафика
Защита виртуальных
машин
• Оптимизация
ресурсов на РК
Дедупликация
в ЦОД
• Интеграция
с NetBackup
• Использование
стандартных
серверов и дисков
• Off-host
дедупликация
Единая платформа дедупликации

8. ДЕДУПЛИКАЦИЯ
НА КЛИЕНТЕ. ПРИМЕР
— УДАЛЕННЫЙ ОФИС
Основной ЦОД
Малые удаленные
офисы
Большой удаленный
офис
Offsite Vault
• Консолидация бэкапов удаленных
офисов в основной ЦОД
• Уменьшение количества трафика
по WAN
• Только клиент или клиент+сервер
PureDisk
• Интегрируется с приложениями
резервного копирования
для переноса данных на ленту
• Шифрование на диске и в пути
PureDisk
PureDisk
PureDisk
= дедупликация

9. ДЕДУПЛИКАЦИЯ, ИНТЕГРИРОВАННАЯ
С NETBACKUP
Дедупликация на media-сервере
NetBackup
Media Server
Dedupe
Глубокая интеграция с NetBackup
«Софтовое» решение
Не используется CPU клиента
Используются любые диски

10. PUREDISK В ЦОД
10
Интегрирован с NetBackup:
Работает с клиентами и серверами NBU
Масштабируемая дедупликация:
Обработка на media-сервере
Высокая доступность:
Встроенный VCS, Storage Foundation
Multi-Site Disaster Recovery:
Репликация копий в удаленный ЦОД
NetBackup PureDisk 6.6
Стандартные или SAN клиенты
Offsite Vault
= дедупликация
Dedupe
Media
Servers
Content
Routers
(16TB each)
Shared Storage
Failover
Node
= хранение
данных
Обход узких мест:
СХД принимает уникальные данные

11. ПЕРВАЯ КОПИЯ С PDDO
Meta Base Engine
Content Router
Content Router
Content Router
Content Router
PureDisk Storage Pool
NBU Media Server
С PDDO
NBU Client
A B C
D E F
G H
NBU Master Server NBU Catalog
File1
File2
File3
NBU
IMG1
ABCDEFGH
A
00101
B
00011
C
10101
D
11001
E
11100
G
10111
H
01101
F
01010
NBU
IMG1
NBU IMG1: File1, File2, File3, File4
1
NBU-мастер-сервер начинает
копирование с клиента. Клиент
шлет данные на сервер
2
PDDO на media-сервере
разбивает поток и считает
хэши для сегментов
3
Хэши серментов проверяются
в локальном кэше и на CR
для проверки уникальности
4
Уникальные сегменты
шифруются/сжимаются
и хранятся на CR
5
Метаданные потока записаны
в metabase, метаданные
файлов записаны в каталог
NBU

12. ПОСЛЕДУЮЩИЕ КОПИИ
С PDDO
Meta Base Engine
Content Router
Content Router
Content Router
Content Router
PureDisk Storage Pool
NBU Media Server
с PDDO
NBU Client
A B J
D E F
K H
NBU Master Server NBU Catalog
File1’
File2
File3’
A
00101
B
00011
C
10101
D
11001
E
11100
G
10111
H
01101
F
01010
NBU
IMG1
NBU IMG1: File1, File2, File3
NBU
IMG2
ABH JK
J
10011
K
00001
NBU
IMG2
NBU IMG2: File1’, File3’
1
NBU-мастер-сервер начинает
копирование с клиента. Клиент
шлет данные на сервер
2
PDDO на media-сервере
разбивает поток и считает
хэши для сегментов
3
Хэши серментов проверяются
в локальном кэше и на CR
для проверки уникальности
4
Уникальные сегменты
шифруются/сжимаются
и хранятся на CR
5
Метаданные потока записаны
в metabase, метаданные
файлов записаны в каталог
NBU

13. ДЕДУПЛИКАЦИЯ VMWARE
VCB/VSTORAGE
VCB/vStorage
Backup
ESX Server
DD D
A
fc
ESX Server
DD D
A
ESX Server
DD D
A
NetBackup 6.5.4 Media/
Proxy Server
Д/Д хранилище
Дедупликация на медиа-сервере (NBU 6.5) • Копирование в 1 проход VCB/
vStorage для файлов
и VMDK
Централизованное управление
с обнаружением VM
Без нагрузки на ESX
• Одна клиентская лицензия
на каждый ESX
• Экономия места
с ГЛОБАЛЬНОЙ
дедупликацией между
виртуальными и
физическими клиентами!



Передача дедуплицированных данных
Передача обычных данных
Д/Д работает



14. ОБРАБОТЧИКИ ПОТОКА
14
• NBU «вскрывает» VMDK
• Выбирает файлы
• Индексирует файлы
(для VCB и vStorage)
• Дедуплицирует вместе
с остальными данными!
FILE 3
C
FILE 1
A
FILE 1
B
FILE 2
B
FILE 3
D
FILE 3
B
FILE 3
A
FILE 2
A
edia-сервер
Формат образа VMDK
Глобальная Д/Д 85% — 99%
• Среди VMguests
• Среди ESX
• Среди физических
и виртуальных машин
File 1
File 2
File 3
ESX Server
DD D
A
ESX Server
DD D
A

15. • Уникальные возможности восстановления.
Восстановление единичных файлов или VM целиком
(vmdk) после однопроходного бэкапа
• Быстрое восстановление. Индивидуальные файлы
и vmdk каталогизированы с возможностью поиска.
Не требуется монтирование VM
• С дедупликацией требуется меньше места.
NetBackup сокращает объемы данных из различных
VMguests и VMDK файлов
• Требуется меньше ресурсов. Данные
записываются единожды (disk, tape, и т.д.). Не надо
c.vmdk
• NetBackup for Virtualization автоматически
вскрывает vmdk во время стандартного бэкапа.
Не требуется дополнительного времени
VMWARE. ГРАНУЛЯРНОЕ
ВОССТАНОВЛЕНИЕ

16. Dedupe
ОПТИМИЗИРОВАННЫЙ
СИНТЕТИЧЕСКИЙ БЭКАП
Оптимизированный
синтетический
бэкап
Медиа-серверы
Клиент NBU
Для создания синтетических копий
сегодня все данные снова проходят через
медиа- сервер, а потом записываются
Инкрементальные копии
Оптимизированные синтетические копии
создаются в хранилище. NetBackup
командует, какие части использовать.
И записывает указатели на них
Incr.Full Incr. Синтетич.
PureDisk 6.6

17. птимизированная синтетическая
полная копия
в 35GB создана за 40 секунд!
.95 GB/Sec
Еженедельные
FULL не нужны
Быстрый процесс
восстановления
Снижение нагрузки
на клиента
Уменьшенный LAN/WAN
тпфик
* тебуется NBU 6.5.4 и PD 6.6
ПРИМЕР ОПТИМИЗИРОВАННОГО
СИНТЕТИЧЕСКОГО БЭКАПА

18. ОПТИМИЗИРОВАННАЯ РЕПЛИКАЦИЯ
• Оптимизированная репликация уменьшает трафик
– Оптимизация за счет глобальной дедупликации между пулами
– Передаются только уникальные данные
• Управляется через консоль NBU
– Движение данных контролируется Life Cycle Policy
– Нет отличий от задач дупликации данных
• Поддерживаются разные сроки хранения в разных местах
– Например: 10 дней в ЦОД, 3 месяца в РЦОД
• Простое копирование данных на ленту для долгосрочного
хранения
• Доступность он-лайн для быстрого восстановления
– Копии доступны в РЦОД для быстрого восстановления

19. ОПТИМИЗИРОВАННАЯ РЕПЛИКАЦИЯ
Балансируемые медиа-серверы
VCB/vStorage
Оптимизированно
е копирование
Локальное
восстановление
ESX Server
DD D
A
Платформа
PureDisk
NetBackup
PureDisk
Копия на
ленту
Клиенты NBU ESX Server
DD D
A
NBU clients

20. PUREDISK МАСШТАБИРУЕТСЯ
Увеличение
мощности
добавлением
медиа-серверов
Производительность
по запросу
Увеличение
емкости
добавлением
Content Routers
Емкость
по запросу
Управление
защитой
с NetBackup
Catalog & Policy
Автоматизация
с NetBackup
Tape
NetBackup PureDisk 6.6
Стандартные или SAN клиенты
Dedupe
Media
Servers
Content
Routers
(16 TB)
Shared Storage
Failover
Node
Offsite Vault

21. КАК МАСШТАБИРУЕТСЯ PDDO
• Добавляем медиа-сервер 
Медиа-сервер NetBackup с PDDO
Клиенты NetBackup
PureDisk Content Router
Скорость приема на MS Скорость приема на CR
= PDDO
Скорость на клиенте
33.3 %
100 %
33.3 %
33.3 %
Зависит от: типа
данных, первого или
следующего бэкапа
33.3 %
100 %
33.3 %
33.3 %
ля выравнивания входной скорости на MS
величение производительности

22. КАК МАСШТАБИРУЕТСЯ PDDO
• Добавляем Content Router для выравнивания скорости
приема данных на Content Router
Медиа сервер NetBackup с PDDOКлиенты NetBackup PureDisk Content Router
Скорость приема на MS Скорость приема на CR
= PDDO
Client backup rates
33.3 %
100 %
33.3 %
33.3 %
Зависит от: типа
данных, первого или
следующего бэкапп
33.3 %
100 %
33.3 %
33.3 %
16T
B
100TB
16T
B

23. PUREDISK
ВЫСОКОНАДЕЖЕН
Автоматическое
переключение
медиа-серверов
NetBackup High
Availability
Автоматическое
переключение
узлов PureDisk
PureDisk High
Availability
Tape
NetBackup PureDisk 6.6
Dedupe
Media
Servers
Content
Routers
(16TB)
Shared Storage
Failover
Node
Offsite Vault

24. ПРОИЗВОДИТЕЛЬНОСТЬ PDDO
Тестовая конфигурация
2.Тестирование по сети 10G
3.4 Content Routers по 16TB
4.4 медиа-сервера
Замечание: Восстановление в 15 потоков дает 450 MB/s на быстрых
клиентах
100%
уникальнах
данных
10%
уникальных
данных
Восстановление
(SAN)
1 поток
115 MB/s
(400GB/hr)
195 MB/s
(700 GB/hr)
75MB/sec
(270 GB/hr)
2 потока
215 MB/sec
(750 GB/hr)
385 MB/s
(1.3 TB/hr)
150MB/sec
(540 GB/hr)
4 потока
400MB/s
(1.4 TB/hr)
620 MB/s
(2.2 TB/hr)
57 потоков
850MB/s
(3 TB/hr)
1100MB/s
(3.5 TB/hr)

25. НАГРУЗКА НА МЕДИА-СЕРВЕР
Загрузка CPU зависит от
• Скорости CPU и количества ядер
• Степени дедупликации и типа данных
• Скорости приема данных на медиа-сервере
• # параллельных заданий или потоков
• Compression
Загрузка памяти
 До 3GB RAM на медиа-сервер*
 ~50-100MB — на поток
* Замерялось на PD 6.5.1 и NBU 6.5.4 (при более чем 25 параллельных бэкапных потоках
на медиа-сервер)

26. В ИТОГЕ
• Дедупликация — это актуально
• Дедупликация решает повседневные задачи
• Дедупликация позволяет экономить на хранении
• Дедупликация работат во многих местах
• NetBackup – исключительные решения с
дедупликацией для защиты удаленных офисов,
виртуальных машин и ЦОД

27. СПАСИБО ЗА ВНИМАНИЕ!
Борис Черных,
ВЕДУЩИЙ ИНЖЕНЕР
ПО ВНЕДРЕНИЮ И ЭКСПЛУАТАЦИИ
ВЫЧИСЛИТЕЛЬНЫХ КОМПЛЕКСОВ
КОМПАНИИ КРОК
Т.: (495)974-22-74 ДОБ. 2688
Ф: (495) 974 2277
E-MAIL: bchernykh@croc.ru