АРХИВИРОВАНИЕ.
КОНЦЕПЦИЯ C-BURA
(COMPREHENSIVE BACKUP,
RECOVERY AND ARCHIVING)
Антон Котцов,
пресейл-инженер
компания КРОК
РЕЗЕРВНОЕ КОПИРОВАНИЕ. ТЕНДЕНЦИИ
• Объем основных данных растет
• необходима постоянная настройка для
поддержания должной производительности
• постоянный рост объема дорогостоящих систем
хранения 1го уровня
• Объем резервных копий растет вместе с ростом
основных данных
• требуется все больше времени; некоторые
задания не успевают завершиться
• время восстановление постоянно растет и
перестает удовлетворять заданному уровню
обслуживания
• требуется все больше ленточных накопителей
Резервное
копирование
Основные
данные
Archive не есть Backup
Резервное копирование и
восстановление
Архив
Вторая копия информации Оригинал информации
Используется для восстановления Используется для поиска, обработки
Улучшает доступность возможностью
приложению быть восстановленным на
заданную точку времени
Улучшает эффективность и
производительность освобождая место на
основном хранилище
Обычно кратковременный (часы, дни, недели)
Обычно долговременный (месяцы, годы,
десятилетия)
Данные обычно перезаписываются по
расписанию
Данные сохраняются для анализа, обработки
и соответствия нормам безопасности
Не для соответствия нормам безопасности.
Полезен для соответствия нормам
безопасности
ЧТО ЕСТЬ АРХИВИРОВАНИЕ?
• Архивирование есть интеллектуальный
процесс переноса неактивных или
неизменяемых данных с основного
хранилища на хранилища архивного
уровня
АКТИВНОЕ АРХИВИРОВАНИЕ
Резервное
копирование
Основные
данные
Архив
Резервное
копирование
Основные
данные
Архив
ОБЪЕКТЫ АРХИВОВ
Объекты хранения:
• данные, неподлежащие
изменению или уничтожению
в течение строго
определенного времени
• данные, подлежащие
длительному
хранению
Отчеты
Новостные
ролики
Газеты
Генетическая
информация
Информация
государственн
ого значения
Дубликаты
Видеоконферен
ции
Видео
Анонсы
WEB-страницы
Рентгеновские
снимки
Письма
Руководства
Медицинские
записи
Документы
Архивы
электронной
почты
Инженерные
рисунки
Контрольные
снимки
Результаты
медицинских
анализов
Биометрия
Проекты
Книги
Сейсмические
данные
Таблицы
Учебники
Исторические
документы
Страховые
фото
Нормативные
акты
Методички
Кардиограммы
Контракты
Астрономическ
ие данные
Аудиоконфере
нции
Резервные
копии
Периодика
Биологические
данные
Спутниковые
фотографии
Деловые
записи
Оригиналы
CAD/CAM
ОСНОВНЫЕ ТРЕБОВАНИЯ К ЭЛЕКТРОННОМУ
АРХИВУ
• Надежная аппаратная платформа
• Высокий уровень масштабируемости
• Быстрый доступ к данным
• Хранение только одной копии документа
• Удобные инструменты поиска
• Неизменность данных
• Возможность задавать периоды хранения
Архивирование файловых ресурсов
EMC DiskXtender
АРХИВИРОВАНИЕ ФАЙЛОВЫХ
РЕСУРСОВ
EMC DISKXTENDER
• Перемещение данных с
сохранением их доступности для
приложений
• Расширение дискового
пространства, используемого
приложением
• Поддержка устройств: Centera,
DVD-R, магнитооптика и оптика,
NAS, ленточные устройства.
• Гибкость в управлении
• Встроенные средства диагностики
• Резервное копирование и
восстановление
• Полнотекстовое индексирование и
поиск
DiskXtender
G:NTFS H:NTFS
MediaStore
NAS Device
Tape Device
Centera
Архив
Основные
данные
КАК РАБОТАЕТ АРХИВИРОВАНИЕ
 задается порог заполнения
файловой системы
 рост данных достигает
порогового значения
 DiskXtender перемещает
данные в архив
высокая производительность
не требуется
 управление хранением
 недорогое хранение
 удаление дублей
Основные
данные
До
архивирования
5 TB
После
архивирования
1 TB
Архивирование электронной почты
EMC SourceOne
ПРОБЛЕМЫ УПРАВЛЕНИЯ E-MAIL
• Управление хранением
• интенсивный рост объема e-mail
• резервное копирование занимает все
больше времени
• восстановление удаленных писем по
запросу
• управление .PST файлами
12Источник: ESG Research Report: 2007 E-mail Archiving Survey, Ноябрь 2007
Электронная почта, вложения
Офисные документы
Записи СУБД
Счета
Финансовые отчеты
Записи телефонных переговоров
Цифровые изображения
Мгновенные сообщения
Видео
Другое
80%
60%
49%
41%
25%
21%
16%
5%
36%
29%
80%70%60%50%40%30%20%10% 90%0%
• Управление рисками
• 50% организаций были
обязаны предоставить
копии e-mail по решению
суда (Osterman Research)
EMC SOURCEONE
АРХИВАЦИЯ ПОЧТЫ
• Модульная архитектура
• Разделение задач
• Разделение ролей
• Высокодоступность
• Отказоустойчивость
ПРОЦЕСС АРХИВИРОВАНИЯ КОРПОРАТИВНОЙ ПОЧТЫ
Классификация
Архивирование
Полнотекстовое
индексирование
EMC
EmailXtender
Хранение
Почтовые
серверы
Сервер
EmailXtender
Получение
почты
EMX
ПЛЮСЫ SOURCEONE (EMAILXTENDER)
• Быстрый доступ к архивным письмам
• Увеличение производительности почтовой
системы
• Снижение стоимости основного хранилища
• Быстрое резервное копирование
• Более быстрое восстановление из backup-а
Длительное хранение
фиксированного контента
в режиме on-line
• Первая в мире система CAS
• Создана специально для хранения
неизменного содержимого
• Обеспечивает быстрый доступ к
фиксированному контенту
• Совокупная стоимость владения (ТСО)
сопоставима с ленточными библиотеками
ПРИМЕР РАБОТЫ EMC CENTERA
Сохранение
Content Address
для последующего
использования
EMC Centera
выполняет
архивирование и
отправляет адрес
приложению
Сервер приложения отправляет объект
на EMC Centera по IP сети
Создание объекта на
сервере приложения
LAN CA
CA
• Работает на любой платформе с любым ПО
• Адрес не привязывается к определенной части дискового пространства
• Возможность задания периодов хранения
• Незначительное время отклика системы
Резервное копирование
Дедупликация
EMC Avamar
ЧТО ТАКОЕ ДЕДУПЛИКАЦИЯ
 Каждый уникальный
сегмент отсылается
и сохраняется
только 1 раз…
O H
O
H H
O
H H
O
H H
O
H H
O
H H
 … в
репозитории
объем
передаваемых
данных м.б.
уменьшен до 500х
 Данные разделяются
на сегменты (м.б.
изменяемого размера)
Удаленный
офис 2
 Измененная копия
• измененная копия
• копируются только
новые сегменты
КАК РАБОТАЕТ ДЕДУПЛИКАЦИЯ
Удаленный
офис 1
 Копия
• копия файла
• создается новая ссылка
(20 байт)
A B C D
Сервер резервного копирования
с дедупликацией
• файл разбивается
на сегменты
• копируются только
уникальные сегменты
 Оригинал
A
B
C
D
ЦОД
E
E
ЭФФЕКТИВНОСТЬ ДЕДУПЛИКАЦИИ
Тип данных
Полный
Backup
(классический)
Полный
Backup (с
дедупликацией)
Степень
дедупликации
Файловые системы Windows 3,573 GB 6.1 GB 586:1
Файловые системы Windows, Linux, UNIX 5,097 GB 11.7 GB 436:1
Файлы, расположенные на NAS (NDMP
backups)
3,265 GB 24.2 GB 135:1
20% СУБД, 80% файловые системы
(Windows и UNIX)
9,583 GB 80.0 GB 120:1
Файловые системы Linux и СУБД 7,831 GB 104.2 GB 75:1
Реальный пример:
Тип данных
Оригинальный
объем
Внутри
Avamar
Степень
дедупликации
Файлы MS Office на ноутбуках 4,7 TB 240 GB 20:1
РЕЗУЛЬТАТЫ ВНЕДРЕНИЯ AVAMAR
• Сокращение времени резервного
копирования
• Сокращение нагрузки на клиентов
• Сокращение требований к каналам
передачи данных
• Меньший объем хранения резервных
копий
• Возможность построения
централизованной системы резервного
копирования данных удаленных офисов
Централизация
хранения
Повышение
эффективности
Экономия
РЕАЛИЗОВАННЫЕ ПРОЕКТЫ, ПРОЕКТЫ В
СТАДИИ ЗАВЕРШЕНИЯ
• Соник Дуо – внедрение CX3-40 для хранения почты (Exchange,
Windows) и файловых сесурсов. Архивирование производится при
помощи EmailXtender, DiskXtender, архивное хранилище
организовано на SATA дисках CX3-40
• НПО-Сатурн – архивирование файловых ресурсов на SATA диски
CX 700 при помощи EMC DiskXtender
• Банк Союз – внедрение двух массивов Centera с удаленной
репликацией. Архивация при помощи EMC DiskXtender
• Гиперглобус – архивирование почты (Exchange, Windows)
посредством EMC EmailXtender
• Роспатент – архивирование данных под управлением EMC
Documentum на Centera
• ТрансКредитБанк - архивирование почты (Exchange, Windows)
посредством EMC EmailXtender и файловых ресурсов при помощи
EMC DiskXtender на EMC Centera
АРХИВИРОВАНИЕ.
КОНЦЕПЦИЯ C-BURA
Антон Котцов,
пресейл инженер
Тел. (495)974-22-74, доп. 2661
aKottsov@croc.ru

Архивирование. Концепция C-Bura

  • 1.
    АРХИВИРОВАНИЕ. КОНЦЕПЦИЯ C-BURA (COMPREHENSIVE BACKUP, RECOVERYAND ARCHIVING) Антон Котцов, пресейл-инженер компания КРОК
  • 2.
    РЕЗЕРВНОЕ КОПИРОВАНИЕ. ТЕНДЕНЦИИ •Объем основных данных растет • необходима постоянная настройка для поддержания должной производительности • постоянный рост объема дорогостоящих систем хранения 1го уровня • Объем резервных копий растет вместе с ростом основных данных • требуется все больше времени; некоторые задания не успевают завершиться • время восстановление постоянно растет и перестает удовлетворять заданному уровню обслуживания • требуется все больше ленточных накопителей Резервное копирование Основные данные
  • 3.
    Archive не естьBackup Резервное копирование и восстановление Архив Вторая копия информации Оригинал информации Используется для восстановления Используется для поиска, обработки Улучшает доступность возможностью приложению быть восстановленным на заданную точку времени Улучшает эффективность и производительность освобождая место на основном хранилище Обычно кратковременный (часы, дни, недели) Обычно долговременный (месяцы, годы, десятилетия) Данные обычно перезаписываются по расписанию Данные сохраняются для анализа, обработки и соответствия нормам безопасности Не для соответствия нормам безопасности. Полезен для соответствия нормам безопасности
  • 4.
    ЧТО ЕСТЬ АРХИВИРОВАНИЕ? •Архивирование есть интеллектуальный процесс переноса неактивных или неизменяемых данных с основного хранилища на хранилища архивного уровня
  • 5.
  • 6.
    ОБЪЕКТЫ АРХИВОВ Объекты хранения: •данные, неподлежащие изменению или уничтожению в течение строго определенного времени • данные, подлежащие длительному хранению Отчеты Новостные ролики Газеты Генетическая информация Информация государственн ого значения Дубликаты Видеоконферен ции Видео Анонсы WEB-страницы Рентгеновские снимки Письма Руководства Медицинские записи Документы Архивы электронной почты Инженерные рисунки Контрольные снимки Результаты медицинских анализов Биометрия Проекты Книги Сейсмические данные Таблицы Учебники Исторические документы Страховые фото Нормативные акты Методички Кардиограммы Контракты Астрономическ ие данные Аудиоконфере нции Резервные копии Периодика Биологические данные Спутниковые фотографии Деловые записи Оригиналы CAD/CAM
  • 7.
    ОСНОВНЫЕ ТРЕБОВАНИЯ КЭЛЕКТРОННОМУ АРХИВУ • Надежная аппаратная платформа • Высокий уровень масштабируемости • Быстрый доступ к данным • Хранение только одной копии документа • Удобные инструменты поиска • Неизменность данных • Возможность задавать периоды хранения
  • 8.
  • 9.
    АРХИВИРОВАНИЕ ФАЙЛОВЫХ РЕСУРСОВ EMC DISKXTENDER •Перемещение данных с сохранением их доступности для приложений • Расширение дискового пространства, используемого приложением • Поддержка устройств: Centera, DVD-R, магнитооптика и оптика, NAS, ленточные устройства. • Гибкость в управлении • Встроенные средства диагностики • Резервное копирование и восстановление • Полнотекстовое индексирование и поиск DiskXtender G:NTFS H:NTFS MediaStore NAS Device Tape Device Centera
  • 10.
    Архив Основные данные КАК РАБОТАЕТ АРХИВИРОВАНИЕ задается порог заполнения файловой системы  рост данных достигает порогового значения  DiskXtender перемещает данные в архив высокая производительность не требуется  управление хранением  недорогое хранение  удаление дублей Основные данные До архивирования 5 TB После архивирования 1 TB
  • 11.
  • 12.
    ПРОБЛЕМЫ УПРАВЛЕНИЯ E-MAIL •Управление хранением • интенсивный рост объема e-mail • резервное копирование занимает все больше времени • восстановление удаленных писем по запросу • управление .PST файлами 12Источник: ESG Research Report: 2007 E-mail Archiving Survey, Ноябрь 2007 Электронная почта, вложения Офисные документы Записи СУБД Счета Финансовые отчеты Записи телефонных переговоров Цифровые изображения Мгновенные сообщения Видео Другое 80% 60% 49% 41% 25% 21% 16% 5% 36% 29% 80%70%60%50%40%30%20%10% 90%0% • Управление рисками • 50% организаций были обязаны предоставить копии e-mail по решению суда (Osterman Research)
  • 13.
    EMC SOURCEONE АРХИВАЦИЯ ПОЧТЫ •Модульная архитектура • Разделение задач • Разделение ролей • Высокодоступность • Отказоустойчивость
  • 14.
    ПРОЦЕСС АРХИВИРОВАНИЯ КОРПОРАТИВНОЙПОЧТЫ Классификация Архивирование Полнотекстовое индексирование EMC EmailXtender Хранение Почтовые серверы Сервер EmailXtender Получение почты EMX
  • 15.
    ПЛЮСЫ SOURCEONE (EMAILXTENDER) •Быстрый доступ к архивным письмам • Увеличение производительности почтовой системы • Снижение стоимости основного хранилища • Быстрое резервное копирование • Более быстрое восстановление из backup-а
  • 16.
    Длительное хранение фиксированного контента врежиме on-line • Первая в мире система CAS • Создана специально для хранения неизменного содержимого • Обеспечивает быстрый доступ к фиксированному контенту • Совокупная стоимость владения (ТСО) сопоставима с ленточными библиотеками
  • 17.
    ПРИМЕР РАБОТЫ EMCCENTERA Сохранение Content Address для последующего использования EMC Centera выполняет архивирование и отправляет адрес приложению Сервер приложения отправляет объект на EMC Centera по IP сети Создание объекта на сервере приложения LAN CA CA • Работает на любой платформе с любым ПО • Адрес не привязывается к определенной части дискового пространства • Возможность задания периодов хранения • Незначительное время отклика системы
  • 18.
  • 19.
    ЧТО ТАКОЕ ДЕДУПЛИКАЦИЯ Каждый уникальный сегмент отсылается и сохраняется только 1 раз… O H O H H O H H O H H O H H O H H  … в репозитории объем передаваемых данных м.б. уменьшен до 500х  Данные разделяются на сегменты (м.б. изменяемого размера)
  • 20.
    Удаленный офис 2  Измененнаякопия • измененная копия • копируются только новые сегменты КАК РАБОТАЕТ ДЕДУПЛИКАЦИЯ Удаленный офис 1  Копия • копия файла • создается новая ссылка (20 байт) A B C D Сервер резервного копирования с дедупликацией • файл разбивается на сегменты • копируются только уникальные сегменты  Оригинал A B C D ЦОД E E
  • 21.
    ЭФФЕКТИВНОСТЬ ДЕДУПЛИКАЦИИ Тип данных Полный Backup (классический) Полный Backup(с дедупликацией) Степень дедупликации Файловые системы Windows 3,573 GB 6.1 GB 586:1 Файловые системы Windows, Linux, UNIX 5,097 GB 11.7 GB 436:1 Файлы, расположенные на NAS (NDMP backups) 3,265 GB 24.2 GB 135:1 20% СУБД, 80% файловые системы (Windows и UNIX) 9,583 GB 80.0 GB 120:1 Файловые системы Linux и СУБД 7,831 GB 104.2 GB 75:1 Реальный пример: Тип данных Оригинальный объем Внутри Avamar Степень дедупликации Файлы MS Office на ноутбуках 4,7 TB 240 GB 20:1
  • 22.
    РЕЗУЛЬТАТЫ ВНЕДРЕНИЯ AVAMAR •Сокращение времени резервного копирования • Сокращение нагрузки на клиентов • Сокращение требований к каналам передачи данных • Меньший объем хранения резервных копий • Возможность построения централизованной системы резервного копирования данных удаленных офисов Централизация хранения Повышение эффективности Экономия
  • 23.
    РЕАЛИЗОВАННЫЕ ПРОЕКТЫ, ПРОЕКТЫВ СТАДИИ ЗАВЕРШЕНИЯ • Соник Дуо – внедрение CX3-40 для хранения почты (Exchange, Windows) и файловых сесурсов. Архивирование производится при помощи EmailXtender, DiskXtender, архивное хранилище организовано на SATA дисках CX3-40 • НПО-Сатурн – архивирование файловых ресурсов на SATA диски CX 700 при помощи EMC DiskXtender • Банк Союз – внедрение двух массивов Centera с удаленной репликацией. Архивация при помощи EMC DiskXtender • Гиперглобус – архивирование почты (Exchange, Windows) посредством EMC EmailXtender • Роспатент – архивирование данных под управлением EMC Documentum на Centera • ТрансКредитБанк - архивирование почты (Exchange, Windows) посредством EMC EmailXtender и файловых ресурсов при помощи EMC DiskXtender на EMC Centera
  • 24.
    АРХИВИРОВАНИЕ. КОНЦЕПЦИЯ C-BURA Антон Котцов, пресейлинженер Тел. (495)974-22-74, доп. 2661 aKottsov@croc.ru