Подробности на www.ibs.ru Материалы семинара компаний IBS и HP «Оптимизация стоимости хранения данных» (24 апреля 2015 г.)

1. © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Архивация баз данных и миграция
устаревших приложений
c использованием продукта
Structured Data Manager
Тимофеев Иван
HP Big Data

2. © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
2
Роль базы данных
• БД – хранилище структурированных данных для
приложений
• Уровень БД нужен для серверов приложений и
серверов пакетной обработки
• БД может иметь копии для резервного
восстановления
• БД может часто клонироваться для тестирования и
разработки
– Обычно 3-5 копий, иногда до 25
– Все эти копии требуют места на диске
HA Copy
data
Test/Dev Copies
Production
Batch Processes

3. © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
3
Проблемы, связанные с ростом БД
• Сложность поддержки приложения
– Ухудшение производительности при росте БД
– Увеличение окна РК и восстановления
– Длительные простои при апгрейде
• Увеличение стоимости владения
– Необходимы сложные и дорогие СХД
– Необходимость поддержки и сохранения инфраструктуры
устаревших приложений
• Юридические требования к хранению информации
– Финансовые данные
– Длительный срок хранения
DataGrowthОбщийобъем
данных
Время

4. © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
4
С другой стороны – стадии жизни данных
Высокая
Рекламации
Внутренний аудит
Изменен заказ
Частичная отгрузка
Полная отгрузка
Заказ на продажу закрыт
Срок использования Срок хранения
Тренды продаж
Низкая
Частота
доступа
Транзакции Отчетность Юридические требования
Создан заказ
Уничтожение
e-discovery событие
Конец стадии
транзакций
Частичная оплата
Время

5. © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
5
BKUP
TRAIN DEV2
UAT
DEV1TEST
2 3
4
Year
Активные и неактивные данные
• Доля активных данных существенно ниже
• Темп роста активных данных ниже
1
Основная
БД
DataGrowth
Общийобъемданных
Используемые данные
Время
Производительность
Стабильность

6. © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
6
PRODUCTION
Приложение
ARCHIVEPRODUCTION
Приложение
Backup
Ежемесячно
CompressedActive
Backup Backup
Недельный полныйНедельный полный
Месячный
полный
Восстановление
Восстановление
Восстановление
ПОСЛЕДО
Оптимизация бэкапа (пример)
HP and P&G Confidential

7. © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
7
Основные возможности SDM
• HP SDM предоставляет:
– Архивирование в БД или в файл XML,CSV
– Прозрачный доступ к архивным данным
– Централизованное управление БД разных приложений
– WEB-интерфейс управления
– Миграция устаревших приложений
– Удобный конструктор для настройки правил
– Индексирование IDOL для поиска
• Поддержка
– Поддержка Oracle, MS SQL, Sybase, DB2
– Общий JDBC коннектор для других БД

8. © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
8
Возможные варианты архивирования
1. DB2DB
• Перенос из активной БД в архивную
• Сохранение доступа приложения к обеим базам
2. DB2F
• Перенос из активной БД в файлы XML, CSV
• Обычно используется для длительного хранения
неиспользуемых данных
• Используется для отказа от устаревших приложений
(Application Retirement)
3. Много-уровневые решения
DB DB
DB XML
DB DBDB XML
DB DBXML DB
Load
DB DB
XML
Copy

9. © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
9
Стратегия управления архивными данными
Production
Неактивные
данные
Активные
данные
ТранзакцииОтчетностьХранение
12 месяцев
12-36 месяцев
36-120 месяцев
Пример

10. © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
10
ТранзакцииОтчетностьХранениеИспользование соответствующего оборудования
Production
Малобюджетные решения
Hi-end
Сервера и СХД
Средний класс
Активные
данные
Неактивные
данные

11. © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
11
Low-Tier Archive / Worm
ComplianceTransactiveReportingСохранение доступа ко всем данным
Production
Highest class
Servers and Storage
Mid-Tier class
Приложение
Обычный доступ
Расширенный доступ
Отчетность / BI
Активные
данные
Неактивные
данные

12. © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
12
Архитектура для базовых приложений
• Данные помещаются в архивную БД
• Работа с активной частью продолжается как
и раньше
• Через дополнительный ярлык приложения
мы получаем доступ и к архивным данным
и к рабочей базе.

13. © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
13
Архитектура для Oracle EBS
• Данные помещаются в архивную БД
• На уровне приложения без создания
дополнительных ярлыков выбирается
вариант доступа – только к активной части
или к обеим.

14. © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
14
HA Copy
Test/Dev Copies
Production
Data cloned
Эффект от не архивирования

15. © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
15
HA Copy
Test/Dev Copies
Production
Data cloned
Эффект от архивирования
T2/3 Storage

16. © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
16
Визуальный редактор правил
Наглядный графический интерфейс для
моделирования правил архивирования,
правил work flow
Преднастроенные правила для Oracle E-
Business Suite и PeopleSoft
Автоматическое создание архивной
документации
Автоматическое создание необходимых
действий по работе с БД

17. © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
18
Talkline deployed HP Database Archiving software to ensure appropriate
performance levels as their customer base grew while legislation required
them to retain data for longer. Additionally a major version upgrade was
pending - the DBA group estimates they saved 50% of unavoidable downtime
during the upgrade.
Tektronix (NYSE: TEK) deployed HP Database Archiving across multiple Oracle
E-Business database. Implemented archiving to improve performance and
meet compliance across 27 countries. Using XML archiving for compliance and
sunsetting.
Agilent (NYSE: A) deployed HP Database Archiving within a year of initial
rollout of the applications due to excessive growth rate and test/dev footprint.
Agilent has experienced performance improvements, stability and storage
saving in their worldwide rollout.
Customer Examples

18. © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
19
Насколько решение масштабируется?
IT отдел HP архивирует БД с помощью
HP SDMс ноября 2009
• Время запроса уменьшено на 89%
• Объем хранилища уменьшен на 48%
• Окно полного бэкапа уменьшено на 37%
• HPIT отказался от 50% приложений с БД
• Апгрейды приложений теперь от 3 до 5 раз быстрее
К июлю 2014 - 122 БД, 836 db-db заданий, 57млрд строк заархивировано

19. © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
20
Смысловой поиск– интеграция с IDOL
Поиск в приложениях, обычный способ
• Структурированный запрос
• Поиск в каждой БД с использованием одного приложения

20. © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
21
Активные данные Архив
• Запрос всех БД
• Активные и архивные данные
Вовлечение смыслового и
концептуального поиска для
данных
Смысловой поиск– интеграция с IDOL
Поиск в приложениях, новый и более правильный способ

21. © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Спасибозавнимание!