Your SlideShare is downloading. ×
TMPA-2013 Zhuravlev: Data Migration between DBMS Using Cryptographic Hash Functions
TMPA-2013 Zhuravlev: Data Migration between DBMS Using Cryptographic Hash Functions
TMPA-2013 Zhuravlev: Data Migration between DBMS Using Cryptographic Hash Functions
TMPA-2013 Zhuravlev: Data Migration between DBMS Using Cryptographic Hash Functions
TMPA-2013 Zhuravlev: Data Migration between DBMS Using Cryptographic Hash Functions
TMPA-2013 Zhuravlev: Data Migration between DBMS Using Cryptographic Hash Functions
TMPA-2013 Zhuravlev: Data Migration between DBMS Using Cryptographic Hash Functions
TMPA-2013 Zhuravlev: Data Migration between DBMS Using Cryptographic Hash Functions
TMPA-2013 Zhuravlev: Data Migration between DBMS Using Cryptographic Hash Functions
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×
Saving this for later? Get the SlideShare app to save on your phone or tablet. Read anywhere, anytime – even offline.
Text the download link to your phone
Standard text messaging rates apply

TMPA-2013 Zhuravlev: Data Migration between DBMS Using Cryptographic Hash Functions

139

Published on

An Approach to Verification of Correctness of Data Migration between DBMS Using Cryptographic Hash Functions

An Approach to Verification of Correctness of Data Migration between DBMS Using Cryptographic Hash Functions

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
139
On Slideshare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
1
Comments
0
Likes
0
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. Подход к верификации корректности миграции данных между СУБД с использованием криптографических хэш-функций Санкт-Петербургский государственный университет Кафедра системного программирования ЗАО «Ланит-Терком» Журавлев М. М. Полозов В. С. mzhuravlev@math.spbu.ru victorp@math.spbu.ru
  • 2. Контекст Проект миграции промышленной ДБ кредитного подразделения одного из крупных банков РФ из СУБД MS SQL Server 2005 в Oracle 11gR2.
  • 3. Постановка задачи Верифицировать корректность перегрузки данных из исходной БД в целевую с учетом совершённых преобразований.
  • 4. Подход к решению 1. Для таблиц исходной БД вычислить: – Количество записей. – Набор хэшей. 2. Аналогично для целевой. 3. Сравнить.
  • 5. Вычисление хэшей Требование: независимость от порядка записей. Решение: 1. MD5 для каждой записи. 2. XOR MD5
  • 6. Использование в тестировании 1. В процессе ночной перегрузки. 2. В трассах. Совместно используются: ● Инструмент записи и воспроизведения действий пользователя. ● Журналирующие триггеры. ● Процедура вычисления набора хэшей по таблице.
  • 7. Масштаб ● Размер данных в исходной базе составляет порядка 6 терабайт в 2410 таблицах. ● Размер кода - 2.5 миллиона строк кода в хранимых процедурах. ● Получившийся объем разработанного кода составил 1.5KLOC на F#, 0.3KLOC на cmd/shell, 0.4KLOC на Java. ● Объем сгенерированного кода – 144КLOC на PL/SQL (8,4Mb) и 215KLOC на T-SQL (18,3Mb).
  • 8. Производительность Подмножество (4M записей) таблицы с 41 INT, 8 VARCHAR, 13 DATETIME столбцов
  • 9. Благодарю за внимание!

×