Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Datu migrācija

818 views

Published on

Published in: Business
  • Be the first to comment

  • Be the first to like this

Datu migrācija

  1. 1. April 25, 2013 www.ExigenServices.comDATU MIGRĀCIJA PRAKSĒ:PIEEJAS UN PROBLĒMASValdis Prodnieks,valdis.prodnieks@exigenservices.com
  2. 2. KĀPĒC JĀMIGRĒ? GALVENIE IEMESLIŠajā lekcijā runājam tikai par biznesa IT sistēmāmBiznesa motivētas pārmaiņas: Uzņēmuma daļu standartizācija / uzņēmumu pārpirkšana Standartproduktu ieviešana / atteikšanās no standartproduktiem Biznesa procesu izmaiņasTehniski motivētas pārmaiņas: Izmaiņas piegādātāja dēļ– Vecās versijas vairs netiek uzturētas vai kļūst nepieņemama cenu politika– piegādātājs var bankrotēt vai tikt nopirkts Tehniskās infrastruktūras optimizācija
  3. 3. 3 www.ExigenServices.comREASONS FOR MODERNIZATIONMotivating factors: Reductions in IT budget Requirements to reduce licensing costs Requirements to reduce the high maintenance costs of legacy systems Changes in regulatory environments Discontinuation of vendor support Shrinking IT labor pool Mergers and acquisitions Requirements for quick time-to-market when implementing new features Improve productivity Launch of new products and services IT infrastructure expansion Growth in workloads, data volumes, and document processingrequirements
  4. 4. 4 www.ExigenServices.comMODERNIZATION PROCESSASSESS TRANSFORM MANAGEAssessment of the Existing ITInfrastructureAnalysis of the Total Cost ofOwnership and ROIRisk analysisTransformation PlanningInfrastructure andApplication DesignMigration ServicesSystem monitoring,management, andsupport, includingperformance tuning andsecurity audits
  5. 5. DATU MIGRĀCIJA IR TIKAI DAĻA ...Citas migrējamās daļas var būt, piemēram: Biznesa aplikācijas un pieejas Biznesa procesi Operētājsistēma Programmēšanas valodas Datu bāzes vadības sistēmas (ne visas bija / ir / būs relāciju DB) Arhitektūras modelis (piem. Servisorientēta arhitektūra) Aparatūra (sava, īrēta vai mākonī) Dažādu veidu «middleware», piemēram,– Biznesa procesu vadības sistēmas (BPMS)– Back office automatizācija (job scheduler, JCL)– Ziņapmaiņas sistēmas (piemēram Apache MQ)– . . .
  6. 6. SITUĀCIJAS NOVĒRTĒŠANA PIRMS PROJEKTASaprast veco un jauno biznesa procesu, to atbilstībuJaunā / vecā datu vārdnīca Vai tādu vispār iespējams iegūt? Vai eksistē ‘cross-references’? Vai ir zināmas nepieciešamās datu validācijas? Ko darīt, ja viss ir konfigurējams?Vai biznesa loģika vecajā aplikācijā ir saprotama?
  7. 7. MIGRĒJAMIE DATI Datu bāzes– Ne visas datu bāzes bija / ir / būs relāciju DB Datnes– Ne visas datnes ir tik vienkāršas kā teksta faili Citi datiPar maz ir tikai nomigrēt tabulas / datnes. Pēc migrācijas biznesaprocesam, kas sākts vecajā aplikācijā, jāvar korekti nobeigtiesjaunajā aplikācijā.
  8. 8. IZAICINĀJUMIBieži datu migrācijai tiek patērēts vairāk resursu, nekā plānotssākumā. Galvenās problēmas visos gadījumos ir līdzīgas, betprojekta sākumā datu īpašnieks parasti nepiekrīt, ka tās ir nozīmīgas.Datu migrācijas projekti var būt ar ļoti dažādu riska pakāpi.Smagākajos gadījumos datu migrācijas projekts var būt līdzīgsduelim – otra mēģinājuma var arī nebūt. Dažreiz ar radošāmtehniskām innovācijām var darīt brīnumus. Reizēm ir vērts jauprojekta sākumā pierunāt klientu uz kompromisiem (atteikties nodaļas datu migrācijas vai labot tos jau pēc migrācijas).
  9. 9. PROBLĒMAS UN RECEPTES Datu nepietiek vai tie ir sliktā kvalitātē– Plānojiet datu validāciju / tīrīšanu / papildināšanu Dati jāielādē un jāpārbauda ļoti ātri (piemēram, nedēļas nogalē)– Plānojiet veikt migrāciju pirms laika, tad regulāri migrēt tikai «deltas» Grūti droši notestēt migrētos datus, bet kļūdas var būtuzņēmumam kritiskas– Paralēls abu sistēmu darbs pārejas laikā. Mērķa dati ir strukturēti savādāk. Jaunā platforma neatbalstavecās datu piekļuves metodes– Gatavas receptes visiem gadījumiem var arī nebūt. Esiet radoši.
  10. 10. 10 www.ExigenServices.comDATA MIGRATION: MAINFRAME SPECIFICIssues Ways to reduce riskEBCDIC->ASCII, big/small Endian:•special arithmetic data types•sorting problemsUse specialized data conversion tools.Consider these problems by applicationdesignMainframe data access methods not availableon new platformBe creative, 1:1 redesign might not beoptimalData cleansing often underestimated Start data cleansing very early. Separatetechnical cleansing. Involve SMEs early.You can not completely isolate data migrationform overall design issuesUse iterative (or even agile) processCentralized versus distributed Use proven design patterns for newdesign, use old design as checklistNormalized versus flat, performance issues Do not over-normalize. Use smartmapping techniques for migration.SYSTEM REENGINEERING
  11. 11. DATU VALIDĀCIJA Datus var lādēt vai nu tieši tabulās / datnēs (ETL Pieeja) Vai caur aplikācija API (imitējot ievadi caur aplikāciju)– Šis ceļš ir ilgāks, bet nodrošina drošāku validāciju.Migrējot jānodrošina, ka jaunā aplikācija varēs pastrādāt ariemigrētajiem datiem. Tāpēc visi migrējamie dati jāpakļauj iespējamipilnai validācijai. Ne vienmēr mēs zinām visus validācijas likumus. Tie var būt jāpēta. Tas var prasīt lielāku vai mazāku programmēšanu. Eksistē arī gatavi rīki šādamnolūkam. Kad datu kļūdas ir atrastas, tās ir jālabo – automātiski vai ar roku. Processjāturpina tik ilgi, kamēr validācijas kritēriji ir apmierināti.
  12. 12. DATU TĪRĪŠANA / PAPILDINĀŠANA Izdaliet atsevišķi tehnisko tīrīšanu– Tehnisko tīrīšanu var veikt IT personāls– Pārējo var tikai biznesa cilvēki (SME) Tīriet datus cik agri vien var– Vislabāk aplikācijā, no kuras jāmigrē– Var būt speciālas «tīrītavas» starp jauno un veco aplikāciju– Nekritiskas kļūdas var vienoties atstāt tīrīšanai jaunajā aplikācijā. Rēķinieties ar to, ka uz daudziem jautājumiem neviens nevarēsatbildēt, ja vecajai aplikācijai ir 10 gadi vai vairāk– Dati satur daudzas pēdas – par bijušajiem biznesa procesiem, kādreizējāmkļūdām, aizmirstiem programmētāju trikiem u.t.t.Datu problēmas pēc migrācijas nedrīkst radīt uzņēmumam pārāklielus zaudējumus. Tās nedrīkst paralizēt jauno aplikāciju.
  13. 13. DATU TRANSFORMĒŠANAReizēm tas ir dabiski un viegli, reizēm ne visai.Piemērs 1: Vecajā aplikācijā produktu definīcijas ir hardkodētas Jaunā aplikācija izmanto standarta no trešās partijas nopirktu rīku produktudefinēšanai.Piemērs 2: Vecajā aplikācijā datu validācijas ir hardkodētas Jaunā aplikācija validācijām izmanto BRE (business rule engine)Plānojot projektu, jāplāno datu pārveidojumi (data mapping). Ar toparasti nodarbojas biznesa analītiķi, pārsvarā klienta cilvēki (SME), arIT cilvēku atblastu.
  14. 14. PARALĒLS ABU SISTĒMU DARBS Par katru aspektu vienai no sistēmām jābūt noteicējai (master)– Otrā sistēmā šo datu izmaiņas vēlams aizbloķēt– Jārada sinhronizācijas mehānisms– Jāizstrādā «rezerves izpletnis» Var būt grūti savilkt kopā datus no abām sistēmām– Varbūt tam jātaisa trešā sistēma. Lietotājiem jāstrādā ar 2 aplikācijām vienlaicīgi– Pieaug treniņu un atbalsta izmaksas,– Pārejas laikā zema darba efektivitāteParalēla 2 sistēmu ekspluatācija rada papildus drošību bet arīievērojamas papildus izmaksas.
  15. 15. LIELS DATU APJOMSVar gadīties, ka vajadzīgu datu apjomu nemaz nevar ielādētvajadzīgajā laika intervālā. Tad migrācija jāuzsāk ātrāk, kombinējot‘big bang’ un pakāpeniskās migrācijas metodi. Nofiksē kādu vecās sistēmas stāvokli un pakāpeniski to ielādē, laicik tas laika arī prasītu. Nākošās izmaiņas migrē kā ‘tikai izmaiņas’– Vecai aplikācijai jābūt spējīgai šīs izmaiņas iedot– Jaunajai aplikācijai jābūt spējīigai šīs izmaiņas paņemtŠī pieeja atrisina ātruma problēmu bet rada papildus izmaksas.Vēl grūtāk ir tad, ja veco aplikāciju vispār nedrīkst apturēt.
  16. 16. DATU MIGRĀCIJAS TESTĒŠANA Vislabāk testēt ar reāliem datiem, bet, iespējams, ka dati būsjāanonimizē– Neatkarīgi, vai to programmē paši vai izmanto rīkus, tas nozīmē papilduslaiku un izmaksas Ar migrētajiem datiem jātestē būtiskie biznesa scenāriji. Jātestē arī veiktspēja gan migrācijas procesam, gan arī mērķaaplikācijai ar pietiekoši daudz nomigrētiem datiem.
  17. 17. MĪTI Mani dati ir kārtībā, tie nav jālabo Atrastās datu kļūdas var viegli izlabot Es zinu, kā jāvalidē dati Dati viegli, dabiski transformējas no vienas sistēmas otrā Funkcionalitāte, kas strādā ar dabīgi ievadītiem datiem, gan jaustrādās arī ar migrētiem datiem
  18. 18. DATU MIGRĀCIJA KĀ BIZNESSŠis nav viegls bizness IT kompānijai, jo parasti nevar iztikt bez klientabiznesa zinātājiem (SME).Parastai kompānijai, kam nepieciešama migrācija, arī tas tipiski navviegls pasākums, jo trūkst zināšanu par tipiskām problēmām, kassagaida.Dažas IT kompānijas pārdod rīkus, kas var būt noderīgi datumigrācijai. Izvēloties šādus rīkus, kritiski jāizsver, vai ieguldījums tiešām atmaksāsies Dažas «datu specifiskas»rīku funkcijas:– Datu maskēšana– Datu vārdnīcas– Datu transformācija (mapping)
  19. 19. SĀKOT PROJEKTUIeteikums – samazināt datu migrācijas apjomu, cik iespējams(nelaidiet džinu ārā no pudeles!). Dažas idejas: Tikai jaunam biznesam izmantot jauno aplikāciju, lai ‘vecais bizness’ dabīgiizbeidzas vecajā aplikācijā. Nelabot datu kļūdas, kurām nav pietiekoši sliktas ietekmesIzvairieties no ‘big bang’ scenārijiem, cik iespējams. Ja tas naviespējams, paredziet pietiekošu laiku / apjomu. Strādājiet ar klientu,lai atrunātu viņu no ‘pašnāvnieciskiem scenārijiem’.Bieži kompānijas ir izsviedušas simtiem tūkstošu analīzei un pēc tamatteikušās no jaunu aplikāciju ieviešanas, jo migrācija ir par riskantu.

×