April 25, 2013 www.ExigenServices.comDATU MIGRĀCIJA PRAKSĒ:PIEEJAS UN PROBLĒMASValdis Prodnieks,valdis.prodnieks@exigenser...
KĀPĒC JĀMIGRĒ? GALVENIE IEMESLIŠajā lekcijā runājam tikai par biznesa IT sistēmāmBiznesa motivētas pārmaiņas: Uzņēmuma da...
3 www.ExigenServices.comREASONS FOR MODERNIZATIONMotivating factors: Reductions in IT budget Requirements to reduce lice...
4 www.ExigenServices.comMODERNIZATION PROCESSASSESS TRANSFORM MANAGEAssessment of the Existing ITInfrastructureAnalysis of...
DATU MIGRĀCIJA IR TIKAI DAĻA ...Citas migrējamās daļas var būt, piemēram: Biznesa aplikācijas un pieejas Biznesa procesi...
SITUĀCIJAS NOVĒRTĒŠANA PIRMS PROJEKTASaprast veco un jauno biznesa procesu, to atbilstībuJaunā / vecā datu vārdnīca Vai t...
MIGRĒJAMIE DATI Datu bāzes– Ne visas datu bāzes bija / ir / būs relāciju DB Datnes– Ne visas datnes ir tik vienkāršas kā...
IZAICINĀJUMIBieži datu migrācijai tiek patērēts vairāk resursu, nekā plānotssākumā. Galvenās problēmas visos gadījumos ir ...
PROBLĒMAS UN RECEPTES Datu nepietiek vai tie ir sliktā kvalitātē– Plānojiet datu validāciju / tīrīšanu / papildināšanu D...
10 www.ExigenServices.comDATA MIGRATION: MAINFRAME SPECIFICIssues Ways to reduce riskEBCDIC->ASCII, big/small Endian:•spec...
DATU VALIDĀCIJA Datus var lādēt vai nu tieši tabulās / datnēs (ETL Pieeja) Vai caur aplikācija API (imitējot ievadi caur...
DATU TĪRĪŠANA / PAPILDINĀŠANA Izdaliet atsevišķi tehnisko tīrīšanu– Tehnisko tīrīšanu var veikt IT personāls– Pārējo var ...
DATU TRANSFORMĒŠANAReizēm tas ir dabiski un viegli, reizēm ne visai.Piemērs 1: Vecajā aplikācijā produktu definīcijas ir ...
PARALĒLS ABU SISTĒMU DARBS Par katru aspektu vienai no sistēmām jābūt noteicējai (master)– Otrā sistēmā šo datu izmaiņas ...
LIELS DATU APJOMSVar gadīties, ka vajadzīgu datu apjomu nemaz nevar ielādētvajadzīgajā laika intervālā. Tad migrācija jāuz...
DATU MIGRĀCIJAS TESTĒŠANA Vislabāk testēt ar reāliem datiem, bet, iespējams, ka dati būsjāanonimizē– Neatkarīgi, vai to p...
MĪTI Mani dati ir kārtībā, tie nav jālabo Atrastās datu kļūdas var viegli izlabot Es zinu, kā jāvalidē dati Dati viegl...
DATU MIGRĀCIJA KĀ BIZNESSŠis nav viegls bizness IT kompānijai, jo parasti nevar iztikt bez klientabiznesa zinātājiem (SME)...
SĀKOT PROJEKTUIeteikums – samazināt datu migrācijas apjomu, cik iespējams(nelaidiet džinu ārā no pudeles!). Dažas idejas:...
Upcoming SlideShare
Loading in...5
×

Datu migrācija

569
-1

Published on

Published in: Business
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
569
On Slideshare
0
From Embeds
0
Number of Embeds
2
Actions
Shares
0
Downloads
5
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide
  • Modernization is an expensive and risky action. There are several different motivating factors, they could be contradictoryDifferent stakeholders with different interestsThe success of modernization project can not be measured by one measurable indicator, but different and contradictory ones. To find what is the result we would like to achieve, the right balance between goals / factors / success indicators should be defined and agreed
  • The process to stay in control being impacted by not complete understanding of situation in begin of project / requirements / interests / ACCESS – improve initial understanding of situation TRANSFORM – plan and implement changesMANAGE (transformation project)– identify troubles, react on changing situationMANAGE (system) – just phase after system is implemented
  • Datu migrācija

    1. 1. April 25, 2013 www.ExigenServices.comDATU MIGRĀCIJA PRAKSĒ:PIEEJAS UN PROBLĒMASValdis Prodnieks,valdis.prodnieks@exigenservices.com
    2. 2. KĀPĒC JĀMIGRĒ? GALVENIE IEMESLIŠajā lekcijā runājam tikai par biznesa IT sistēmāmBiznesa motivētas pārmaiņas: Uzņēmuma daļu standartizācija / uzņēmumu pārpirkšana Standartproduktu ieviešana / atteikšanās no standartproduktiem Biznesa procesu izmaiņasTehniski motivētas pārmaiņas: Izmaiņas piegādātāja dēļ– Vecās versijas vairs netiek uzturētas vai kļūst nepieņemama cenu politika– piegādātājs var bankrotēt vai tikt nopirkts Tehniskās infrastruktūras optimizācija
    3. 3. 3 www.ExigenServices.comREASONS FOR MODERNIZATIONMotivating factors: Reductions in IT budget Requirements to reduce licensing costs Requirements to reduce the high maintenance costs of legacy systems Changes in regulatory environments Discontinuation of vendor support Shrinking IT labor pool Mergers and acquisitions Requirements for quick time-to-market when implementing new features Improve productivity Launch of new products and services IT infrastructure expansion Growth in workloads, data volumes, and document processingrequirements
    4. 4. 4 www.ExigenServices.comMODERNIZATION PROCESSASSESS TRANSFORM MANAGEAssessment of the Existing ITInfrastructureAnalysis of the Total Cost ofOwnership and ROIRisk analysisTransformation PlanningInfrastructure andApplication DesignMigration ServicesSystem monitoring,management, andsupport, includingperformance tuning andsecurity audits
    5. 5. DATU MIGRĀCIJA IR TIKAI DAĻA ...Citas migrējamās daļas var būt, piemēram: Biznesa aplikācijas un pieejas Biznesa procesi Operētājsistēma Programmēšanas valodas Datu bāzes vadības sistēmas (ne visas bija / ir / būs relāciju DB) Arhitektūras modelis (piem. Servisorientēta arhitektūra) Aparatūra (sava, īrēta vai mākonī) Dažādu veidu «middleware», piemēram,– Biznesa procesu vadības sistēmas (BPMS)– Back office automatizācija (job scheduler, JCL)– Ziņapmaiņas sistēmas (piemēram Apache MQ)– . . .
    6. 6. SITUĀCIJAS NOVĒRTĒŠANA PIRMS PROJEKTASaprast veco un jauno biznesa procesu, to atbilstībuJaunā / vecā datu vārdnīca Vai tādu vispār iespējams iegūt? Vai eksistē ‘cross-references’? Vai ir zināmas nepieciešamās datu validācijas? Ko darīt, ja viss ir konfigurējams?Vai biznesa loģika vecajā aplikācijā ir saprotama?
    7. 7. MIGRĒJAMIE DATI Datu bāzes– Ne visas datu bāzes bija / ir / būs relāciju DB Datnes– Ne visas datnes ir tik vienkāršas kā teksta faili Citi datiPar maz ir tikai nomigrēt tabulas / datnes. Pēc migrācijas biznesaprocesam, kas sākts vecajā aplikācijā, jāvar korekti nobeigtiesjaunajā aplikācijā.
    8. 8. IZAICINĀJUMIBieži datu migrācijai tiek patērēts vairāk resursu, nekā plānotssākumā. Galvenās problēmas visos gadījumos ir līdzīgas, betprojekta sākumā datu īpašnieks parasti nepiekrīt, ka tās ir nozīmīgas.Datu migrācijas projekti var būt ar ļoti dažādu riska pakāpi.Smagākajos gadījumos datu migrācijas projekts var būt līdzīgsduelim – otra mēģinājuma var arī nebūt. Dažreiz ar radošāmtehniskām innovācijām var darīt brīnumus. Reizēm ir vērts jauprojekta sākumā pierunāt klientu uz kompromisiem (atteikties nodaļas datu migrācijas vai labot tos jau pēc migrācijas).
    9. 9. PROBLĒMAS UN RECEPTES Datu nepietiek vai tie ir sliktā kvalitātē– Plānojiet datu validāciju / tīrīšanu / papildināšanu Dati jāielādē un jāpārbauda ļoti ātri (piemēram, nedēļas nogalē)– Plānojiet veikt migrāciju pirms laika, tad regulāri migrēt tikai «deltas» Grūti droši notestēt migrētos datus, bet kļūdas var būtuzņēmumam kritiskas– Paralēls abu sistēmu darbs pārejas laikā. Mērķa dati ir strukturēti savādāk. Jaunā platforma neatbalstavecās datu piekļuves metodes– Gatavas receptes visiem gadījumiem var arī nebūt. Esiet radoši.
    10. 10. 10 www.ExigenServices.comDATA MIGRATION: MAINFRAME SPECIFICIssues Ways to reduce riskEBCDIC->ASCII, big/small Endian:•special arithmetic data types•sorting problemsUse specialized data conversion tools.Consider these problems by applicationdesignMainframe data access methods not availableon new platformBe creative, 1:1 redesign might not beoptimalData cleansing often underestimated Start data cleansing very early. Separatetechnical cleansing. Involve SMEs early.You can not completely isolate data migrationform overall design issuesUse iterative (or even agile) processCentralized versus distributed Use proven design patterns for newdesign, use old design as checklistNormalized versus flat, performance issues Do not over-normalize. Use smartmapping techniques for migration.SYSTEM REENGINEERING
    11. 11. DATU VALIDĀCIJA Datus var lādēt vai nu tieši tabulās / datnēs (ETL Pieeja) Vai caur aplikācija API (imitējot ievadi caur aplikāciju)– Šis ceļš ir ilgāks, bet nodrošina drošāku validāciju.Migrējot jānodrošina, ka jaunā aplikācija varēs pastrādāt ariemigrētajiem datiem. Tāpēc visi migrējamie dati jāpakļauj iespējamipilnai validācijai. Ne vienmēr mēs zinām visus validācijas likumus. Tie var būt jāpēta. Tas var prasīt lielāku vai mazāku programmēšanu. Eksistē arī gatavi rīki šādamnolūkam. Kad datu kļūdas ir atrastas, tās ir jālabo – automātiski vai ar roku. Processjāturpina tik ilgi, kamēr validācijas kritēriji ir apmierināti.
    12. 12. DATU TĪRĪŠANA / PAPILDINĀŠANA Izdaliet atsevišķi tehnisko tīrīšanu– Tehnisko tīrīšanu var veikt IT personāls– Pārējo var tikai biznesa cilvēki (SME) Tīriet datus cik agri vien var– Vislabāk aplikācijā, no kuras jāmigrē– Var būt speciālas «tīrītavas» starp jauno un veco aplikāciju– Nekritiskas kļūdas var vienoties atstāt tīrīšanai jaunajā aplikācijā. Rēķinieties ar to, ka uz daudziem jautājumiem neviens nevarēsatbildēt, ja vecajai aplikācijai ir 10 gadi vai vairāk– Dati satur daudzas pēdas – par bijušajiem biznesa procesiem, kādreizējāmkļūdām, aizmirstiem programmētāju trikiem u.t.t.Datu problēmas pēc migrācijas nedrīkst radīt uzņēmumam pārāklielus zaudējumus. Tās nedrīkst paralizēt jauno aplikāciju.
    13. 13. DATU TRANSFORMĒŠANAReizēm tas ir dabiski un viegli, reizēm ne visai.Piemērs 1: Vecajā aplikācijā produktu definīcijas ir hardkodētas Jaunā aplikācija izmanto standarta no trešās partijas nopirktu rīku produktudefinēšanai.Piemērs 2: Vecajā aplikācijā datu validācijas ir hardkodētas Jaunā aplikācija validācijām izmanto BRE (business rule engine)Plānojot projektu, jāplāno datu pārveidojumi (data mapping). Ar toparasti nodarbojas biznesa analītiķi, pārsvarā klienta cilvēki (SME), arIT cilvēku atblastu.
    14. 14. PARALĒLS ABU SISTĒMU DARBS Par katru aspektu vienai no sistēmām jābūt noteicējai (master)– Otrā sistēmā šo datu izmaiņas vēlams aizbloķēt– Jārada sinhronizācijas mehānisms– Jāizstrādā «rezerves izpletnis» Var būt grūti savilkt kopā datus no abām sistēmām– Varbūt tam jātaisa trešā sistēma. Lietotājiem jāstrādā ar 2 aplikācijām vienlaicīgi– Pieaug treniņu un atbalsta izmaksas,– Pārejas laikā zema darba efektivitāteParalēla 2 sistēmu ekspluatācija rada papildus drošību bet arīievērojamas papildus izmaksas.
    15. 15. LIELS DATU APJOMSVar gadīties, ka vajadzīgu datu apjomu nemaz nevar ielādētvajadzīgajā laika intervālā. Tad migrācija jāuzsāk ātrāk, kombinējot‘big bang’ un pakāpeniskās migrācijas metodi. Nofiksē kādu vecās sistēmas stāvokli un pakāpeniski to ielādē, laicik tas laika arī prasītu. Nākošās izmaiņas migrē kā ‘tikai izmaiņas’– Vecai aplikācijai jābūt spējīgai šīs izmaiņas iedot– Jaunajai aplikācijai jābūt spējīigai šīs izmaiņas paņemtŠī pieeja atrisina ātruma problēmu bet rada papildus izmaksas.Vēl grūtāk ir tad, ja veco aplikāciju vispār nedrīkst apturēt.
    16. 16. DATU MIGRĀCIJAS TESTĒŠANA Vislabāk testēt ar reāliem datiem, bet, iespējams, ka dati būsjāanonimizē– Neatkarīgi, vai to programmē paši vai izmanto rīkus, tas nozīmē papilduslaiku un izmaksas Ar migrētajiem datiem jātestē būtiskie biznesa scenāriji. Jātestē arī veiktspēja gan migrācijas procesam, gan arī mērķaaplikācijai ar pietiekoši daudz nomigrētiem datiem.
    17. 17. MĪTI Mani dati ir kārtībā, tie nav jālabo Atrastās datu kļūdas var viegli izlabot Es zinu, kā jāvalidē dati Dati viegli, dabiski transformējas no vienas sistēmas otrā Funkcionalitāte, kas strādā ar dabīgi ievadītiem datiem, gan jaustrādās arī ar migrētiem datiem
    18. 18. DATU MIGRĀCIJA KĀ BIZNESSŠis nav viegls bizness IT kompānijai, jo parasti nevar iztikt bez klientabiznesa zinātājiem (SME).Parastai kompānijai, kam nepieciešama migrācija, arī tas tipiski navviegls pasākums, jo trūkst zināšanu par tipiskām problēmām, kassagaida.Dažas IT kompānijas pārdod rīkus, kas var būt noderīgi datumigrācijai. Izvēloties šādus rīkus, kritiski jāizsver, vai ieguldījums tiešām atmaksāsies Dažas «datu specifiskas»rīku funkcijas:– Datu maskēšana– Datu vārdnīcas– Datu transformācija (mapping)
    19. 19. SĀKOT PROJEKTUIeteikums – samazināt datu migrācijas apjomu, cik iespējams(nelaidiet džinu ārā no pudeles!). Dažas idejas: Tikai jaunam biznesam izmantot jauno aplikāciju, lai ‘vecais bizness’ dabīgiizbeidzas vecajā aplikācijā. Nelabot datu kļūdas, kurām nav pietiekoši sliktas ietekmesIzvairieties no ‘big bang’ scenārijiem, cik iespējams. Ja tas naviespējams, paredziet pietiekošu laiku / apjomu. Strādājiet ar klientu,lai atrunātu viņu no ‘pašnāvnieciskiem scenārijiem’.Bieži kompānijas ir izsviedušas simtiem tūkstošu analīzei un pēc tamatteikušās no jaunu aplikāciju ieviešanas, jo migrācija ir par riskantu.
    1. A particular slide catching your eye?

      Clipping is a handy way to collect important slides you want to go back to later.

    ×