Download to read offline
Uploaded byArie Twigt
BI in de cloud: Batch processen van dagen naar uren
In deze presentatie wordt de architecture Microsoft Azure Batch en R beschreven waarmee doorlooptijden van financiële calculaties in R significant teruggebracht kunnen worden van dagen naar slechts enkele uren.
![[BLUE Line] 저승사자 캠페인 Media Plan](https://cdn.slidesharecdn.com/ss_thumbnails/mediaplan0121-160121135638-thumbnail.jpg?width=640&height=640&fit=bounds)
BI in de cloud: Batch processen van dagen naar uren
- 1. BI in decloud Batch processen van dagen naar uren Arie Twigt
- 2. | Deze sessie • BIin de cloud • Big Data • Microsoft Azure Batch • Business case. 2
- 3. | BI in decloud Business Intelligence resources die zijn geinstalleerd en runnen op een externe server (de cloud). (Marston et al., 2011, Benlain & Hess, 2011, Seruga & Hwang, 2012). Voorbeelden: Database Dashboard Clusters/VM’s 3
- 4. | Efficientie BusinessAgility Kostenvoordelen Universele toegang tot middelen Schaalbaarheid 4 Kansen BI in de cloud
- 5. | Uitdagingen BI inde cloud Privacy en data controle issues Security en betrouwbaarheid 5
- 6. | Big data? Big datais high-volume, high-velocity and/or high-variety information assets that demand cost-effective, innovative forms of information processing that enable enhanced insight, decision making, and process automation. Gartner http://www.gartner.com/it-glossary/big-data/ In dit geval: “Data hoeveelheden te groot om te verwerken op een enkele machine.” 6
- 7. | Financiele modellen enlange wachttijden Verwerken van financiele modellen: • Redelijk handelbare input data (bijv. 100 MB) met data over bijv.: • Klantportefuille beleggingen • Hypotheken • Toepassing (wiskundige) calculaties: • Interpolatie • Kasstroom projecties • Solver/goalseek • Tal van andere calculaties • Veel output data: • Bijvoorbeeld data met kasstromen 7
- 8. | Is data BigData Big data is high-volume, high-velocity and/or high-variety information assets that demand cost-effective, innovative forms of information processing that enable enhanced insight, decision making, and process automation. • De output is high-volume; • Het gehele proces te zwaar om op een enkele computer uit te voeren; • Verdeel de calculaties over meerdere computers • Verzamel de uitkomsten van de computers en stel het resultaat samen. 8
- 9. | Microsoft Azure BatchServices 9Sogeti PowerPoint Referentie 2014
- 10. | Waarom Azure Batch? 10 •Verdeel een grote taak in kleinere taken • Laat kleinere taken parallel uitgevoerd worden • Aantal benodigde computers beschikbaar voor taken
- 11. | Het proces Task 1 Node 1 Node 1 Node 1 Node 1 Node 1 Task 1 Task 1 Task 1 Task 1 Task 1 Task 1 Task 1 Task 1 Task 1 Dataset 100.000 records Inputdataset Job: 10 tasks 10.000 records per task Pool: 5 nodes 2 tasks per node
- 12.
- 13. | 4 scenario’s Per rate Perkasstroom Per hypotheek Case: Hypotheekwaarderingen 13 360 kasstromen per hypotheek 2 rates per hypotheek per kasstroom 100.000 hypotheken
- 14. | Gegenereerde data 500.000 *360 * 2 * 4 = 1.440.000.000
- 15.
- 16.
- 17.
- 18. | Azure Batch Explorer– Heatmap 18
- 19.
- 20. | Azure Batch pooltime lapse 20
- 21.
- 22. | Azure SQL DataWarehouse - Polybase 22
- 23. | Business case 23 • Runtijdensignificant teruggebracht; • Databestanden altijd beschikbaar in de cloud; • Key informatie aan je vingertoppen met Power BI op de iPad.
- 24. | Cloud BI, eenBig Data case 24 Efficientie: Snel en makkelijk een groot aantal computers gebruiken en weer afsluiten Business Agility: Door snelle doorlooptijden snel kunnen inspelen op veranderingen in de map door snelle inzichten in resultaten Kostenvoordelen: Betaal alleen wat je gebruikt en nodig hebt Universele toegang tot middelen: Mogelijkheid om overal met de Microsoft Azure credentials toegang te krijgen tot data Schaalbaarheid: Eenvoudig capaciteit schalen voor wat nodig is
- 25.
- 26.