In deze presentatie wordt de architecture Microsoft Azure Batch en R beschreven waarmee doorlooptijden van financiële calculaties in R significant teruggebracht kunnen worden van dagen naar slechts enkele uren.

1. BI in de cloud
Batch processen van dagen naar uren
Arie Twigt

2. |
Deze sessie
• BI in de cloud
• Big Data
• Microsoft Azure Batch
• Business case.
2

3. |
BI in de cloud
Business Intelligence resources die zijn geinstalleerd en runnen op een
externe server (de cloud).
(Marston et al., 2011, Benlain & Hess, 2011, Seruga & Hwang, 2012).
Voorbeelden:
Database Dashboard Clusters/VM’s
3

4. |
 Efficientie
 Business Agility
 Kostenvoordelen
 Universele toegang tot middelen
 Schaalbaarheid
4
Kansen BI in de cloud

5. |
Uitdagingen BI in de cloud
 Privacy en data controle issues
 Security en betrouwbaarheid
5

6. |
Big data?
Big data is high-volume, high-velocity and/or high-variety information assets that
demand cost-effective, innovative forms of information processing that enable
enhanced insight, decision making, and process automation.
Gartner
http://www.gartner.com/it-glossary/big-data/
In dit geval:
“Data hoeveelheden te groot om te verwerken op een enkele machine.”
6

7. |
Financiele modellen en lange wachttijden
Verwerken van financiele modellen:
• Redelijk handelbare input data (bijv. 100 MB) met data over bijv.:
• Klantportefuille beleggingen
• Hypotheken
• Toepassing (wiskundige) calculaties:
• Interpolatie
• Kasstroom projecties
• Solver/goalseek
• Tal van andere calculaties
• Veel output data:
• Bijvoorbeeld data met kasstromen
7

8. |
Is data Big Data
Big data is high-volume, high-velocity and/or high-variety information assets that
demand cost-effective, innovative forms of information processing that enable
enhanced insight, decision making, and process automation.
• De output is high-volume;
• Het gehele proces te zwaar om op een enkele computer uit te voeren;
• Verdeel de calculaties over meerdere computers
• Verzamel de uitkomsten van de computers en stel het resultaat
samen.
8

9. |
Microsoft Azure Batch Services
9Sogeti PowerPoint Referentie 2014

10. |
Waarom Azure Batch?
10
• Verdeel een grote taak in kleinere taken
• Laat kleinere taken parallel uitgevoerd
worden
• Aantal benodigde computers beschikbaar
voor taken

11. |
Het proces
Task
1
Node
1
Node
1
Node
1
Node
1
Node
1
Task
1
Task
1
Task
1
Task
1
Task
1
Task
1
Task
1
Task
1
Task
1
Dataset
100.000 records
Input dataset Job: 10 tasks
10.000 records per task
Pool: 5 nodes
2 tasks per node

12. |
Architectuur
12

13. |
4 scenario’s
Per rate
Per kasstroom
Per hypotheek
Case: Hypotheekwaarderingen
13
360
kasstromen
per
hypotheek
2 rates
per hypotheek
per kasstroom
100.000 hypotheken

14. |
Gegenereerde data
500.000 * 360 * 2 * 4 =
1.440.000.000

15. |
Onderdelen
15
input

16. |
Het proces
16

17. |
Azure Batch Explorer
17

18. |
Azure Batch Explorer – Heatmap
18

19. |
16 nodes
19

20. |
Azure Batch pool time lapse
20

21. |
Azure Storage Explorer
21

22. |
Azure SQL Data Warehouse - Polybase
22

23. |
Business case
23
• Runtijden significant teruggebracht;
• Databestanden altijd beschikbaar in de
cloud;
• Key informatie aan je vingertoppen met
Power BI op de iPad.

24. |
Cloud BI, een Big Data case
24
Efficientie: Snel en makkelijk een groot aantal computers gebruiken en weer
afsluiten
Business Agility: Door snelle doorlooptijden snel kunnen inspelen op
veranderingen in de map door snelle inzichten in resultaten
Kostenvoordelen: Betaal alleen wat je gebruikt en nodig hebt
Universele toegang tot middelen: Mogelijkheid om overal met de Microsoft
Azure credentials toegang te krijgen tot data
Schaalbaarheid: Eenvoudig capaciteit schalen voor wat nodig is

25. |
Verdeel en heers
25

26. |
Vragen?
26