DSD-NL 2018 Delft-FEWS in het BI-landschap - De CrookDeltares
Presentatie door Roger de Crook, Hoogheemraadschap de Stichtse Rijnlanden, op de Delft-FEWS NL Gebruikersdag 2018, tijdens de Deltares Software Dagen - Editie 2018. Dinsdag, 5 juni 2018, Delft.
Ik ben achter de tekentafel gaan zitten om een plaat te maken die de plekken van samenwerking tussen de ‘drukke, rumoerige’ research kant en de ‘rustig zoemende’ dataproductie kant weergeeft. Deze afbeelding wordt in deze blog nader toegelicht.
Big Data heeft ruimte nodig, meer ruimte dan je gewend bent in je 'normale' BI-omgeving. Met ruimte bedoel ik eerder ademruimte dan opslagruimte. Het gaat bij Big data niet om hoe groot jouw Hadoop-cluster wel niet is ten opzichte van je concurrenten, maar om de manier waarop je met die Big data omgaat. Let me explain.
DSD-NL 2018 Delft-FEWS in het BI-landschap - De CrookDeltares
Presentatie door Roger de Crook, Hoogheemraadschap de Stichtse Rijnlanden, op de Delft-FEWS NL Gebruikersdag 2018, tijdens de Deltares Software Dagen - Editie 2018. Dinsdag, 5 juni 2018, Delft.
Ik ben achter de tekentafel gaan zitten om een plaat te maken die de plekken van samenwerking tussen de ‘drukke, rumoerige’ research kant en de ‘rustig zoemende’ dataproductie kant weergeeft. Deze afbeelding wordt in deze blog nader toegelicht.
Big Data heeft ruimte nodig, meer ruimte dan je gewend bent in je 'normale' BI-omgeving. Met ruimte bedoel ik eerder ademruimte dan opslagruimte. Het gaat bij Big data niet om hoe groot jouw Hadoop-cluster wel niet is ten opzichte van je concurrenten, maar om de manier waarop je met die Big data omgaat. Let me explain.
In vervolg op mijn blog van afgelopen week duiken we nog wat dieper in de strijd die lijkt op te laaien tussen aanhangers van Big Data en aanhangers van data warehouses. Als je dat nog niet gedaan hebt, is het raadzaam om het eerste deel van deze blog eerst even te lezen voordat je aan dit tweede deel begint.
20130527 jill dyche - im ronald [Dutch]Prudenza B.V
Business - IT Alignment, Information Binds them together. A talk I gave on the Data Governance Insight session with Jill Dyche @SAS-Netherlands. The presentation itself is in Dutch.
[Dutch] Deze presentatie heb ik gegeven op 27 mei 2013 op een SAS Insight seminar met Jill Dyche. Onderwerp; Business-IT alignment, Information binds them together
Met de centralisatie van de opslag maken steeds meer en verschillende applicaties en systemen hiervan gebruik met ieder hun eigen karakateristieken in IO. Bij aanschaf en inrichting wordt echter vaak, om het beheer te vereenvoudigen gekozen voor een 'one-size-fits-all' oplossing. Niet zelden gaat dit echter wringen waardoor er prestatie problemen in de service ontstaan. Met het doorlichten van de centrale opslag kunnen deze bottleneck snel inzichtelijk gemaakt worden en verbeteringen aangebracht zodat reeds gemaakte investeringen beter en langer renderen.
Presentation was held at the Meet-the-Press event, March 22nd 2013 in Hoofddorp The Netherlands. Presenters were Marcel Warmerdam from The METISfiles and Ruud Aleards from Keala Consulting
Stand van zaken, positie en de NORA discussie over metainformatie en metadata bij de e-overheid
Emile van der Maas Stelselarchitect, Kenniscentrum e-overheid
19-09-07
In vervolg op mijn blog van afgelopen week duiken we nog wat dieper in de strijd die lijkt op te laaien tussen aanhangers van Big Data en aanhangers van data warehouses. Als je dat nog niet gedaan hebt, is het raadzaam om het eerste deel van deze blog eerst even te lezen voordat je aan dit tweede deel begint.
20130527 jill dyche - im ronald [Dutch]Prudenza B.V
Business - IT Alignment, Information Binds them together. A talk I gave on the Data Governance Insight session with Jill Dyche @SAS-Netherlands. The presentation itself is in Dutch.
[Dutch] Deze presentatie heb ik gegeven op 27 mei 2013 op een SAS Insight seminar met Jill Dyche. Onderwerp; Business-IT alignment, Information binds them together
Met de centralisatie van de opslag maken steeds meer en verschillende applicaties en systemen hiervan gebruik met ieder hun eigen karakateristieken in IO. Bij aanschaf en inrichting wordt echter vaak, om het beheer te vereenvoudigen gekozen voor een 'one-size-fits-all' oplossing. Niet zelden gaat dit echter wringen waardoor er prestatie problemen in de service ontstaan. Met het doorlichten van de centrale opslag kunnen deze bottleneck snel inzichtelijk gemaakt worden en verbeteringen aangebracht zodat reeds gemaakte investeringen beter en langer renderen.
Presentation was held at the Meet-the-Press event, March 22nd 2013 in Hoofddorp The Netherlands. Presenters were Marcel Warmerdam from The METISfiles and Ruud Aleards from Keala Consulting
Stand van zaken, positie en de NORA discussie over metainformatie en metadata bij de e-overheid
Emile van der Maas Stelselarchitect, Kenniscentrum e-overheid
19-09-07
2. ,
Vertaling voor “datameer”
Centrale opslagplaats die de big data van de bronen in
oorspronkelijk formaat bewaart tot dat bedrijven ze gebruiken.
Alleen maar gegevens gestructureerd, semi-gestructureerd,
ongestructureerd met flexibileit om ze in de toekomst te
gebruiken.
Nuttige inzichten voor maatwerk aan behoeften van de klant te
voldoen.
WAT?
3. WAT?
Het bevat honderden terabytes of petabytes om
gesimuleerde gegevens op te slaan uit operationele
bronnen, waaronder databases en SaaS-platforms.
Kan gebruikt worden als een bronplatform dat
gegevensopslag en ondersteuningstools mogelijk maakt om
gegevens te begrijpen door middel van snelle verkenning
voor geavanceerde analyses.
Door de lage kosten van dataopslag hoeft de opslag niet
direct verbonden te zijn aan een concreet doel.
5. .
BEDRIJFTOEPASSINGEN
/
PRODUCTTOEPASSINGEN
Cloud
o Zo worden databases voorzien van mogelijkheden om
ongestructureerde data te lezen en combineren met de
aanwezige gestructureerde data.
Delta lake
o Open-sourceproject waarmee een lakehouse-
architectuur kan worden gebouwd bovenop bestaande
opslagsystemen zoals S3, ADLS, GCS en HDFS.
Personal DataLake van Cardiff University
o Heeft tot doel big data van individuele gebruikers te
beheren door één enkel punt te bieden voor het
verzamelen, organiseren en delen van persoonlijke
gegevens.
6. ;
Niet disruptief in de nabije toekomst
Primaire gebruikers blijven belangrijk omdat ze over de
juiste expertise beschikken om de date eruit te halen en je
effectief voor de organistatie in te zetten.
o Vb: Data scientist, data engineer, analist
Helaas hebben de meeste datameren geen goed bestuur,
beschikken ze niet over de tools en vaardigheden om grote
hoeveelheden ongelijksoortige data te verwerken, en veel
hebben geen overtuigende businesscase.
Met alle ruwe data die erin stroomt, is het ontzettend lastig
om de datakwalitiet te bepalen, laat staan te bewaken.
DISRUPTIEF?
8. .
GARTNER
Rood veel risico’s
Gegevens kunnen in het datameer worden geplaatst
zonder toezicht op de inhoud.
Zonder beschrijvende metadata en een mechanisme om
deze te onderhouden, dreigt het datameer in een
datamoeras te veranderen.
Middelgrote bol Nuttiger voor bedrijf
Het elimineert de initiële kosten van gegevensopname,
zoals transformatie.
Flexibiliteit en toegankelijkheid voor data-analyse.
9. .
1. /
2. Lamiya, F. R. (2021, 19 oktober). IT Explained: What Is a Data Lake? TechAcute.
Geraadpleegd op 1 december 2021, van https://techacute.com/data-lake/
3. Het Data Lake | Business Intelligence That Works! (z.d.). Het Data lake.
Geraadpleegd op 1 december 2021, van http://www.bithatworks.nl/datalake
4. Lamiya, F. R. (2021, 19 oktober). IT Explained: What Is a Data Lake? TechAcute.
Geraadpleegd op 1 december 2021, van https://techacute.com/data-lake/
5. Delta Lake. (2020, 23 augustus). Delta Lake - Reliable Data Lakes at Scale.
Geraadpleegd op 1 december 2021, van https://delta.io/
6. Pouw, D. (2021, 29 september). 6 redenen om géén data lake aan te leggen.
Passionned Group. Geraadpleegd op 2 december 2021, van
https://www.passionned.be/6-redenen-om-geen-data-lake-aan-te-leggen/
7. Gartner Says Beware of the Data Lake Fallacy. (2014, 28 juli). Gartner.
Geraadpleegd op 2 december 2021, van
https://www.gartner.com/en/newsroom/press-releases/2014-07-28-gartner-
says-beware-of-the-data-lake-fallacy
Ismail, N. (2018, 18 juni). Don’t drown in a data lake. Information Age.
Geraadpleegd op 2 december 2021, van https://www.information-
age.com/dont-drown-data-lake-123466667/
BRON-
VERMELDING
Editor's Notes
ebeurt de opslag zonder speciale structuur. Een enorme hoeveelheid gegevens worden in ruwe en originele vorm centraal opgeslagen