Informatica provides the market's leading data integration platform. Tested on nearly 500,000 combinations of platforms and applications, the data integration platform inter operates with the broadest possible range of disparate standards, systems, and applications. This unbiased and universal view makes Informatica unique in today's market as a leader in the data integration platform. It also makes Informatica the ideal strategic platform for companies looking to solve data integration issues of any size.
Modernizing Integration with Data VirtualizationDenodo
Watch full webinar here: https://bit.ly/3CMqS0E
Today, businesses have more data and data types combined with more complex ecosystems than they have ever had before. Examples include on-premise data marts, data warehouses, data lakes, applications, spreadsheets, IoT data, sensor data, unstructured, etc. combined with cloud data ecosystems like Snowflake, Big Query, Azure Synapse, Amazon S3, Redshift, Databricks, SaaS apps, such as Salesforce, Oracle, Service Now, Workday, and on and on.
Data, Analytics, Data Science and Architecture teams are struggling to provide the business users with the right data as quickly and efficiently as possible to quickly enable Analytics, Dashboards, BI, Reports, etc. Unfortunately, many enterprises seek to meet this pressing need by utilizing antiquated and legacy 40+ year-old approaches. There is a better way. Proven by thousands of other companies.
As Forrester so astutely reported in their recent Total Economic Impact Study, companies who employed Data Virtualization reported a “65% decrease in data delivery times over ETL” and an “83% reduction in time to new revenue.”
Join us for this very educational webinar to learn firsthand from Denodo Technologies and Fusion Alliance how:
- Data Virtualization helps your company save time and money by eliminating superfluous ETL pipelines and data replication.
- Data Virtualization can become the cornerstone of your modern data approach to deliver data faster and more efficiently than old legacy approaches at enterprise scale.
- How quickly and easily, Data Virtualization can scale, even in the most complex environments, to create a universal abstraction semantic model(s) for all of your cloud, on premise, structured, unstructured and hybrid data
- Data Mesh and Data Fabric architecture patterns for maximum reuse
- Other customers have used, and are using, Data Virtualization to tackle their toughest data integration and data delivery challenges
- Fusion Alliance can help you define a data strategy tailored to your organization’s needs and requirements, and how they can help you achieve success and enable your business with self-service capabilities
CDMP Overview Professional Information Management CertificationChristopher Bradley
Overview of the DAMA Certified Data Management Professional (CDMP) examination.
Session presented at DAMA Australia November 2013
chris.bradley@dmadvisors.co.uk
This presentation explains what data engineering is and describes the data lifecycles phases briefly. I used this presentation during my work as an on-demand instructor at Nooreed.com
Informatica provides the market's leading data integration platform. Tested on nearly 500,000 combinations of platforms and applications, the data integration platform inter operates with the broadest possible range of disparate standards, systems, and applications. This unbiased and universal view makes Informatica unique in today's market as a leader in the data integration platform. It also makes Informatica the ideal strategic platform for companies looking to solve data integration issues of any size.
Modernizing Integration with Data VirtualizationDenodo
Watch full webinar here: https://bit.ly/3CMqS0E
Today, businesses have more data and data types combined with more complex ecosystems than they have ever had before. Examples include on-premise data marts, data warehouses, data lakes, applications, spreadsheets, IoT data, sensor data, unstructured, etc. combined with cloud data ecosystems like Snowflake, Big Query, Azure Synapse, Amazon S3, Redshift, Databricks, SaaS apps, such as Salesforce, Oracle, Service Now, Workday, and on and on.
Data, Analytics, Data Science and Architecture teams are struggling to provide the business users with the right data as quickly and efficiently as possible to quickly enable Analytics, Dashboards, BI, Reports, etc. Unfortunately, many enterprises seek to meet this pressing need by utilizing antiquated and legacy 40+ year-old approaches. There is a better way. Proven by thousands of other companies.
As Forrester so astutely reported in their recent Total Economic Impact Study, companies who employed Data Virtualization reported a “65% decrease in data delivery times over ETL” and an “83% reduction in time to new revenue.”
Join us for this very educational webinar to learn firsthand from Denodo Technologies and Fusion Alliance how:
- Data Virtualization helps your company save time and money by eliminating superfluous ETL pipelines and data replication.
- Data Virtualization can become the cornerstone of your modern data approach to deliver data faster and more efficiently than old legacy approaches at enterprise scale.
- How quickly and easily, Data Virtualization can scale, even in the most complex environments, to create a universal abstraction semantic model(s) for all of your cloud, on premise, structured, unstructured and hybrid data
- Data Mesh and Data Fabric architecture patterns for maximum reuse
- Other customers have used, and are using, Data Virtualization to tackle their toughest data integration and data delivery challenges
- Fusion Alliance can help you define a data strategy tailored to your organization’s needs and requirements, and how they can help you achieve success and enable your business with self-service capabilities
CDMP Overview Professional Information Management CertificationChristopher Bradley
Overview of the DAMA Certified Data Management Professional (CDMP) examination.
Session presented at DAMA Australia November 2013
chris.bradley@dmadvisors.co.uk
This presentation explains what data engineering is and describes the data lifecycles phases briefly. I used this presentation during my work as an on-demand instructor at Nooreed.com
Enterprise Data Integration for Microsoft Dynamics CRMDaniel Cai
This is the deck that I used for my presentation for XrmVirtual on Apr 9, 2013, which discusses various options that you may have for Microsoft Dynamics CRM data migration and integration.
DataOps - The Foundation for Your Agile Data ArchitectureDATAVERSITY
Achieving agility in data and analytics is hard. It’s no secret that most data organizations struggle to deliver the on-demand data products that their business customers demand. Recently, there has been much hype around new design patterns that promise to deliver this much sought-after agility.
In this webinar, Chris Bergh, CEO and Head Chef of DataKitchen will cut through the noise and describe several elegant and effective data architecture design patterns that deliver low errors, rapid development, and high levels of collaboration. He’ll cover:
• DataOps, Data Mesh, Functional Design, and Hub & Spoke design patterns;
• Where Data Fabric fits into your architecture;
• How different patterns can work together to maximize agility; and
• How a DataOps platform serves as the foundational superstructure for your agile architecture.
Data Architecture, Solution Architecture, Platform Architecture — What’s the ...DATAVERSITY
A solid data architecture is critical to the success of any data initiative. But what is meant by “data architecture”? Throughout the industry, there are many different “flavors” of data architecture, each with its own unique value and use cases for describing key aspects of the data landscape. Join this webinar to demystify the various architecture styles and understand how they can add value to your organization.
HA/DR options with SQL Server in Azure and hybridJames Serra
What are all the high availability (HA) and disaster recovery (DR) options for SQL Server in a Azure VM (IaaS)? Which of these options can be used in a hybrid combination (Azure VM and on-prem)? I will cover features such as AlwaysOn AG, Failover cluster, Azure SQL Data Sync, Log Shipping, SQL Server data files in Azure, Mirroring, Azure Site Recovery, and Azure Backup.
The world of data architecture began with applications. Next came data warehouses. Then text was organized into a data warehouse.
Then one day the world discovered a whole new kind of data that was being generated by organizations. The world found that machines generated data that could be transformed into valuable insights. This was the origin of what is today called the data lakehouse. The evolution of data architecture continues today.
Come listen to industry experts describe this transformation of ordinary data into a data architecture that is invaluable to business. Simply put, organizations that take data architecture seriously are going to be at the forefront of business tomorrow.
This is an educational event.
Several of the authors of the book Building the Data Lakehouse will be presenting at this symposium.
Data Catalogs Are the Answer – What Is the Question?DATAVERSITY
Organizations with governed metadata made available through their data catalog can answer questions their people have about the organization’s data. These organizations get more value from their data, protect their data better, gain improved ROI from data-centric projects and programs, and have more confidence in their most strategic data.
Join Bob Seiner for this lively webinar where he will talk about the value of a data catalog and how to build the use of the catalog into your stewards’ daily routines. Bob will share how the tool must be positioned for success and viewed as a must-have resource that is a steppingstone and catalyst to governed data across the organization.
In this webinar, Bob will focus on:
-Selecting the appropriate metadata to govern
-The business and technical value of a data catalog
-Building the catalog into people’s routines
-Positioning the data catalog for success
-Questions the data catalog can answer
The Modern Data Team for the Modern Data Stack: dbt and the Role of the Analy...Databricks
A traditional data team has roles including data engineer, data scientist, and data analyst. However, many organizations are finding success by integrating a new role – the analytics engineer. The analytics engineer develops a code-based data infrastructure that can serve both analytics and data science teams. He or she develops re-usable data models using the software engineering practices of version control and unit testing, and provides the critical domain expertise that ensures that data products are relevant and insightful. In this talk we’ll talk about the role and skill set of the analytics engineer, and discuss how dbt, an open source programming environment, empowers anyone with a SQL skillset to fulfill this new role on the data team. We’ll demonstrate how to use dbt to build version-controlled data models on top of Delta Lake, test both the code and our assumptions about the underlying data, and orchestrate complete data pipelines on Apache Spark™.
More and more organizations are moving their ETL workloads to a Hadoop based ELT grid architecture. Hadoop`s inherit capabilities, especially it`s ability to do late binding addresses some of the key challenges with traditional ETL platforms. In this presentation, attendees will learn the key factors, considerations and lessons around ETL for Hadoop. Areas such as pros and cons for different extract and load strategies, best ways to batch data, buffering and compression considerations, leveraging HCatalog, data transformation, integration with existing data transformations, advantages of different ways of exchanging data and leveraging Hadoop as a data integration layer. This is an extremely popular presentation around ETL and Hadoop.
Reference matter data management:
Two categories of structured data :
Master data: is data associated with core business entities such as customer, product, asset, etc.
Transaction data: is the recording of business transactions such as orders in manufacturing, loan and credit card payments in banking, and product sales in retail.
Reference data: is any kind of data that is used solely to categorize other data found in a database, or solely for relating data in a database to information beyond the boundaries of the enterprise .
Introduction to Data Virtualization (session 1 from Packed Lunch Webinar Series)Denodo
This first session in a series of six ‘Packed Lunch’ webinars provides an overview of Data Virtualization technology, its applications and how it is adding business value to organizations around the world.
More information and FREE registrations to this webinar: http://goo.gl/z7mq2S
Landing page for the entire Packed Lunch webinar series: http://goo.gl/NATMHw
Attend & get unique insights into:
What Data Virtualization is and what sets it apart from traditional integration tools
How it both complements and leverages existing enterprise architectures
The Denodo Data Virtualization platform and its capabilities
Creating a Data validation and Testing StrategyRTTS
Creating A Data Validation & Testing Strategy
Are you struggling with formulating a strategy for how to validate the massive amount of data continuously entering your data warehouse or data lake?
We can help you!
Learn how RTTS’ Data Validation Assessment provides:
- an evaluation of your current data validation process
- recommendations on how to improve your process and
- a proposal for successful implementation
This slide deck addresses the following issues:
- How do I find out if I have bad data?
- How do I ensure I am testing the proper data permutations?
- How much of my data needs to be validated and automated?
- Which critical data endpoints need to be tested?
- How do I test data in my cloud environments?
And much more!
For more information, visit:
https://www.rttsweb.com/services/solutions/data-validation-assessment
Nubank embraces company-wide data usage as an important competitive advantage.
In this presentation I give an overview of our current data infrastructure, how we create ETL jobs, what data tools we use and which internal services are provided by the data team.
This was originally presented on the São Paulo Machine Learning Meetup, December 2018; the deck is in english
Find Anything In Your APEX App - Fuzzy Search with Oracle TextCarsten Czarski
Ever had a requirement to add fuzzy search to your APEX application ...? And did you know that Oracle Database and APEX provide everything you need?
This Application Express Office Hours session will show how to provide error-tolerant searching to your end users using Application Express and the Oracle TEXT database feature. Oracle TEXT allows to build just one Index for all your data and it provides linguistic and fuzzy search capabilities. The APEX Interactive Grid component allows to declaratively integrate such an index - however, other APEX components can leverage Oracle TEXT as well. The session will show how to build the Oracle Text index and how to use it with various APEX components. Tips and Tricks for practical usage will wrap the session up.
Benchmark rapport 2014 - Projectinformatie in optima formaCTB xRM
Om antwoorden te krijgen op tal van vragen rondom projectinformatie, heeft CTB xRM in 2014 een benchmark
uitgevoerd. Dit hebben wij voor u gedaan, maar ook om onze eigen marktkennis verder te verbreden. De resultaten
vindt u in dit rapport. Het zijn belangrijke thema’s waar projectmatig werkende bedrijven in de bouw, techniek en offshore tegenwoordig mee te maken hebben. Bedrijven die ontwerpen, adviseren, bouwen, installeren, uitvoeren, innoveren, ontwikkelen, plannen en onderhouden.
In deze webinar neemt Gerlinde Oversluizen u mee op reis en geeft u handvatten om de eerste stappen te zetten naar uw eigen digitale fabriek.
Tijdens deze sessie kwamen de volgende vragen aan bod:
Wat is een digital factory?
Bij welke problemen kunnen digital factory concepten helpen?
Enterprise Data Integration for Microsoft Dynamics CRMDaniel Cai
This is the deck that I used for my presentation for XrmVirtual on Apr 9, 2013, which discusses various options that you may have for Microsoft Dynamics CRM data migration and integration.
DataOps - The Foundation for Your Agile Data ArchitectureDATAVERSITY
Achieving agility in data and analytics is hard. It’s no secret that most data organizations struggle to deliver the on-demand data products that their business customers demand. Recently, there has been much hype around new design patterns that promise to deliver this much sought-after agility.
In this webinar, Chris Bergh, CEO and Head Chef of DataKitchen will cut through the noise and describe several elegant and effective data architecture design patterns that deliver low errors, rapid development, and high levels of collaboration. He’ll cover:
• DataOps, Data Mesh, Functional Design, and Hub & Spoke design patterns;
• Where Data Fabric fits into your architecture;
• How different patterns can work together to maximize agility; and
• How a DataOps platform serves as the foundational superstructure for your agile architecture.
Data Architecture, Solution Architecture, Platform Architecture — What’s the ...DATAVERSITY
A solid data architecture is critical to the success of any data initiative. But what is meant by “data architecture”? Throughout the industry, there are many different “flavors” of data architecture, each with its own unique value and use cases for describing key aspects of the data landscape. Join this webinar to demystify the various architecture styles and understand how they can add value to your organization.
HA/DR options with SQL Server in Azure and hybridJames Serra
What are all the high availability (HA) and disaster recovery (DR) options for SQL Server in a Azure VM (IaaS)? Which of these options can be used in a hybrid combination (Azure VM and on-prem)? I will cover features such as AlwaysOn AG, Failover cluster, Azure SQL Data Sync, Log Shipping, SQL Server data files in Azure, Mirroring, Azure Site Recovery, and Azure Backup.
The world of data architecture began with applications. Next came data warehouses. Then text was organized into a data warehouse.
Then one day the world discovered a whole new kind of data that was being generated by organizations. The world found that machines generated data that could be transformed into valuable insights. This was the origin of what is today called the data lakehouse. The evolution of data architecture continues today.
Come listen to industry experts describe this transformation of ordinary data into a data architecture that is invaluable to business. Simply put, organizations that take data architecture seriously are going to be at the forefront of business tomorrow.
This is an educational event.
Several of the authors of the book Building the Data Lakehouse will be presenting at this symposium.
Data Catalogs Are the Answer – What Is the Question?DATAVERSITY
Organizations with governed metadata made available through their data catalog can answer questions their people have about the organization’s data. These organizations get more value from their data, protect their data better, gain improved ROI from data-centric projects and programs, and have more confidence in their most strategic data.
Join Bob Seiner for this lively webinar where he will talk about the value of a data catalog and how to build the use of the catalog into your stewards’ daily routines. Bob will share how the tool must be positioned for success and viewed as a must-have resource that is a steppingstone and catalyst to governed data across the organization.
In this webinar, Bob will focus on:
-Selecting the appropriate metadata to govern
-The business and technical value of a data catalog
-Building the catalog into people’s routines
-Positioning the data catalog for success
-Questions the data catalog can answer
The Modern Data Team for the Modern Data Stack: dbt and the Role of the Analy...Databricks
A traditional data team has roles including data engineer, data scientist, and data analyst. However, many organizations are finding success by integrating a new role – the analytics engineer. The analytics engineer develops a code-based data infrastructure that can serve both analytics and data science teams. He or she develops re-usable data models using the software engineering practices of version control and unit testing, and provides the critical domain expertise that ensures that data products are relevant and insightful. In this talk we’ll talk about the role and skill set of the analytics engineer, and discuss how dbt, an open source programming environment, empowers anyone with a SQL skillset to fulfill this new role on the data team. We’ll demonstrate how to use dbt to build version-controlled data models on top of Delta Lake, test both the code and our assumptions about the underlying data, and orchestrate complete data pipelines on Apache Spark™.
More and more organizations are moving their ETL workloads to a Hadoop based ELT grid architecture. Hadoop`s inherit capabilities, especially it`s ability to do late binding addresses some of the key challenges with traditional ETL platforms. In this presentation, attendees will learn the key factors, considerations and lessons around ETL for Hadoop. Areas such as pros and cons for different extract and load strategies, best ways to batch data, buffering and compression considerations, leveraging HCatalog, data transformation, integration with existing data transformations, advantages of different ways of exchanging data and leveraging Hadoop as a data integration layer. This is an extremely popular presentation around ETL and Hadoop.
Reference matter data management:
Two categories of structured data :
Master data: is data associated with core business entities such as customer, product, asset, etc.
Transaction data: is the recording of business transactions such as orders in manufacturing, loan and credit card payments in banking, and product sales in retail.
Reference data: is any kind of data that is used solely to categorize other data found in a database, or solely for relating data in a database to information beyond the boundaries of the enterprise .
Introduction to Data Virtualization (session 1 from Packed Lunch Webinar Series)Denodo
This first session in a series of six ‘Packed Lunch’ webinars provides an overview of Data Virtualization technology, its applications and how it is adding business value to organizations around the world.
More information and FREE registrations to this webinar: http://goo.gl/z7mq2S
Landing page for the entire Packed Lunch webinar series: http://goo.gl/NATMHw
Attend & get unique insights into:
What Data Virtualization is and what sets it apart from traditional integration tools
How it both complements and leverages existing enterprise architectures
The Denodo Data Virtualization platform and its capabilities
Creating a Data validation and Testing StrategyRTTS
Creating A Data Validation & Testing Strategy
Are you struggling with formulating a strategy for how to validate the massive amount of data continuously entering your data warehouse or data lake?
We can help you!
Learn how RTTS’ Data Validation Assessment provides:
- an evaluation of your current data validation process
- recommendations on how to improve your process and
- a proposal for successful implementation
This slide deck addresses the following issues:
- How do I find out if I have bad data?
- How do I ensure I am testing the proper data permutations?
- How much of my data needs to be validated and automated?
- Which critical data endpoints need to be tested?
- How do I test data in my cloud environments?
And much more!
For more information, visit:
https://www.rttsweb.com/services/solutions/data-validation-assessment
Nubank embraces company-wide data usage as an important competitive advantage.
In this presentation I give an overview of our current data infrastructure, how we create ETL jobs, what data tools we use and which internal services are provided by the data team.
This was originally presented on the São Paulo Machine Learning Meetup, December 2018; the deck is in english
Find Anything In Your APEX App - Fuzzy Search with Oracle TextCarsten Czarski
Ever had a requirement to add fuzzy search to your APEX application ...? And did you know that Oracle Database and APEX provide everything you need?
This Application Express Office Hours session will show how to provide error-tolerant searching to your end users using Application Express and the Oracle TEXT database feature. Oracle TEXT allows to build just one Index for all your data and it provides linguistic and fuzzy search capabilities. The APEX Interactive Grid component allows to declaratively integrate such an index - however, other APEX components can leverage Oracle TEXT as well. The session will show how to build the Oracle Text index and how to use it with various APEX components. Tips and Tricks for practical usage will wrap the session up.
Benchmark rapport 2014 - Projectinformatie in optima formaCTB xRM
Om antwoorden te krijgen op tal van vragen rondom projectinformatie, heeft CTB xRM in 2014 een benchmark
uitgevoerd. Dit hebben wij voor u gedaan, maar ook om onze eigen marktkennis verder te verbreden. De resultaten
vindt u in dit rapport. Het zijn belangrijke thema’s waar projectmatig werkende bedrijven in de bouw, techniek en offshore tegenwoordig mee te maken hebben. Bedrijven die ontwerpen, adviseren, bouwen, installeren, uitvoeren, innoveren, ontwikkelen, plannen en onderhouden.
In deze webinar neemt Gerlinde Oversluizen u mee op reis en geeft u handvatten om de eerste stappen te zetten naar uw eigen digitale fabriek.
Tijdens deze sessie kwamen de volgende vragen aan bod:
Wat is een digital factory?
Bij welke problemen kunnen digital factory concepten helpen?
Benchmark onder Nederlandse organisaties over het gebruik van shadow IT in relatie tot productiviteitsverbetering en veilig werken. Hoe gaan organisaties om met dit fenomeen, wat zijn de kansen en waar liggen de valkuilen.
[Dutch] Data: Van Innovatie naar WaardePrudenza B.V
Een artikel gepubliceerd in Automatiseringsgids op 22 oktober 2015. Het beschrijft wat er nodig is om innovaties op het gebied van data science/data discovery, om te zetten naar herhaalbare, op schaal, robuuste en veilige oplossingen.
De digitale wereld verandert continu, met data en technologie in het middelpunt van de ontwikkelingen. Het digitale marketing kanaal is voor steeds meer organisaties een vitaal onderdeel van de waardeketen. Dat vraagt om onderbouwde strategische beslissingen. Keuzes gemaakt vanuit de zekerheid die data biedt en gebruikmakend van innovatieve technologie om die data te activeren.
We helpen organisaties als Heineken en Roche Diagnostics om in dit speelveld competitief voordeel te ontwikkelen. Met doordachte data gedreven strategieën en ook creativiteit, gebruikmakend van innovatie technologieën. Alles gericht op de vergroting van waarde voor als de waarde van de klanten van onze opdrachtgevers in het digitale kanaal.
Rachel van Staalduinen vertelt welke innovaties bij de klanten Heineken en Roche Diagnostics op het gebied van data, marketing en technologie als groeiversneller werken!
Big, Smart, Small, Good, Usable, en zelfs Dark data: allemaal buzzwords die ons de laatste jaren om de oren vlogen. Het lijkt wel alsof iedereen onmiddellijk aan de slag moet met de in de diepste kerkers verborgen data en hier met zekerheid ongelooflijke voordelen uit zal halen. De realiteit? Die ligt toch nét iets anders.
Propositie en Klantcase Digitale TransformatieRuurd Portman
Dit document beschrijft mijn propositie op Digitale Transformatie. Verder bevat het een klantcase die een indruk geeft van een Digital Transformation Plan.
Net als voor zoveel ICT geldt, is het ook voor Marketing Intelligence belangrijk om een gedegen toolkeuze uit te voeren. Spring niet gelijk met de eerste de beste softwareleverancier in bed, maar overweeg verschillende opties. Behalve dat elke tool bepaalde sterktes en zwaktes kent, moet je er vooral op letten dat een tool past binnen jouw bedrijf en in je bestaande applicatielandschap. Zoals eerder gezegd moeten de systemen voor kanalen, sales en marketing naadloos met elkaar communiceren om een goed commercieel inbound proces te faciliteren.
De Toekomst Verkenner is een ‘award winning’ innovatie van PGGM, die in een rap temp doorontwikkeling naar een platform maakt.
In zijn presentatie zal Mladen Sančanin vertellen hoe PGGM real time data en algoritmes heeft ingezet om dit platform te bouwen en hoe PGGM innovaties vanuit haar ‘Big Data Lab’ ondersteunt?
In een half uur worden veel ervaringen gedeeld over het opzetten van innovatieprojecten gebruik makend van data en het inrichten van data lab in een corporate omgeving.
DDMA 3 maart 2009 Pieter Vijn over Data GovernanceDDMA
Prof. Dr. Pieter Vijn, professor integrated marketing communication Nyenrode Business Universiteit gaat in op het belang van Data Governance in relatie tot marketingmanagement. Hij stelt dat de kansen cq mogelijkheden om de datakwaliteit binnen het bedrijf te organiseren, gespiegeld is aan hoe een bedrijf is georganiseerd. Wanneer tussen diverse afdelingen frictie bestaat, blijft het schieten met los zand. NAW gegevens is slechts een element van datakwaliteit. Datakwaliteit is een strategische asset met de daartoe behorende kansen, risicofactoren, strategische consequenties et cetera. Data is niet zomaar een adresje. Desalniettemin is datakwaliteit vaak een te klein begrip en is het van belang om het begrip te herpositioneren om het strategisch belang te laten inzien.
Sas insight sessie data management - Data Quadrant ModelPrudenza B.V
This is a presentation I gave May 19th, 2015 at the SAS Insight session 'A Data Driven Reality' which announced the new SAS magazine dedicated to data management. It featured an interview with me about the Data Quadrant Model
Idq summit2014 ronald damhof - it's all about the dataPrudenza B.V
"It's all about the data, a managerial perspective" - these are the slides of the presentations I gave at Data Modeling Zone 2014 in Hamburg and at the International Data Quality Summit in Richmond (VA) 2014.
20130527 jill dyche - im ronald [Dutch]Prudenza B.V
Business - IT Alignment, Information Binds them together. A talk I gave on the Data Governance Insight session with Jill Dyche @SAS-Netherlands. The presentation itself is in Dutch.
[Dutch] Deze presentatie heb ik gegeven op 27 mei 2013 op een SAS Insight seminar met Jill Dyche. Onderwerp; Business-IT alignment, Information binds them together
Tdwi agile data warehouse - dv, what is the buzz aboutPrudenza B.V
This is the presentation I did on TDWI EU in Munich - date; june 22nd, 2012. It is about a robust, agile and reliable way of deploying data warehouse environments. The majority of data warehouses in the Netherlands is Data Vault based now which instigated a wave of innovation of engineers and software vendors that pursued model driven development based on pattern based ETL,standardized modeling and a certain architectural style.
[Dutch] Data Health Care: hoe je data in goede gezondheid te krijgenPrudenza B.V
This is a conference I did together with Wouter van Aerle from DeltIQ Group in the Netherlands. The conference was focused on healthcare (it was hosted by UMCG - a hospital in Groningen).
This is a closing speech I gave beginning of 2012 on the yearly Heliview conference in the Netherlands. It is about stating that analytics - as such - is worthless.....unless...
Data Vault automation conference - all presentationsPrudenza B.V
All the presentations that were held at the Data Vault automation conference (October 6th 2011). Organized by Ronald Damhof, Tom Breur and Simone Molenaar (DIKW).
We had 110 attendees, 8 sponsors.
1. Ronald
Damhof
ONAFHANKELIJK
CONSULTANT
INFORMATIE
MANAGEMENT
2524
“Maak
datamanagement
bespreekbaar
in de hele
organisatie”
Onafhankelijk consultant
Informatie Management
Ronald Damhof ontwikkelde
het Datakwadrantenmodel
Het vakgebied datamanagement staat bol van het jargon. De meeste
business managers hebben geen idee wat al die termen betekenen,
laat staan dat ze hen helpen te snappen welke data nu precies welke
waarde hebben en hoe ze hiermee moeten omgaan. Om een bedrijfsbrede
discussie over data mogelijk te maken, ontwikkelde Ronald Damhof het
Datakwadrantenmodel.
INTERVIEWINTERVIEW
2. 2726
Damhof werkt als onafhankelijk consultant Informatie Management voor grote organisaties zoals
Ahold, De Nederlandsche Bank, de Belastingdienst, Alliander en vele organisaties in de financiële
sector en de gezondheidzorg. Het zijn data-intensieve organisaties die steeds beter beseffen dat de
kwaliteit van hun werk in toenemende mate wordt bepaald door de kwaliteit van hun data. Maar
hoe kom je vanuit dat besef tot een goede datastrategie? Een strategie die iedereen in de organisatie
snapt, van de bestuurder in de boardroom tot aan de engineer bij ICT?
Om het onderwerp datamanagement bespreekbaar te maken, ontwikkelde Damhof een kwadranten-
model.
To push or to pull?
Damhof begint met het uitleggen van een begrip dat iedereen in het voortgezet onderwijs wel voor-
bij heeft zien komen: het klantorderontkoppelpunt. Dit heeft betrekking op de mate waarin de vraag
impact heeft op het productieproces. Als voorbeeld noemt hij het maken van een luxueus jacht. Het
productieproces begint pas als de order van de klant bekend is. Het klantorderontkoppelpunt ligt bij
de start van het productieproces. Daartegenover staan bijvoorbeeld lucifers. Als een klant lucifers wil
hebben, gaat hij naar de supermarkt en koopt hij ze. Als hij zwarte lucifers wil, heeft hij pech gehad.
Het klantorderontkoppelpunt ligt helemaal aan het eind van het productieproces. De productie van
een auto echter heeft een standaardgedeelte en een maatwerkgedeelte. De klant kan nog aangeven
dat hij een specifieke kleur wil, leren bekleding, andere velgen et cetera. Het klantorderontkoppel-
punt ligt ergens in midden van het productieproces. Damhof: “Ook met het maken van een rapport,
dashboard of analytische omgeving is er sprake van een klantorderontkoppelpunt dat ergens in dat
midden ligt.”
Het klantorderontkoppelpunt splitst het productieproces in twee stukken: een push- en een pull-
kant, ook wel een aanbodgedreven deel en een vraaggedreven deel. Pushsystemen zijn erop gericht
schaalvoordelen te halen bij toename van volume en vraag, waarbij de (data)kwaliteit van het
product gewaarborgd blijft. Aan de andere kant zijn er pullsystemen die vraaggedreven zijn. Verschil-
lende type gebruikers willen vanuit hun eigen expertise en context de data kneden tot ‘hun’ product,
hun waarheid.
Opportunistisch of systematisch ontwikkelen?
Op de Y-as projecteert Damhof de dimensie ontwikkelstijl. “Daarmee bedoel ik: hoe ontwikkel je een
informatieproduct? Dat kun je systematisch doen; dan zijn de gebruiker en de ontwikkelaar twee
verschillende personen en pas je een defensieve governance toe, gericht op controle en compliance.
Alles wat engineers hebben geleerd om software op gedegen wijze voort te brengen wordt hier in
praktijk gebracht. Je ziet dit vaak bij gecentraliseerde, bedrijfsbreed toegepaste data, bijvoorbeeld
financiële data en data die aan toezichthouders wordt gerapporteerd.”
Je kunt ook een opportunistische ontwikkelstijl gebruiken. “In dat geval zijn de ontwikkelaar en de
gebruiker vaak één en dezelfde persoon. Denk aan de data scientist die wil innoveren met data, die
analytische modellen wil maken en wil beproeven. Denk ook aan situaties waar snelheid van levering
essentieel is. De governance is hierbij offensief, dat wil zeggen dat de focus ligt op flexibiliteit en aan-
pasbaarheid.”
Hoe kom je tot een datastrategie?
The Data Push Pull Point The Development Style
INTERVIEWINTERVIEW
Push/Supply/Source driven
• Mass deployment
• Control > Agility
• Repeatable & predictable processes
• Standardized processes
• High level of automation
• Relatively high IT/Data expertise
All facts, fully temporal Truth, Interpretation, Context
• Piece deployment
• Agility > Control
• User-friendliness
• Relatively low IT expertise
• Domain expertise essential
Business Rules Downstream
Pull/Demand/Product driven Systematic
• User and developer are separated
• Defensive Governance; focus on control and compliance
• Strong focus on non-functionals; auditability, robustness, traceability, ….
• Centralised and organisation-wide information domain
• Configured and controlled deployment environment (dev/tst/acc/prod)
• User and developer are the same person or closely related
• Offensive governance; focus on adaptability & agility
• Decentralised, personal/workgroup/department/theme information domain
• All deployment is done in production
Opportunistic
3. 2928
Datakwadrantenmodel
Gecombineerd leveren deze twee dimensies het volgende plaatje op.
Damhof: “In kwadrant I vindt je de keiharde feiten. Deze data kan in haar volle ruwe omvang op
begrijpelijke wijze ter beschikking worden gesteld aan de kwadranten II en IV. Data in kwadrant I
worden geproduceerd door sterk gestandaardiseerde systemen en processen, zodat ze volstrekt voor-
spelbaar en repeteerbaar zijn.”
Daar diagonaal tegenover, in kwadrant IV, staan data die worden gekenmerkt door innovatie en
prototyping. “In dit kwadrant werken de data scientists, die eigenlijk maar drie dingen vragen:
data, computerkracht en coole software.” Steeds vaker worden er aparte afdelingen als Innovation
Labs opgezet om data scientist volop te laten experimenteren en analyseren met de data. Met als
doel innovatie. “Je hebt dit type datamanagement nodig om goede ideeën op te doen en te testen.
Als iets werkt, dan is het vervolgens zaak om dit concept vanuit het vierde kwadrant omhoog te
krijgen naar het tweede kwadrant, want pas als je de data systematisch kunt genereren en analy-
seren dan kun je er ook schaalvoordelen mee behalen in je business. Dan kun je ze bedrijfsbreed
gaan toepassen.”
Damhof gaat verder: “Te vaak spreek ik data scientists die hele gave inzichten verkrijgen in een soort
sandbox omgeving. Maar ze vergeten of zijn niet in staat die inzichten ten gelde te maken in een pro-
ductiesituatie. Ze krijgen hun inzichten maar niet van kwadrant IV naar kwadrant II. Hier komt gover-
nance om de hoek kijken.” En daar ligt voor veel organisaties de grote uitdaging, weet Damhof. “Als
je managers dit model uitlegt en vraagt waar hun prioriteit ligt, dan zeggen ze allemaal dat ze eerst
het fundament op orde moeten maken, het eerste kwadrant. Maar vraag je waar ze hun geld nu in
investeren, waar ze nu innoveren, dan is het vaak in het vierde kwadrant. Dat ze zich bezighouden
met deze meer experimentele en exploratieve vorm van datamanagement is mooi, maar dat kan pas
als je fundament klopt. Anders heb je een hypermodern toilet dat niet is aangesloten op het riool, dat
wordt dus een hele vieze bende.”
Vraag de gemiddelde data scientist wat hem het meeste tijd kost en zijn antwoord zal zijn om de
data op het juiste kwalitatieve niveau te krijgen. Laat dit nu net het doel van kwadrant I zijn. “Een
data scientist met krachtige analytische software, veel computerkracht én hoogwaardige data gaat
pas echt een verschil maken.”
Betrouwbaarheid versus flexibiliteit
“Managers willen nog wel eens roepen dat systemen betrouwbaar en flexibel moeten zijn, maar dit
zijn communicerende vaten. En heel betrouwbaar en robuust systeem is minder flexibel. En bij een
extreem flexibel systeem moeten de eisen ten aanzien van de betrouwbaarheid worden verlaagd”,
vertelt Damhof. “Het Datakwadrantenmodel maakt dit voor managers inzichtelijk. In kwadrant I gaat
betrouwbaarheid boven flexibiliteit en in kwadrant II en IV gaat flexibiliteit boven betrouwbaarheid.”
Er zijn dan ook nogal wat verschillende soorten expertise en competenties nodig om data optimaal te
kunnen uitnutten.
Expertise en competenties
Je ziet vaak dat organisaties van één persoon expertise en competenties vragen die het gehele kwa-
drant afdekken. Die mensen zijn er niet. Medewerkers in kwadrant I hebben een engineering profiel.
Het zijn informatie- en data engineers, opgeleid in data-architectuur en data modellering. “Let op, dit
is dus niet het klassieke IT profiel. Dit zijn engineers die model-gedreven kunnen ontwikkelen en de
noodzaak van conceptueel en logisch modelleren goed begrijpen.” Deze expertise is zeer schaars. Daar
staan de kwadranten II en IV tegenover. “Daar zijn mensen nodig met een expertise in het betreffende
business domein aangevuld met Business Intelligence-competenties en/of analytische competenties.”
Feiten en waarheid
Damhof noemt kwadrant I van het model ook wel ‘the single version of the facts’. Die feiten worden
vervolgens ter beschikking gesteld van medewerkers in kwadrant II en IV. Zij kunnen daarmee hun
“Nu organisaties steeds meer data genereren,
kunnen ze hier niet langer slordig mee omgaan.
Dit is dé tijd om datamanagement en de daarbij
behorende governance goed op poten te zetten.
Het Datakwadrantenmodel helpt daarbij”
Ronald Damhof
A Data Deployment Quadrant
INTERVIEWINTERVIEW
Systematic
Opportunistic
Development
Style
Data Push/
Pull Point Pull/Demand/Product drivenPush/Supply/Source driven
IVIII
III
“Shadow IT,
Incubation,
Ad-hoc,
Once off”
Facts Context
Research,
Innovation &
Prototyping
Design
4. 3130
eigen waarheden maken. Omdat in deze rechterhelft van het model dezelfde feiten worden gebruikt
om meerdere waarheden te creëren – afhankelijk van de context en de achtergrond van de gebruiker
van de data – noemt Damhof deze helft wel ‘the multiple version of the truth’. Bedenk daarbij ook
dat de ‘truth’ over tijd nogal eens verandert. Damhof: “Je hoort bedrijven vaak praten over ‘the single
version of the truth’, maar die bestaat helemaal niet. Het hangt van de context, jouw zienswijze, ach-
tergrondkennis en ervaringen af hoe je bepaalde feiten interpreteert.”
Kwadrant III
Het kwadrant dat weinig genoemd is, maar wel ongelooflijk belangrijk is, is kwadrant III. Het is het
kwadrant van databronnen die niet onder governance staan. Een ad-hoc download die je doet van
een Open Data Provider, een lijstje in Excel dat je wilt gebruiken, een set van contra informatie die je
op een cd hebt ontvangen. Damhof: “Sterker nog, misschien wil je in dit kwadrant wel governed data
uit kwadrant I combineren met een eigen dataset in kwadrant IV, prima!”
De reis door de kwadranten
Om waarde uit data te halen kun je verschillende bewegingen maken in het model. Je kunt van een
op feiten gebaseerd datamanagement toegroeien naar een model waarin ook de context belangrijk
is (van kwadrant I naar II). “Eigenlijk is dit de klassieke reis van ‘ontsluit data en maak een informa-
tieproduct”, zegt Damhof. Dit werkt echter vaak slecht omdat dit traject uitgaat van bekende eisen
en wensen van de gebruiker. “En dat weet die gebruiker echt niet van te voren.” Veel organisaties
kiezen voor een meer agile gedreven vorm. Van kwadrant I naar kwadrant IV naar kwadrant II. Laat
de medewerkers in kwadrant IV op iteratieve wijze met de data in kwadrant I/III komen tot een
informatieproduct. En alleen als het van belang is om dit onder beheer te brengen, dan promoveer je
het product naar kwadrant II.
Het is ook mogelijk om vanuit kwadrant III te bewegen naar IV. “Je hebt je eigen datasetjes en je wilt
wat proberen? Prima…”, zo zegt Damhof. De enige beweging die een organisatie nooit en te nimmer
mag maken is die van kwadrant III naar kwadrant II. “Want in dat geval gebruik je data waarvan je
niet helemaal zeker bent omdat er geen goede governance op wordt toegepast op een manier die
wel om die governance vraagt. Een voorbeeld is een compliance rapport voor de toezichthouder dat
je wilt maken met data waar geen governance op staat. Dat moet je niet willen.”
Maak datamanagement bespreekbaar
Damhof merkt in zijn dagelijkse praktijk dat zijn datakwadrantenmodel organisaties helpt om te pra-
ten over datamanagement. “Bij mijn huidige klant, De Nederlandsche Bank, hoor ik tegenwoordig
regelmatig de kreten: ‘ik wil dit dataproduct graag van kwadrant IV naar kwadrant II brengen’, ‘we
moeten eerst de data in kwadrant I zetten’, ‘degene die de data aanlevert is toch echt verantwoorde-
lijk voor de data in kwadrant I’, ‘ik wil wat ruimte om data in kwadrant III tijdelijk op te slaan’. Ieder-
een weet dan wat dat betekent. Dat is nieuw, op die manier heeft de organisatie nog nooit over data
nagedacht. En dat geldt eigenlijk voor vrijwel ieder data-intensief bedrijf. Organisaties praten al heel
lang over ‘data als een asset’, maar in de praktijk gaan ze op een heel ongestructureerde manier met
data om, waardoor ze die asset nooit ten gelde maken. Nu organisaties steeds meer data genereren,
kunnen ze niet langer zo slordig ermee omgaan. Dit is dé tijd om datamanagement goed op poten te
zetten. Het datakwadrantenmodel helpt daarbij.” ■
“Binnen organisaties gaat het vaak over ‘the
single version of the truth’, maar die bestaat
helemaal niet. Er is een ‘single version of the
facts’ en er zijn meerdere ‘truths’”
Ronald Damhof
How we produce, process variants
INTERVIEW
Systematic
Opportunistic
Development
Style
DataPush/
Pull Point Pull/Demand/Product drivenPush/Supply/Source driven
IVIII
III
“Shadow IT,
Incubation,
Ad-hoc,
Once off”
Facts Context
Research,
Innovation &
Design