Big Data is plenty big, and it's getting bigger. By using advanced analytics, companies are figuring out how to turn that data into value, sales, and growth to beat out the competition.
McKinsey survey: European consumer sentiment survey: How current events are s...
Big Data and advanced analytics
1. MARKETING AND BIG DATA
Big Data, Better
Decisions
Tim McGuire, McKinsey & Co.
NCDM Conference, Florida, Dec. 3 – 5, 2012
3. 295 exabytes
If you stacked a pile of CD-ROMs
on top of one another
until you’d reached the current
global storage capacity
for digital information …
8. … to fill 5,955 football fields
The world’s
5oo,ooo+
data centers are large enough ...
9. The Big Data market
is set to increase from
USD 3,2oo,ooo,ooo
to
USD 16,9oo,ooo,ooo
2010 2015
10. By 2020 one third of all
data will be stored or have
passed through the cloud
and we will have created
35,ooo,ooo,ooo,ooo,ooo,ooo,ooo
bytes of data
11. 10x more servers
75x more files
50x more data
By 2020
IT departments
will be looking after
12. We have produced more data
in the last two years …
3,5oo,ooo,ooo,ooo,ooo,ooo,ooo
2010 2012
18. Tremendous opportunities
Creating transparency
Enabling experimentation
Segmenting populations
Replacing/supporting human
decision making
Innovating new business
models, products, and
services
19. Capturing value
from Advanced Analytics …
Predictive and
optimization
models
Big data
Organizational
transformation
… is based on
3 guiding principles
Decision backwards
Step by step
Test and learn
22. Regression + clustering
based on transaction
history
Predictive modeling based
on customer preferences
> 100 campaigns per year
> 2 million customers
> 10 million transactions
24. Average profit
from promoted products
Average profit
from whole basket
+ 288%
Impact
+ 147%
Control group
Test group
EUR 0.31
EUR 0.79
EUR 0.08
EUR 0.32
28. Are being offered the most
probable recommendation
Get recommendations
to generate maximum margin
Receive recommendations
from other categories to broaden
their purchase behavior
"infrequent shoppers"
"frequent shoppers"
"site lovers"
29. USD 1 billion identified
USD 300 million already realized within 6 months
Impact
40. Segment customers
based on channel
behaviour and
willingness to travel
Define branch con-cepts
(e.g., advice
branch) in line with
multi-channel strategy
0.08
FTE
Determine required
capacity by customer
and plot capacity within
micromarket using geo-marketing
methods
41. 0.08
FTE
9.2
9.4
4.3
14.1
6.4
2.4
Assess footprint risk profile
and adjust if risks are too high
42. 9.2
9.4
4.3
14.1
6.4
2.4
Optimize locations to set
up branch for success
48. Delivering
end-to-end
capabilities
Data
Models
Transformation
Data Center infrastructure to support
Tb+ datasets
Analytics Center of Competence
with state-of the-art statistics
Solutions Office (MSO) selects, modifies, builds
and implements software
IT – BTO with experience in implementing sustain-able
solutions in existing IT landscape
Process – broad expertise in ops, technology,
merchandizing, etc.
People – capability building, transformational
change, organizational design
Strategy – decades of experience in developing
and implementing strategies
49. Additional Reading
from McKinsey
Advanced Data
and Analytics
Big Data & Advanced Analytics: Success Stories
from the Front Lines
http://www.forbes.com/sites/mckinsey/2012/12/03/big-data-advanced-
analytics-success-stories-from-the-front-lines/
Making Advanced Analytics Work For You
http://cmsoforum.mckinsey.com/article/making-advanced-analytics-
work-for-you
The One Tool You Need to Make Big Data Work:
The Pencil
http://www.forbes.com/sites/mckinsey/2012/10/09/the-one-tool-you-
need-to-make-big-data-work-the-pencil/
Getting Beyond the Buzz: Is Your Social Media
Working?
http://cmsoforum.mckinsey.com/article/getting-beyond-the-buzz-
is-your-social-media-working
Simplify Big Data - Or It'll Be Useless for Sales
http://cmsoforum.mckinsey.com/article/simplify-big-data-or-itll-be-
useless-for-sales
Tesco have undergone a 20 year journey contributing to a increase in net profit Becoming insights-driven is a multiyear journeyThe journey is phased to deliver value at early stageToday "100% data", production of insights, continuous view across all aspects of the business"[insight] is used all over the business, not just in marketing but in the property programme, decisions on which product ranges to stock and in under-standing how different types of customers are responding to what we do"– Caroline Bradley, Marketing Director
Big Data: Creatively source internal and external data / Upgrade IT architecture and infrastructure for easy merging of data (Distinguish irrelevant and relevant data)Optimization Models: Focus on the biggest drivers of performance / Build models that balance complexity with ease of use (Translate data into insights)Organizational Transformation: Create simple, understandable tools for people on the front lines / Update processes and develop capabilities to enable tool use (Turn insights into impactful frontline actions)Definition of insightThe discovery of something fundamental about a consumer’s need, which business strategies and tactics can leverage to create customer value and competitive advantage3 guidingprinciples: - Decisionbackwards- Stepbystep- Test andlearnBuild the capability by starting with the business decisions you want to drive and working backwardYou need each element in place … a chain is only as strong as its weakest link“Test and learn” moves from data to decision, and from decision back to the data with which to measure the outcomeBig Data is only as relevant for a company as the business problem that it can solveBig Data projectsareprimarilybusiness initiatives andonlysecondarilytechnologyefforts
Client hadonly a rudimentarysegmentationofitscustomers, based on, forexample, genderorregion, despitesignificantdataavailabilityfromloyaltycard
WIE: Kunden klueger segmentiert und selektiert an Hand von Kaufverhalten, Verbindung einer transaktions- und kundenwertbasierten mit einer einstellungsorientierten Segmentierung für noch vollständigere Kundenprofile, Selektion von Kunden mit der höchsten Kaufwahrscheinlichkeit für bestimmte Produkte und Kampagnen, Vorhersage und Ansprache von Kunden mit hohem AbwanderungsrisikoWARUM ADVANCEDANALYTICSAND BIG DATA: Über 2 Mill Kunden, mit über 10 Mill Transaktionen, über 100 Kampagnen pro Jahr, analysiert mit Hilfe relationaler Datenbanken (MS SQL Server, IBM DB/2) und Statistiksoftware (SAS, SPSS), einige der statistischen Methoden die wir verwendet haben: Regressionsanalyse, Clustering, Multidimensional Scaling, Kundenwert- und NPTB-Modelle
WIE: Kunden klueger segmentiert und selektiert an Hand von Kaufverhalten, Verbindung einer transaktions- und kundenwertbasierten mit einer einstellungsorientierten Segmentierung für noch vollständigere Kundenprofile, Selektion von Kunden mit der höchsten Kaufwahrscheinlichkeit für bestimmte Produkte und Kampagnen, Vorhersage und Ansprache von Kunden mit hohem AbwanderungsrisikoWARUM ADVANCEDANALYTICSAND BIG DATA: Über 2 Mill Kunden, mit über 10 Mill Transaktionen, über 100 Kampagnen pro Jahr, analysiert mit Hilfe relationaler Datenbanken (MS SQL Server, IBM DB/2) und Statistiksoftware (SAS, SPSS), einige der statistischen Methoden die wir verwendet haben: Regressionsanalyse, Clustering, Multidimensional Scaling, Kundenwert- und NPTB-Modelle
IMPACT: 10 - 15% Wachstum im Umsatz von Direct Mailing (zB durch 20% erhöhte Conversions und 25% größere Warenkörbe)TRANSFORMATIONTrained client staff from day 1Restructured CLM organizationHired CRM analysts and managerCoached analytics team to segment customers and build predictive modelsin 1 roomFully integrated *McK&client( team with joint project plan and task listMcK Team used client IT systems in order to ease the implementation Rollout into additional countries done independently by client team members (McKinsey only supports)
WHATThe number of consumer products is increasing every day. The shelf space of retailers is limited.
Traditional approach would use excel sales ranking but this would not take into account substitution and uniqueness of specific skus.We found a new way to select those products that are relevant for the customer.
Traditional approach would use excel sales ranking but this would not take into account substitution and uniqueness of specific skus.We found a new way to select those products that are relevant for the customer.
Our methodology leverages advanced statistical methods like dendograms and entropy models to combine and analyze different data sets (like shopping baskets, loyalty card data, consumer panel data,...)
Our methodology leverages advanced statistical methods like dendograms and entropy models to combine and analyze different data sets (like shopping baskets, loyalty card data, consumer panel data,...)
McKinsey applies a methodology that allows us to calculate how a shoppers looks at the shelf and visualizes the decision making journey in a 'customer decision tree' (eg brand first, price level second, pack size third, functionality fourth ...). By this we can create the 'optimal product selection' and even calculate what happens if we take a product out of the shelf - how many customers walk away and how many switch to another SKU At a store level Ability to quantify business impact (based on expected volume transfers) for retailer (at store level) and manufacturerNOTE: We combine Art and Science, not just science, so there is still some Category expertise to bring to the mix for making the shelf looking good (e.g., with blocking of colors)
WAS: Analyse und Optimierung von Retail-Netzwerken, insbesondere Retail-BankenWIE: Basierend auf aktuellen Kundenstamm, demographische Faktoren und Wettbewerbsintensität wird für jeden einzelnen Store des Klienten ein optimales Store-Format zugewiesen. Interdependenzen und Kannibalisierung zwischen den Stores werden in die Optimierung einbezogen. Je nach Fokus des Klienten kann der Schwerpunkt auf Netzwerkreduktion (weniger Standorte), White-Spot Analyse (neue Standorte) oder Potentialoptimierung (gleiche Standorte besser nutzen) gelegt werden.WARUM ADVANCEDANALYTICSAND BIG DATA: In Klientensituation mit Fokus auf Potentialoptimierung Analyse von 7 Millionen Kunden und mehr als 1000 Stores. Mittels Verfahren aus der ComputationalGeometry sowie Integer Programming Techniken wurde ein Netzwerk mit mehr als 7 Milliarden potentiellen Kanten analysiert und mit Hilfe von Parallelisierungs-Techniken auf sechs Computern innerhalb von zwei Wochen berechnet.
WAS: Analyse und Optimierung von Retail-Netzwerken, insbesondere Retail-BankenWIE: Basierend auf aktuellen Kundenstamm, demographische Faktoren und Wettbewerbsintensität wird für jeden einzelnen Store des Klienten ein optimales Store-Format zugewiesen. Interdependenzen und Kannibalisierung zwischen den Stores werden in die Optimierung einbezogen. Je nach Fokus des Klienten kann der Schwerpunkt auf Netzwerkreduktion (weniger Standorte), White-Spot Analyse (neue Standorte) oder Potentialoptimierung (gleiche Standorte besser nutzen) gelegt werden.WARUM ADVANCEDANALYTICSAND BIG DATA: In Klientensituation mit Fokus auf Potentialoptimierung Analyse von 7 Millionen Kunden und mehr als 1000 Stores. Mittels Verfahren aus der ComputationalGeometry sowie Integer Programming Techniken wurde ein Netzwerk mit mehr als 7 Milliarden potentiellen Kanten analysiert und mit Hilfe von Parallelisierungs-Techniken auf sechs Computern innerhalb von zwei Wochen berechnet.
WAS: Analyse und Optimierung von Retail-Netzwerken, insbesondere Retail-BankenWIE: Basierend auf aktuellen Kundenstamm, demographische Faktoren und Wettbewerbsintensität wird für jeden einzelnen Store des Klienten ein optimales Store-Format zugewiesen. Interdependenzen und Kannibalisierung zwischen den Stores werden in die Optimierung einbezogen. Je nach Fokus des Klienten kann der Schwerpunkt auf Netzwerkreduktion (weniger Standorte), White-Spot Analyse (neue Standorte) oder Potentialoptimierung (gleiche Standorte besser nutzen) gelegt werden.WARUM ADVANCEDANALYTICSAND BIG DATA: In Klientensituation mit Fokus auf Potentialoptimierung Analyse von 7 Millionen Kunden und mehr als 1000 Stores. Mittels Verfahren aus der ComputationalGeometry sowie Integer Programming Techniken wurde ein Netzwerk mit mehr als 7 Milliarden potentiellen Kanten analysiert und mit Hilfe von Parallelisierungs-Techniken auf sechs Computern innerhalb von zwei Wochen berechnet.
WAS: Analyse und Optimierung von Retail-Netzwerken, insbesondere Retail-BankenWIE: Basierend auf aktuellen Kundenstamm, demographische Faktoren und Wettbewerbsintensität wird für jeden einzelnen Store des Klienten ein optimales Store-Format zugewiesen. Interdependenzen und Kannibalisierung zwischen den Stores werden in die Optimierung einbezogen. Je nach Fokus des Klienten kann der Schwerpunkt auf Netzwerkreduktion (weniger Standorte), White-Spot Analyse (neue Standorte) oder Potentialoptimierung (gleiche Standorte besser nutzen) gelegt werden.WARUM ADVANCEDANALYTICSAND BIG DATA: In Klientensituation mit Fokus auf Potentialoptimierung Analyse von 7 Millionen Kunden und mehr als 1000 Stores. Mittels Verfahren aus der ComputationalGeometry sowie Integer Programming Techniken wurde ein Netzwerk mit mehr als 7 Milliarden potentiellen Kanten analysiert und mit Hilfe von Parallelisierungs-Techniken auf sechs Computern innerhalb von zwei Wochen berechnet.
WAS: Analyse und Optimierung von Retail-Netzwerken, insbesondere Retail-BankenWIE: Basierend auf aktuellen Kundenstamm, demographische Faktoren und Wettbewerbsintensität wird für jeden einzelnen Store des Klienten ein optimales Store-Format zugewiesen. Interdependenzen und Kannibalisierung zwischen den Stores werden in die Optimierung einbezogen. Je nach Fokus des Klienten kann der Schwerpunkt auf Netzwerkreduktion (weniger Standorte), White-Spot Analyse (neue Standorte) oder Potentialoptimierung (gleiche Standorte besser nutzen) gelegt werden.WARUM ADVANCEDANALYTICSAND BIG DATA: In Klientensituation mit Fokus auf Potentialoptimierung Analyse von 7 Millionen Kunden und mehr als 1000 Stores. Mittels Verfahren aus der ComputationalGeometry sowie Integer Programming Techniken wurde ein Netzwerk mit mehr als 7 Milliarden potentiellen Kanten analysiert und mit Hilfe von Parallelisierungs-Techniken auf sechs Computern innerhalb von zwei Wochen berechnet.
Only McKinsey advancedanalyticscandeliveracrossentirevaluechain
…andhired a broadrangeofanalyticalexpertsfromcompanies such asIpsos, Amazon, AT&T, dunnhumby, Sprint, Citibank, eTrade~140 advanced analytics practitioners worldwideSecure data centers opening soon in AtlantaOffshoring capability in IndiaMulti-terabyte hosting environmentLogical data modelsETL, data cleansing and householdingHeuristics for matching disparate customer / household dataProprietary data sets (e.g., CLM Panel, eConsumer, etc.)
…andhired a broadrangeofanalyticalexpertsfromcompanies such asIpsos, Amazon, AT&T, dunnhumby, Sprint, Citibank, eTrade~140 advanced analytics practitioners worldwideSecure data centers opening soon in AtlantaOffshoring capability in IndiaMulti-terabyte hosting environmentLogical data modelsETL, data cleansing and householdingHeuristics for matching disparate customer / household dataProprietary data sets (e.g., CLM Panel, eConsumer, etc.)