Unleash the power of Big Data in your existing Data Warehouse

1,142 views

Published on

This talk was held at the 9th meeting on September 23rd by Harro Wiersma.

Published in: Technology, Business
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
1,142
On SlideShare
0
From Embeds
0
Number of Embeds
3
Actions
Shares
0
Downloads
0
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Unleash the power of Big Data in your existing Data Warehouse

  1. 1. WHT/082311     Unleash  the  power  of  Big  Data  in   your  legacy  Data  Warehouse     Harro  M.  Wiersma  M.Sc.   Big  Data  Guy  
  2. 2. WHT/082311   §  Harro M. Wiersma §  born 1976 in Groningen, the Netherlands §  Master of Science – University of Phoenix (AZ) Computer Information Systems §  past: contractor (DBA / Project Management / Team Management) §  Manager Database IKEA / Technical Lead Infrastructure Engineering Sunrise / §  Department Head Service Engineering Opitz Consulting CH §  Head of IT Data Warehouse at PostFinance §  current: Big Data Guy – looking for nice challenges §  main  focus  area‘s:  Telecom,  Finance  and  Retail.   §  hobby‘s:  golf,  whisky,  freelance  sound  engineer  and  tv  producer.   §  contact: h@rro.wiersma.info WHO  AM  I   ©  2013  Harro  M.  Wiersma  –  23  September  2013  –  Swiss  Big  Data  Usergroup  Zürich  
  3. 3. WHT/082311   MAIN  PROBLEM  –  A  CLEAR  VIEW   how can we prevent to get different results from different systems about the same KPI’s?   how  can  we  use  our  own  data   to   support  our  opera+onal  processes?   ©  2013  Harro  M.  Wiersma  –  23  September  2013  –  Swiss  Big  Data  Usergroup  Zürich  
  4. 4. WHT/082311   KEEP  A  STRAIGHT  FOCUS   ©  2013  Harro  M.  Wiersma  –  23  September  2013  –  Swiss  Big  Data  Usergroup  Zürich  
  5. 5. WHT/082311   BIG  DATA  OR  RIGHT  DATA   I‘m  not  interested  in  technology.   I‘m  not  interested  in  data.     I  am  interested  in  translaRng  data  into  informaRon  for   decision  making.   ©  2013  Harro  M.  Wiersma  –  23  September  2013  –  Swiss  Big  Data  Usergroup  Zürich  
  6. 6. WHT/082311   MORE  DATA,  WAY  MORE  DATA   ©  2013  Harro  M.  Wiersma  –  23  September  2013  –  Swiss  Big  Data  Usergroup  Zürich  
  7. 7. WHT/082311   TRACK  TWEETS  ...   ©  2013  Harro  M.  Wiersma  –  23  September  2013  –  Swiss  Big  Data  Usergroup  Zürich  
  8. 8. WHT/082311   TRACK  EMOTIONS  ...   ©  2013  Harro  M.  Wiersma  –  23  September  2013  –  Swiss  Big  Data  Usergroup  Zürich   www.realeyesit.com  
  9. 9. WHT/082311   TRACK  MOVEMENTS  ...   ©  2013  Harro  M.  Wiersma  –  23  September  2013  –  Swiss  Big  Data  Usergroup  Zürich   www.retailnext.net  
  10. 10. WHT/082311   CURRENT  DWH  CHALLENGES   §  load-to-report, very unflexibile §  longer nightly loads – is the night still long enough? §  does the project-requester still now why (s)he needed the data when finally delivered, or has an alternative solution been created in the meanwhilea? §  several different „sources-of-truth“ ... §  how can we process these vast amounts of data? §  how to implement new sources of untraditional data? ©  2013  Harro  M.  Wiersma  –  23  September  2013  –  Swiss  Big  Data  Usergroup  Zürich  
  11. 11. WHT/082311   BIG  DATA  CHALLENGES   ©  2013  Harro  M.  Wiersma  –  23  September  2013  –  Swiss  Big  Data  Usergroup  Zürich  
  12. 12. WHT/082311   bDWH  –  BRINGING  BUSINESS  AND  IT  STRATEGIES  TOGETHER     Leveraging  untradiRonal  sources,  social  media  and  transacRonal  data  to  gain  the   elusive  360  degree  view  of  the  customer  and  your  business.   ©  2013  Harro  M.  Wiersma  –  23  September  2013  –  Swiss  Big  Data  Usergroup  Zürich  
  13. 13. WHT/082311   TRADITIONAL  DWH  INFRASTRUCTURE   ©  2013  Harro  M.  Wiersma  –  23  September  2013  –  Swiss  Big  Data  Usergroup  Zürich  
  14. 14. WHT/082311   TRADITIONAL  DWH  INFRASTRUCTURE ©  2013  Harro  M.  Wiersma  –  23  September  2013  –  Swiss  Big  Data  Usergroup  Zürich  
  15. 15. WHT/082311   LET’S  SIMPLIFY  THIS  MESS  …   ©  2013  Harro  M.  Wiersma  –  23  September  2013  –  Swiss  Big  Data  Usergroup  Zürich  
  16. 16. WHT/082311   …  AND  BRING  BIG  DATA  INTO  THE  WAREHOUSE   ©  2013  Harro  M.  Wiersma  –  23  September  2013  –  Swiss  Big  Data  Usergroup  Zürich  
  17. 17. WHT/082311   THE  POWER  OF  BIG  DATA  –  THE  bDWH  CONCEPT   ©  2013  Harro  M.  Wiersma  –  23  September  2013  –  Swiss  Big  Data  Usergroup  Zürich  
  18. 18. WHT/082311   §  IT  does  knows  data  and  infrastructure  (only)   §  Business  knows  the  intelligence  to  be  applied  to  the  data  to  derive  value   §  Business  knows  how  to  discover  data  pa;erns  (manual  and  automated)  –   Data  ScienRsts   §  Business  understands  their  seman+cs  beVer   §  Business  can  perform  data  interroga+on  in  an  experiment  and  associate  rules   of  engagement  early  on  for  data  usefulness   §  IT  can  create  reusable  reports  of  these  experimental  results.   §  Business  can  siX  the  data  to  curate  the  context   §  Big  Data  needs  to  be  curated  to  be  useful   The  bDWH  concept  brings  Business  and  IT  together  to  create     added  value   IN  WHAT  DOES  THE  bDWH  CONCEPT  DIFFER   ©  2013  Harro  M.  Wiersma  –  23  September  2013  –  Swiss  Big  Data  Usergroup  Zürich  
  19. 19. WHT/082311   THE  bDWH  PARADIGM  CHANGE   ©  2013  Harro  M.  Wiersma  –  23  September  2013  –  Swiss  Big  Data  Usergroup  Zürich  
  20. 20. WHT/082311   THE  COMPLETE  bDWH  VALUE  CHAIN   20   Collec+on  –  Structured,  unstructured  and  semi-­‐structured  data  from  mulRple  sources     Inges+on  –  loading  vast  amounts  of  data  onto  a  single  data  hub     Discovery  &  Cleansing  –  understanding  format  and  content;  clean  up  and  forma[ng     Integra+on  –  linking,  enRty  extracRon,  enRty  resoluRon,  indexing  and  data  fusion     Analysis  –  Intelligence,  staRsRcs,  predicRve  and  text  analyRcs,  machine  learning     Delivery  –  querying,  visualizaRon,  real  Rme  delivery  on  enterprise-­‐class  availability   Collec+on   Inges+on   Discovery    &   Cleansing   Integra+on   Analysis   Delivery   ©  2013  Harro  M.  Wiersma  –  23  September  2013  –  Swiss  Big  Data  Usergroup  Zürich  
  21. 21. WHT/082311   KEY  SUCCES  FACTORS   §  Business  needs  to  drive  and  execute  the  bDWH  program   §  Data  colloca+on  and  discovery  is  the  most  cri+cal  step   §  Metadata  is  needed  to  process  the  data  prior  and  post  bDWH   integraRon   §  Data  quality  can  be  processed  by  integraRng  taxonomies   §  Data  visualiza+on  is  needed  to  discover  data   §  Metrics  and  metadata  will  be  the  bridge  to  integrate  to  the  bDWH   §  Centralized  infrastructure  is  needed  to  create  a  data-­‐hub     ©  2013  Harro  M.  Wiersma  –  23  September  2013  –  Swiss  Big  Data  Usergroup  Zürich  
  22. 22. WHT/082311   §  Bring  together  exis+ng  internal  knowhow,  combine  it  with  external   knowhow.  don‘t  silo  your  teams.   §  It‘s  not  about  hardware,  it‘s  about  the  concept  and  way  of  thinking.   §  Reusable  data,  but  which  data  is  the  ‚sole  truth‘?   §  Who  owns  your  data?  do  they  really  want  to  have  transparency?   §  Are  we  allowed  to  use  our  data  as  we  would  like  to?   §  Think  of  new  and  future  business-­‐concepts  to  be  supported.   FIRST  STEPS   ©  2013  Harro  M.  Wiersma  –  23  September  2013  –  Swiss  Big  Data  Usergroup  Zürich  
  23. 23. WHT/082311   The  challenge  facing  the  business  today  is  the  ability  to  influence  the  buyer   decisions  in  a  window  of  opportunity  that  does  not  last  long.  The  analyRcs   available  at  a  personalizaRon  level  drives  the  buyer  whether  it  is  choosing  a   Doctor  or  buying  a  new  laptop.   To  compete  in  this  new  era,  businesses  need  to  be  driven  by  data  and  analyRcs,   which  are  largely  different  from  tradiRonal  transacRons  and  campaigns!   Both  the  “GeneraRon  Z”  and  “Millennial  GeneraRon”  of  buyers  will  not  be   swayed  by  tradiRonal  engagement  models  of  selling  products  and  services!   FROM  TRANSACTIONAL  TO  BEHAVIOURAL   ©  2013  Harro  M.  Wiersma  –  23  September  2013  –  Swiss  Big  Data  Usergroup  Zürich  
  24. 24. WHT/082311   PREDICTIVE  BUSINESS  INTELLIGENCE  –  DATA  ANALYSIS   §  you  know  what  you  know  –  perfect,  use  it!   §  you  know  what  you  don‘t  know  –  learn   §  you  don‘t  know  what  you  know  –  invesRgate   §  you  don‘t  know  what  you  don‘t  know  –  find  someone  who  does!   ©  2013  Harro  M.  Wiersma  –  23  September  2013  –  Swiss  Big  Data  Usergroup  Zürich  
  25. 25. WHT/082311   §  Do  not  try  to  implement  without  integraRon  in  your  current   landscape   §  Find  a  easy  target,  for  example  your  data-­‐archive   §  Collabora+on  is  key!  Learn  from  other  industries   §  Create  cross-­‐func+onal  teams:    IT  –  Analysts  –  Business   §  Champion  business  value:  a  ROI  is  there!   §  OrganizaRons  that  don’t  leverage  the  big  data  that  they  have,  risk   losing  ground  to  their  compeRtors   §  Get  on  it,  now!       TAKE  AWAYS   ©  2013  Harro  M.  Wiersma  –  23  September  2013  –  Swiss  Big  Data  Usergroup  Zürich  
  26. 26. WHT/082311   This is the moment… Are you ready? Big  Data  is  a  Game  Changer   ©  2013  Harro  M.  Wiersma  –  23  September  2013  –  Swiss  Big  Data  Usergroup  Zürich  
  27. 27. WHT/082311   QUESTIONS  &  ANSWERS   Harro M. Wiersma M.Sc. h@rro.wiersma.info ©  2013  Harro  M.  Wiersma  –  23  September  2013  –  Swiss  Big  Data  Usergroup  Zürich  
  28. 28. WHT/082311   REFERENCE  CASE  I  -­‐  FINANCE   §  no  fixed  card-­‐limit   §  acRve  transacRon  monitoring  based  on:   §  customer  profile   §  credit  raRng  firms  (4!  in  the  USA)   §  acRve  balance   §  payment  history   §  result:  lower  security:  payment  in  profile:  only  signature,   otherwise:  pincode  or  direct  contact  by  phone  with  AmEx   §  result:  less  reversed  transacRons  (<3%)  -­‐>  lower  costs!   §  result:  beVer  insight  in  customers  spending  -­‐>  predicRve  analyRcs!   ©  2013  Harro  M.  Wiersma  –  23  September  2013  –  Swiss  Big  Data  Usergroup  Zürich  
  29. 29. WHT/082311   REFERENCE  CASE  II  -­‐  LOGISTICS  

×