Hva slags typer analyse kan være interessant for en typisk norsk kunde? Hvilken forretningsverdi kan disse ha? Hva trenger man for å kunne kjøre analysene? Hva slags verktøy finnes?

1. Hvordan få forretningsverdi av Big Data
Bouvet Innsikt 2013-11-21
Lars Marius Garshol, larsga@bouvet.no, http://twitter.com/larsga
1

2. Anvendelser
2

3. Hvor er forretningsverdien?
• Skal Big Data få forretningsverdi for deg
må du
– finne de verdifulle spørsmålene,
– besvare dem med data-analyse, og
– handle!
• All verdens data og analyse er verdiløs hvis
den ikke fører til handling
3

4. Offentlig tilsyn
• Gitt masse data om tilsynsobjektene
– virksomhetstype, geografisk plassering, tid for
forrige tilsyn, eiertype, dato opprettet, ...
• er det mulig å forutsi hvilke objekter det
mest sannsynlig er problemer med?
– så kan man prioritere tilsyn mot disse
• Utgangspunkt
– man sitter på masse data om objektene
– man vet allerede hvor det ble funnet problemer i
fortiden
– kan bruke dette for å trene en modell
4

5. Svindel
• Er det mulig å identifisere hvilke søknader
som er svindelforsøk?
• Igjen, gitt
– alle data i søknaden,
– som man har om søker fra før,
• kan man trene opp en modell som forutsier
dette?
• Vil kreve at man har informasjon om hvem
som begikk svindel tidligere
– for å kunne lære opp en modell
5

6. Hvilke kunder er på vei ut?
• Å gjenvinne kunder er svært dyrt
– veldig mye å hente på å overbevise kunden om å bli
– krever at man vet hvem som er i faresonen
• Kan man identifisere kunder i faresonen?
– se på generelle attributter ved kunden
– se på hvordan kunden bruker produktet
– dataeksos er sentralt her
6

7. Produktanbefaling (1)
• Kunder som kjøpte dette har også kjøpt ...
– kan brukes på nettsider, f.eks, for å vise relaterte
produkter
– lett å lage, krever bare ordreinformasjon
– teknikken heter “frequent itemsets”
7

8. Produktanbefaling (2)
• Vi tror du vil like ...
– for å gjøre dette trenger man informasjon om hva
enkeltkunder liker
– kilden kan være ratinger, kjøp, dataeksos ...
– kan enten utnytte bare kundeinfo, eller ta hensyn
til produktegenskaper
– gitt nok data er dette lett å bygge med rimelig
resultat
– kan gjøres med k-nearest neighbours, eller
matrisefaktorisering
8

9. Kundesegmentering
• Kan man automatisk identifisere grupper av
kunder?
– dvs, gitt data om kundene og deres oppførsel, kan man
automatisk lage grupper av like kunder?
– kan f.eks kombineres med personas fra Kundereisen
• Dette er clustering
– krever informasjon om kunden pluss oppførsel
– lang rekke med ulike teknikker
– krever ingen opplæring eller forhåndsdefinerte grupper
• Algoritmen vil automatisk plassere kunden
– dette kan etterpå brukes som input til videre analyse
9

10. Automatisk datakobling
• Det finnes teknikker for å automatisk koble
datasett uten felles identifikator
– kalles “record linkage”, historie tilbake til 1946
– vi har avanserte verktøy for dette1)
• Kan brukes til en hel rekke ting
– konsolidering av kontaktdatabaser/CRM
– kobling av interne data mot eksterne data
• enten data man kjøper, eller åpne data
– innhenting av kundeinformasjon fra sosiale medier
10
1) http://code.google.com/p/duke/

11. A/B-testing
• Big Data-analyse handler om å bruke mer
pålitelige verktøy enn magefølelse
• Dette kan også brukes på f.eks
– valg mellom alternative brukergrensesnitt
– valg av tiltak overfor kunder
– ...
• Kan løses med vanlig statistisk hypotesetesting
– mer moderne løsning: banditt-algoritmer
A:
11
B:

12. Hvem skal vi ringe?
• Direktesalg er dyrt
– enten det er via telefon eller post
– derfor viktig å velge ut de riktige kandidatene
• To måter å gjøre dette på
1. magefølelse for å sette statiske kriterier
2. machine learning for å lære opp en statistisk
modell som veier mange kriterier
• Ved å systematisk samle data om hvem
som responderer kan man bli mer
målrettet
– gir grunnlag for å lære opp modellen
12

13. Verktøy
13

14. Verktøy er ikke det viktigste
spørsmål
+ data
+ matematikk
= svar
14

15. Forutsetninger
• Datavarehus er en fordel
– lettere å analysere data som er samlet og massert
– dog ikke påkrevd
• Semantisk integrasjon kan hjelpe
– enklere og mer fleksibel integrasjon av data
– godt alternativ til datavarehus
• Også mulig å løse ad-hoc
– dvs integrere data etter hvert som det trengs for
hver enkelt analyse
– enkel og billig måte å komme i gang på
– mer kostbart på sikt, fordi integrasjoner må gjentas
mange ganger
15

16. “because “Hadoop” and “Big
Data” are buzzwords, half the
world wants to wear this
straightjacket even if they
don’t need to.”
• Åpen kildekode-verktøy for dataanalyse
– gjør det mulig å spre analysen ut over mange
maskiner
– noe nær lineær skalering med antall maskiner
– basert på Googles MapReduce-teknikk
– mer eller mindre synonymt med Big Data
• Stort økosystem
– masse verktøy basert på Hadoop
– Mahout, Pig, ...
• Tungt å bruke
– vanskelig å programmere med
– krever mange maskiner
• Stort sett unødvendig!
16
http://www.chrisstucchio.com/blog/2013/hadoop_hatred.html

17. Hvordan mislykkes med Hadoop
• Mange installerer Hadoop...
• ...finner aldri ut hva de skal med det
– gir opp
• ...prøver seg på data-analyse
– har ikke kontroll på matematikken
– får ikke resultater
– gir opp
• ...har spørsmål og matematikk, men
– har ikke nok data eller klarer ikke integrere dem
– gir opp
17

18. Scripting
• Å massere og analysere data med statiske
språk er tungvint
– Java, C#, osv
• Ekstremt mye lettere å gjøre med
scriptspråk
– særlig Python, men også andre
• Finnes ferdige analyseverktøy for Python
– NumPy, SciPy, pandas
• R er også mye brukt
18

19. Noen praktiske eksempler
• Clustering av flymodeller
– 250 linjer for innlasting og vasking av data
– 150 linjer for clustering
• Personlige anbefalinger av filmer
– 13 linjer til innlesing av data
– 230 linjer til å gjøre anbefalinger
• Forutsi ølratinger med lineær regresjon
– 83 linjer til lesing og vask av data
– 107 linjer til forutsigelse
• Spamfiltrering med Bayes’s Teorem
– 162 linjer
19

20. Hvordan bygge
20

21. Hvordan bygge en løsning?
1. Finn et spørsmål
2. Finn data som kan besvare det
3. Lag en prototyp
–
–
samle og vask dataene med scripting
lag et script som kjører en algoritme
4. Test prototypen
–
viktig å validere at man kan stole på svarene!
5. Bygg en produksjonsløsning
–
21
forutsatt at prototypen passerte test

22. Kommer spørsmålet først?
• Et stort tema i data science er EDA:
– Exploratory Data Analysis
– det å grave i dataene for å finne innsikter og idéer
– disse kan etterpå testes med analyse
• Når man først har dataene samlet kan
dette være svært kraftig
– krever at man har dataene
– lettere med semantisk integrasjon
• Viktig også for å ha bakgrunn til
tolke resultat fra analyse
22

23. Hvordan teste Big Data-analyse?
• Bruk 90% av dataene som input til
algoritmen
– når den er ferdig opplært, forutsi resultat for de
siste 10%
• Mål avvik mellom forutsigelse og korrekt
resultat
– gjør dette 10 ganger med forskjellige 10-deler av
dataene som testdata
• Snittavvik gir meget god validering
23

24. Konklusjon
24

25. Alle kan bruke Big Data
• Krever bare at man har
– data + spørsmål med forretningsverdi
• Kort vei fra spørsmål til svar
– gitt riktig tilnærming
– svaret kan være at man ikke har nok data
• Etter første svar er de neste lettere
– mer av dataene er samlet og klare
– man har mer oversikt over data og teknikker
25