Street Fighting Data Science

2,982 views

Published on

Published in: Technology, Sports

Street Fighting Data Science

  1. 1. Street Fighting Data Sciencevon@furukama (Benedikt Köhler, d.core)@jbenno (Jörg Blumtritt, Datarella)#rp13
  2. 2. Street Fighting Data Science• Umnutzen vorhandenerDaten (Tweets -> Bewe-gungsgeschwindigkeit)• Umwidmen vonMethoden (BioTech ->Sozialwissenschaften)• Agile Ad-hoc-Analysen• Improvisationhttp://en.wikipedia.org/wiki/File:Fightingmanstones.jpg
  3. 3. Wir glauben an Gauß!
  4. 4. Data Sciencehttp://drewconway.com/zia/2013/3/26/the-data-science-venn-diagram
  5. 5. Data Scientists?http://www.forbes.com/sites/danwoods/2012/03/08/hilary-mason-what-is-a-data-scientist/
  6. 6. Data Science 101• Crawling / Scraping• APIs• Datenbanken, Hadoop, Stream Processing• „Data Munging“: Bereinigen / Formatieren / Konvertieren• Machine Learning (Python Scikit-Learn / NumPy, SciPy, R,Mahout)• Textanalyse (NLTK, R)• Network Analysis (Gephi, NodeXL)• Statistik (R, Python)
  7. 7. N-Gramme• N-Gramme zerlegen Texte in kleinere Fragmente. 1-Gramm = „Street“, 2-Gramm = „Street Fighter“ ->Google Corpus 2006/12Google Ngram Viewer http://books.google.com/ngrams + DB http://books.google.com/ngrams/datasets
  8. 8. WordNet• WordNet:semantischeund lexikalischeBedeutung vonWörtern• Daraus z.B.Wörter mitStimmungenidentifizierbar(WN Affect)WordNet http://wordnet.princeton.edu/ WordNet Affect http://wndomains.fbk.eu/wnaffect.html
  9. 9. N-Gramme + WordNet• Emotionen im ZeitverlaufAcerbi et al 2013 http://www.plosone.org/article/info:doi/10.1371/journal.pone.0059030
  10. 10. Food PairingsAhn et al 2011 http://www.nature.com/srep/2011/111215/srep00196/full/srep00196.html
  11. 11. Food PairingsAhn et al 2011 http://www.nature.com/srep/2011/111215/srep00196/full/srep00196.html
  12. 12. Food PairingsAhn et al 2011 http://www.nature.com/srep/2011/111215/srep00196/full/srep00196.html
  13. 13. Flickr für TouristenEric Fischer „See something or say something“http://www.flickr.com/photos/walkingsf/5935471000/in/set-72157627140310742 and „Locals and Tourists“http://www.flickr.com/photos/walkingsf/4671578001/in/set-72157624209158632
  14. 14. Farbgeschichte mit Flickrhttp://beautifuldata.net/2013/05/color-analysis-of-flickr-images/
  15. 15. Sandy: Meteorologie für allehttp://rpubs.com/JoFrhwld/sandy
  16. 16. WindmapUS Wind Patterns www.senchalabs.org/philogl/PhiloGL/examples/winds/
  17. 17. Google CorrelateGoogle Correlate www.google.com/trends/correlate
  18. 18. NodeXL – Twitter-Netzwerk #rp13NodeXL http://nodexl.codeplex.com/
  19. 19. Netvizz – Facebook-DatenNetVizz https://apps.facebook.com/netvizz/
  20. 20. Gephi – VisualisierungstoolGephi http://gephi.org
  21. 21. Das ErgebnisFacebook-Netzwerk von https://www.facebook.com/benediktkoehler
  22. 22. Twitter - BewegungsdatenEric Fischer: Travel Patterns http://www.flickr.com/photos/walkingsf/6794335193
  23. 23. Der Passive WahlomatPiraten 0,14108935Gruene 0,12956345SPD 0,08088609CDU 0,06258422Linke 0,09733024FDP 0,04376875http://blog.metaroll.de/2012/03/23/der-passive-wahlomat-textmining-mit-politischen-programmen-und-konversationen-teil-1/
  24. 24. Funnel Plotshttp://www.cochrane-net.org/openlearning/html/mod15-3.htm
  25. 25. Web-Crawler• HTTrack Website Copier etc.• Simple Web Crawler in Python etc.
  26. 26. Crunchbase VC-NetzwerkeBig Data Investment Map http://beautifuldata.net/2012/02/big-data-investment-map/
  27. 27. Danke!http://beautifuldata.net

×