Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Street Fighting Data Science

3,126 views

Published on

Published in: Technology, Sports

Street Fighting Data Science

  1. 1. Street Fighting Data Sciencevon@furukama (Benedikt Köhler, d.core)@jbenno (Jörg Blumtritt, Datarella)#rp13
  2. 2. Street Fighting Data Science• Umnutzen vorhandenerDaten (Tweets -> Bewe-gungsgeschwindigkeit)• Umwidmen vonMethoden (BioTech ->Sozialwissenschaften)• Agile Ad-hoc-Analysen• Improvisationhttp://en.wikipedia.org/wiki/File:Fightingmanstones.jpg
  3. 3. Wir glauben an Gauß!
  4. 4. Data Sciencehttp://drewconway.com/zia/2013/3/26/the-data-science-venn-diagram
  5. 5. Data Scientists?http://www.forbes.com/sites/danwoods/2012/03/08/hilary-mason-what-is-a-data-scientist/
  6. 6. Data Science 101• Crawling / Scraping• APIs• Datenbanken, Hadoop, Stream Processing• „Data Munging“: Bereinigen / Formatieren / Konvertieren• Machine Learning (Python Scikit-Learn / NumPy, SciPy, R,Mahout)• Textanalyse (NLTK, R)• Network Analysis (Gephi, NodeXL)• Statistik (R, Python)
  7. 7. N-Gramme• N-Gramme zerlegen Texte in kleinere Fragmente. 1-Gramm = „Street“, 2-Gramm = „Street Fighter“ ->Google Corpus 2006/12Google Ngram Viewer http://books.google.com/ngrams + DB http://books.google.com/ngrams/datasets
  8. 8. WordNet• WordNet:semantischeund lexikalischeBedeutung vonWörtern• Daraus z.B.Wörter mitStimmungenidentifizierbar(WN Affect)WordNet http://wordnet.princeton.edu/ WordNet Affect http://wndomains.fbk.eu/wnaffect.html
  9. 9. N-Gramme + WordNet• Emotionen im ZeitverlaufAcerbi et al 2013 http://www.plosone.org/article/info:doi/10.1371/journal.pone.0059030
  10. 10. Food PairingsAhn et al 2011 http://www.nature.com/srep/2011/111215/srep00196/full/srep00196.html
  11. 11. Food PairingsAhn et al 2011 http://www.nature.com/srep/2011/111215/srep00196/full/srep00196.html
  12. 12. Food PairingsAhn et al 2011 http://www.nature.com/srep/2011/111215/srep00196/full/srep00196.html
  13. 13. Flickr für TouristenEric Fischer „See something or say something“http://www.flickr.com/photos/walkingsf/5935471000/in/set-72157627140310742 and „Locals and Tourists“http://www.flickr.com/photos/walkingsf/4671578001/in/set-72157624209158632
  14. 14. Farbgeschichte mit Flickrhttp://beautifuldata.net/2013/05/color-analysis-of-flickr-images/
  15. 15. Sandy: Meteorologie für allehttp://rpubs.com/JoFrhwld/sandy
  16. 16. WindmapUS Wind Patterns www.senchalabs.org/philogl/PhiloGL/examples/winds/
  17. 17. Google CorrelateGoogle Correlate www.google.com/trends/correlate
  18. 18. NodeXL – Twitter-Netzwerk #rp13NodeXL http://nodexl.codeplex.com/
  19. 19. Netvizz – Facebook-DatenNetVizz https://apps.facebook.com/netvizz/
  20. 20. Gephi – VisualisierungstoolGephi http://gephi.org
  21. 21. Das ErgebnisFacebook-Netzwerk von https://www.facebook.com/benediktkoehler
  22. 22. Twitter - BewegungsdatenEric Fischer: Travel Patterns http://www.flickr.com/photos/walkingsf/6794335193
  23. 23. Der Passive WahlomatPiraten 0,14108935Gruene 0,12956345SPD 0,08088609CDU 0,06258422Linke 0,09733024FDP 0,04376875http://blog.metaroll.de/2012/03/23/der-passive-wahlomat-textmining-mit-politischen-programmen-und-konversationen-teil-1/
  24. 24. Funnel Plotshttp://www.cochrane-net.org/openlearning/html/mod15-3.htm
  25. 25. Web-Crawler• HTTrack Website Copier etc.• Simple Web Crawler in Python etc.
  26. 26. Crunchbase VC-NetzwerkeBig Data Investment Map http://beautifuldata.net/2012/02/big-data-investment-map/
  27. 27. Danke!http://beautifuldata.net

×