SlideShare a Scribd company logo
1 of 53
Big data & social data mining

Fosca Giannotti
KDDLAB http://kdd.isti.cnr.it
Università di Pisa e ISTI-CNR
Big data “proxies” of social life

Shopping patterns & lifestyle     Relationships & social ties




                                         Movements
  Desires, opinions, sentiments
6 marzo 2013   Analisi di Reti Sociali.   10
Big data & new
questions to ask
Google Flu Trends




    Nature 457, 1012-1014 (2009)
Spread of Happiness




James H. Fowler, Nicholas A. Christakis.
Dynamic Spread of Happiness in a Large Social Network:
Longitudinal Analysis Over 20 Years in the Framingham Heart Study
British Medical Journal 337 (4 December 2008)
BIG DATA
    as a proxy
of human mobility
Lucca
Marina di Pisa/Tirrenia




                          A12 Sud
                                    Cascina
Discovering individual systematic movements




                                         Work-Home



        Home-Work
Using the profiles to classify the incoming flows
Mobility profile matching


User A (as driver)            Spatio Temporal              User B (as passenger)
                              Routing matches



        Mobility                                             Mobility
        Profile                                              Profile




      A can serve most of the routines of B  the match is suggested.
Understanding car pooling impact

Matching Network               Community




                                                        ?
                                           =




 Suggestion




                                  =


                                               Actual Network
GSM indicators:
    Identification of user profiles

Analyze individual call habits to
recognize profiles

–Resident
–Commuters
–Visitors/Tourists
Call Habit Profile Construction


                                  Nr. Of elements in the
                                          profile

                             Week: working days &
                                              Time
                                  weekend slots


                                                       0:00-7:59

                                                      8:00-18:59

                                                      19:00-23:59




                        Users’ call
                          habit
                         profile
Residents

            Resident profile
Commuters


            Resident profile

            Commuter profile
Visitors

               Resident profile

               Commuter profile

                Visitor profile




           Night visitors

           Daylight visitors
User profile quantification


                                 Resident profile

                                  Commuter profile

                                   Visitor profile




                    Among the unclassified there are other
                    interesting profiles:
                    - The occasional visitors;

                    - The «night visitors».
Mobility atlas of many cities
Mobility Atlas of a town
Discover the borders of mobility
Social mining for simulation

• How can we inject realism into, e.g., an
  agent-based simulator for mobility?

• FP7 project DATASIM – A Data Science
  for the Era of Electric Vehicles
  http://www.uhasselt.be/datasim
Mirco Nanni, Roberto Trasarti, et al.:
MP4-A Project: Mobility Planning for Africa. “Data for Development” Orange challenge, 2013
Mirco Nanni, Roberto Trasarti, et al.:
MP4-A Project: Mobility Planning for Africa. “Data for Development” Orange challenge, 2013
Social Data Mining
Digital humanism

• The ICTs have revolutionized society
• Society is now revolutionizing the ICTs
  and scientific research
• Ultimately, the ICTs and big data have
  brought humanity at the center of
  scientific investigation under a new light
7 Billion – October 2011
Data scientist,
the sexiest job of 21 century
                     st

              • … a new kind of
                professional has emerged,
                the data scientist, who
                combines the skills of
                software programmer,
                statistician and
                storyteller/artist to
                extract the nuggets of gold
                hidden under mountains of
                data.
Knowledge Discovery and Data Mining
            Laboratory




Caterina D’angelo   Claudio Schifani   Chiara Falchi   Zehui Qu   Barbara Furletti, Andrea Romei, Sergio Barsocchi

More Related Content

Similar to F. Giannotti - Big data & social data mining

Girardin lift france10_notes
Girardin lift france10_notesGirardin lift france10_notes
Girardin lift france10_notesFing
 
Towards user co-creation of value on the Internet-of-Things (IoT)
Towards user co-creation of value on the Internet-of-Things (IoT)Towards user co-creation of value on the Internet-of-Things (IoT)
Towards user co-creation of value on the Internet-of-Things (IoT)trappenl
 
Context is King: AR, AI, Salience, and the Constant Next Scenario
Context is King: AR, AI, Salience, and the Constant Next ScenarioContext is King: AR, AI, Salience, and the Constant Next Scenario
Context is King: AR, AI, Salience, and the Constant Next ScenarioClark Dodsworth
 
Mobile Social Location (Web 2.0 NYC edition)
Mobile Social Location (Web 2.0 NYC edition)Mobile Social Location (Web 2.0 NYC edition)
Mobile Social Location (Web 2.0 NYC edition)Matt Biddulph
 
Presentatie Big Data Forum 22 januari 2013 - Big Data en Big Society
Presentatie Big Data Forum 22 januari 2013 - Big Data en Big SocietyPresentatie Big Data Forum 22 januari 2013 - Big Data en Big Society
Presentatie Big Data Forum 22 januari 2013 - Big Data en Big SocietySURFnet
 
Snap4City November 2019 Course: Smart City IOT Data Analytics
Snap4City November 2019 Course: Smart City IOT Data AnalyticsSnap4City November 2019 Course: Smart City IOT Data Analytics
Snap4City November 2019 Course: Smart City IOT Data AnalyticsPaolo Nesi
 
Urban Systems Collaborative Seminar | John Reinhardt, City Forward and other ...
Urban Systems Collaborative Seminar | John Reinhardt, City Forward and other ...Urban Systems Collaborative Seminar | John Reinhardt, City Forward and other ...
Urban Systems Collaborative Seminar | John Reinhardt, City Forward and other ...urbansystemssymposium
 
Snap4City November 2019 Course: Smart City IOT Data Ingestion Interoperabilit...
Snap4City November 2019 Course: Smart City IOT Data Ingestion Interoperabilit...Snap4City November 2019 Course: Smart City IOT Data Ingestion Interoperabilit...
Snap4City November 2019 Course: Smart City IOT Data Ingestion Interoperabilit...Paolo Nesi
 
Gmcghee bayvis meetup_111027
Gmcghee bayvis meetup_111027Gmcghee bayvis meetup_111027
Gmcghee bayvis meetup_111027Kristen Chan
 
Spr Xmobile Npo Contectual Broadcasting
Spr Xmobile Npo   Contectual BroadcastingSpr Xmobile Npo   Contectual Broadcasting
Spr Xmobile Npo Contectual Broadcastingdogpower
 
IoT Day 2014 - Results and challenges ahead for IoT
IoT Day 2014 - Results and challenges ahead for IoTIoT Day 2014 - Results and challenges ahead for IoT
IoT Day 2014 - Results and challenges ahead for IoTRaffaele Giaffreda
 
Semantics And Multimedia
Semantics And MultimediaSemantics And Multimedia
Semantics And MultimediaPeter Berger
 
Real World Internet, Smart Cities and Linked Data: Mirko Presser (Alexandrea ...
Real World Internet, Smart Cities and Linked Data: Mirko Presser (Alexandrea ...Real World Internet, Smart Cities and Linked Data: Mirko Presser (Alexandrea ...
Real World Internet, Smart Cities and Linked Data: Mirko Presser (Alexandrea ...FIA2010
 
Smarter Cities Research in Ireland 20120113
Smarter Cities Research in Ireland 20120113Smarter Cities Research in Ireland 20120113
Smarter Cities Research in Ireland 20120113urbansystemssymposium
 
COSC 426 Lect. 1 - Introduction to AR
COSC 426 Lect. 1 - Introduction to ARCOSC 426 Lect. 1 - Introduction to AR
COSC 426 Lect. 1 - Introduction to ARMark Billinghurst
 

Similar to F. Giannotti - Big data & social data mining (20)

Girardin lift france10_notes
Girardin lift france10_notesGirardin lift france10_notes
Girardin lift france10_notes
 
Towards user co-creation of value on the Internet-of-Things (IoT)
Towards user co-creation of value on the Internet-of-Things (IoT)Towards user co-creation of value on the Internet-of-Things (IoT)
Towards user co-creation of value on the Internet-of-Things (IoT)
 
Context is King: AR, AI, Salience, and the Constant Next Scenario
Context is King: AR, AI, Salience, and the Constant Next ScenarioContext is King: AR, AI, Salience, and the Constant Next Scenario
Context is King: AR, AI, Salience, and the Constant Next Scenario
 
Linked Sensor Data 101 (FIS2011)
Linked Sensor Data 101 (FIS2011)Linked Sensor Data 101 (FIS2011)
Linked Sensor Data 101 (FIS2011)
 
Mobile Social Location (Web 2.0 NYC edition)
Mobile Social Location (Web 2.0 NYC edition)Mobile Social Location (Web 2.0 NYC edition)
Mobile Social Location (Web 2.0 NYC edition)
 
Presentatie Big Data Forum 22 januari 2013 - Big Data en Big Society
Presentatie Big Data Forum 22 januari 2013 - Big Data en Big SocietyPresentatie Big Data Forum 22 januari 2013 - Big Data en Big Society
Presentatie Big Data Forum 22 januari 2013 - Big Data en Big Society
 
Snap4City November 2019 Course: Smart City IOT Data Analytics
Snap4City November 2019 Course: Smart City IOT Data AnalyticsSnap4City November 2019 Course: Smart City IOT Data Analytics
Snap4City November 2019 Course: Smart City IOT Data Analytics
 
Detecting Signals from Real-time Social Web
Detecting Signals from Real-time Social Web Detecting Signals from Real-time Social Web
Detecting Signals from Real-time Social Web
 
Urban Systems Collaborative Seminar | John Reinhardt, City Forward and other ...
Urban Systems Collaborative Seminar | John Reinhardt, City Forward and other ...Urban Systems Collaborative Seminar | John Reinhardt, City Forward and other ...
Urban Systems Collaborative Seminar | John Reinhardt, City Forward and other ...
 
Being Social
Being SocialBeing Social
Being Social
 
Snap4City November 2019 Course: Smart City IOT Data Ingestion Interoperabilit...
Snap4City November 2019 Course: Smart City IOT Data Ingestion Interoperabilit...Snap4City November 2019 Course: Smart City IOT Data Ingestion Interoperabilit...
Snap4City November 2019 Course: Smart City IOT Data Ingestion Interoperabilit...
 
Gmcghee bayvis meetup_111027
Gmcghee bayvis meetup_111027Gmcghee bayvis meetup_111027
Gmcghee bayvis meetup_111027
 
Spr Xmobile Npo Contectual Broadcasting
Spr Xmobile Npo   Contectual BroadcastingSpr Xmobile Npo   Contectual Broadcasting
Spr Xmobile Npo Contectual Broadcasting
 
Sprx Npo
Sprx NpoSprx Npo
Sprx Npo
 
IoT Day 2014 - Results and challenges ahead for IoT
IoT Day 2014 - Results and challenges ahead for IoTIoT Day 2014 - Results and challenges ahead for IoT
IoT Day 2014 - Results and challenges ahead for IoT
 
Semantics And Multimedia
Semantics And MultimediaSemantics And Multimedia
Semantics And Multimedia
 
TKclass: Crowdsourcing tools
TKclass: Crowdsourcing toolsTKclass: Crowdsourcing tools
TKclass: Crowdsourcing tools
 
Real World Internet, Smart Cities and Linked Data: Mirko Presser (Alexandrea ...
Real World Internet, Smart Cities and Linked Data: Mirko Presser (Alexandrea ...Real World Internet, Smart Cities and Linked Data: Mirko Presser (Alexandrea ...
Real World Internet, Smart Cities and Linked Data: Mirko Presser (Alexandrea ...
 
Smarter Cities Research in Ireland 20120113
Smarter Cities Research in Ireland 20120113Smarter Cities Research in Ireland 20120113
Smarter Cities Research in Ireland 20120113
 
COSC 426 Lect. 1 - Introduction to AR
COSC 426 Lect. 1 - Introduction to ARCOSC 426 Lect. 1 - Introduction to AR
COSC 426 Lect. 1 - Introduction to AR
 

More from Istituto nazionale di statistica

More from Istituto nazionale di statistica (20)

Censimenti Permanenti Istituzioni non profit
Censimenti Permanenti Istituzioni non profitCensimenti Permanenti Istituzioni non profit
Censimenti Permanenti Istituzioni non profit
 
Censimenti Permanenti Istituzioni non profit
Censimenti Permanenti Istituzioni non profitCensimenti Permanenti Istituzioni non profit
Censimenti Permanenti Istituzioni non profit
 
Censimenti Permanenti Istituzioni non profit
Censimenti Permanenti Istituzioni non profitCensimenti Permanenti Istituzioni non profit
Censimenti Permanenti Istituzioni non profit
 
Censimenti Permanenti Istituzioni non profit
Censimenti Permanenti Istituzioni non profitCensimenti Permanenti Istituzioni non profit
Censimenti Permanenti Istituzioni non profit
 
Censimenti Permanenti Istituzioni non profit
Censimenti Permanenti Istituzioni non profitCensimenti Permanenti Istituzioni non profit
Censimenti Permanenti Istituzioni non profit
 
Censimenti Permanenti Istituzioni non profit
Censimenti Permanenti Istituzioni non profitCensimenti Permanenti Istituzioni non profit
Censimenti Permanenti Istituzioni non profit
 
Censimento Permanente Istituzioni Pubbliche
Censimento Permanente Istituzioni PubblicheCensimento Permanente Istituzioni Pubbliche
Censimento Permanente Istituzioni Pubbliche
 
Censimento Permanente Istituzioni Pubbliche
Censimento Permanente Istituzioni PubblicheCensimento Permanente Istituzioni Pubbliche
Censimento Permanente Istituzioni Pubbliche
 
Censimento Permanente Istituzioni Pubbliche
Censimento Permanente Istituzioni PubblicheCensimento Permanente Istituzioni Pubbliche
Censimento Permanente Istituzioni Pubbliche
 
Censimento Permanente Istituzioni Pubbliche
Censimento Permanente Istituzioni PubblicheCensimento Permanente Istituzioni Pubbliche
Censimento Permanente Istituzioni Pubbliche
 
14a Conferenza Nazionale di Statisticacnstatistica14
14a Conferenza Nazionale di Statisticacnstatistica1414a Conferenza Nazionale di Statisticacnstatistica14
14a Conferenza Nazionale di Statisticacnstatistica14
 
14a Conferenza Nazionale di Statistica
14a Conferenza Nazionale di Statistica14a Conferenza Nazionale di Statistica
14a Conferenza Nazionale di Statistica
 
14a Conferenza Nazionale di Statistica
14a Conferenza Nazionale di Statistica14a Conferenza Nazionale di Statistica
14a Conferenza Nazionale di Statistica
 
14a Conferenza Nazionale di Statistica
14a Conferenza Nazionale di Statistica14a Conferenza Nazionale di Statistica
14a Conferenza Nazionale di Statistica
 
14a Conferenza Nazionale di Statistica
14a Conferenza Nazionale di Statistica14a Conferenza Nazionale di Statistica
14a Conferenza Nazionale di Statistica
 
14a Conferenza Nazionale di Statistica
14a Conferenza Nazionale di Statistica14a Conferenza Nazionale di Statistica
14a Conferenza Nazionale di Statistica
 
14a Conferenza Nazionale di Statistica
14a Conferenza Nazionale di Statistica14a Conferenza Nazionale di Statistica
14a Conferenza Nazionale di Statistica
 
14a Conferenza Nazionale di Statistica
14a Conferenza Nazionale di Statistica14a Conferenza Nazionale di Statistica
14a Conferenza Nazionale di Statistica
 
14a Conferenza Nazionale di Statistica
14a Conferenza Nazionale di Statistica14a Conferenza Nazionale di Statistica
14a Conferenza Nazionale di Statistica
 
14a Conferenza Nazionale di Statistica
14a Conferenza Nazionale di Statistica14a Conferenza Nazionale di Statistica
14a Conferenza Nazionale di Statistica
 

F. Giannotti - Big data & social data mining

  • 1. Big data & social data mining Fosca Giannotti KDDLAB http://kdd.isti.cnr.it Università di Pisa e ISTI-CNR
  • 2. Big data “proxies” of social life Shopping patterns & lifestyle Relationships & social ties Movements Desires, opinions, sentiments
  • 3.
  • 4.
  • 5.
  • 6.
  • 7.
  • 8.
  • 9.
  • 10. 6 marzo 2013 Analisi di Reti Sociali. 10
  • 11. Big data & new questions to ask
  • 12. Google Flu Trends Nature 457, 1012-1014 (2009)
  • 13. Spread of Happiness James H. Fowler, Nicholas A. Christakis. Dynamic Spread of Happiness in a Large Social Network: Longitudinal Analysis Over 20 Years in the Framingham Heart Study British Medical Journal 337 (4 December 2008)
  • 14.
  • 15.
  • 16. BIG DATA as a proxy of human mobility
  • 17. Lucca Marina di Pisa/Tirrenia A12 Sud Cascina
  • 18.
  • 19. Discovering individual systematic movements Work-Home Home-Work
  • 20. Using the profiles to classify the incoming flows
  • 21. Mobility profile matching User A (as driver) Spatio Temporal User B (as passenger) Routing matches Mobility Mobility Profile Profile A can serve most of the routines of B  the match is suggested.
  • 22. Understanding car pooling impact Matching Network Community ? = Suggestion = Actual Network
  • 23. GSM indicators: Identification of user profiles Analyze individual call habits to recognize profiles –Resident –Commuters –Visitors/Tourists
  • 24. Call Habit Profile Construction Nr. Of elements in the profile Week: working days & Time weekend slots 0:00-7:59 8:00-18:59 19:00-23:59 Users’ call habit profile
  • 25. Residents Resident profile
  • 26. Commuters Resident profile Commuter profile
  • 27. Visitors Resident profile Commuter profile Visitor profile Night visitors Daylight visitors
  • 28. User profile quantification Resident profile Commuter profile Visitor profile Among the unclassified there are other interesting profiles: - The occasional visitors; - The «night visitors».
  • 29. Mobility atlas of many cities
  • 31.
  • 32. Discover the borders of mobility
  • 33.
  • 34.
  • 35.
  • 36.
  • 37.
  • 38.
  • 39.
  • 40.
  • 41.
  • 42.
  • 43.
  • 44. Social mining for simulation • How can we inject realism into, e.g., an agent-based simulator for mobility? • FP7 project DATASIM – A Data Science for the Era of Electric Vehicles http://www.uhasselt.be/datasim
  • 45. Mirco Nanni, Roberto Trasarti, et al.: MP4-A Project: Mobility Planning for Africa. “Data for Development” Orange challenge, 2013
  • 46. Mirco Nanni, Roberto Trasarti, et al.: MP4-A Project: Mobility Planning for Africa. “Data for Development” Orange challenge, 2013
  • 47.
  • 49. Digital humanism • The ICTs have revolutionized society • Society is now revolutionizing the ICTs and scientific research • Ultimately, the ICTs and big data have brought humanity at the center of scientific investigation under a new light
  • 50. 7 Billion – October 2011
  • 51.
  • 52. Data scientist, the sexiest job of 21 century st • … a new kind of professional has emerged, the data scientist, who combines the skills of software programmer, statistician and storyteller/artist to extract the nuggets of gold hidden under mountains of data.
  • 53. Knowledge Discovery and Data Mining Laboratory Caterina D’angelo Claudio Schifani Chiara Falchi Zehui Qu Barbara Furletti, Andrea Romei, Sergio Barsocchi

Editor's Notes

  1. We live in a time with unprecedented opportunities of sensing, storing, analyzing (micro)-data, at mass level, recording human activities at extreme detail BIG DATA, registrazioni su scala sociale delle tracce dei nostri affari, dei nostri interessi, dei nostri acquisti,
  2. Internet made any piece of digital, archival knowledge instantly, globally available
  3. ma oggi il nostro programma scientifico si basa sulla convinzione che siamo di fronte ad una svolta , un cambio di paradigma che sta trasformando profondamente la scienza e la società. Per la prima volta nella storia, la nostra società sta diventando "misurabile": le attività umane, tutte ormai mediate dalle tecnologie dell'informazione e della comunicazione, lasciano tracce digitali.
  4. Wikipedia: a smart city is a synthesis of ‘ hard infrastructure ’ (or physical capital) with ‘ the availability and quality of knowledge communication and social infrastructure.
  5. Similar call habits correspond to similar mobility For example: a person that calls mainly during working hours is a commuter Who calls along the whole day is a resident
  6. Una selezione delle analisi disponibilit sono state organizzate in un atlante della mobilità. I fenomeni principali che caratterizzano la mobilità delle persone sono stati sintetizzati in una serie di infografiche, ognuna rappresentante un aspetto della mobilità. Ad esempio, il concetto di spostamento occasionale/sistematico e I percorsi di accesso sono sintetizzati dalle mappe sulla destra. Possiamo anche ragionare sulle differenti dimensioni temporali: settimanale, giornaliero, orario. Ho portato alcune copie cartacee di un piccolo atlante delle città della zona pisana. Le potete prendere alla fine della presentazione L’atlante della mobilità rappresenta per noi il primo passo verso un Osservatorio Permanente della Mobilità.
  7. Una selezione delle analisi disponibilit sono state organizzate in un atlante della mobilità. I fenomeni principali che caratterizzano la mobilità delle persone sono stati sintetizzati in una serie di infografiche, ognuna rappresentante un aspetto della mobilità. Ad esempio, il concetto di spostamento occasionale/sistematico e I percorsi di accesso sono sintetizzati dalle mappe sulla destra. Possiamo anche ragionare sulle differenti dimensioni temporali: settimanale, giornaliero, orario. Ho portato alcune copie cartacee di un piccolo atlante delle città della zona pisana. Le potete prendere alla fine della presentazione L’atlante della mobilità rappresenta per noi il primo passo verso un Osservatorio Permanente della Mobilità.
  8. Una selezione delle analisi disponibilit sono state organizzate in un atlante della mobilità. I fenomeni principali che caratterizzano la mobilità delle persone sono stati sintetizzati in una serie di infografiche, ognuna rappresentante un aspetto della mobilità. Ad esempio, il concetto di spostamento occasionale/sistematico e I percorsi di accesso sono sintetizzati dalle mappe sulla destra. Possiamo anche ragionare sulle differenti dimensioni temporali: settimanale, giornaliero, orario. Ho portato alcune copie cartacee di un piccolo atlante delle città della zona pisana. Le potete prendere alla fine della presentazione L’atlante della mobilità rappresenta per noi il primo passo verso un Osservatorio Permanente della Mobilità.
  9. Noi siamo i ricercatori del laboratorio di Knowledge Discovery a Data Mining dell'ISTI CNR; la migliore traduzione del nostro nome che ho da offrire è: estrazione della conoscenza dalle miniere di dati che ci circondano. E' una metafora mineraria, …