SlideShare a Scribd company logo
Open data
Een introductie tot opschonen, aggregeren en
visualiseren




                                               VVOJ conferentie
                                               17 november 2012
Wie?
• Recent afgestudeerde informatiekundigen
• Gewerkt aan verzamelen, structureren en
  analyseren van politieke data (PoliticalMashup)

• Dispectu gestart; specialiseren in datacollectie,
  zoekmachinetechnologie en visualisatie
pagina 03
             Aantal interrupties tijdens debat over regeringsverklaring

             Voorbeeld:                                          Dinsdag 26 oktober                                                                                                     Woensdag 27 oktober
             Job Cohen heeft Stef Blok
                                                                                          12
             21 keer geïnterrumpeerd                         6
                                                                         Cohen                                                                                                                     Cohen
                                                                                           30
                                          Van           11                                                                                                           Van
                                                                         PvdA                                                                                                                      PvdA
                                        Haersma                                       7                        Wilders                                             Haersma                                                                 Wilders
                                                                                           1
                                         Buma                                                                                                                       Buma
                                          CDA           14                                  12                                                                       CDA                                                    2
                               5                                                                                PVV                                                                                                                         PVV
                                                                                               19                             6                                                                                                  4
                                   11              15                                                                                                                                                                                       7
                                        24                                                                18


                   Thieme                                                                                                                            Thieme
                                                                                                                                  Rouvoet                                                                                                                      Rouvoet
                                                                                                                                                                                                    84
                    PvdD                                                                                                                              PvdD
                                                                                                                                  ChrUnie                                                                  2                                                   ChrUnie
                                                                                                                                                                                        10
                                                                                                                                                                                                                       60
                                                                                                                                                                                      20       Rutte
                                                                                                                                                                                                                   6
                                                                                                                                        2                                        64                VVD
                                                                                                                                                                                                               2
                  Roemer                                                                                                  4                          Roemer                             73
                                                                                                                                  V der
                                                                                                                                   an                                                              85                                                         V der
                                                                                                                                                                                                                                                               an
                                                                                                                         2        Staaij                                                                                                                      Staaij
                                                                                                                                                                                                                                                        2
                    SP                                                                                                                                 SP
                                                                                                                                   SGP                                                                                                                           SGP
                                                                                                           21
                                                                                                    25                14

                                                                                               13
                                        Halsema          1           3                    25                                                                      Halsema                                  2                3
                                                                                                               Blok                                                                                                                        Blok
                                        GrLinks                                                4                                                                  GrLinks                                                    3
                                                                                                               VVD                                                                                                                         VVD
                                                                    Pechtold                                                                                                                 Pechtold

                                                                         D66                                                                                                                   D66

                Totaal aantal keren dat de spreker (bijvoorbeeld Stef Blok) ...                                                                   Totaal aantal keren dat de spreker (bijvoorbeeld Alexander Pechtold) ...
                  ... geïnterrumpeerd is   ... geïnterrumpeerd heeft                                                                                ... geïnterrumpeerd is   ... geïnterrumpeerd heeft
                                 0            10        20   30       40         50       60         70         80         90     100       110                   0         50    100        150         200       250               300          350       400         450
                            Blok                                                                                                                             Rutte
                                                                                                                                                                   **
                         Wilders                                                                                                                           Wilders
                V Haersma Buma
                 an                                                                                                                                           Blok
                          Cohen                                                                                                                           Pechtold
                    V der Staaij
                     an                                                                                                                               V der Staaij
                                                                                                                                                       an
                        Pechtold                                                                                                                            Cohen *
                        Halsema                                                                                                                            Roemer *
                                                                                                                                                  V Haersma Buma *
                                                                                                                                                   an
                         Roemer *
                                                                                                                                                          Halsema *
                            Rouvoet *                                                                                                                                                                                                   * werd niet geïnterrumpeerd
                                                                                                                                                          Rouvoet *
                             Thieme *                                                                          * werd niet geïnterrumpeerd                                                                                             ** heeft niet geïnterrumpeerd
                                                                                                                                                           Thieme *
                                                                                                                                                                                                                                                   NRC 281010 / FG, RL / Bron: UvA



            ›   Wie zegt wat in de Tweede Kamer, tegen wie en wanneer? Het informatica-instituut van de Universiteit van Amsterdam brengt in kaart hoe vaak politici elkaar in de rede vallen.
                Het schema hierboven toont de interacties van dinsdag en gisteren. Meer over dit project op politicalmashup.nl




            Oppositie wil meer dan één hand
            Ook de PvdA wil dat het                          zouden steunen. De coalitiepart-                              afgelopen twee dagen voortdu-              lijk anders wordt. Komt er inder-                     geven dat er iets te onderhandelen
                                                             ners gingen tegen stemmen, ook                                rend de bereidwilligheid tot sa-           daad meer dualisme, zoals de rege-                    viel. „Zuur links begrijpt er niets
            staatshoofd een kleinere rol
Waarom?
•   Data analyse is een tool om mogelijke verhalen te
    vinden en onderzoeksvragen te beantwoorden

• Steeds meer data beschikbaar
• Verwerken en interpreteren van data kan een
    uitdaging zijn

• Programmeurs, hackers, nerds, etc. ontberen (vaak)
    benodigde domeinkennis
•   Steeds meer eenvoudige tools beschikbaar die
    eindgebruiker krachtige analyses laten maken

•   Gebruik deze tools om te onderzoeken of er een
    ‘verhaal’ in de data zit

•   Interactief, big data, geavanceerde
    analysemethodes? Probeer een hacker te vinden!
Wat?
•   Recent vrijgegeven dataset Politie Rotterdam

•   Zit er iets interessants in deze dataset?

•   Dataset bekijken en opschonen met Google
    Refine

•   Mashup maken en analyseren met Google Fusion
    Tables

•   Klinkt saai? Interactieve visualisaties met D3
    (indien niet vies van coden)!
Data
•   vol vuiligheid

•   achterhaald (statisch)

•   onbegrijpelijk en ongedocumenteerd

•   incompleet en incorrect
•   vergelijk geen appels met peren

•   visualisaties kunnen makkelijk misleiden

•   geef interpretatie juiste betekenis
lab.dispectu.com/talks/vvoj2012

 Bart de Goede                  Justin van Wees
 @bartdegoede                          @justin_v_w
 bart@dispectu.com              justin@dispectu.com




                     Dispectu

More Related Content

Featured

Everything You Need To Know About ChatGPT
Everything You Need To Know About ChatGPTEverything You Need To Know About ChatGPT
Everything You Need To Know About ChatGPT
Expeed Software
 
Product Design Trends in 2024 | Teenage Engineerings
Product Design Trends in 2024 | Teenage EngineeringsProduct Design Trends in 2024 | Teenage Engineerings
Product Design Trends in 2024 | Teenage Engineerings
Pixeldarts
 
How Race, Age and Gender Shape Attitudes Towards Mental Health
How Race, Age and Gender Shape Attitudes Towards Mental HealthHow Race, Age and Gender Shape Attitudes Towards Mental Health
How Race, Age and Gender Shape Attitudes Towards Mental Health
ThinkNow
 
AI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdfAI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdf
marketingartwork
 
Skeleton Culture Code
Skeleton Culture CodeSkeleton Culture Code
Skeleton Culture Code
Skeleton Technologies
 
PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024
Neil Kimberley
 
Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)
contently
 
How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024
Albert Qian
 
Social Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie InsightsSocial Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie Insights
Kurio // The Social Media Age(ncy)
 
Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024
Search Engine Journal
 
5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary
SpeakerHub
 
ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd
Clark Boyd
 
Getting into the tech field. what next
Getting into the tech field. what next Getting into the tech field. what next
Getting into the tech field. what next
Tessa Mero
 
Google's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search IntentGoogle's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search Intent
Lily Ray
 
How to have difficult conversations
How to have difficult conversations How to have difficult conversations
How to have difficult conversations
Rajiv Jayarajah, MAppComm, ACC
 
Introduction to Data Science
Introduction to Data ScienceIntroduction to Data Science
Introduction to Data Science
Christy Abraham Joy
 
Time Management & Productivity - Best Practices
Time Management & Productivity -  Best PracticesTime Management & Productivity -  Best Practices
Time Management & Productivity - Best Practices
Vit Horky
 
The six step guide to practical project management
The six step guide to practical project managementThe six step guide to practical project management
The six step guide to practical project management
MindGenius
 
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
RachelPearson36
 
Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...
Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...
Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...
Applitools
 

Featured (20)

Everything You Need To Know About ChatGPT
Everything You Need To Know About ChatGPTEverything You Need To Know About ChatGPT
Everything You Need To Know About ChatGPT
 
Product Design Trends in 2024 | Teenage Engineerings
Product Design Trends in 2024 | Teenage EngineeringsProduct Design Trends in 2024 | Teenage Engineerings
Product Design Trends in 2024 | Teenage Engineerings
 
How Race, Age and Gender Shape Attitudes Towards Mental Health
How Race, Age and Gender Shape Attitudes Towards Mental HealthHow Race, Age and Gender Shape Attitudes Towards Mental Health
How Race, Age and Gender Shape Attitudes Towards Mental Health
 
AI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdfAI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdf
 
Skeleton Culture Code
Skeleton Culture CodeSkeleton Culture Code
Skeleton Culture Code
 
PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024
 
Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)
 
How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024
 
Social Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie InsightsSocial Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie Insights
 
Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024
 
5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary
 
ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd
 
Getting into the tech field. what next
Getting into the tech field. what next Getting into the tech field. what next
Getting into the tech field. what next
 
Google's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search IntentGoogle's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search Intent
 
How to have difficult conversations
How to have difficult conversations How to have difficult conversations
How to have difficult conversations
 
Introduction to Data Science
Introduction to Data ScienceIntroduction to Data Science
Introduction to Data Science
 
Time Management & Productivity - Best Practices
Time Management & Productivity -  Best PracticesTime Management & Productivity -  Best Practices
Time Management & Productivity - Best Practices
 
The six step guide to practical project management
The six step guide to practical project managementThe six step guide to practical project management
The six step guide to practical project management
 
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
 
Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...
Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...
Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...
 

Vvoj presentatie

  • 1. Open data Een introductie tot opschonen, aggregeren en visualiseren VVOJ conferentie 17 november 2012
  • 3. • Recent afgestudeerde informatiekundigen • Gewerkt aan verzamelen, structureren en analyseren van politieke data (PoliticalMashup) • Dispectu gestart; specialiseren in datacollectie, zoekmachinetechnologie en visualisatie
  • 4.
  • 5. pagina 03 Aantal interrupties tijdens debat over regeringsverklaring Voorbeeld: Dinsdag 26 oktober Woensdag 27 oktober Job Cohen heeft Stef Blok 12 21 keer geïnterrumpeerd 6 Cohen Cohen 30 Van 11 Van PvdA PvdA Haersma 7 Wilders Haersma Wilders 1 Buma Buma CDA 14 12 CDA 2 5 PVV PVV 19 6 4 11 15 7 24 18 Thieme Thieme Rouvoet Rouvoet 84 PvdD PvdD ChrUnie 2 ChrUnie 10 60 20 Rutte 6 2 64 VVD 2 Roemer 4 Roemer 73 V der an 85 V der an 2 Staaij Staaij 2 SP SP SGP SGP 21 25 14 13 Halsema 1 3 25 Halsema 2 3 Blok Blok GrLinks 4 GrLinks 3 VVD VVD Pechtold Pechtold D66 D66 Totaal aantal keren dat de spreker (bijvoorbeeld Stef Blok) ... Totaal aantal keren dat de spreker (bijvoorbeeld Alexander Pechtold) ... ... geïnterrumpeerd is ... geïnterrumpeerd heeft ... geïnterrumpeerd is ... geïnterrumpeerd heeft 0 10 20 30 40 50 60 70 80 90 100 110 0 50 100 150 200 250 300 350 400 450 Blok Rutte ** Wilders Wilders V Haersma Buma an Blok Cohen Pechtold V der Staaij an V der Staaij an Pechtold Cohen * Halsema Roemer * V Haersma Buma * an Roemer * Halsema * Rouvoet * * werd niet geïnterrumpeerd Rouvoet * Thieme * * werd niet geïnterrumpeerd ** heeft niet geïnterrumpeerd Thieme * NRC 281010 / FG, RL / Bron: UvA › Wie zegt wat in de Tweede Kamer, tegen wie en wanneer? Het informatica-instituut van de Universiteit van Amsterdam brengt in kaart hoe vaak politici elkaar in de rede vallen. Het schema hierboven toont de interacties van dinsdag en gisteren. Meer over dit project op politicalmashup.nl Oppositie wil meer dan één hand Ook de PvdA wil dat het zouden steunen. De coalitiepart- afgelopen twee dagen voortdu- lijk anders wordt. Komt er inder- geven dat er iets te onderhandelen ners gingen tegen stemmen, ook rend de bereidwilligheid tot sa- daad meer dualisme, zoals de rege- viel. „Zuur links begrijpt er niets staatshoofd een kleinere rol
  • 6.
  • 7.
  • 8.
  • 10. Data analyse is een tool om mogelijke verhalen te vinden en onderzoeksvragen te beantwoorden • Steeds meer data beschikbaar • Verwerken en interpreteren van data kan een uitdaging zijn • Programmeurs, hackers, nerds, etc. ontberen (vaak) benodigde domeinkennis
  • 11. Steeds meer eenvoudige tools beschikbaar die eindgebruiker krachtige analyses laten maken • Gebruik deze tools om te onderzoeken of er een ‘verhaal’ in de data zit • Interactief, big data, geavanceerde analysemethodes? Probeer een hacker te vinden!
  • 12. Wat?
  • 13. Recent vrijgegeven dataset Politie Rotterdam • Zit er iets interessants in deze dataset? • Dataset bekijken en opschonen met Google Refine • Mashup maken en analyseren met Google Fusion Tables • Klinkt saai? Interactieve visualisaties met D3 (indien niet vies van coden)!
  • 14. Data
  • 15.
  • 16.
  • 17. vol vuiligheid • achterhaald (statisch) • onbegrijpelijk en ongedocumenteerd • incompleet en incorrect
  • 18. vergelijk geen appels met peren • visualisaties kunnen makkelijk misleiden • geef interpretatie juiste betekenis
  • 19.
  • 20. lab.dispectu.com/talks/vvoj2012 Bart de Goede Justin van Wees @bartdegoede @justin_v_w bart@dispectu.com justin@dispectu.com Dispectu