Open data
Een introductie tot opschonen, aggregeren en
visualiseren




                                               VVOJ conferentie
                                               17 november 2012
Wie?
• Recent afgestudeerde informatiekundigen
• Gewerkt aan verzamelen, structureren en
  analyseren van politieke data (PoliticalMashup)

• Dispectu gestart; specialiseren in datacollectie,
  zoekmachinetechnologie en visualisatie
pagina 03
             Aantal interrupties tijdens debat over regeringsverklaring

             Voorbeeld:                                          Dinsdag 26 oktober                                                                                                     Woensdag 27 oktober
             Job Cohen heeft Stef Blok
                                                                                          12
             21 keer geïnterrumpeerd                         6
                                                                         Cohen                                                                                                                     Cohen
                                                                                           30
                                          Van           11                                                                                                           Van
                                                                         PvdA                                                                                                                      PvdA
                                        Haersma                                       7                        Wilders                                             Haersma                                                                 Wilders
                                                                                           1
                                         Buma                                                                                                                       Buma
                                          CDA           14                                  12                                                                       CDA                                                    2
                               5                                                                                PVV                                                                                                                         PVV
                                                                                               19                             6                                                                                                  4
                                   11              15                                                                                                                                                                                       7
                                        24                                                                18


                   Thieme                                                                                                                            Thieme
                                                                                                                                  Rouvoet                                                                                                                      Rouvoet
                                                                                                                                                                                                    84
                    PvdD                                                                                                                              PvdD
                                                                                                                                  ChrUnie                                                                  2                                                   ChrUnie
                                                                                                                                                                                        10
                                                                                                                                                                                                                       60
                                                                                                                                                                                      20       Rutte
                                                                                                                                                                                                                   6
                                                                                                                                        2                                        64                VVD
                                                                                                                                                                                                               2
                  Roemer                                                                                                  4                          Roemer                             73
                                                                                                                                  V der
                                                                                                                                   an                                                              85                                                         V der
                                                                                                                                                                                                                                                               an
                                                                                                                         2        Staaij                                                                                                                      Staaij
                                                                                                                                                                                                                                                        2
                    SP                                                                                                                                 SP
                                                                                                                                   SGP                                                                                                                           SGP
                                                                                                           21
                                                                                                    25                14

                                                                                               13
                                        Halsema          1           3                    25                                                                      Halsema                                  2                3
                                                                                                               Blok                                                                                                                        Blok
                                        GrLinks                                                4                                                                  GrLinks                                                    3
                                                                                                               VVD                                                                                                                         VVD
                                                                    Pechtold                                                                                                                 Pechtold

                                                                         D66                                                                                                                   D66

                Totaal aantal keren dat de spreker (bijvoorbeeld Stef Blok) ...                                                                   Totaal aantal keren dat de spreker (bijvoorbeeld Alexander Pechtold) ...
                  ... geïnterrumpeerd is   ... geïnterrumpeerd heeft                                                                                ... geïnterrumpeerd is   ... geïnterrumpeerd heeft
                                 0            10        20   30       40         50       60         70         80         90     100       110                   0         50    100        150         200       250               300          350       400         450
                            Blok                                                                                                                             Rutte
                                                                                                                                                                   **
                         Wilders                                                                                                                           Wilders
                V Haersma Buma
                 an                                                                                                                                           Blok
                          Cohen                                                                                                                           Pechtold
                    V der Staaij
                     an                                                                                                                               V der Staaij
                                                                                                                                                       an
                        Pechtold                                                                                                                            Cohen *
                        Halsema                                                                                                                            Roemer *
                                                                                                                                                  V Haersma Buma *
                                                                                                                                                   an
                         Roemer *
                                                                                                                                                          Halsema *
                            Rouvoet *                                                                                                                                                                                                   * werd niet geïnterrumpeerd
                                                                                                                                                          Rouvoet *
                             Thieme *                                                                          * werd niet geïnterrumpeerd                                                                                             ** heeft niet geïnterrumpeerd
                                                                                                                                                           Thieme *
                                                                                                                                                                                                                                                   NRC 281010 / FG, RL / Bron: UvA



            ›   Wie zegt wat in de Tweede Kamer, tegen wie en wanneer? Het informatica-instituut van de Universiteit van Amsterdam brengt in kaart hoe vaak politici elkaar in de rede vallen.
                Het schema hierboven toont de interacties van dinsdag en gisteren. Meer over dit project op politicalmashup.nl




            Oppositie wil meer dan één hand
            Ook de PvdA wil dat het                          zouden steunen. De coalitiepart-                              afgelopen twee dagen voortdu-              lijk anders wordt. Komt er inder-                     geven dat er iets te onderhandelen
                                                             ners gingen tegen stemmen, ook                                rend de bereidwilligheid tot sa-           daad meer dualisme, zoals de rege-                    viel. „Zuur links begrijpt er niets
            staatshoofd een kleinere rol
Waarom?
•   Data analyse is een tool om mogelijke verhalen te
    vinden en onderzoeksvragen te beantwoorden

• Steeds meer data beschikbaar
• Verwerken en interpreteren van data kan een
    uitdaging zijn

• Programmeurs, hackers, nerds, etc. ontberen (vaak)
    benodigde domeinkennis
•   Steeds meer eenvoudige tools beschikbaar die
    eindgebruiker krachtige analyses laten maken

•   Gebruik deze tools om te onderzoeken of er een
    ‘verhaal’ in de data zit

•   Interactief, big data, geavanceerde
    analysemethodes? Probeer een hacker te vinden!
Wat?
•   Recent vrijgegeven dataset Politie Rotterdam

•   Zit er iets interessants in deze dataset?

•   Dataset bekijken en opschonen met Google
    Refine

•   Mashup maken en analyseren met Google Fusion
    Tables

•   Klinkt saai? Interactieve visualisaties met D3
    (indien niet vies van coden)!
Data
•   vol vuiligheid

•   achterhaald (statisch)

•   onbegrijpelijk en ongedocumenteerd

•   incompleet en incorrect
•   vergelijk geen appels met peren

•   visualisaties kunnen makkelijk misleiden

•   geef interpretatie juiste betekenis
lab.dispectu.com/talks/vvoj2012

 Bart de Goede                  Justin van Wees
 @bartdegoede                          @justin_v_w
 bart@dispectu.com              justin@dispectu.com




                     Dispectu

Vvoj presentatie

  • 1.
    Open data Een introductietot opschonen, aggregeren en visualiseren VVOJ conferentie 17 november 2012
  • 2.
  • 3.
    • Recent afgestudeerdeinformatiekundigen • Gewerkt aan verzamelen, structureren en analyseren van politieke data (PoliticalMashup) • Dispectu gestart; specialiseren in datacollectie, zoekmachinetechnologie en visualisatie
  • 5.
    pagina 03 Aantal interrupties tijdens debat over regeringsverklaring Voorbeeld: Dinsdag 26 oktober Woensdag 27 oktober Job Cohen heeft Stef Blok 12 21 keer geïnterrumpeerd 6 Cohen Cohen 30 Van 11 Van PvdA PvdA Haersma 7 Wilders Haersma Wilders 1 Buma Buma CDA 14 12 CDA 2 5 PVV PVV 19 6 4 11 15 7 24 18 Thieme Thieme Rouvoet Rouvoet 84 PvdD PvdD ChrUnie 2 ChrUnie 10 60 20 Rutte 6 2 64 VVD 2 Roemer 4 Roemer 73 V der an 85 V der an 2 Staaij Staaij 2 SP SP SGP SGP 21 25 14 13 Halsema 1 3 25 Halsema 2 3 Blok Blok GrLinks 4 GrLinks 3 VVD VVD Pechtold Pechtold D66 D66 Totaal aantal keren dat de spreker (bijvoorbeeld Stef Blok) ... Totaal aantal keren dat de spreker (bijvoorbeeld Alexander Pechtold) ... ... geïnterrumpeerd is ... geïnterrumpeerd heeft ... geïnterrumpeerd is ... geïnterrumpeerd heeft 0 10 20 30 40 50 60 70 80 90 100 110 0 50 100 150 200 250 300 350 400 450 Blok Rutte ** Wilders Wilders V Haersma Buma an Blok Cohen Pechtold V der Staaij an V der Staaij an Pechtold Cohen * Halsema Roemer * V Haersma Buma * an Roemer * Halsema * Rouvoet * * werd niet geïnterrumpeerd Rouvoet * Thieme * * werd niet geïnterrumpeerd ** heeft niet geïnterrumpeerd Thieme * NRC 281010 / FG, RL / Bron: UvA › Wie zegt wat in de Tweede Kamer, tegen wie en wanneer? Het informatica-instituut van de Universiteit van Amsterdam brengt in kaart hoe vaak politici elkaar in de rede vallen. Het schema hierboven toont de interacties van dinsdag en gisteren. Meer over dit project op politicalmashup.nl Oppositie wil meer dan één hand Ook de PvdA wil dat het zouden steunen. De coalitiepart- afgelopen twee dagen voortdu- lijk anders wordt. Komt er inder- geven dat er iets te onderhandelen ners gingen tegen stemmen, ook rend de bereidwilligheid tot sa- daad meer dualisme, zoals de rege- viel. „Zuur links begrijpt er niets staatshoofd een kleinere rol
  • 9.
  • 10.
    Data analyse is een tool om mogelijke verhalen te vinden en onderzoeksvragen te beantwoorden • Steeds meer data beschikbaar • Verwerken en interpreteren van data kan een uitdaging zijn • Programmeurs, hackers, nerds, etc. ontberen (vaak) benodigde domeinkennis
  • 11.
    Steeds meer eenvoudige tools beschikbaar die eindgebruiker krachtige analyses laten maken • Gebruik deze tools om te onderzoeken of er een ‘verhaal’ in de data zit • Interactief, big data, geavanceerde analysemethodes? Probeer een hacker te vinden!
  • 12.
  • 13.
    Recent vrijgegeven dataset Politie Rotterdam • Zit er iets interessants in deze dataset? • Dataset bekijken en opschonen met Google Refine • Mashup maken en analyseren met Google Fusion Tables • Klinkt saai? Interactieve visualisaties met D3 (indien niet vies van coden)!
  • 14.
  • 17.
    vol vuiligheid • achterhaald (statisch) • onbegrijpelijk en ongedocumenteerd • incompleet en incorrect
  • 18.
    vergelijk geen appels met peren • visualisaties kunnen makkelijk misleiden • geef interpretatie juiste betekenis
  • 20.
    lab.dispectu.com/talks/vvoj2012 Bart deGoede Justin van Wees @bartdegoede @justin_v_w bart@dispectu.com justin@dispectu.com Dispectu