CKAN by Friedrich Lindenberg
Upcoming SlideShare
Loading in...5
×
 

Like this? Share it with your network

Share

CKAN by Friedrich Lindenberg

on

  • 1,033 views

Presentation at the OGD2011 conference taking place in Vienna on the 16th of June 2011 as well as at the LOD2 CKAn workshop on 15th of June 2011: CKAN by Friedrich Lindenberg, Open Knowledge ...

Presentation at the OGD2011 conference taking place in Vienna on the 16th of June 2011 as well as at the LOD2 CKAn workshop on 15th of June 2011: CKAN by Friedrich Lindenberg, Open Knowledge Foundation.
(License: CC-BY 3.0)

Statistics

Views

Total Views
1,033
Views on SlideShare
1,031
Embed Views
2

Actions

Likes
0
Downloads
21
Comments
0

1 Embed 2

http://fold.liqd.net 2

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

CKAN by Friedrich Lindenberg Presentation Transcript

  • 1. LOD2 CKAN Workshop Wien - 15.6.2011
  • 2. Warum?
  • 3. Kernfragen✓ Welche Lizenz?✓ Welche Formate?✓ Welche Inhalte?✓ Dann: ✓ Aktualität ✓ Vollständigkeit ✓ Bezugsraum, ...
  • 4. Informationsarchitektur
  • 5. Daten-Ökosystem
  • 6. Beispiel: Ausgaben UK
  • 7. November 2011:Veröffentlichung Ausgaben der zentralenRegierung > £ 25.000, lokal: > £ 500
  • 8. 7 Monate später• 557 Datenpakete• 588 Behörden• 3327 Tabellen (CSV, Excel, HTML)
  • 9. Datenbereinigung • Abruf per CKAN-API (data.gov.uk) • Formatkonvertierung (SQLite) • Vereinheitlichung von Ministerien und Behörden (Google Spreadsheet) • Verbindung mit OpenCorporates (Unternehmens-Registernummern) • Als neues CKAN-Paket bereit gestellt (ckan.net)
  • 10. Weiternutzung
  • 11. Was ist CKAN? (I)• Open Source-Projekt, etwa 12 Kernentwickler• Nutzer: data.gov.uk, data.norge.no, hri.fi, register.data.overheid.nl, iatiregistry.org• ckan.net und ~ 24 Community-Instanzen
  • 12. Was ist CKAN? (II)• Datenkatalog, kein Repositorium • (Archiv & Speicherung als Erweiterung)• flexibles Metadatenschema • Kernelemente ~ Dublin Core + Ressourcen• Versionierung aller Metadaten
  • 13. Was ist CKAN? (III)• Ein Wiki für Metadaten• Vision: GitHub/SourceForge für Datenquellen• Community von aktiven Datennutzern einbinden (auch für Regierungsseiten)• Verschiedene Metaphern (CPAN = Perl Packet-Verzeichnis)
  • 14. Beispiel: LOD Cloud
  • 15. Metadaten• Kernelemente und “Extras”• anpassbare Formulare im Webfrontend• durch data.gov.uk: Konventionen für Extra-Felder (auch in data.norge.no, hri.fi, overheid.nl)
  • 16. Theming
  • 17. Content Management• “Wordpresser”-Erweiterung zur Anbindung an Wordpress• Integration mit Drupal bei data.gov.uk (Open Source)
  • 18. Geodaten (I)
  • 19. Geodaten (II)• CSW-Harvester und Endpunkt• GEMINI 2.1 (~> INSPIRE)• sammelt Kataloge aus England und den anghängten Ländern• Übergabe via Ordnance Survey an EC• Experimentelle Geo-Suche, WMS- Preview
  • 20. Publisher• Institutionen-Modell• Freischaltung von Behörden• Nutzergruppen
  • 21. Moderierte Eingaben
  • 22. Schnittstelle• REST-API mit JSON und RDF-Support• Bibliotheken für Python, PHP, Ruby• Nutzung: • Paketimport (Excel-Sheets) • Metadatenanreicherung
  • 23. Metadatenbereinigung
  • 24. publicdata.eu• Portal als Forschungs-Prototyp für data.eu• Föderierung von Datenkatalogen aus Europa• Integration & Anreicherung der Metadaten• Standardisierung von DCat
  • 25. Scraping
  • 26. DCat• Standardisierungsdiskussion läuft (Workshop Anfang Mai)• Partner: RPI, CTIC, LOD2, CSI Piemonte etc.• RDF mit DC Terms und Ressourcen• Gemeinsame Harvesting-API• datacatalogs.org• GLD WG im W3C neu gestartet• SKOS?
  • 27. • 430 Teilnehmer aus 23 EU-Staaten• Preisvergabe bei der Digital Assembly
  • 28. Apps-Katalog
  • 29. Ressourcen • CKAN Projektseite - http://ckan.org • CKAN Wiki - http//wiki.ckan.net • PublicData.eu-Portal - http://publicdata.eu • Open Data Manual - http://www.opendatamanual.org • Open Defintion - http://opendefintion.org • Allg. Informationen - http://opengovernmentdata.org/Folien: CC-BY, Friedrich Lindenberg, genutzte Bilder: London Traffic Lights (WikimediaCommons); Francis Maude at data.gov.uk Event (Guardian), Screenshots
  • 30. Teil II: Hands-on
  • 31. Technik• Python-Anwendung, Pylons MVC- Framework• PostgreSQL-Datenbank• Apache/mod_wsgi oder uwsgi• Optionale Abh.: Apache Solr, RabbitMQ
  • 32. Modularisierung
  • 33. Installation• Debian Packages für Ubuntu LTS• Extensions werden als Packages verteilt• Solr und RabbitMQ getrennt installieren
  • 34. Anpassung• ckanext-exampletheme ableiten• Formulare als Python-Modul anpassen• Themes sind Template-Overlays• HTML-Struktur enspricht Wordpress• Lokalisierung via transifex.net
  • 35. Sicherheit• Authentifizierung via Login, OpenID, API Key• Authorisierung via Rollen und Aktionen • ACL für jedes Packet, jede Gruppe • globale Defaults sind konfigurierbar • AuthzGroups für Nutzergruppen
  • 36. API• /api/X/rest - Versioniert• /api/2/rest/package - REST Collection (GET, POST), auf Entities: GET, PUT.• Beispiele in ckanext-pdeu/scripts
  • 37. Revisionen• Copy on Write in Spiegel-Tabelle• Revisionen können gelöscht werden• Quelle für RSS-Feeds
  • 38. Queue• Hintergrundverarbeitung durch Queue • Solr Index Aktualisierung • Triple Store sync • Archivierung • Webhooks
  • 39. Speicherung• Noch im Beta-Stadium• Nutzt Dateisystemabstraktion (OFS) • S3, Archive.org, Google Storage • REST Forward, Pairtree Dateisystem