Open Data: Free Data Isn't the Same as Freeing Data


Published on

Talk given at the South Tyrol Innovation conference on open data, mainly focused on government open data.
Open data doesn’t mean free data and other maunderings about public data, public goods, and networked data as a resource.
The hidden costs of open data (and how to pay for them).
Beyond transparency (which is where a lot of this started).

Published in: Business, Technology, Education
1 Comment
No Downloads
Total views
On SlideShare
From Embeds
Number of Embeds
Embeds 0
No embeds

No notes for slide

Open Data: Free Data Isn't the Same as Freeing Data

  1. 1. Free Data Isn’t  the Same as  Freeing Data September, 2013 Mark Madsen @markmadsen
  2. 2. Copyright Third Nature, Inc. A Quick Intro One of my past jobs… In some ways it was  similar to how people  view open data: get  free puppies and sell  grown dogs. But selling data like a  data syndicator is a bad  model for public data.
  3. 3. Copyright Third Nature, Inc. Some of the secrets in this session Open data does  not always mean  free data. Open data = better  government  When you open  data you unlock  value in the  market that is  more important  than gaining  revenue directly.
  4. 4. Copyright Third Nature, Inc. Some open data examples These projects fall into a few different types: ▪ Make data available ▪ Make data pretty ▪ Make data actionable
  5. 5. Copyright Third Nature, Inc.
  6. 6. Copyright Third Nature, Inc. When you first give people access to information  that was unavailable… OH GOD I can see into forever
  7. 7. Copyright Third Nature, Inc. After a while the response is more measured
  8. 8. Copyright Third Nature, Inc. Sample app showing statistical data. Attractive, but how useful?
  9. 9. Copyright Third Nature, Inc. Open data app <> “make data pretty” There’s more to data  than simply showing  numbers. e.g. many  “data+map”  applications If your data looks like  the population, you  haven’t found the  relevant parts yet.
  10. 10. Copyright Third Nature, Inc. What’s wrong with the City of Oakland CrimeWatch web site? Figuring out what to do Doing it once you figure out how Many problems with: Navigation Control Display Exceptions City of Oakland Crimewatch And the reported price was over a quarter of a million dollars for the city, plus annual maintenance.
  11. 11. Copyright Third Nature, Inc. Oakland Crimespotting: Let Your Data Go
  12. 12. Copyright Third Nature, Inc. A Standard Municipal Web Site
  13. 13. Copyright Third Nature, Inc. Honolulu Answers Data that you think is worthless may be useful
  14. 14. Copyright Third Nature, Inc. Fighting Fraud and Corruption in Education
  15. 15. Copyright Third Nature, Inc. Massachusetts Bay Transit Authority (MBTA) Actionable, immediate
  16. 16. Copyright Third Nature, Inc. MBTA: Why not sell the data? Does the government know how to be in the business of  selling data? What data is valuable and what isn’t? How  to price it? How to negotiate the contracts? Privatizing data is almost always bad: ▪ Translink in Vancouver sold their transit data to Google. Now  they have no transit applications and can’t make any. ▪ Admin Office of the US Courts, spent $30M to get digital  access to its own records, that it sold for less ▪ Same office paying $156M to publish the same material online ▪ The US GAO and Thomson West legislative history, similar tale ▪ Amazon and the US national archives videos, similar tale ▪ WestLaw and LexisNexis make ~$2B annually from this data
  17. 17. Crisis Commons Oil Reporter
  18. 18. Copyright Third Nature, Inc. Street Bump
  19. 19. Copyright Third Nature, Inc. Value from open data: Private is a cost Available is good Relevant is better Actionable is best
  20. 20. Copyright Third Nature, Inc. The benefits of open data fit into a few categories: Tangible, direct: ▪ Save money – less work, lowered cost of service ▪ Make money – direct revenue (unlikely) Intangible, indirect: ▪ Improved services ▪ Civil / Social ▪ Indirect revenue and benefits through market growth  or market efficiencies 
  21. 21. Copyright Third Nature, Inc. Open data doesn’t mean “data you don’t have to pay for”
  22. 22. Copyright Third Nature, Inc. Data isn’t really “exhaust” The data exhaust assumption
  23. 23. Copyright Third Nature, Inc. Open data means “free data” in a different way
  24. 24. Copyright Third Nature, Inc. Delivering data consistently isn’t always simple Most IT organizations have the skills and tools to extract  and publish data. Most do not have the skills and tools to create applications  on the data. Anthony David Giordano
  25. 25. Copyright Third Nature, Inc. Who bears the cost?  Supplier Producer Consumer The cost question is a red herring: different parties benefit  based on their participation, and costs vary by party.
  26. 26. Copyright Third Nature, Inc. The Economics of Scarcity is About Rivalry for Resources Rivalry: the more I use the  less you have. Data is not a  finite resource. Exclusion: intellectual  property law is exclusion;  you can’t use it unless you  pay me first
  27. 27. Copyright Third Nature, Inc. The Economics of Networked Data Require New Principles  Anti‐rivalry: there is no  consumption, only use. Open licensing is a way of addressing  the change in this dynamic. Inclusivity: the network effects of  inclusion mean more use = more  value; and as cost goes down,  usage and value go up. Open data value is driven by network effects
  28. 28. Copyright Third Nature, Inc. Anti‐rivalry + Inclusivity = Collaboration & Co‐creation
  29. 29. Copyright Third Nature, Inc. Which would you rather have? Open data can make the pie larger, particularly for  markets with many participants, like regional tourism. The rationale for sharing and collaborating: open data is not a zero‐sum game
  30. 30. Copyright Third Nature, Inc. For most public data, public domain Open data licensing creates a network resource  rather than an artificially limited resource. Citizens know more about how to apply data to  their problems than you do. Open public data  creates the possibility for many people to explore  and innovate, more quickly, resulting in more  chances to find the value in data.
  31. 31. Copyright Third Nature, Inc. How do you get a fancy open data app? You build it yourself. ▪ After training or hiring  the staff and acquiring  the technology to do it  repeatably and at scale.
  32. 32. Copyright Third Nature, Inc. How do we get a fancy open data app? You hire a vendor to  build it for you. ▪ Oakland showed how  well that usually works. ▪ If you don’t have the  skills to do something,  you may not have the  skills to evaluate the  vendor doing it either.
  33. 33. Copyright Third Nature, Inc. How do we get a fancy open data app? You open the data and  someone else writes it for  you. And then someone  else builds a better one.
  34. 34. Copyright Third Nature, Inc. The government’s job isn’t to be a for‐profit business. It’s to  maintain the infrastructure of a society. Open data can  make government more effective, creating a public good.
  35. 35. Copyright Third Nature, Inc. Some references Sharing data on the open web ‐ Extracting, Linking and Integrating Data from Public Sources: A  Financial Case Study, IEEE Data Engineering, September, 2011  Business Models for PSI Re‐Use: A Multidimensional Framework,  Enrico Ferro, Michele Osella, Istituto Superiore Mario Boella, Via  Boggio, 61 – 10138 Torino, Italy
  36. 36. Copyright Third Nature, Inc. CC Image Attributions Thanks to the people who supplied the creative commons licensed images used in this presentation: dog_peek_fence_bw.jpg ‐ shady_puppy_sales.jpg ‐ child_whisper.jpg ‐ XKCD Heatmap ‐ school small world bank beer_free_beer2.jpg ‐ laptop face.jpg ‐ child_alone.jpg ‐‐flor/129669668/ children playing.jpg ‐‐flor/52292046/