Форматы открытых данных и работа с открытыми данными

1,347 views

Published on

Форматы открытых данных и работа с открытыми данными
29 октября 2013 года

Published in: Education
0 Comments
2 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
1,347
On SlideShare
0
From Embeds
0
Number of Embeds
4
Actions
Shares
0
Downloads
18
Comments
0
Likes
2
Embeds 0
No embeds

No notes for slide

Форматы открытых данных и работа с открытыми данными

  1. 1. Форматы открытых данных и работа с открытыми данными Радченко Ирина Алексеевна кандидат технических наук, доцент http://about.me/Irina.Radchenko http://iRadche.ru Высшая школа экономики, Москва, 2013 www.hse.ru
  2. 2. Требование машиночитаемости данных 2
  3. 3. Пятизвездочная модель открытых данных по Тиму Бернерсу-Ли Источники: http://5stardata.info/, http://www.w3.org/DesignIssues/LinkedData.html 3
  4. 4. Формат PDF (Portable Document Format) Представление в электронном виде полиграфической продукции Достоинства Недостаток Представление документов в электронном виде Мало пригоден для машинной обработки Кроссплатформенность Стандарт ISO 32000-1:2008 Много программного обеспечения (в том числе, свободного) для работы с данным форматом 4
  5. 5. Excel-формат Представление данных в табличной форме Представление данных в табличной форме Пригодность для машинной обработки Много программного обеспечения для работы с данным форматом 5
  6. 6. Формат CSV Представление данных в табличной форме Представление данных в табличной форме Пригодность для машинной обработки Открытый формат данных Много программного обеспечения (в том числе, онлайн-сервисов) для работы с данным форматом 6
  7. 7. Формат JSON (JavaScript Object Notation) Текстовый формат обмена данными Читается как компьютерами, так и людьми Пригодность для машинной обработки Может использоваться с любым языком программирования Подходит для сериализации сложных структур данных 7
  8. 8. Формат XML (eXtensible Markup Language) Читается как компьютерами, так и людьми Рекомендован консорциумом W3C Пригодность для машинной обработки Удобен для обмена данными (а также документами) в интернете 8
  9. 9. Модель представления данных RDF Пригодность для машинной обработки Является частью Семантического веба (Semantic Web) Используемые форматы данных: RDF/XML, RDF/JSON, RDFa, N-Triples, Turtle, N3 Использует словари, таксономии и онтологии 9
  10. 10. Модель представления данных RDF Источник: http://odinprac.theodi.org/September_2013/resources/Discovering_Data.pdf 10
  11. 11. Процесс работы с открытыми данными 11
  12. 12. Поиск открытых данных Каталог открытых данных Организации Экономического Сотрудничества и Развития Источник: http://www.oecd.org/statistics/ 12
  13. 13. Поиск открытых данных Международный каталог порталов открытых данных Источник: http://www.datacatalogs.org/ 13
  14. 14. Поиск открытых данных Каталог открытых данных Open Knowledge Foundation Источник: http://datahub.io/dataset 14
  15. 15. Поиск открытых данных Открытые данные на сайте Министерства экономического развития Российской Федерации Источник: http://www.economy.gov.ru/wps/wcm/connect/economylib4/designElements/opendata/ 15
  16. 16. Поиск открытых данных Единая межведомственная информационно-статистическая система (ЕМИСС) Источник: http://www.fedstat.ru/indicators/start.do 16
  17. 17. Поиск открытых данных Портал открытых данных Москвы Источник: http://data.mos.ru/datasets 17
  18. 18. Обработка данных Источник: http://openrefine.org/ 18
  19. 19. Визуальное представление данных Google Fusion Tables 19
  20. 20. Визуальное представление данных Источник: http://www-958.ibm.com/software/analytics/manyeyes/visualizations/state-universities-in-russia-3 20
  21. 21. Визуальное представление данных Tableau Public Источник: http://www.tableausoftware.com/public/ 21
  22. 22. • Пример работы с открытыми данными
  23. 23. Поиск наборов данных по выбросу углекислого газа в атмосферу
  24. 24. Поиск наборов данных по выбросу углекислого газа в атмосферу
  25. 25. Портал статистических данных Index Mundi Источник: http://www.indexmundi.com/facts/russia/co2-emissions
  26. 26. Портал статистических данных Index Mundi Источник: http://www.quandl.com/russia
  27. 27. Визуализированное представление данных по выбросу углекислого газа в атмосферу Источник: http://www.quandl.com/WORLDBANK-World-Bank/RUS_EN_ATM_CO2E_KT-RussianFederation-CO2-emissions-kt
  28. 28. Скачивание данных по выбросу углекислого газа в атмосферу Источник: http://www.quandl.com/WORLDBANK-World-Bank/RUS_EN_ATM_CO2E_KT-RussianFederation-CO2-emissions-kt
  29. 29. Набор данных по выбросу углекислого газа в атмосферу
  30. 30. Набор данных по выбросу углекислого газа в атмосферу на сайте Международного энергетического агентства (МЭА) Источник: http://www.eia.gov/cfapps/ipdbproject/IEDIndex3.cfm?tid=90&pid=44&aid=8
  31. 31. Набор данных по выбросу углекислого газа в атмосферу на сайте Международного энергетического агентства (МЭА)
  32. 32. Объединенные наборы данных по выбросу углекислого газа в атмосферу Источник: https://docs.google.com/spreadsheet/ccc?key=0Asi05AgC7aRFdDFORHBjbXhPcWQxQkFieFNtM0JHX1E#gi d=0
  33. 33. Сводные таблицы (Google Fusion Tables)
  34. 34. Объединенные наборы данных по выбросу углекислого газа в атмосферу Источник: https://www.google.com/fusiontables/data?docid=1bLBR4OzPa2toGYxDpWRFePImW3c6BMaYMCiYfQ#rows:id=1
  35. 35. Объединенные наборы данных по выбросу углекислого газа в атмосферу Источник: https://www.google.com/fusiontables/data?docid=1bLBR4OzPa2toGYxDpWRFePImW3c6BMaYMCiYfQ#chartnew:id=3
  36. 36. Полезные ссылки 1. Список программного обеспечения для работы с PDF: http://en.wikipedia.org/wiki/List_of_PDF_software 2. ISO 32000-1:2008: http://www.iso.org/iso/catalogue_detail?csnumber=51502 3. Описание CSV: http://tools.ietf.org/html/rfc4180 4. Описание JSON: https://developer.mozilla.org/enUS/docs/Web/JavaScript/Reference/Global_Objects/JSON?redirectlocale=enUS&redirectslug=JavaScript%2FReference%2FGlobal_Objects%2FJSON 5. Описание RDF: http://www.w3.org/RDF/ 6. Как правильно искать в Google: http://habrahabr.ru/sandbox/46956/ 7. Справка по работе с Google Public Explorer: https://support.google.com/publicdata/ 8. Some Datasets Available on the Web: http://www.datawrangling.com/somedatasets-available-on-the-web
  37. 37. Спасибо за внимание! http://iRadche.ru http://about.me/Irina.Radchenko @iRadche http://iRadche.livejournal.com/ https://www.facebook.com/iRadche http://www.slideshare.net/iRadche

×