Uploaded byVitaly Vlasov
"Теория и практика открытых данных" (Пермь) Часть 2: Порталы и использование Google Refine для журналистики данных
Документ посвящен открытым данным и различным форматам их представления, включая CSV, XML и RDF. Он описывает популярные порталы открытых данных в разных странах, таких как США, Европейский Союз и Кения, и отмечает важные темы, как экология и статистика. Также затрагиваются проблемы использования открытых данных и предлагаются решения для их очистки и структурирования.
![Local open government directive [DRAFT] Перевод на русский язык](https://cdn.slidesharecdn.com/ss_thumbnails/localopengovernmentdirectiveru-120618151923-phpapp01-thumbnail.jpg?width=640&height=640&fit=bounds)
"Теория и практика открытых данных" (Пермь) Часть 2: Порталы и использование Google Refine для журналистики данных
- 1. ОТКРЫТЫЕ ДАННЫЕ: ТЕХНОЛОГИИ. ЧАСТЬ 2 ВласовВиталий Грани, Пермь 2013
- 2. ФОРМАТЫ • CSV • XML •RDF/OWL • JSON
- 3. CSV • CSV (отангл. Comma-SeparatedValues — значения, разделённые запятыми) — текстовый формат, предназначенный для представления табличных данных. Каждая строка файла — это одна строка таблицы. Значения отдельных колонок разделяются разделительным символом (delimiter) —запятой (,). Однако, большинство программ вольно трактует стандарт CSV и допускают использование иных символов в качестве разделителя («;», «табуляция»).
- 4. XML • XML (англ. eXtensibleMarkup Language — расширяемый язык разметки) — рекомендованный Консорциумом Всемирной паутины (W3C) язык разметки. • язык разметки с простым синтаксисом • удобен для обработки программами • удобен для чтения и создания человеком • используется в основном в Интернете • большие возможности настройки • позволяет создавать собственную разметку (тэги)
- 5. Корневой элемент Элемент АттрибутыЗначение Открывающий тэг Закрывающий тэг
- 6. ПОРТАЛ ОТКРЫТЫХ ДАННЫХ США 98000 дата сетов 236 приложений
- 12.
- 14.
- 15.
- 17. ПОРТАЛ ОТКРЫТЫХ ДАННЫХ Европейскийсоюз 6094 дата сета 6 приложений имеется раздел Linked Data http://open-data.europa.eu
- 18. ПОРТАЛ ОТКРЫТЫХ ДАННЫХ Кения 540 датасета 12 приложений
- 20. ПОРТАЛ ОТКРЫТЫХ ДАННЫХ Канада 190000 дата сета > 40 приложений http://data.gc.ca 47 региональных порталов
- 21. • наиболее популярныданные по окружающей среде и гражданству и иммиграции. • наибольшее количество датасетов загружено в областях: агрокультуры (1621), статистика (5311), природопользование (178 000) • количество посещений за 12 месяцев 1,8 млн. человек, в месяц в среднем - 90000
- 22.
- 23. ПОРТАЛ ОТКРЫТЫХ ДАННЫХ Молдоваhttp://data.gov.md/ 672 дата сета > 15 приложений
- 24.
- 25. Подробная информация по недвижимости и покаждому дому отдельно
- 26. Аренда жилья Рыночная стоимость здания,когда был построен Какие еще дома были построены в 1800 г.
- 27. ИДЕАЛЬНЫЙ ПОРТАЛ • содержатьссылки на разделы «Наборы данных», «Приложения/ Примеры», «Для разработчиков», а также размещать их наиболее удобно • иметь поиск по данным • иметь общую статистику просмотров, скачиваний, обновлений (загрузок новых дата сетов) • информация должна быть хорошо структурирована • использование открытых лицензий, отсутствие ограничений на использование дата сетов • порталу требуется продвижение и постоянная поддержка • возможность пользователю предложить/запросить дата сет, которого нет в наличии, возможность оставить комментарий дата сету
- 28. CKAN - ПОРТАЛС ОТКРЫТЫМ КОДОМ http://ckan.org/
- 29.
- 30. ПРОБЛЕМЫ ОКТРЫТЫХ ДАННЫХ • сложноиспользовать, не имея специальных технических навыков • сложно просматривать для быстрого ознакомления в браузере/портале • данные зачастую «грязные», требуют «валидации» и «очистки» • не полные данные, не всегда самые интересные данные открыты • официальные источники не регулярно обновляются
- 31. GOOGLE REFINE (инструмент дляочистки массивов открытых данных, не требует загрузки данных в сеть, нет необходимости иметь какие-либо специальные технические знания, открывается в веб- бразуере) Как использовать? • Скачать и установить дистрибутив на компьютер • Запустить и открыть в браузере страницу: http:// 127.0.0.1:3333 • Выбрать файл загрузить и создать новый проект.
- 33.
- 34. ЗАДАЧА 1: XMLВ CVS http://xn--80abucjiibhv9a.xn--p1ai/%D0%BE%D1%82%D0%BA%D1%80%D1%8B%D1%82%D1%8B%D0%B5-%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D0%B5/265
- 35.
- 36.
- 42.
- 43. ЗАДАЧА 2: ОЧИСТКАДАННЫХ minfin.ru/ru/opendata/
- 46. Это все офисная бумага,но в разных формулировках
- 47. Имеем 200 записей,15 из которых не имеют цены контракта
- 48. •5 контрактов от7 млн. до 50 млн. •Сбербанк (50 млн): «Квалификационный отбор по по выбору организаций на поставку расходных материалов (бумага, ролики для принтера, лента чековая, термобумага для чековых принтеров и др.)»
- 49. 1.Объединяем все чтокасается бумаги офисной (найдено более 90 разных формулировок) 2.Исключаем все остальные виды «Наименований», которые каким- то образом попали в наш список, но не имеют отношения к бумаге, в том числе бумага газетная и медицинские материалы (?). Комитет по земельным ресурсам и землеустройству Санкт-Петербурга - 2,3 млн. руб. - «бумага» (?) = 8 млн. листов?! Не пора ли на электронный документооборот переходить?
- 50. • Бумага -59 млн. руб. = 3 трлн. листов • Бумага вместе с иной канцелярией - 5.5 млн. руб • Туалетная бумага - 2,3 млн. • Это не за год, это итогам поиска торгов на сайте Госзакупок 7 сентября.
- 51.
- 52.
- 55.