Презентация со школы дата журналистики, декабрь 2015. Коллекция полезных ссылок и кратких рекомендаций по поиску и использованию открытых данных

1. ШКОЛА
ДАТА ЖУРНАЛИСТИКИ
8, 9, 10 декабря 2015, Москва
Зубовский бульвар, 4
Что такое «открытые данные» и
зачем они data-журналисту
Елена Никитина

2. Елена
Никитина
Приглашенный эксперт
Аналитического центра
при Правительстве РФ
О ТРЕНЕРЕ КУРСА

3. Нет, говорите, детальной статистики ДТП? ;)
http://stat.gibdd.ru/
«Экспорт подробной информации». Только PDF
«Экспорт списка карточек» – только адреса. Машиночитаемый
А вот еще статистика:
http://www.gibdd.ru/stat/
И по регионам – по клику на карту
… и заодно криминальная статистика – недетальная, зато ее не
прятали
http://crimestat.ru/opendata
Открытые данные в России: как госорганы открывают и
прячут данные и где их потом искать (успешные примеры)

4. Чемпионы в маскировке:
ФТС http://www.customs.ru/
Минэкономразвития http://economy.gov.ru/minec/main
Ищем в подвале:
Минприроды: http://www.mnr.gov.ru/
Росгидромет: http://www.meteorf.ru/
ФНС: https://www.nalog.ru/rn77/
На виду:
Рособрнадзор: http://www.obrnadzor.gov.ru/
«Открытое что-нибудь»:
«открытое министерство» http://minfin.ru/ru/
«открытое правительство» http://voda.mnr.gov.ru/
«открытая служба» https://rosreestr.ru/site/
Открытые данные в России: как госорганы открывают и
прячут данные и где их потом искать (успешные примеры)

5. Порталы открытых данных:
Федеральный: data.gov.ru (и почему на нем есть не все)
Небольшой агрегатор:
http://ar.gov.ru/inform_otkritost_05_otkritii_dannie_po_foiv/index.h
tml
Москва: Data.mos.ru
Региональный: http://opendata.gov35.ru/
Негосударственный: http://hubofdata.ru/
Открытое правительство http://open.gov.ru/
Электронный бюджет (мини-агрегатор): http://budget.gov.ru
Что мы нашли, пока готовили Всероссийский конкурс по открытым
данным
https://plus.google.com/u/0/s/%23%D0%B2%D0%BA%D0%BE%D0%
B4_%D0%B8%D0%BD%D1%82%D0%B5%D1%80%D0%B5%D1%81
%D0%BD%D1%8B%D0%B5_%D0%BD%D0%B0%D0%B1%D0%BE
%D1%80%D1%8B
Открытые данные в России: как госорганы открывают и
прячут данные и где их потом искать (успешные примеры)

6. Основные правила:
• Ищите адрес/opendata: minfin.ru/opendata – таких большинство
• Ищите opendata.адрес: http://opendata.gov35.ru/ портал ОД
Вологодской области
Еще раз: почему на data.gov.ru есть не все (муниципальные
порталы)
Открытые данные в России: как госорганы открывают и
прячут данные и где их потом искать (успешные примеры)

7. Исследование содержимого data.gov.ru – csv, xml, json, RDF
RDF-валидатор и данные Минкультуры…
http://www.w3.org/RDF/Validator/
API Государственной Думы http://api.duma.gov.ru/. На сайте есть
хороший мануал по взаимодействию с API. Если хотите
протестировать, получите ключ для Standalone-приложения
(ссылка на получение ключа есть на главной). Ссылка для доступа
по API будет выглядеть так:
http://api.duma.gov.ru/api/your_key/committees.xml
?app_token=your_appkey. Здесь мы получаем список комитетов
Госдумы, your_key - ваш уникальный ключ, your_appkey - ваш
дополнительный ключ для приложения
Как читать машиночитаемые данные

8. API Минфина
http://minfin.ru/opendata/api/
Пример использования API
Формат доступа к API с параметрами:
http://budget.gov.ru/epbs/registry/grants/data?pagesize=100
Как читать машиночитаемые данные

9. Единый Федеральный реестр сведений о банкротстве, так вот там
в разделе Торги http://bankrot.fedresurs.ru/TradeList.aspx
информация действительно обновляется динамично по полю "Дата
размещения заявки в ЕФРСБ". При этом не сильно коррелирует с
полем "Дата торгов". Сайт не дает себя исследовать - "Слишком
частые запросы", никаких намеков на машиночитаемую выгрузку
тоже нет.
Официальный сайт РФ для размещения информации о
проведении торгов
http://torgi.gov.ru/allLotsSearch.html
И его открытые данные: http://torgi.gov.ru/opendata/index.html
И его API: http://torgi.gov.ru/opendata/index.html
http://torgi.gov.ru/opendata/7710349494-
torgi/data.xml?bidKind={bidKind}&publishDateFrom={publishDateFrom}&p
ublishDateTo={publishDateTo}&lastChangeFrom={lastChangeFrom}&lastCha
ngeTo={lastChangeTo},
http://torgi.gov.ru/opendata/7710349494-torgi/data-{bidKind}-
{publishDateFrom}-{publishDateTo}-structure-20130401T0000.xml,
http://torgi.gov.ru/opendata/7710349494-torgi/data-
{publishDateFrom}-{publishDateTo}-structure-20130401T0000.xml,
http://torgi.gov.ru/opendata/7710349494-torgi/data-{publishDateTo}-
structure-20130401T0000.xml
Есть ли в России динамические данные?
Опыт Всероссийского конкурса по открытым данным

10. Федеральное казначейство (из текста ответа
здесь http://rosotvet.ru/postavschiki-od/):
"Вместе с тем на Официальном сайте обеспечена ежедневная
выгрузка сведений, содержащихся в реестре недобросовестных
поставщиков на общедоступный FTP-сервер
(ftp://free:free@ftp.zakupki.gov.ru)"
По недобросовестным: ftp://ftp.zakupki.gov.ru/fcs_fas/. Это не
ежедневно, но почти так, как обещали – с отставанием на пару
дней.
Информация о банковских гарантиях.
ftp://ftp.zakupki.gov.ru/fcs_banks/bank_04180000012/currMonth/
Информация по одной из банковских гарантий, полученная из
выгрузки: http://zakupki.gov.ru/epz/bankguarantee/printForm/view.html
?guaranteeId=377453
Есть ли в России динамические данные?
Опыт Всероссийского конкурса по открытым данным

11. Госзакупки
Zakupki.gov.ru
ftp://free:free@ftp.zakupki.gov.ru
И Госзатраты
Clearspending.ru
Данные по ЦОД Минфина
http://clearspending.ru/contract/?productsearch=&search-submit=&grbs=grbs-
092%7Clevel-2&fkr=grbs-092%7Cfkr-01%7Clevel-3&sub_fkr=sub_fkr-
06%7Cgrbs-092%7Cfkr-01%7Clevel-4&csr=grbs-092%7Clevel-6%7Cfkr-
01%7Csub_fkr-06%7Ccsr-
3970019&kvr=&regnum=&daterange=&price_gte=&price_lte=&customerregion=
&address=&budgetlevel=01&okdp_okpd=&sort=&fz=None&customerinn=&custo
merkpp=&supplierinn=&supplierkpp=&filter=True
И сам ЦОД:
http://minfin.ru/ru/press-center/?id_4=33180
http://www.tadviser.ru/index.php/%D0%9F%D1%80%D0%BE%D0%B5%D0%B
A%D1%82:%D0%9C%D0%B8%D0%BD%D0%B8%D1%81%D1%82%D0%B5
%D1%80%D1%81%D1%82%D0%B2%D0%BE_%D1%84%D0%B8%D0%BD%
D0%B0%D0%BD%D1%81%D0%BE%D0%B2_%D0%A0%D0%A4_%28%D0%
A6%D0%9E%D0%94_Inoventica%29
Открытые данные в России: как госорганы открывают и
прячут данные и где их потом искать (успешные примеры)

12. Не совсем открытые…
Росреестр https://rosreestr.ru/wps/portal/cc_ib_opendata
Кадастры – декабрь 2015? ЕЭКО?
Росгидромет: ОД http://www.meteorf.ru/opendata/
… и все остальное:
Оперативная информация
http://www.meteorf.ru/product/infomaterials/91/
Бюллетень неблагоприятных явлений
http://www.meteoinfo.ru/hazardsbull
Прогностическая карта
http://www.meteoinfo.ru/hdmapsmeteoalarm
Не совсем данные…
Карта дождей
http://www.meteorad.ru/screenshots/uvk.html?code=RUDP
Отсюда http://habrahabr.ru/post/266303/
Еще про данные

13. Что такое ведомственный план концепции реализации открытости?
ФНС https://www.nalog.ru/rn77/about_fts/fts/activities_fts/#
Росгидромет: Проект «Открытая служба» -> План Федеральной
службы по гидрометеорологии и мониторингу окружающей среды
по реализации Концепции открытости федеральных органов
исполнительной власти на 2014-2018 годы
• Какую информацию ждать?
• Когда и как часто?
• Кто в ответе?
• Раздел «II. Обеспечение работы с открытыми данными»
Дорожная карта открытых данных?
http://ar.gov.ru/ru/inform_otkritost_05_otkritii_dannie/index.html
Вместо заключения

14. Как найти данные ЕГЭ, которых нет?
«региональный центр мониторинга в образовании»…
Вологодская область
http://ege35.edu35.ru/index.php?option=com_content&view=categor
y&layout=blog&id=22&Itemid=23
Костромская область http://www.ege-kostroma.ru/stat/top-schools/
Самара http://www.rcmo.ru/statistics/ege-statistics/
Самара ЕГЭ 2015
http://www.rcmo.ru/upload/files/sbornik2015/sbornikege15.pdf
Астраханская область http://www.astrcmo.ru/index.html
Липецкая область http://cmoko48.lipetsk.ru/cmoko.aspx?item=133
Бурятия http://rcoi03.ru/itogi_gia_2015/analiticheski_otchet_ege
Эх, Москва… http://data.mos.ru/opendata/7719028495-rezultaty-
ege-dogm
Вместо заключения

15. СПАСИБО
Елена Никитина
Аналитический центр при Правительстве РФ
e.nikitina@ac.gov.ru
+7916 505 25 11