Предварительная подготовка данных к публикации и оценка качества открытых данных 30.10.2013

1. Предварительная подготовка данных
к публикации и оценка качества
открытых данных
Радченко Ирина Алексеевна
кандидат технических наук, доцент
http://about.me/Irina.Radchenko
http://iRadche.ru
Высшая школа экономики, Москва, 2013
www.hse.ru

2. Валидация и очистка наборов данных
Одна из важных проблем
при публикации наборов данных –
наличие ошибок
2

3. Типичные ошибки в наборах данных
1. Смешивание различных форматов
(временных, географических и т.д.)
3

4. Типичные ошибки в наборах данных
2. Различное представление одних
и тех же значений (г., гор., город)
4

5. Типичные ошибки в наборах данных
3. Дублирование записей
5

6. Типичные ошибки в наборах данных
4. Использование разных
размерностей
6

7. Типичные ошибки в наборах данных
5. Ошибки аббревиатур
7

8. Решение – использование
инструментария для очистки данных
Open Refine
8

9. Преимущества Open Refine
Бесплатное программное обеспечение
Совместим со всеми браузерами
Существует возможность работать в оффлайне
Нет необходимости в пересылке данных по интернету
Существует возможность работать с историей внесенных
изменений
Существует возможность визуализации различных
характеристик наборов данных
Существует возможность работать с данными различных
машиночитаемых форматов
9

10. Инструментарий для очистки данных
10

11. Очистка данных
11

12. Очистка данных
12

13. Очистка данных
13

14. Очистка данных
14

15. Очистка данных
15

16. Очистка данных
16

17. Очистка данных
17

18. Очистка данных
18

19. Сертификация открытых данных
Источник: https://theodi.org/
19

20. Сертификация открытых данных
Источник: https://certificates.theodi.org/
20

21. Сертификация открытых данных
Источник: https://certificates.theodi.org/about
21

22. Сертификация открытых данных
Источник: https://certificates.theodi.org/about
22

23. Сертификация открытых данных
Источник: https://certificates.theodi.org/about
23

24. Хартия G8 открытых данных
Источник: https://www.gov.uk/government/publications/open-data-charter/g8-open-data-charter-and-technicalannex
24

25. Глобальная Перепись открытых данных
Источник: http://census.okfn.org
25

26. Глобальная Перепись открытых данных
Источник: http://blog.okfn.org/2013/10/28/government-data-still-not-open-enough/
26

27. Глобальная Перепись открытых данных
Источник: http://census.okfn.org/country/
27

28. Спасибо за внимание!
http://iRadche.ru
http://about.me/Irina.Radchenko
@iRadche
http://iRadche.livejournal.com/
https://www.facebook.com/iRadche
http://www.slideshare.net/iRadche