Предварительная подготовка данных
к публикации и оценка качества
открытых данных
Радченко Ирина Алексеевна
кандидат технич...
Валидация и очистка наборов данных

Одна из важных проблем
при публикации наборов данных –
наличие ошибок

2
Типичные ошибки в наборах данных

1. Смешивание различных форматов
(временных, географических и т.д.)

3
Типичные ошибки в наборах данных

2. Различное представление одних
и тех же значений (г., гор., город)

4
Типичные ошибки в наборах данных

3. Дублирование записей

5
Типичные ошибки в наборах данных

4. Использование разных
размерностей

6
Типичные ошибки в наборах данных

5. Ошибки аббревиатур

7
Решение – использование
инструментария для очистки данных
Open Refine

8
Преимущества Open Refine
Бесплатное программное обеспечение
Совместим со всеми браузерами
Существует возможность работать ...
Инструментарий для очистки данных

10
Очистка данных

11
Очистка данных

12
Очистка данных

13
Очистка данных

14
Очистка данных

15
Очистка данных

16
Очистка данных

17
Очистка данных

18
Сертификация открытых данных

Источник: https://theodi.org/
19
Сертификация открытых данных

Источник: https://certificates.theodi.org/
20
Сертификация открытых данных

Источник: https://certificates.theodi.org/about
21
Сертификация открытых данных

Источник: https://certificates.theodi.org/about
22
Сертификация открытых данных

Источник: https://certificates.theodi.org/about
23
Хартия G8 открытых данных

Источник: https://www.gov.uk/government/publications/open-data-charter/g8-open-data-charter-and...
Глобальная Перепись открытых данных

Источник: http://census.okfn.org
25
Глобальная Перепись открытых данных

Источник: http://blog.okfn.org/2013/10/28/government-data-still-not-open-enough/
26
Глобальная Перепись открытых данных

Источник: http://census.okfn.org/country/
27
Спасибо за внимание!
http://iRadche.ru
http://about.me/Irina.Radchenko

@iRadche

http://iRadche.livejournal.com/
https://...
Upcoming SlideShare
Loading in …5
×

Предварительная подготовка данных к публикации и оценка качества открытых данных

476
-1

Published on

Предварительная подготовка данных
к публикации и оценка качества
открытых данных
30.10.2013

Published in: Education
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
476
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
12
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Предварительная подготовка данных к публикации и оценка качества открытых данных

  1. 1. Предварительная подготовка данных к публикации и оценка качества открытых данных Радченко Ирина Алексеевна кандидат технических наук, доцент http://about.me/Irina.Radchenko http://iRadche.ru Высшая школа экономики, Москва, 2013 www.hse.ru
  2. 2. Валидация и очистка наборов данных Одна из важных проблем при публикации наборов данных – наличие ошибок 2
  3. 3. Типичные ошибки в наборах данных 1. Смешивание различных форматов (временных, географических и т.д.) 3
  4. 4. Типичные ошибки в наборах данных 2. Различное представление одних и тех же значений (г., гор., город) 4
  5. 5. Типичные ошибки в наборах данных 3. Дублирование записей 5
  6. 6. Типичные ошибки в наборах данных 4. Использование разных размерностей 6
  7. 7. Типичные ошибки в наборах данных 5. Ошибки аббревиатур 7
  8. 8. Решение – использование инструментария для очистки данных Open Refine 8
  9. 9. Преимущества Open Refine Бесплатное программное обеспечение Совместим со всеми браузерами Существует возможность работать в оффлайне Нет необходимости в пересылке данных по интернету Существует возможность работать с историей внесенных изменений Существует возможность визуализации различных характеристик наборов данных Существует возможность работать с данными различных машиночитаемых форматов 9
  10. 10. Инструментарий для очистки данных 10
  11. 11. Очистка данных 11
  12. 12. Очистка данных 12
  13. 13. Очистка данных 13
  14. 14. Очистка данных 14
  15. 15. Очистка данных 15
  16. 16. Очистка данных 16
  17. 17. Очистка данных 17
  18. 18. Очистка данных 18
  19. 19. Сертификация открытых данных Источник: https://theodi.org/ 19
  20. 20. Сертификация открытых данных Источник: https://certificates.theodi.org/ 20
  21. 21. Сертификация открытых данных Источник: https://certificates.theodi.org/about 21
  22. 22. Сертификация открытых данных Источник: https://certificates.theodi.org/about 22
  23. 23. Сертификация открытых данных Источник: https://certificates.theodi.org/about 23
  24. 24. Хартия G8 открытых данных Источник: https://www.gov.uk/government/publications/open-data-charter/g8-open-data-charter-and-technicalannex 24
  25. 25. Глобальная Перепись открытых данных Источник: http://census.okfn.org 25
  26. 26. Глобальная Перепись открытых данных Источник: http://blog.okfn.org/2013/10/28/government-data-still-not-open-enough/ 26
  27. 27. Глобальная Перепись открытых данных Источник: http://census.okfn.org/country/ 27
  28. 28. Спасибо за внимание! http://iRadche.ru http://about.me/Irina.Radchenko @iRadche http://iRadche.livejournal.com/ https://www.facebook.com/iRadche http://www.slideshare.net/iRadche
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×