Download to read offline
![Р егулярные выражения
(?:[a-z0-9!#$%&'*+/=?^_`{|}~-]+(?:.[a-z0-
9!#$%&'*+/=?^_`{|}~-]+)*|"(?:[x01-x08x0bx0cx0e-
x1fx21x23-x5bx5d-x7f]|[x01-x09x0bx0cx0e-
x7f])*")@(?:(?:[a-z0-9](?:[a-z0-9-]*[a-z0-9])?.)+[a-z0-
9](?:[a-z0-9-]*[a-z0-9])?|[(?:(?:25[0-5]|2[0-4][0-9]|[01]?[0-
9][0-9]?).){3}(?:25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?|[a-z0-9-
]*[a-z0-9]:(?:[x01-x08x0bx0cx0e-x1fx21-x5ax53-
x7f]|[x01-x09x0bx0cx0e-x7f])+)])
General Email Regex (RFC 5322 Official Standard)](https://image.slidesharecdn.com/civic-datacleaning-180118082113/85/slide-28-320.jpg)
Uploaded byKyrylo Zakharov
Очистка "грязных" данных
Документ рассматривает качество данных, включая загрязненные данные и этапы работы с ними. Основное внимание уделяется типичным ошибкам, процессу очистки и использованию инструментов для очистки данных, таких как OpenRefine и Talend. Описаны примеры ошибок и важность документирования методов очистки данных.
Очистка "грязных" данных
- 2. О чем будемговорить? Качество данных и грязные данные Этапы работы с данными Типичные ошибки в данных Особенности процесса очистки
- 3.
- 4. К ачество данных Данныевысокого качества это полные, точные, своевременные данные, которые поддаются интерпретации
- 5. К ачество данных Плохиеaka «грязные» данные содержат ошибки и неточности, пропуски и противоречия, могут приводить к проблемам при разработке аналитических продуктов
- 6. Э тапы Р аботыс данными
- 7. Э тапы работыс данными Сбор данных Аудит данных НормализацияПреобразование Подтверждение Сохранение
- 8. С бор данных Данныемогут Появляться из совершенно разных источников, Быть опубликованы по отличающимся стандартам Иметь различные форматы
- 9. А удит данных Проверяем Наличиеметаинформации о наборе данных Соответствие наборов данных запланированной модели Наличие типовых ошибок и противоречий
- 10. Н ормализация данных Заменяемвсе аббревиатуры и сокращения Приводим к единому виду даты, номера телефонов, названия вебсайтов Делим данные на маскимально атомарные части, приводим в согласованный вид названия всех переменных
- 11. П реобразование данных Определяем последовательность преобразований Группируемтиповые преобразования Документируем каждый этап преобразования данных
- 12. П одтверждение результата Проводиманализ результатов преобразования Применяем внешние источники данных для оценки преобразованных данных Осуществляем новую итерацию преобразований при необходимости
- 13. С охранение данных Определяемспособ хранения данных, проводим нормализацию/ денормализацию данных Определяем необходимость обновлений Автоматизируем процедуры
- 14. Т иповые О шибки Вданных
- 15. Т ипичные ошибкив данных Использование разных символов для кавычек, апострофов и дефисов: “„«»″" ’‘′`' —, ‒,–,—,―, -
- 16. Т ипичные ошибкив данных Использование латиницы в украинских словах и кириллицы в английских ukr = "асекорхуіАСЕНКМОРТХ" eng = "acekopxyiACEHKMOPTX"
- 17. Т ипичные ошибкив данных Использование цифр вместо букв 0 вместо О 1 вместо І 3 вместо З 6 вместо б
- 18. Т ипичные ошибкив данных Использование удвоенных пробелов, пробелов перед началом или в конце строки Иванов Иван Иванович
- 19. Т ипичные ошибкив данных Дублирующиеся значения в разных форматах Иванов Николай Иванович Иванов Н. И. Н. И. Иванов Иванов Н. И. Н. И.
- 20. Т ипичные ошибкив данных Разные форматы дат, чисел 12 января 2012 года 2012-01-12 12/01/2012 01/12/2012 12.01.2012 1326326400
- 21. Т ипичные ошибкив данных Ошибки и опечатки, сокращения ВУЛ. ВУЛИЦЯ ВУЛИЦИЦЯ ВУ3ЛИЦЯ ВУЛИ2ЦЯ ВУЛИЦФЯ
- 22. Т ипичные ошибкив данных Потеря ведущих нулей 01042345 1042345 00004123 4123
- 23. Т ипичные ошибкив данных Некорректные значения - - ААААААААА ААААААААА Не існує 123456789їїї
- 24. Т ипичные ошибкив данных Значения, вставленные не в соответствующее поле Несоответствие метаданным Нарушение зависимостей Аномальные значения Некорректные записи пропущенных значений
- 25. О собенности О чисткиданных
- 26. И нструменты дляочистки OpenRefine Talend Drake DataWrangler DataCleaner DQS Oceanos
- 27. И нструменты дляочистки Оптимально использовать свои алгоритмы, основанные на Статистических методах и машинном обучении Строчных расстояниях (Ливенштейн, Джаро-Винклер) Регулярных выражениях
- 28.
- 29. И нструменты дляочистки Тщательно документируйте все операции, которые вы проводите над данными. Оптимально хранить и регулярно использовать один и тот же алгоритм преобразования данных.
- 30.