Описаны основные подходы к решению задачи писка и объединения дублирующихся записей о клиентах. Презентация раскрывает основные этапы работ которые должны быть выполнены в рамках проекта по исключению дублирующихся клиентских записей. Презентация может быть дополнена демонстрация показывающей все описанные техники профилирования данных.

1. Как найти и объединить дубликаты? Подходы и решения

2. Содержание Состав работ Оценка качества данных Очистка данных Поиск и слияние похожих записей Компоненты системы поиска дубликатов

3. Состав работ Исключение дубликатов Анализ Данных Поиск дубликатов Слияние записей Управление правилами объединения записей Оценка текущего качества данных Очистка данных Приведение форматов, добавление недостающих данных, исправление ошибок

4. Оценка качества данных Простая статистика Частотный анализ Соответствие форматам Ссылочная целостность

5. Простая статистика для набора ключевых атрибутов Ключевые атрибуты = {Фамилия, Имя, Отчество, Пол, Почтовый адрес} 192 983 (100%) 163 088 (84%) 156 870 (81%) 6 218 (3%) Количество наборов данных Количество уникальных наборов данных Количество дублирующихся наборов данных Количество записей

6. Простая статистика для атрибута Атрибут = {Фамилия} 3 091 2 196 895 285 Количество Фамилий Количество повторяющихся фамилий Количество Пустых Значений Количество уникальных фамилий

7. Частотный анализ данных Атрибут = {Фамилия} Иванов Козлов Ковалев Жук Новик Новиков Иванова Мороз Зайцев Страхователь 1 818 записей

8. Соответствие формату Атрибут = {Номер паспорта} 89,80% 10,20% Номер паспорта должен содержать 7 цифр

9. Оценка ссылочной целостности Атрибут = {Фамилия} Клиенты 79,74% 20,26% 100 % Адреса 20,26% или 39 093 записей о клиентах не имеют данных о почтовом адресе

10. Результаты проверки данных

11. Очистка данных Приведение форматов Добавление недостающих данных Корректировка ошибок

12. Приведение форматов Результирующие данные Исходные данные Имя Отчество Фамилия Серия Номер Петров Петр Петрович MP1234567 ИМЯ Петр ОТЧЕСТВО Петрович Петров ФАМИЛИЯ Разделение полей Серия MP 1234567 Номер

13. Добавление недостающих данных Пол Имя Отчество Фамилия Исходные данные Петр Петрович Внешние справочники Справочник Имен Петров Тип имени Мужское Результирующие данные Имя Петр ИМЯ Петр ОТЧЕСТВО Петрович Петров ФАМИЛИЯ Пол МУЖСКОЙ

14. Корректировка ошибок Имя Отчество Фамилия Серия Номер Кириллица -> латиница Результирующие данные Исходные данные MP Петр Петрович Имя Петр Петрович Отчество Петрович Петров Петров Фамилия Серия MP 1234567 1234567 Номер

15. Результаты проверки данных

16. Исключение дубликатов Поиск дубликатов Слияние данных Работа над ошибками

17. Алгоритм поиска дубликатов Источник 1 Источник 2 Идентифицирующие атрибуты Метод сравнения Весовой коэффициент Дистанция = = = = 1 Петр Петр Имя Jaro-Winkler 10 1 Петр Петр Отчество Jaro-Winkler 10 0,89 Петров Питров Фамилия Jaro-Winkler 15 1 MP1234567 MP 1234567 Паспорт Jaro-Winkler 20 N ∑ (Дистанция х Весовой коэффициент ) Результат сравнения 10*1+10*1+0,89*15+20*1 1 РЕЗУЛЬТАТ 0,97 0,97 = = 1 10+10+15+20 Весовой коэффициент ∑ 1 Нижний порог 0,75 < Новый Дубликат > Верхний порог 0,95 Дубликат

18. Блокировки 1 000 записей о клиентах = 1 000 000 операций сравнения 1 000 000 записей о клиентах = 1 000 000 000 0000 операций сравнения Код похожести Имя Фамилия № Паспорта Отчество Город ИИИ123Витебск Иван Иванов 1234567 Иванович Витебск Витебск ППП765Витебск 7654321 Петр Петров Петрович Записи подлежащие сравнению САН123Минск 1237654 Минск Николаевич Андрей Сидоров Минск САН123Минск 1237645 Сидоров Андрей Николаевич

19. Результаты поиска S = Индекс похожести S <= 0,75 S >= 0,97 0,75 < S < 0,97 Уникальные записи Подозрительные записи Дубликаты

20. Объединение записей Запись 1 Формирование итоговой записи Имя Отчество Фамилия Серия Номер Имя Отчество Фамилия Серия Номер Имя Отчество Фамилия Серия Номер MP MP MP Николаевич Максим Максим Максим Итоговая запись Астархов Николаевич 1234576 Остархов Запись 2 1234567 Николаевич Остархов 1234567

21. Работа над ошибками Запись 1 (до слияния) Разделение записи и восстановление исходной информации Имя Отчество Фамилия Серия Номер Имя Отчество Фамилия Серия Номер Имя Отчество Фамилия Серия Номер MP MP MP Николаевич Максим Максим Максим Итоговая запись Астархов Николаевич 1234576 Остархов Запись 2 (до слияния) 1234567 Николаевич Остархов 1234567

22. Компоненты системы поиска дубликатов МЕХАНИЗМЫ РАЗДЕЛЕНИЯ ЗАПИСЕЙ БИБЛИОТЕКА ПРАВИЛ МЕХАНИЗМЫ ОБЪЕДИНЕНИЯ ЗАПИСЕЙ ИС ДАННЫЕ О КЛИЕНТАХ МЕХАНИЗМ ОЦЕНКИ КАЧЕСТВА ДАННЫХ АВТОМАТИЗИРОВАННЫЕ В РУЧНУЮ МЕХАНИЗМЫ ОЧИСТКИ ДАННЫХ МЕХАНИЗМЫ ПОИСКА ДУБЛИКАТОВ ОТЧЕТНОСТЬ АВТОМАТИЗИРОВАННЫЕ В РУЧНУЮ

23. Демонстрация Talend Open Profiler + MS SQL Server 2008 R2 Эффективное средство оценки качества данных

24. За кадром Интервальный анализ Анализ дат Корреляционный анализ Анализ текстовых значений Отчетность

25. Спасибо за внимание! Максим ОСТАРХОВ Директор по развитию бизнеса в СНГ Тел.: +7 495 641 0206Моб.: + 7 915 400 8031 Skype: m.ostarhovE-mail: m.ostarhov@itransition.com Web: www.itransition.ru