Вы знали, что в следствии цифрофизации бизнес процессов нефтяные компании стали создавать петабайты данных и сегодня 70% проектов направленных на повышение эффективности зависят от качества данных? Как устроен процесс управления качеством данных и какие инструменты для этого используются расскажет Александр Ерофеев CDO блока разведки и добычи компании Газпром нефть.

1. Управление качеством данных:
инструмент и процесс
на примере ВИНК
Сентябрь 2019 г.
ПАО «Газпром нефть»
a.ero@gazprom-neft.ru
Александр Ерофеев

2. 2ПАО «Газпром нефть»
Ключевые направления трансформации ПАО «Газпром нефть»
70% ЦИФРОВЫХ ИНИЦИАТИВ ЗАВИСИТ ОТ КАЧЕСТВА И ДОСТУПНОСТИ ДАННЫХ
МЫ СТРОИМ ЦИФРОВУЮ НЕФТЯНУЮ КОМПАНИЮ – НЕФТЯНУЮ КОМПАНИЮ,
УПРАВЛЯЕМУЮ НА ОСНОВЕ ДАННЫХ И ЦИФРОВЫХ ДВОЙНИКОВ

3. 3ПАО «Газпром нефть»
Система управления данными ПАО «Газпром нефть»
СИСТЕМА
УПРАВЛЕНИЯ
ДАННЫМИ
УПРАВЛЕНИЕ КАЧЕСТВОМ ДАННЫХ
Цель: соответствие данных требованиям
Потребителей
Результат: доверие к данным и получение
эффекта от их использования
СВД
7
1 2
3
45
6
Управление
архитектурой
данных
Управление
жизненным
циклом данных
Управление
контентом
Управление
безопасностью
данных
Внедрение и
поддержка бизнес-
и продвинутой
аналитики
Организация
управления
данными
Управление
качеством
данных

4. 4Газпром нефть
Операционная
цепочка создания
ценности
Разработка
месторождений
Бурение
Развитие ресурсной
базы
Добыча нефти
Транспортировка
нефти
Переработка
нефти
Первичная
логистика
Управление
нефтебазами
Вторичная
логистика
Продажи
Процессы БРД Процессы БЛПС
Геолого-промысловые данные
План и факт
переработки УВС
Географическая и пространственная информация Технологические процессы по переработке и ТОиР объектов переработки
Движение нефти и НП (начиная с Транснефти)Лицензии и арендные договоры, связанные с добычей
План и факт добычи УВС
Взаимодействие
с поставщиками СТиУ
Энергетика РиД Маркетинг продаж
Управление объектами
инфраструктуры продаж
Газ
Скважины
Инженерные данные о сооружениях и оборудовании
БЛПС
Продукция
Инженерные данные о сооружениях и оборудовании РиД Клиенты – физ.лица Клиенты – юр.лица
Общие референтные данные (напр., справочник единиц измерения)Поставщики и подрядчики Справочные данные о МТР и закупаемых услугах
Продажи юр. лицам
Технологические процессы
по добыче и ТОиР обору-
дования для их реализации
Реализация
бурения
Внутренний аудит, контроль и управление рисками
Управление инвестиционной деятельностью
Внешние и внутрикорпоративные коммуникации
НИОКР и технологические/инновационные проекты
Управление персоналом
Управление ИТ-ландшафтом и техническая поддержка
Финансы – план и анализ (бизнес-планирование и упр. учет)
Юридическая и правовая информация
Финансы – финансирование и контроль (отчетность, казначейство)
Корпоративная безопасность
Управление МТРНетопливные закупки
Организационные проекты
Производственная безопасность
Стратегическое планирование Управление имуществом
Продажи физ. лицамКапитальное строительство РиД
Развитие ресур-
сной базы РиД
Планирование развития актива и реализация мероприятий по работе с
базовым фондом
Капитальное строительство БЛПС
Домены БРД Домены БЛПС
Домены производственных процессов
Домены объектов
Домены непроизводственных процессов
30
34
38
42
31
35
39
43
32
36
40
44
33
37
41
45
2927 28
21
22
23 24
25 26
17
16
18
19
20
13
12
15
144
11
1 2
9
5
3
8
10
7
6
Домены Компании
ДОМЕН ДАННЫХ – совокупность данных, взаимосвязанных на основании бизнес-
процессов

5. 5ПАО «Газпром нефть»
Роли в процессе управления качеством данных
Потребители
данных
Архитектор
данных
Аналитик по
качеству данных
Ответственный
за домен
Коллегиальные органы
по управлению данными Компании
Ответственный
за данные
Специалисты
поддержки
Администратор
домена
ДОМЕННАЯ
МОДЕЛЬ
УПРАВЛЕНИЯ
ДАННЫМИ

6. 6ПАО «Газпром нефть»
Процесс по управлению качеством данных
Смежный процесс
Архитектор данных обновляет
модель данных и проектирует
поток данных
Вход - бизнес-задача,
перечень данных
Потребители данных
формируют требования
к качеству данных
Аналитик по качеству данных
делает бизнес-правила и
проверку качества данных в
ИТ-системе
Администратор домена
выполняет мониторинг
качества данных из
соглашения
Ответственный за домен
и потребитель данных
заключают соглашение
по качеству данных
По выявленным несоответствиям
запускается процесс устранения
инцидентов:
§ Ответственные за данные
§ Аналитик по качеству данных
§ Специалист поддержки
Инциденты системно анализируются,
устанавливаются причины
возникновения, фиксируются проблемы
и формируется план повышения
качества данных домена, под
лидерством Администратора домена
Шаг 0.1 Шаг 0.2 Шаг 1 Шаг 2
Шаг 3 Шаг 4 Шаг 5 Шаг 6

7. 7ПАО «Газпром нефть»
Охват системой управления качеством данных
Первичная
информация
Подготовленные
данные
Управление
качеством
данных
Результаты (QlikView)
§ Формирование аналитики
по результатам проверок
§ Получение детализации по
результатам проверки
Интерфейс
§ Сбор данных
§ Запуск проверок
§ Управление проверками
и исключениямиИсточник 1
Источник 5
Источник 2
Источник 3
Источник 4
Источник N
Верификационная БД
СУБД PostgresPRO
Инструменты
управления данными

8. 8ПАО «Газпром нефть»
Система верификации данных

9. 9ПАО «Газпром нефть»
Система верификации данных