Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Система ведения
государственных
данных в
Правительстве Москвы
Иван Фост
Инфраструктура Москвы
Взаимодействие (опыт прошлого)
Взаимодействие (опыт прошлого)
Текущая схема взаимодействия
Алгоритм работы с входными данными
Аудит всех информационных систем
Правительства Москвы
Подготовка единых требований к ве...
Аудит систем
Функционирует более 400 информационных систем:
Базы данных:
• Oracle;
• IBM DB2;
• MS SQL
и др.
Языки
програм...
Единый технологический паспорт
Единый технологический паспорт
Настройка форматно-логического
контроля входящих данных
Более 300 правил ведения данных для всех
атрибутов.
Технические характеристики
• Хранилище –
• WEB приложение – + JavaScript
• Сервисы загрузки информации (SOAP) – +
• Сервис...
Общее описание системы
• Система полностью строится на описании метаданных,
которые вносит оператор системы, при этом стру...
Сценарий работы с данными
• Публикация набора данных в сервис
Единое хранилище данных
• Создание структуры данных для рабо...
Способы наполнения данными
• Через WEB интерфейс системы
• Через импорт csv файлов. Позволяет загружать
многоуровневые наб...
Описание сервиса публикации
• Данные после публикации попадают в очередь
обновление кэш БД в MongoDB
• После синхронизации...
Текущие объемы данных
• Объектов в системе – 22 375 806
• Объем БД – 1,2 Тб
• Количество набор данных:
– во внутреннем кон...
Данные по органам власти
Единое хранилище данных
106594
383639
1139193
Топливно-энергетического хозяйства
Городского имуще...
Данные по органам власти
Лидеры:
– Департамент города Москвы по конкурентной политике – 1 139 193
– Департамент городского...
Внешнее взаимодействие с другими
системами
Экспорт данных в форматах:
• json;
• csv;
• xlsx;
• docx.
По средствам API порт...
Основные итоги
Устранили хаос, но проблемы с данными остались:
– потребность ведения on-line данных – не готовность
систем...
Ключевой результат
Системный проект Правительства Москвы:
– при подготовке инфраструктуры для
открытых данных наладилось
м...
Спасибо за
внимание!
Фост Иван
fostid@mos.ru
Skype: fostivan
Upcoming SlideShare
Loading in …5
×

Система ведения государственных данных в Правительстве Москвы / Иван Фост (ДИТ Москвы)

677 views

Published on

В Правительстве Москвы более 200 органов исполнительной власти и более 3000 подведомственных учреждений, каждое из которых ежедневно оперирует большим массивом различных данных, раскрывает часть из них для внешних пользователей, а также использует данные для межведомственного взаимодействия. Как эффективно управлять таким массивом данных?

В ходе доклада расскажем об опыте управления и использования большого массива государственных данных в Правительстве Москвы.

Основные тезисы:
1. Изначально государственные данные разрознены и ведутся по различным стандартам;
2. Данные должны быть едины как для межведомственного взаимодействия, так и для широкого круга пользователей (в формате открытых данных, в общегородских порталах — Наш город, Портал государственных услуг и др.);
3. В единое хранилище данные попадают через типовые веб-сервисы из систем поставщиков, через интерфейс хранилища путём ручного ввода данных по строго заданным параметрам (маскам);
4. Структурируя данные, мы делаем жизнь города проще и понятней для её жителей.

Дополнительно ответим на вопросы:
+ Как мы забираем данные из внешних источников, как конвертируем во внутренние форматы?
+ Как поддерживаем целостность данных?
+ Как устанавливаем и поддерживаем семантические связи между данными, ссылки из одних массивов одного источника на другие?

Published in: Engineering
  • Be the first to comment

  • Be the first to like this

Система ведения государственных данных в Правительстве Москвы / Иван Фост (ДИТ Москвы)

  1. 1. Система ведения государственных данных в Правительстве Москвы Иван Фост
  2. 2. Инфраструктура Москвы
  3. 3. Взаимодействие (опыт прошлого)
  4. 4. Взаимодействие (опыт прошлого)
  5. 5. Текущая схема взаимодействия
  6. 6. Алгоритм работы с входными данными Аудит всех информационных систем Правительства Москвы Подготовка единых требований к ведению данных Интеграция с информационными системами
  7. 7. Аудит систем Функционирует более 400 информационных систем: Базы данных: • Oracle; • IBM DB2; • MS SQL и др. Языки программирования: • С#; • JAVA; • PHP; и др. Было выбрано 42 системы поставщиков данных
  8. 8. Единый технологический паспорт
  9. 9. Единый технологический паспорт
  10. 10. Настройка форматно-логического контроля входящих данных Более 300 правил ведения данных для всех атрибутов.
  11. 11. Технические характеристики • Хранилище – • WEB приложение – + JavaScript • Сервисы загрузки информации (SOAP) – + • Сервисы раскрытия информации (REST) – + • Внутренние сервисы системы (экспорты, импорты, операции с файлами и т.д.) - Единое хранилище данных
  12. 12. Общее описание системы • Система полностью строится на описании метаданных, которые вносит оператор системы, при этом структура хранения данных может быть абсолютно любой Единое хранилище данных • Интерфейс для настройки сложных Workflow для проверки данных • Интерфейс для настройки автозаполнения и автоизменения полей на основе данных системы • Интерфейс для настройки фоновых процессов изменений и проверки данных • Интерфейс для анализа данных поступающих из разных источников, с отображением расхождений и интерфейсом data steward
  13. 13. Сценарий работы с данными • Публикация набора данных в сервис Единое хранилище данных • Создание структуры данных для работы органов власти • Наполнение набора данных объектами • Подписание наполнения с использованием ЭЦП (КриптоПРО) • Копирование структуры в сегмент публикации или создание собственной структуры для публикации данных
  14. 14. Способы наполнения данными • Через WEB интерфейс системы • Через импорт csv файлов. Позволяет загружать многоуровневые наборы данных. Каждый импорт настраивается отдельно на основе метаданных • Через SOAP сервис: – Универсальные методы обмена информацией. Структура запросов не меняется в зависимости от набора данных. – Возможность подписания данных ЭЦП в момент передачи пакета обновления. – Детализированные ошибки при обработке данных. Единое хранилище данных
  15. 15. Описание сервиса публикации • Данные после публикации попадают в очередь обновление кэш БД в MongoDB • После синхронизации становятся доступны в REST сервисе • Сервис позволяет: – Получать текущее наполнение каталога раскрытия – Возможность осуществлять фильтрацию по атрибутам каталога – Возможность просматривать историю изменений как объекта, так и каталога – Возможность поиска объектов по геоданным (рядом с точкой, внутри полигона, вне полигона) • Среднее время отклика сервиса – 500 ms Единое хранилище данных
  16. 16. Текущие объемы данных • Объектов в системе – 22 375 806 • Объем БД – 1,2 Тб • Количество набор данных: – во внутреннем контуре - 676 – в контуре публикации - 480 • За октябрь добавлено новых записей – 1 581 296 Единое хранилище данных
  17. 17. Данные по органам власти Единое хранилище данных 106594 383639 1139193 Топливно-энергетического хозяйства Городского имущества По конкурентной политике Департаменты-лидеры... 16 21 21 Инспекция по качеству сельхозпродукции Главное архивное управление Комитет ветеринарии ... и аутсайдеры
  18. 18. Данные по органам власти Лидеры: – Департамент города Москвы по конкурентной политике – 1 139 193 – Департамент городского имущества города Москвы – 383 639 – Департамент топливно-энергетического хозяйства города Москвы – 106 594 Аутсайдеры – Государственная инспекция города Москвы по качеству сельскохозяйственной продукции, сырья и продовольствия – 16 – Главное архивное управление города Москвы– 21 – Комитет ветеринарии города Москвы – 21 Единое хранилище данных
  19. 19. Внешнее взаимодействие с другими системами Экспорт данных в форматах: • json; • csv; • xlsx; • docx. По средствам API портала открытых данных: • json; • geojson. Ссылка на API- api.data.mos.ru
  20. 20. Основные итоги Устранили хаос, но проблемы с данными остались: – потребность ведения on-line данных – не готовность системы к таким нагрузкам; – быстрое увеличение количества информации – существующая инфраструктура требует расширения технических возможностей; – Функционал единого хранилища данных большой и пока не все функции доступны для внешних пользователей (API открытых данных); – Требуется всё больше связности между данными и потребностей в выдаче данных внешним потребителям.
  21. 21. Ключевой результат Системный проект Правительства Москвы: – при подготовке инфраструктуры для открытых данных наладилось межведомственное взаимодействие; – опыт сбора и хранения такого количества данных применим для разнообразных целей, не только для публикации открытых данных.
  22. 22. Спасибо за внимание! Фост Иван fostid@mos.ru Skype: fostivan

×