1. Онтологическая природа векторного
представления данных—вещество,
растрового—поле.
Шаши Шекхар, Санжей Чаула
Основы пространственных баз данных
Темплет анализ (Template analyst).
Описание идей и возможной
функциональности.
Валерий Хронусов
Введение. Попытка классификации и определения предметной области.
Рассмотрим классические виды анализа данных.
• Экспертный анализ—на практике наиболее надежный, позволяющий, к примеру,
принимать решения на основе аналогов ведущих фирм. Качество экспертизы и
принятия решений обеспечивается фактической информацией и практикой успеха.
Без других видов анализа ограничен уровнем «догоняющего» и не может быть в
полной мере обеспечен данными.
• Статистическая обработка—пожалуй, наиболее разнообразный и
слабоустойчивый аппарат, обеспечивающий начальный уровень извлечения
информации. Для качественных результатов, по сути, требует понимания
причинно-следственных связей, что само по себе требует привлечения моделей.
• Математическое моделирование—наиболее сложный в реализации и наиболее
эффективный метод добычи данных (data mining). Определяется тем, что для
получения результатов привлекаются математические формулировки физических
законов сохранения в том или ином виде. Это могут быть вариационные
принципы, уравнения математической физики, параметрические
дифференциальные уравнения. Как и статистика, методы слабо устойчивы к
исходным данным, реально в чистом виде используются для выявления скрытых
причинно-следственных связей, оценки сравнительной значимости различных
внешних по отношению к модели факторов. Для прогнозных оценок сложных
явлений методы являются единственно возможными. Численное моделирование
вывело новые классы моделей—имитация, стохастические функции, фрактальные
зависимости, аттракторы и К-системы, которые нельзя свести к классическому
моделированию.
Информационные технологии и, в частности, возрастающая мощность аппарата
реляционных баз данных, привели к переосмыслению понятия анализ с точки зрения
потоков данных. Анализ стал оператором, который на основе одной системы таблиц
может генерировать другую систему таблиц—создавать новые данные. Без этого
любой метод анализа брал данные из ниоткуда и возвращал в никуда. ГИС, на мой
взгляд, внесли фундаментальный вклад в дальнейшее развитие анализа как элемента
потока данных—появилась принципиальная возможность сопоставлять ранее
несопоставимые объекты, явления, процессы. С появлением открытой программной
архитектуры (COM), обеспечившей распределенную обработку данных системой
приложений различного, вообще говоря, заранее неизвестного, назначения, семейство
1

2. ArcGIS представляется наиболее предпочтительным средством управления анализом
данных.
Существующие штатные методы анализа (Spatial, 3d, Geostatistical) и
совместимые с ними средства сторонних разработчиков, поддерживающие COM
(Statistica, MathCAD) не отвечают на два важных с точки зрения потоков данных
вопроса.
1. Как представить исходные данные заранее неизвестной природы и способа
хранения во взаимно сопоставимой форме?
2. Как представить результаты анализа в форме, пригодной для использования
в качестве параметра или критерия для последующих, заранее неизвестных,
аналитических действий или отображения?
Таким образом, предметная область предлагаемого аналитического инструмента
может быть определена как организация неоднородных данных в сопоставимой
форме. Темплет анализ (в дальнейшем t-analyst) отвечает за приведение данных не
только в визуально, но и аналитически (алгебраически) сопоставимую форму.
Вводимые ограничения. Поскольку реализация инструмента планируется в рамках
расширения (extension) ArcGIS, то представляется разумным ограничиться данными,
имеющими географическую природу или однозначные косвенные ссылки на данные
географической природы, например адрес. Географический признак является
первичным необходимым элементом классификации, хотя может быть и не
единственным.
Возможные направления изменения ограничений. Вместо географических могут быть
выбраны любые другие геометрические параметры, например, элементы
твердотельной геометрии (solid geometry) или областей на диаграмме. Ближе всех из
программного обеспечения находится SolidWorks с его таблицами параметров и
поддержкой COM. Для прямой работы с произвольным типом осей (семейство
графиков, развертки, разрезы, колонки) программное обеспечение отсутствует.
Структура расширения.
Расширение состоит из двух компонентов—графического (шаблон) и базы данных.
Каждый из них специфичен и требует отдельного описания.
Графическая часть расширения—шаблон (template).
Шаблон является обычным векторным слоем, единственными начальными
атрибутами которого являются первичный ключ—TID (аналог FID для обычного
feature class) и геометрические характеристики, например, площадь. В отличие от
обычного векторного слоя, других, кроме
геометрических, атрибутов у шаблона нет. Шаблон
содержит проекцию, а также может содержать
специфичные метаданные. Все операции с разными
feature classes последовательно проводятся через этот
шаблон. Шаблон, по сути, выступает в качестве
геометрического оператора, через который происходит
преобразование таблиц данных. После преобразования
Пример шаблона
через шаблон все результирующие данные приобретают
2

3. TID, эквивалентный географическому признаку. По ключу TID в дальнейшем
возможны непосредственные перекрестные операции с новыми данными без
привлечения геометрического наполнения FID. После того, как была создана первая
таблица данных, шаблон изменять нельзя, его можно только преобразовывать через
другой шаблон.
Как частные случаи шаблона можно привести скользящее окно и GRID. В первом
случае окном заданного размера с заданным шагом производится движение по
заданной области, объекты, которые попадают в окно, подсчитываются и заносятся в
таблицу. В результате формируется регулярная точечная сетка со значениями в
центрах окон. Во втором случае GRID, по сути, является тем же окном квадратной
формы с примыкающими границами. В t-analyst не накладывается никаких
ограничений на форму первичных компонентов шаблона. Для простоты описания
всюду, где не оговорено специально, шаблон полагается площадным объектом.
Проведение анализа геоданных представляет собой проверку соотношения элементов
feature class с элементами шаблона (полное, частичное или процентное нахождение
внутри, пересечение границ, количество явлений и другие условия). В простейшем
случае каждому элементу шаблона ставится в соответствие вычисленное по
задаваемому правилу значение. Начальный набор правил очевиден—количество,
длина, суммарная площадь попавших внутрь данного элемента шаблона объектов.
Тип исходных данных определяет набор операций. Следующий уровень операций
возникает при выполнении действий с атрибутивной информацией. По заданному
атрибуту при выполнении географического условия производятся операции
(группировка, суммирование, нахождение максимума), набор которых зависит от его
типа.
В результате операций геоданных с шаблоном возникают новые данные в контексте
шаблона. Полученные данные могут быть идентифицированы по TID шаблона и
однозначно им определяются. Повторное применение шаблона к различным данным
приводит к возникновению семейства новых таблиц, строки которых однозначно
определяются TID и, следовательно, могут быть по нему объединены и
предоставлены как исходные данные для анализа. При таком объединении
графический контекст FID и начальная природа данных становятся несущественным,
а при объединении таблица становится пригодной для оценки зависимости между
столбцами.
Структура базы данных для шаблона.
T-analyst в своем исполнении отличается от
классических средств ArcGIS тем, что в качестве
первичной структурной единицы данных выступает не
feature class, а база данных. Структура базы данных
максимально приближена к стандартной базе
геоданных, и существующие интерфейсы ArcGIS,
управляющие базой данных просто расширены новыми
классами, либо создается интерфейс ITemplates.
Упрощенная структура. В простейшем случае на
основе исходных feature classes создаются
соответствующие таблицы с расчетными
характеристиками, связанные в отношении 1:1 с Простое отображение
3

4. шаблоном. Каждая из строк новых таблиц получает тот
же первичный ключ TID, что и элемент шаблона, из
которого она была рассчитана. Поля таблицы получают
значения по набору стандартных или пользовательских
алгоритмов на основе сочетания геометрических и
атрибутивных данных исходных feature classes.
Многошаблонная база данных (multitemplate
database). База геоданных может содержать несколько
шаблонов, различных по форме и по правилам
преобразования исходных feature classes. За счет этого
возможна дополнительная внутренняя нормализация
расчетных данных и естественным образом
обеспечивается их непротиворечивость. Наиболее
интересным оказывается использование иерархии
шаблонов. Возможность построения иерархии связана с
масштабным фактором, типом шаблона и
выполняемыми операциями. В этот момент содержание
исходных feature classes уже неважно. Бизнес-правила
на уровне базы данных позволят работать с иерархией
любого порядка при условии взаимной корректности
Multitemplate database
шаблонов.
Обобщенная реализация. Рекурсивная база данных.
Физическая организация этой базы основана на построении индексных таблиц
TID:FID. Она достаточно проста, однако большое количество пояснений требует
отдельного описания. В базу кроме данных для шаблона также помещаются слои
исходных данных. Все преобразования становятся обратимыми, геометрию шаблонов
можно менять, если шаблон индивидуален. Необходимый инструмент для разработки
и проверки шаблонов.
За счет единого TID достигаются следующие свойства полученной системы таблиц.
• Количество строк во всех таблицах одинаково и равно количеству элементов
шаблона. При отсутствии данных или необходимых свойств внутри заданного
элемента шаблона возникают пустые строки, которые для оптимизации можно
физически и не хранить.
• Строки всех таблиц, относящихся к одному и тому же элементу шаблона, имеют
один и тот же первичный ключ TID. Выборки, объединения таблиц, совместный
анализ данных может проводится непосредственно по TID без участия геометрии
шаблона и исходной геометрии feature classes.
• Шаблон при объединении с любой из таблиц или с несколькими таблицами
образует обычный feature class с заранее известной геометрией. Такой класс
пригоден для обработки в других аналитических приложениях.
• Таблицы шаблона могут храниться и наполняться независимо. Достаточно иметь
локальный шаблон, позволяющий генерировать нужный TID и соответствующие
атрибуты. Защита первичных данных в этом случае достигается автоматически,
причем наперед заданного и согласованного уровня. Кроме рекурсивной базы
данных.
Существуют и другие не менее интересные свойства, например, известный
предельный размер, которые могут быть с успехом использованы в проектировании и
эксплуатации конкретных аппаратно-программных сред. Даже упрощенная
реализация метода позволит достигать неплохих результатов, практически
4

5. нереализуемых на сегодня без привлечения t-analyst.
Алгоритм работы расширения. Базовые операции . Отдельный материал.
Применение, связь с другими аналитическими модулями. Наброски для моего
круга вопросов..
Оценка безопасности жизнедеятельности градопромышленных агломератов.
Оптимизация доступа к распределенным базам геоданных. Моделирование
жизненного цикла горнодобывающих предприятий. Прогноз нефтегазоносности.
Полный круг решаемых вопросов оценить очень сложно, поскольку метод
представляется весьма универсальным.
Ожидаемые возможности. Наброски.
Последовательное наполнение данными, способы последовательного слияния данных
на основе других шаблонов, операции над шаблонами. Отсутствие собственного
расчетного аппарата, делегирование расчетных функций из других приложений или
выборок в другие приложения. Использование возможностей OGIS DBMS, SQL3,
геопроцессинг, независимые базы данных. Типовые отраслевые шаблоны могут
функционировать как web-сервисы, обеспечивая стандарты систематизации данных и
возврат контекста. Шаблон как сервис tracing-серверов обеспечивает совместимость
данных в реальном времени. Клиент-серверная архитектура шаблона, географическая
кластеризация данных и другие возможности оптимизации и разделения доступа к
данным. Обобщенные пирамиды. Шаблоны для сотовых телефонов и других
мобильных устройств. Возврат к пиксельной природе экрана. Пакетирование данных.
Жизненный цикл шаблона.
Общая теория. Наброски.
Признак. Ось признака. Пространство признаков. Стратификация. Калибровка.
Матричные геопроцессоры. Алгебра t-систем.
Контекст. Проекция на ось признака в контексте. Генерация, регенерация,
дегенерация данных.
Шаблон как объект смешанного растрового и векторного типа, физические аналогии.
Наследование шаблонов и построение иерархий. Исследование шаблонов. Эталонные
данные. Обучение шаблона. Публикация шаблона.
Квадратичный рост данных для анализа при линейном росте исходных данных.
Произведение feature classes.
Алгебра классов.
__________________
614007, Sybirskaya st., 78-а, Perm, Russia,
Mines Institute Ural branch of the Russian Academy of sciences
dr.sci.tech Valery Hronusov (mailto: xbb@mi-perm.ru)
5